Toward LLM-Supported Automated Assessment of Critical Thinking Subskills

Resumen Técnico: Hacia la Evaluación Automatizada de Habilidades de Pensamiento Crítico con LLM

1. El Problema

El pensamiento crítico (la capacidad de evaluar evidencia, detectar afirmaciones poco fiables y ejercer juicio independiente) es una habilidad fundamental en la era de la inteligencia artificial y la desinformación. Sin embargo, su integración en la minería de datos educativos (EDM) ha sido limitada debido a:

• Dificultad de operacionalización: Las definiciones de pensamiento crítico suelen ser vagas o demasiado complejas para medirse automáticamente.
• Falta de escalabilidad: Las evaluaciones existentes (ensayos abiertos, preguntas de opción múltiple) a menudo carecen de fiabilidad, validez o viabilidad para proporcionar retroalimentación formativa inmediata en entornos de aprendizaje auténticos.
• Necesidad de granularidad: Se requiere pasar de medir el constructo global de "pensamiento crítico" a evaluar sus subhabilidades específicas (ej. evaluar la fuerza de la evidencia, usar contraargumentos) de manera automatizada.

2. Metodología

Los autores investigaron la viabilidad de medir subhabilidades de pensamiento crítico a partir de ensayos argumentativos escritos por estudiantes (6.º a 12.º grado), utilizando el corpus PERSUADE 2.0.

• Datos y Codificación Humana:

  • Se seleccionaron 500 ensayos de un conjunto de datos más grande.
  • Se desarrolló una rúbrica de codificación basada en la "Progresión de Pensamiento Crítico" de la iniciativa Skills for the Future (ETS/Carnegie).
  • La rúbrica define 3 habilidades principales y 6 subhabilidades (ej. Síntesis de fuentes, Evaluación de la fuerza de la evidencia, Uso de contraargumentos, Uso de hechos vs. opiniones, Conclusión, Falacias lógicas).
  • Se definieron 5 niveles de competencia: No aplicable, Por debajo de emergente, Emergente, Expansivo, Ejemplar.
  • Dos grupos de codificadores humanos alcanzaron una fiabilidad inter-jueces (Krippendorff's $\alpha$) suficiente ($\ge 0.60$) para proceder con la evaluación de modelos.

• Enfoques de Modelado con LLM:
  Se evaluaron tres estrategias con tres modelos de lenguaje grandes (LLM): GPT-5 (propiedad), Llama 3.1 8B (código abierto, decoder-only) y ModernBERT (código abierto, encoder-only).

  1. Prompting (GPT-5):
     • Zero-shot: Instrucciones directas con la rúbrica.
     • Few-shot: Instrucciones + ejemplos en contexto de cada nivel de competencia.
  2. Fine-Tuning (Llama y ModernBERT):
     • Entrenamiento supervisado en los 500 ensayos etiquetados.
     • Variaciones de entrada: Con rúbrica (descriptores completos) vs. Sin rúbrica (solo nombre y definición).
     • Variaciones de salida: Solo etiqueta vs. Etiqueta + justificación (generada sintéticamente con GPT-4 para simular el razonamiento humano).
     • Se probaron dos esquemas de división de datos: Basado en ensayos (70/10/20) y Basado en subhabilidades (una subhabilidad totalmente oculta para prueba).

• Métricas de Evaluación:
  Se utilizaron Precisión (Accuracy), RMSE (Error Cuadrático Medio Raíz), F1 (Macro y Ponderado) y, crucialmente, el Coeficiente Alfa de Krippendorff ($\alpha$) para medir el acuerdo con los humanos más allá del azar, considerando la naturaleza ordinal de los niveles.

3. Contribuciones Clave

• Operacionalización de Subhabilidades: Creación y aplicación de una rúbrica detallada para codificar 6 subhabilidades específicas de pensamiento crítico en ensayos auténticos.
• Comparativa Exhaustiva de LLMs: Evaluación sistemática de prompting (zero/few-shot) frente a fine-tuning en modelos propietarios y de código abierto para esta tarea específica.
• Análisis de Generalización: Estudio sobre la capacidad de los modelos para transferir el aprendizaje a subhabilidades no vistas durante el entrenamiento (cold-start).
• Validación de Viabilidad: Demostración de que los LLMs de código abierto, tras un ajuste fino, pueden alcanzar niveles de acuerdo con humanos aceptables para ciertas subhabilidades, superando a los modelos de prompting puro en costo y privacidad.

4. Resultados

• Rendimiento General:

  • El Fine-tuning de Llama 3.1 8B obtuvo los mejores resultados, superando tanto al prompting de GPT-5 como al fine-tuning de ModernBERT.
  • La mejor variante fue Llama (con rúbrica, sin justificación), alcanzando un $\alpha$ de Krippendorff de 0.606, superando el umbral de fiabilidad humana establecido ($\ge 0.60$).
  • El prompting de GPT-5 (few-shot) logró un $\alpha$ de 0.542, mostrando que el entrenamiento específico es necesario para este dominio.

• Desempeño por Subhabilidad:

  • Alto rendimiento: En habilidades como "Síntesis de múltiples fuentes" ($\alpha = 0.74$), donde los niveles de competencia son claramente separables y hay desequilibrio de clases (la mayoría de ensayos son "No aplicable").
  • Bajo rendimiento: En habilidades como "Evaluación de la fuerza de la evidencia" ($\alpha = 0.23$) y "Uso de contraargumentos", donde las distinciones entre niveles son sutiles y las etiquetas están equilibradas. El modelo tendía a predecir la clase mayoritaria.
  • Desafío de las Falacias: La detección de falacias lógicas fue difícil ($\alpha = 0.41$) debido a la naturaleza sutil y no explícita de los errores lógicos en los textos estudiantiles.

• Generalización a Subhabilidades No Vistas:

  • Al probar en una subhabilidad no incluida en el entrenamiento, el rendimiento cayó drásticamente ($\alpha \approx 0.30 - 0.42$).
  • Hallazgo crítico: La inclusión de los descriptores de la rúbrica en el prompt fue esencial para la generalización. Sin ellos, el modelo falló casi por completo.
  • La generación de justificaciones mejoró ligeramente la generalización, sugiriendo que el razonamiento paso a paso ayuda a mapear nuevas tareas a los niveles de competencia.

• Análisis de Errores:

  • Los errores más comunes ocurrieron entre niveles adyacentes (ej. confundir "Emergente" con "Expansivo"), especialmente cuando el modelo no lograba distinguir el equilibrio sutil entre evidencia sólida y falacias.

5. Significado y Conclusión

Este trabajo representa un paso inicial significativo hacia la evaluación escalable del pensamiento crítico en contextos educativos auténticos.

• Implicaciones Prácticas: Demuestra que es posible automatizar la evaluación de componentes específicos del pensamiento crítico, lo que permite retroalimentación formativa inmediata para estudiantes y herramientas de apoyo para docentes.
• Limitaciones y Futuro: El rendimiento actual no es perfecto y depende de la calidad y distribución de los datos de entrenamiento. Se requiere un enfoque híbrido (humano-IA) o una supervisión humana mínima (pocos ejemplos etiquetados) para nuevas subhabilidades.
• Impacto: La capacidad de medir estas habilidades dinámicas y de orden superior es crucial para preparar a los estudiantes en una era de desinformación y contenido generado por IA. El estudio valida que los LLMs de código abierto, ajustados adecuadamente, son una alternativa viable y económica a las soluciones propietarias para la investigación en minería de datos educativos.