ConceptKT: A Benchmark for Concept-Level Deficiency Prediction in Knowledge Tracing

1. Planteamiento del Problema

El Rastreo del Conocimiento (Knowledge Tracing - KT) es una técnica fundamental para modelar el estado de conocimiento de los estudiantes y apoyar el aprendizaje personalizado. Sin embargo, la mayoría de los sistemas de KT existentes se centran únicamente en la predicción binaria de la corrección de una respuesta (correcto/incorrecto).

• Limitación Principal: Estos sistemas no diagnostican los malentendidos conceptuales subyacentes que provocan los errores. En escenarios educativos reales, saber por qué un estudiante falla es tan crucial como saber si fallará, para diseñar intervenciones pedagógicas dirigidas.
• Desafío Técnico: Los modelos de lenguaje grandes (LLMs) y modelos de razonamiento (LRMs) tienen el potencial de realizar este diagnóstico, pero el uso de historiales completos de respuestas de los estudiantes puede introducir redundancia de información y ruido contextual, dificultando la identificación precisa de las deficiencias específicas.

2. Metodología

Los autores proponen un nuevo enfoque basado en aprendizaje en contexto (in-context learning) utilizando LLMs y LRMs.

A. Definición de la Tarea

Se introduce la tarea de predicción de deficiencias a nivel de concepto. El objetivo no es solo predecir si un estudiante responderá correctamente a una nueva pregunta, sino identificar qué conceptos específicos el estudiante probablemente dominará mal si falla.

• Entrada: Un historial de respuestas del estudiante ($H$) y una nueva pregunta objetivo ($q$).
• Salida: (1) Predicción de corrección, (2) Identificación del conjunto de conceptos faltantes ($\gamma$) que causan el error.
• Estrategia de Prompting: Se utiliza una estrategia de Cadena de Pensamiento (Chain-of-Thought) estructurada en tres pasos:
  1. Identificación de conceptos asociados a la nueva pregunta.
  2. Modelado del estudiante (análisis de su historial).
  3. Predicción de corrección y deficiencias conceptuales.

B. Selección de Respuestas Históricas

Dado que alimentar todo el historial puede ser contraproducente, se investigan estrategias para seleccionar un subconjunto informativo de respuestas anteriores ($m < n$):

1. Todas las respuestas: Sin filtrado.
2. Solo mismo concepto: Seleccionar solo respuestas que involucren los mismos conceptos que la pregunta objetivo.
3. Selección Semántica Conceptual: Primero filtrar por conceptos compartidos y luego, si hay demasiados candidatos, seleccionar los top $m$ basándose en la similitud semántica (usando BERTScore) entre la pregunta histórica y la objetivo.

C. Construcción del Dataset: ConceptKT

El equipo extendió el dataset MathEDU (que contiene procesos de resolución de problemas matemáticos) para crear ConceptKT:

• Anotación: Tres expertos en educación matemática anotaron 4,048 registros.
• Etiquetas:
  • Conceptos Asociados: Conceptos necesarios para resolver el problema.
  • Conceptos Faltantes: Conceptos que el estudiante no dominó al cometer un error (basado en el tipo de error: operación incorrecta vs. falta de concepto).
• Escala: 55 conceptos matemáticos agrupados en 13 categorías de alto nivel (ej. Aritmética, Geometría, Finanzas).

3. Contribuciones Clave

1. Nueva Tarea: Formalización de la predicción de deficiencias a nivel de concepto como una extensión del KT tradicional, moviéndose más allá de la simple predicción de corrección.
2. Dataset ConceptKT: Presentación del primer dataset con etiquetas a nivel de concepto anotadas por expertos, que captura tanto los requisitos del problema como las deficiencias específicas en las soluciones erróneas de los estudiantes.
3. Análisis de Estrategias de Selección: Evaluación sistemática de cómo la selección de historiales basada en la alineación conceptual y la similitud semántica impacta el rendimiento de LLMs y LRMs en tareas de diagnóstico educativo.

4. Resultados Experimentales

Los experimentos compararon varios LLMs (Gemini-2.0-Flash, Llama-4, o3-mini, DeepSeek-R1) y modelos tradicionales (DKT, DKVMN, etc.) bajo diferentes estrategias de selección.

• Predicción de Corrección: Los modelos LLM/LRM superaron a los modelos tradicionales (como DKT) en la predicción de corrección, especialmente cuando se usaron estrategias de selección.
• Predicción de Deficiencias Conceptuales:
  • Uso de todo el historial: El rendimiento fue pobre (ej. Llama-4 obtuvo un Macro-F1 de solo ~5.4% con todas las respuestas). El ruido contextual degradó la capacidad de diagnóstico.
  • Selección por Mismo Concepto: Mejora significativa. DeepSeek-R1 alcanzó un Macro-F1 de 17.40% en la identificación de conceptos faltantes.
  • Selección Semántica Conceptual: Logró mejoras adicionales para ciertos modelos. Por ejemplo, o3-mini mejoró drásticamente de 2.16% a 12.77% en Macro-F1 al usar esta estrategia.
• Hallazgo Crítico: La calidad y relevancia conceptual de las entradas son más importantes que la cantidad. Añadir respuestas de conceptos diferentes (aumentar el historial) generalmente introduce ruido y reduce el rendimiento, incluso si el modelo tiene capacidad de contexto masiva (hasta 1M de tokens).

5. Significado e Impacto

• Avance en Diagnóstico Educativo: Este trabajo demuestra que es posible utilizar IA generativa no solo para predecir resultados, sino para diagnosticar causas raíz de los errores de aprendizaje, lo cual es esencial para la instrucción adaptativa real.
• Eficiencia de Recursos: Sugiere que en entornos educativos reales, donde los datos pueden ser escasos o ruidosos, es más efectivo filtrar y seleccionar cuidadosamente ejemplos relevantes (basados en conceptos) que simplemente alimentar al modelo con todo el historial disponible.
• Base para Futuras Investigaciones: ConceptKT establece un nuevo estándar para evaluar la capacidad de los modelos de lenguaje para el razonamiento educativo profundo, abriendo la puerta a sistemas de tutoría inteligente que pueden ofrecer retroalimentación específica sobre conceptos malentendidos en lugar de solo señalar errores.

En resumen, el artículo demuestra que la combinación de datos anotados finamente y estrategias de selección de contexto basadas en la semántica de los conceptos permite a los modelos de IA realizar un diagnóstico educativo de alta precisión, superando las limitaciones de los enfoques de KT tradicionales.