Resumen Técnico: Rastreando la Competencia Matemática a través de los Procesos de Resolución de Problemas

Planteamiento del Problema

Los métodos tradicionales de Seguimiento del Conocimiento (KT, por sus siglas en inglés) buscan modelar el estado de conocimiento de un estudiante para predecir su desempeño futuro en Sistemas de Tutoría Inteligente. Sin embargo, los enfoques existentes enfrentan limitaciones fundamentales en cuanto a explicabilidad y profundidad. Se basan principalmente en una supervisión centrada en el resultado (corrección binaria: correcto/incorrecto) y en metadatos limitados (por ejemplo, dificultad del problema, tiempo de respuesta o conceptos de conocimiento). Esta dependencia de la respuesta final no logra capturar los matices de la comprensión real de un estudiante, ya que trata el proceso de resolución de problemas (PSP) como una "caja negra".

En contraste, los educadores en el mundo real evalúan la comprensión a través del proceso de resolución de problemas, observando los pasos de razonamiento, los cálculos intermedios y las elecciones estratégicas. Los conjuntos de datos y modelos de KT actuales descuidan en gran medida esta rica información, particularmente en los dominios matemáticos donde capturar el PSP a escala es un desafío. En consecuencia, los modelos existentes tienen dificultades para proporcionar información interpretable sobre por qué un estudiante tiene éxito o fracasa, y a menudo presentan un desempeño deficiente en escenarios de inicio en frío (cold-start) donde existen pocos datos de interacción histórica.

Metodología: KT-PSP y STATUSKT

Para abordar estas brechas, los autores proponen una nueva formulación de la tarea y un marco de trabajo correspondiente.

1. Seguimiento del Conocimiento con Proceso de Resolución de Problemas (KT-PSP)

Los autores redefinen la tarea de KT para incorporar explícitamente el proceso de resolución de problemas del estudiante en la secuencia de interacción.

• KT Tradicional: Secuencia de entrada $S_{conv} = \{(q_t, c_t, r_t)\}$, donde $r_t$ es la corrección binaria.
• KT-PSP: Secuencia de entrada $S_{new} = \{(q_t, c_t, r_t, p_t)\}$, donde $p_t$ representa el PSP detallado (razonamiento paso a paso, cálculos intermedios, etc.).
  El objetivo sigue siendo predecir la corrección futura $P(r_{t+1}=1 | \dots)$, pero ahora aprovecha tanto el desempeño histórico como las estrategias de resolución subyacentes.

2. El Conjunto de Datos KT-PSP-25

Para facilitar la investigación en este nuevo dominio, los autores lanzaron KT-PSP-25, un novedoso conjunto de datos que contiene:

• 22,289 interacciones estudiante-problema de una plataforma de matemáticas basada en tabletas.
• 1,343 estudiantes resolviendo 2,696 problemas a través de 490 componentes de conocimiento.
• PSP Manuscrito: A diferencia de los conjuntos de datos anteriores, este incluye los trazos de solución manuscritos reales, que fueron procesados mediante un flujo de trabajo de OCR (usando GPT-5) para convertir imágenes en texto estructurado preservando la lógica matemática.
• Privacidad: Los IDs de estudiantes y preguntas fueron anonimizados, y las salidas de OCR fueron refinadas para asegurar la calidad de los datos y la privacidad.

3. El Marco de Trabajo STATUSKT

La contribución central es STATUSKT, un marco de KT consciente del proceso que extrae señales de Competencia Matemática (MP) del PSP bruto utilizando un flujo de trabajo de LLM de Profesor-Estudiante-Profesor. Este flujo convierte el texto no estructurado en señales intermedias estructuradas e interpretables.

El flujo de trabajo opera en tres etapas:

1. Extracción de Indicadores (LLM Profesor): Dado un texto de un problema y sus componentes de conocimiento, el LLM Profesor genera un conjunto de indicadores de MP. Estos son preguntas específicas dirigidas a cuatro dimensiones observables de la competencia matemática (basadas en Findell et al., 2001):
   • Comprensión Conceptual (CU)
   • Competencia Estratégica (SC)
   • Fluidez Procedimental (PF)
   • Razonamiento Adaptativo (AR)
     (Nota: La Disposición Productiva se excluye por ser difícil de evaluar mediante texto).
2. Generación de Respuestas (LLM Estudiante): El LLM Estudiante actúa como un sustituto del estudiante real. Analiza el PSP manuscrito del estudiante y genera respuestas a los indicadores de MP. Crucialmente, preserva el razonamiento original del estudiante (incluyendo errores) en lugar de corregirlos.
3. Evaluación de la Competencia (LLM Profesor): El LLM Profesor evalúa las respuestas del LLM Estudiante frente a los indicadores originales para determinar si el estudiante demostró maestría de cada dimensión específica.

Integración:
La salida de este flujo de trabajo es una Relación de MP para cada dimensión (la proporción de indicadores satisfechos). Estas relaciones sirven como entradas auxiliares para el modelo base de KT. El modelo se entrena con una función de pérdida compuesta:
$$L = BCE(r_{gt}, r_{pred}) + \alpha \sum_{i \in P} MSE(m_{gt}^i, m_{pred}^i)$$
Este enfoque de doble objetivo obliga al modelo a aprender tanto la corrección final como los patrones de competencia subyacentes, mejorando tanto la precisión predictiva como la interpretabilidad.

Principales Contribuciones

1. Nueva Formulación de Tarea (KT-PSP): Una definición formal de KT que integra los procesos de resolución de problemas en la secuencia de interacción, permitiendo un modelado consciente del proceso.
2. Conjunto de Datos KT-PSP-25: El primer conjunto de datos de KT matemático a gran escala que contiene procesos de resolución de problemas manuscritos del mundo real transcritos mediante OCR para cada interacción.
3. Marco de Trabajo STATUSKT: Una arquitectura novedosa que utiliza un flujo de trabajo de tres etapas de LLM para destilar el PSP bruto en señales de MP interpretables, que luego se integran en modelos de KT estándar.
4. Validación Empírica: Experimentos exhaustivos que demuestran que STATUSKT supera a las líneas base de Seguimiento del Conocimiento de Aprendizaje Profundo (DLKT) y proporciona información detallada e interpretable sobre el aprendizaje del estudiante.

Resultados Experimentales

Los experimentos se realizaron en KT-PSP-25 utilizando varias arquitecturas de línea base (DKT, DKVMN, SAKT, SAINT, AKT, etc.).

• Desempeño General (RQ1): STATUSKT mejoró consistentemente el desempeño de la predicción (AUC y Exactitud) en la mayoría de las arquitecturas en comparación con tanto las líneas base estándar como una variante de "Baseline+PSP" (que simplemente concatena incrustaciones de texto bruto). Los autores señalan que la incrustación de texto bruto por sí sola a menudo introduce ruido o no logra mejorar el desempeño, mientras que la destilación estructurada de MP en STATUSKT aprovecha efectivamente la información del proceso.
• Robustez en Inicio en Frío (RQ2): En escenarios con datos limitados (solo las primeras 5 interacciones por estudiante), STATUSKT superó significativamente a las líneas base. Las señales de MP proporcionaron información previa informativa que estabilizó la estimación del estado de conocimiento cuando los datos de corrección histórica eran escasos.
• Análisis de Efectos de MP (RQ3): Los estudios de caso revelaron que las señales de MP ayudan a corregir las predicciones en casos de "ayuda de MP" al alinear la corrección con habilidades subyacentes específicas. Sin embargo, los autores también identificaron casos de "daño de MP" donde indicadores excesivamente enriquecidos o desalineados podrían degradar el desempeño, resaltando la importancia del control del alcance en la generación de indicadores.

Significado y Reivindicaciones

El artículo sostiene que incorporar el razonamiento reflejado en los procesos de resolución de problemas de los estudiantes es esencial para avanzar en el KT hacia un modelado más preciso, interpretable y pedagógicamente significativo.

• Interpretabilidad: A diferencia de las predicciones de "caja negra", STATUSKT proporciona señales de competencia explícitas (por ejemplo, "El estudiante tiene una alta Fluidez Procedimental pero un bajo Razonamiento Adaptativo"), ofreciendo información detallada sobre el progreso del aprendizaje.
• Alineación Pedagógica: El marco imita la forma en que los profesores humanos evalúan a los estudiantes —observando el proceso, no solo la respuesta—, cerrando así la brecha entre los sistemas automatizados y la teoría educativa.
• Limitaciones: Los autores reconocen modestamente las limitaciones, incluyendo la escala relativamente pequeña del conjunto de datos, la restricción al dominio de las matemáticas y la dependencia de OCR, que puede introducir errores de reconocimiento o perder elementos de razonamiento visual (diagramas). No pretenden que el marco sea universalmente aplicable a todas las materias sin una adaptación adicional.