Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

Resumen Técnico: Generación Automatizada de Componentes de Conocimiento y Rastreo de Conocimiento Interpretable en Problemas de Programación

Enunciado del Problema
En el modelado de estudiantes, los Componentes de Conocimiento (KC) son esenciales para evaluar el dominio de habilidades a nivel detallado, permitir retroalimentación personalizada y impulsar sistemas de aprendizaje adaptativo. Tradicionalmente, los KC se elaboran y etiquetan en los problemas por expertos humanos en la materia, un proceso que es intensivo en mano de obra, propenso a sesgos y difícil de escalar. Aunque trabajos anteriores han explorado la generación automatizada de KC para preguntas de opción múltiple, los problemas de respuesta abierta, particularmente en programación, siguen siendo poco estudiados. Los problemas de codificación de respuesta abierta presentan desafíos únicos: las respuestas de los estudiantes exhiben una diversidad significativa, los errores pueden ocurrir de mil maneras y pueden existir múltiples enfoques de solución válidos, cada uno cubriendo diferentes conjuntos de KC. Los métodos automatizados existentes a menudo fallan en capturar esta complejidad o dependen de estructuras sintácticas rígidas inadecuadas para las diversas presentaciones de los estudiantes.

Metodología
Los autores proponen un marco de dos partes: una tubería automatizada para generar y etiquetar KC utilizando Modelos de Lenguaje Grande (LLM), y un nuevo método de Rastreo de Conocimiento (KT), KCGen-KT, que aprovecha estos KC generados.

1. Tubería Automatizada de Generación de KC:

   • Generación Inicial: Para cada problema de programación, el sistema selecciona un conjunto diverso de presentaciones de código de estudiantes correctas representativas (agrupadas mediante incrustaciones de CodeBERT para asegurar variedad). Se solicita a GPT-4o, con ejemplos de pocos disparos y razonamiento de cadena de pensamiento, que identifique KC detallados requeridos para resolver el problema, convirtiendo las etiquetas de temas existentes en descripciones en lenguaje natural.
   • Control de Agrupamiento y Abstracción: Para gestionar la granularidad, las descripciones textuales de los KC generados se incrustan utilizando Sentence-BERT. Se aplica Agrupamiento Jerárquico Aglomerativo (HAC) para fusionar KC semánticamente similares. Ajustando el número de grupos, el sistema controla el nivel de abstracción, pasando de habilidades específicas a nivel de función a agrupaciones conceptuales más amplias.
   • Etiquetado: Se solicita a GPT-4o que resuma cada grupo en una sola etiqueta informativa (ya sea seleccionando un KC existente o sintetizando una nueva descripción). Finalmente, se construye una matriz Q mapeando cada problema a sus KC resumidos correspondientes.

2. KCGen-KT (Marco de Rastreo de Conocimiento):

   • Arquitectura: El modelo utiliza Llama 3 (8 mil millones de parámetros) como columna vertebral para el aprendizaje multitarea, prediciendo tanto la corrección binaria de la siguiente presentación del estudiante como el código real token por token.
   • Modelado del Estado del Estudiante: Un LSTM estándar actualiza el estado de conocimiento latente del estudiante ($h_t$) basado en el texto del problema pasado, el código y la corrección. Este estado se proyecta en un vector de dominio ($m_t$) que representa la competencia en cada KC único.
   • Conversión de Tokens Suaves: Para integrar los niveles de dominio en el espacio de entrada del LLM, el modelo convierte los valores discretos de dominio en "tokens suaves". Un nivel de dominio $m^j_t$ para el KC $j$ se transforma en una combinación ponderada de las incrustaciones para los tokens "verdadero" y "falso": $s^j_t = m^j_t \cdot \text{emb}_{\text{true}} + (1 - m^j_t) \cdot \text{emb}_{\text{false}}$. Esto permite que los gradientes fluyan a través de los parámetros de dominio durante el entrenamiento.
   • Interpretabilidad: El modelo emplea un modelo compensatorio para agregar los niveles individuales de dominio de KC en una puntuación general de dominio, asegurando que un mayor conocimiento en KC específicos se correlacione con una mayor probabilidad de una respuesta correcta.
   • Objetivo de Entrenamiento: El sistema minimiza una función de pérdida combinada que incluye la pérdida de generación de código (entropía cruzada), la pérdida de predicción de corrección (entropía cruzada binaria) y una pérdida de regularización para imponer monotonicidad entre el dominio de KC y la corrección.

Contribuciones Clave

• Primera Tubería Automatizada para Programación de Respuesta Abierta: El artículo presenta la primera tubería basada en LLM capaz de generar y etiquetar KC específicamente para problemas de programación de respuesta abierta, abordando la diversidad y complejidad de las presentaciones de código de los estudiantes.
• KT Interpretable con Tokens Suaves: Los autores introducen KCGen-KT, que modela explícitamente el dominio del estudiante sobre descripciones textuales de KC. El novedoso mecanismo de conversión de tokens suaves permite que el LLM utilice niveles de dominio continuos como entradas, cerrando la brecha entre los estados latentes de los estudiantes y la generación de texto.
• Validación Empírica: El marco se evalúa en dos conjuntos de datos del mundo real (CodeWorkout y FalconCode) que contienen miles de presentaciones de estudiantes.

Resultados

• Rendimiento: KCGen-KT supera a los métodos KT existentes de última generación (incluyendo TIKTOC y Code-DKT) y a las líneas base que utilizan KC escritos por humanos. Específicamente, la versión que utiliza KC generados por LLM logra mejoras estadísticamente significativas en AUC, puntuación F1, precisión y CodeBLEU (para generación de código) en ambos conjuntos de datos.
• Análisis de Granularidad: Los experimentos que varían el nivel de abstracción de los KC revelan que los KC demasiado abstractos (grupos de alto nivel) degradan el rendimiento, mientras que los niveles de abstracción media a baja (granularidad más fina) producen los mejores resultados. Esto sugiere que el detalle suficiente es crucial para un modelado de estudiantes preciso.
• Curvas de Aprendizaje: Los KC generados se alinean mejor con la ley de potencia de la práctica (tasas de error que disminuyen con la práctica) en comparación con los KC escritos por humanos, logrando un $R^2$ ponderado más alto (0.21 vs. 0.18) al ajustarse a modelos de curvas de aprendizaje.
• Evaluación Humana: Los instructores calificaron los KC generados por LLM como altamente interpretables (98.6% vs. 94.6% para las líneas base humanas) y encontraron que los mapeos problema-KC tenían alta precisión (93.2%) y cobertura (el 96% de los casos tuvo una cobertura igual o mayor que las líneas base humanas).

Significado y Afirmaciones
El artículo afirma que los KC de alta calidad generados automáticamente y el etiquetado preciso son críticos para mejorar el rendimiento del modelado de estudiantes aguas abajo. Los autores demuestran que los LLM pueden identificar efectivamente habilidades detalladas en tareas de codificación de respuesta abierta, a menudo superando a las etiquetas escritas por humanos en poder predictivo y alineación con principios de aprendizaje cognitivo.

El trabajo tiene un alcance modesto en la educación en ciencias de la computación debido a las restricciones de disponibilidad de datos (la necesidad de datos de respuesta de estudiantes abiertos a gran escala y longitudinales). Los autores reconocen que su tubería depende actualmente de ejemplos en contexto y que el trabajo futuro debería explorar el refinamiento con intervención humana, la optimización directa para el ajuste de curvas de aprendizaje y la aplicación a otros dominios como las matemáticas y las ciencias. Enfatizan que su enfoque está destinado a apoyar a los educadores reduciendo el trabajo manual, no a reemplazar el juicio humano, y recomiendan la revisión de expertos antes de su implementación en entornos educativos reales.