CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems

Resumen Técnico: CodeGENCAT

Enunciado del Problema
Los marcos existentes de Pruebas Adaptativas Computarizadas (CAT) dependen predominantemente de la Teoría de Respuesta al Ítem (IRT) para seleccionar preguntas basándose en la probabilidad predicha de que un estudiante responda correctamente. En este paradigma, las respuestas de los estudiantes se comprimen en etiquetas binarias de corrección (correcto/incorrecto). Esta abstracción descarta información diagnóstica rica inherente a las respuestas abiertas, una limitación particularmente aguda en la educación en programación. En las tareas de codificación, dos estudiantes pueden fallar ambos en una pregunta, pero sus envíos de código pueden revelar niveles de comprensión vastamente diferentes: uno podría exhibir un error de sintaxis menor mientras que el otro demuestra una brecha conceptual fundamental. Tratar a ambos simplemente como "incorrectos" ignora la naturaleza específica del error, obstaculizando la capacidad del sistema para modelar con precisión la comprensión conceptual y la habilidad de codificación.

Metodología
Los autores proponen CodeGENCAT (Pruebas Adaptativas Computarizadas Generativas para Problemas de Codificación Abiertos), un marco que aprovecha los Modelos de Lenguaje Grandes (LLM) para seleccionar preguntas basándose en respuestas de código de estudiantes abiertas predichas, en lugar de resultados binarios. La metodología consta de tres componentes principales:

1. Modelo de Teoría de Respuesta al Ítem Generativa (GIRT):

   • Representación del Conocimiento: El conocimiento del estudiante se representa como un vector latente $z_i$ proyectado en niveles de dominio explícitos ($\theta_i$) para Componentes de Conocimiento (KC) específicos mediante una Perceptrón Multicapa (MLP).
   • Generación de Código: Un LLM genera respuestas de código predichas condicionadas al texto de la pregunta y al conocimiento estimado del estudiante. Para cerrar la brecha entre los niveles de dominio escalares y las entradas del LLM, los autores emplean una técnica de "soft prompting". Los niveles de dominio se interpolan linealmente entre incrustaciones preentrenadas de "VERDADERO" y "FALSO" para crear incrustaciones continuas que se inyectan en el prompt.
   • Estrategia de Entrenamiento: El modelo experimenta un proceso de entrenamiento de dos etapas:
     • Ajuste Fino Supervisado (SFT): El modelo aprende a generar código condicionado al conocimiento mientras minimiza la verosimilitud negativa. Una pérdida auxiliar alinea el dominio promedio predicho con la puntuación de corrección de la verdad fundamental.
     • Optimización Directa de Preferencias (DPO): Para abordar el colapso de modos (donde el modelo genera código idéntico independientemente del conocimiento de entrada), se introduce una etapa de aprendizaje por refuerzo. Se forman pares de preferencia comparando las respuestas reales de los estudiantes con las respuestas de otros estudiantes que son menos probables dado el conocimiento del estudiante actual. DPO refina el modelo para asegurar que las respuestas generadas varíen semánticamente según el estado de conocimiento de entrada.

2. Algoritmos de Selección de Preguntas:
   CodeGENCAT utiliza el modelo GIRT para muestrear $N$ respuestas de código potenciales para preguntas candidatas. Se proponen tres criterios de selección para determinar la siguiente pregunta:

   • Basado en Incertidumbre: Selecciona la pregunta donde la puntuación promedio de corrección predicha está más cerca de 0.5, maximizando la ganancia de información con respecto a la probabilidad de corrección.
   • Basado en Diversidad: Selecciona la pregunta donde las respuestas de código muestreadas exhiben la mayor diversidad semántica (medida mediante la similitud coseno por pares de incrustaciones de CodeBERT), indicando una alta incertidumbre sobre cómo podría responder el estudiante.
   • Basado en Información de Fisher: Selecciona la pregunta que maximiza la traza de la matriz de Información de Fisher, con el objetivo de reducir significativamente la incertidumbre sobre el vector de conocimiento latente del estudiante.

3. Ciclo de Prueba Adaptativa:
   El sistema inicializa el conocimiento latente de un estudiante utilizando una priori de población. En cada paso, muestrea respuestas del modelo GIRT para preguntas candidatas, las puntúa utilizando el algoritmo de selección, administra la pregunta con la puntuación más alta y actualiza el conocimiento latente del estudiante mediante descenso de gradiente basado en la respuesta real.

Contribuciones Clave

• Marco CAT Generativo: El primer marco CAT diseñado específicamente para problemas de codificación abiertos que utiliza respuestas de código de estudiantes predichas para la selección de preguntas, yendo más allá de la corrección binaria.
• Modelo GIRT: Un modelo novedoso que combina la representación de conocimiento latente con la generación de código impulsada por LLM, entrenado con SFT y DPO para asegurar que las respuestas generadas se alineen con el conocimiento estimado del estudiante.
• Algoritmos de Selección Novedosos: Tres algoritmos distintos (Incertidumbre, Diversidad, Información) que aprovechan las capacidades generativas para evaluar la informatividad de las preguntas en el contexto de respuestas abiertas.

Resultados Experimentales
El marco se evaluó en dos conjuntos de datos del mundo real: CodeWorkout (envíos en Java) y ProgFeed (envíos en Python).

• Rendimiento: CodeGENCAT superó consistentemente a líneas base sólidas (IRT 1PL, BOBCAT, NCAT, LACAT) en la estimación del conocimiento del estudiante, medido por el Área Bajo la Curva (AUC) y la Precisión.
• Ganancias en Etapas Tempranas: Las mejoras más significativas ocurrieron en las etapas tempranas de la prueba ($t=1$ a $t=7$). En CodeWorkout, el algoritmo de selección basado en Diversidad logró una mejora del 4.32% en AUC sobre la línea base más fuerte en la primera etapa.
• Varianza del Algoritmo: El algoritmo de selección óptimo varió según el conjunto de datos y la etapa de la prueba. La Diversidad funcionó mejor en las etapas tempranas en CodeWorkout, mientras que la selección basada en Información fue consistentemente superior en ProgFeed y en etapas posteriores en CodeWorkout.
• Seguridad de la Prueba: CodeGENCAT mantuvo métricas competitivas de seguridad de la prueba (tasas de exposición y superposición de preguntas), demostrando que puede equilibrar la eficiencia con los requisitos de seguridad.
• Estudios de Ablación: El estudio confirmó que la alineación DPO es crítica para que el modelo genere respuestas diversas condicionadas al conocimiento. Los modelos base más grandes (3B vs. 1B) mostraron beneficios dependientes del conjunto de datos, y reducir el número de respuestas muestreadas ($N$) de 10 a 3 ofreció ahorros de tiempo significativos con una pérdida mínima de precisión.

Significado y Afirmaciones
El artículo afirma que CodeGENCAT representa un avance significativo en las pruebas adaptativas para la educación en programación al explotar la información rica contenida en el código abierto. Al cambiar el enfoque de "si un estudiante fallará" a "cómo un estudiante podría fallar", el marco captura errores y conceptos erróneos específicos que los modelos binarios pasan por alto. Los autores afirman que este enfoque conduce a una estimación de conocimiento más precisa y eficiente, particularmente durante las fases críticas tempranas de la prueba. Señalan que, aunque la evaluación actual se limita a la informática introductoria, el marco es teóricamente adaptable a otros dominios abiertos, siempre que existan conjuntos de datos adecuados. El trabajo destaca el potencial de los modelos generativos para mejorar el modelado psicométrico sin descartar los matices del contenido generado por el estudiante.