Teaching Language Models How to Code Like Learners: Conversational Serialization for Student Simulation

Título: Enseñando a los Modelos de Lenguaje a Programar como Estudiantes: Serialización Conversacional para la Simulación de Estudiantes

1. El Problema

La investigación en educación informática ha dependido históricamente de modelos para analizar lo que los estudiantes saben (trazado de conocimiento), pero existe una necesidad crítica de modelos que simulen cómo los estudiantes actúan y reaccionan durante el proceso de aprendizaje.

• Limitaciones actuales: Los enfoques existentes para simular estudiantes en programación suelen basarse en el prompting (instrucciones) de grandes modelos de lenguaje (LLM) propietarios. Esto plantea problemas de privacidad, costo y dependencia. Además, estos métodos tienden a reproducir patrones de error superficiales o soluciones expertas inmediatas, fallando en capturar la naturaleza dinámica e iterativa del debugging (depuración) real de los estudiantes.
• Brecha: No existen modelos abiertos y eficientes que puedan simular secuencias de acciones plausibles dentro de una tarea específica, incorporando el ciclo de retroalimentación entre el código del estudiante y el sistema de evaluación automática.

2. Metodología

Los autores proponen un marco de trabajo para entrenar modelos de lenguaje de peso abierto (open-weight) utilizando datos de procesos reales de estudiantes.

• Serialización Conversacional (Log a Diálogo):

  • Transforman las trazas de registro temporales (logs) de los entornos de aprendizaje en un formato de diálogo estructurado.
  • Estructura: El rol de "Usuario" representa al sistema de evaluación automática (proporcionando retroalimentación, errores, calificaciones), y el rol de "Asistente" representa al estudiante (proporcionando el código).
  • Proceso: Cada intento de envío de código ($a_t$) y su resultado ($o_t$) se convierten en turnos alternados. Esto permite que el modelo aprenda el proceso iterativo de depuración: escribir código $\rightarrow$ recibir feedback $\rightarrow$ revisar.

• Pipeline de Entrenamiento:

  1. Ajuste Fino Supervisado (SFT): Entrenamiento inicial utilizando la función de pérdida de verosimilitud negativa (NLL) solo en los turnos del asistente (código del estudiante) para que el modelo aprenda los patrones básicos de resolución de problemas.
  2. Optimización de Preferencia (Offline - DPO): Se utiliza Direct Preference Optimization (DPO). Se construyen pares de preferencia contrastivos donde la "preferida" es la siguiente envío real del estudiante y la "no preferida" es un envío posterior con una calificación diferente (un intento fallido o distinto). Esto enseña al modelo a no saltar prematuramente a soluciones correctas, sino a seguir el camino de depuración real.
  3. Optimización de Preferencia (Online - DAPO): Se explora Group Relative Preference Optimization (GRPO) como alternativa en línea, donde se muestrean múltiples candidatos y se evalúan mediante una función de recompensa basada en la alineación funcional y la similitud sintáctica.

• Datos y Modelos:

  • Dataset: FalconCode, un conjunto de datos a gran escala de envíos a asignaciones de Python de la Academia de la Fuerza Aérea de EE. UU.
  • Modelos: Se entrenaron modelos Qwen de 4B y 8B parámetros.

3. Contribuciones Clave

1. Serialización Estudiante-Entorno: Introducen una formulación conversacional que permite a los modelos de lenguaje aprender los procesos iterativos de depuración de los estudiantes, transformando logs crudos en secuencias estructuradas.
2. Metodología de Entrenamiento para Estudiantes Artificiales: Proponen un pipeline combinado de SFT y optimización de preferencia (específicamente DPO) para alinear los modelos con las trayectorias de codificación auténticas.
3. Evaluación Empírica Rigurosa: Validan el marco en un conjunto de datos masivo, demostrando que la inclusión de retroalimentación del entorno y la optimización de preferencia mejoran significativamente la realismo de la simulación en comparación con enfoques basados solo en código o prompting.
4. Reproducibilidad: Publican el código fuente y los datos procesados para la comunidad.

4. Resultados

Los experimentos compararon modelos base (sin entrenamiento), modelos con SFT, DPO, DAPO y modelos propietarios (GPT-5-mini) bajo prompting.

• Rendimiento General: Los modelos prompted (incluyendo GPT-5-mini) tuvieron el peor rendimiento, generando soluciones correctas demasiado rápido (baja "cobertura" o coverage) y sin simular los errores reales de los estudiantes.
• Impacto de la Retroalimentación: Los modelos entrenados con retroalimentación del entorno (SFT) superaron consistentemente a los modelos entrenados solo con código (PARA), demostrando que el feedback del autograder es más informativo que el historial de código adicional.
• Superioridad de DPO: La Optimización de Preferencia Directa (DPO) obtuvo los mejores resultados:
  • Cobertura (Coverage): Logró la mayor proporción de predicciones válidas en cada paso de la simulación (0.982 para Qwen-4B), evitando que el modelo termine la simulación prematuramente con una solución perfecta.
  • Proximidad de Calificación (Grade Proximity): Mejor alineación funcional con las calificaciones reales de los estudiantes paso a paso.
  • Similitud de Código (CodeBLEU): Alto nivel de similitud sintáctica y semántica con los envíos reales.
• Limitaciones de DAPO: La optimización en línea (DAPO) no mejoró consistentemente sobre el SFT, posiblemente debido a restricciones computacionales en el muestreo y la falta de trazas de razonamiento (Chain-of-Thought) explícitas.

5. Significado e Impacto

• Simulación Realista: Este trabajo demuestra que es posible crear "estudiantes artificiales" que no solo resuelven problemas, sino que aprenden y fallan de manera realista, replicando la progresión de calificaciones y los errores típicos de los humanos.
• Privacidad y Escalabilidad: Al utilizar modelos de peso abierto entrenados localmente con datos institucionales, se evita la dependencia de APIs propietarias costosas y se mitigan riesgos de privacidad.
• Aplicaciones Futuras:
  • Entrenamiento de Tutores: Estos estudiantes simulados pueden servir como entornos de prueba escalables para entrenar agentes de tutoría mediante aprendizaje por refuerzo, evaluando estrategias de retroalimentación sin necesidad de despliegues en aulas reales.
  • Integración con Trazado de Conocimiento: El marco permite conectar la simulación de micro-pasos (depuración) con modelos macro de competencia (trazado de conocimiento), permitiendo simulaciones personalizadas basadas en el nivel de habilidad del estudiante.
• Dirección Futura: Los autores señalan la necesidad de expandir el trabajo a más lenguajes y contextos, así como mejorar la simulación de estudiantes que abandonan las tareas (trayectorias fallidas), un grupo crucial para la intervención educativa.