Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning

Resumen Técnico: Más allá de la respuesta directa: Alineación de LLMs educativos como guías socráticos mediante aprendizaje por refuerzo heurístico

Planteamiento del problema
Los Modelos de Lenguaje de Gran Escala (LLMs) desplegados en entornos educativos exhiben frecuentemente un modo de fallo de "Respondedor Directo". En lugar de adherirse a la pedagogía socrática —que prioriza guiar a los estudiantes a través de una indagación progresiva para fomentar una comprensión conceptual duradera—, los modelos actuales optan por defecto por la divulgación inmediata de los conceptos objetivo. Un análisis empírico de más de 10,000 consultas de estudiantes de una plataforma científica en vivo reveló que los modelos, con rangos de entre 7B y 72B de parámetros, filtran la terminología científica central en sus respuestas iniciales a tasas que superan el 96%. Los autores argumentan que esto es un problema de comportamiento, no una limitación de capacidad, y que no puede resolverse únicamente escalando el tamaño del modelo.

Metodología: El pipeline HeuristicEdu
El artículo propone HeuristicEdu, un pipeline de alineación de dos fases diseñado para transformar el modelo Qwen2.5-7B-Instruct en un tutor socrático.

1. Construcción del conjunto de datos (SocraticEdu):

   • Los autores reconstruyeron un corpus de 797 diálogos de múltiples turnos de una plataforma educativa china en vivo ("Dr. Curious").
   • El proceso consistió en filtrar 10,512 preguntas brutas para identificar la intención científica (F1=0.98), agruparlas en siete dominios de ciencias elementales y seleccionar 134 "semillas" de alto compromiso.
   • El corpus final consta de 395 trayectorias reales reconstruidas y 402 trayectorias sintéticas generadas vía API para cubrir diversos estilos de tutoría (guía, exploratoria, analógica).

2. Pipeline de entrenamiento:

   • Fase 1 (Ajuste Fino Supervisado - SFT): El modelo se inicia mediante un precalentamiento en el corpus SocraticEdu de 797 trayectorias para establecer patrones básicos de respuesta socrática.
   • Fase 2 (Optimización de Política Relativa de Grupo - GRPO): El modelo se somete a aprendizaje por refuerzo utilizando una función de recompensa heurística ($R_{total}$) sin un crítico aprendido. La recompensa es una suma ponderada de tres componentes:
     • $R_{cog}$ (Profundidad Cognitiva): Mide la "elevación cognitiva" entre la consulta del estudiante y la respuesta del modelo utilizando los niveles de la Taxonomía de Bloom (1–6), incentivando al modelo a elevar el pensamiento del estudiante en lugar de solo confirmar hechos.
     • $R_{eng}$ (Compromiso de Curiosidad): Califica la respuesta del modelo basándose en un Modelo de Proximidad de Compromiso (EPM) que detecta preguntas retóricas, analogías e hipótesis abiertas para mantener la curiosidad.
     • $R_{dir}$ (Penalización de Directividad): Penaliza la divulgación prematura de términos científicos objetivo. Crucialmente, esto incluye una corrección $K_{query}$, que solo penaliza los términos en la respuesta del modelo que no fueron introducidos previamente por el estudiante, evitando penalizaciones falsas cuando un estudiante utiliza correctamente la terminología.

3. Métricas de evaluación:

   • Efectividad de Andamiaje (SE): La proporción de casos de prueba donde un estudiante simulado articula con éxito el concepto objetivo sin que el tutor filtre ninguna palabra clave central.
   • Profundidad de la Conversación (CD): Mide la progresión semántica calculando la fracción de pares de turnos consecutivos con una similitud de coseno de Sentence-BERT baja (< 0.70), asegurando que el diálogo avance en lugar de repetirse.
   • Tasa de Filtración (Leakage Rate): La frecuencia de la divulgación de palabras clave centrales por parte del tutor.

Resultados Clave
Los experimentos se realizaron sobre 30 preguntas de prueba con un bucle de estudiante simulado.

• Alineación vs. Prompting: El modelo con mejor desempeño, PT-GRPO w/o $R_{dir}$ (GRPO entrenado sin la penalización de directividad), logró un SE de 63.3% y una tasa de filtración de 13.3%. Esto superó significativamente la línea base de SFT-only (50.0% SE) y la referencia de ingeniería de prompts (40.0% SE).
• El rol contraproducente de $R_{dir}$: Un hallazgo crítico fue que incluir la penalización de directividad ($R_{dir}$) durante la optimización de GRPO degradó el desempeño. La variante "Full" de GRPO (con $R_{dir}$) cayó a un 43.3% de SE y 23.3% de filtración. Los autores atribuyen esto a un conflicto de optimización donde la penalización suprime el vocabulario científico necesario, dificultando la capacidad del modelo para usar términos como pistas de andamiaje, lo cual entra en conflicto con la recompensa de compromiso ($R_{eng}$).
• Escala vs. Comportamiento: Una línea base de Qwen-72B no alineada logró un 0% de SE y una tasa de filtración del 96.7%, demostando que aumentar la escala del modelo no induce inherentemente un comportamiento socrático.
• Profundidad: La mejor variante también alcanzó la mayor Profundidad de Conversación (0.722), indicando que el andamiaje exitoso se correlaciona con una progresión semántica más profunda.

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones principales:

1. Dataset: La introducción de SocraticEdu, un corpus de múltiples turnos con control de estilo, diseñado específicamente para la tutoría socrática en ciencias elementales.
2. Metodología: Una demostración de que GRPO con recompensas heurísticas (específicamente elevación cognitiva y compromiso) es más efectivo que la ingeniería de prompts para la alineación de comportamiento en la educación. El trabajo destaca que las restricciones explícitas de anti-filtración pueden ser perjudiciales cuando se usan como recompensas basadas en gradientes, sugiriendo la necesidad de un diseño de recompensa cuidadoso.
3. Evaluación: La propuesta de SE y CD como métricas orientadas a resultados que van más allá de la fluidez superficial para evaluar si un diálogo realmente cambia el estado del aprendiz.

Los autores concluyen que la alineación socrática es un problema de comportamiento dirigido que requiere optimización explícita. Afirman que mientras el entrenamiento de parámetros (GRPO) redirige con éxito un modelo de 7B hacia la indagación socrática, simplemente escalar a 72B sin dicha alineación no produce mejoras sobre la respuesta directa.