Resumen Técnico: Entrenamiento de Intervención Diagnosticada por Evidencia (EDIT) para la Calificación de LLM Fiel a las Reglas

1. Planteamiento del Problema

La calificación fiable de respuestas de exámenes de estudiantes es una tarea compleja de aplicación de reglas que requiere más que la simple predicción precisa de una puntuación final. Un calificador debe fundamentar cada juicio en el esquema de calificación explícito y en la evidencia específica de la respuesta del estudiante. Aunque los Modelos de Lenguaje de Gran Escala (LLM) se están desplegando cada vez más como calificadores automáticos, entrenarlos para calificar de manera fiable sigue siendo un desafío.

Los enfoques existentes enfrentan limitaciones significativas en este dominio:

• Aprendizaje por Refuerzo basado en Resultados (RL): Métodos como GRPO asignan una única recompensa a toda la trayectoria de razonamiento. Estos fallan al no identificar qué paso específico del razonamiento intermedio causó una marca incorrecta, lo que dificulta la corrección del proceso de decisión del modelo.
• Métodos de Razonamiento Autocontenidos: Las técnicas diseñadas para tareas como las matemáticas (por ejemplo, reasignación de tokens o entrenamiento de tipo intervención) tienen dificultades aquí porque la calificación de rúbricas requiere fundamentación externa. El modelo debe anclar sus juicios a una política externa (la rúbrica) y al texto del estudiante, en lugar de depender únicamente de la consistencia lógica interna.
• Reducción de la Incertidumbre: El razonamiento basado en reglas es un proceso de reducción de la incertidumbre. La creencia del modelo sobre la marca final debería converger progresivamente. Los métodos actuales no controlan esta trayectoria; el RL basado solo en resultados ignora los cambios de creencia perjudiciales que ocurren a mitad del razonamiento, mientras que las restricciones rígidas a nivel de token pueden penalizar excesivamente el fraseo exploratorio benigno.

2. Metodología: Marco EDIT

Los autores proponen el marco de Entrenamiento de Intervención Diagnosticada por Evidencia (EDIT), un marco de dos fases diseñado para entrenar calificadores de LLM que sean fieles a las rúbricas. EDIT utiliza las señales de decisión internas del modelo para localizar fallos, revisarlos localmente y calibrar la evolución de la creencia del modelo durante el razonamiento.

Fase 1: EDIT-SFT (Ajuste Fino Supervisado con Diagnóstico de Estado Interno)

Esta fase construye un conjunto de entrenamiento supervisado mediante la revisión de partes pequeñas y locales de trayectorias de razonamiento incorrectas. Reemplaza las auditorías de autoevaluación basadas en prompts poco fiables por Diagnósticos de Estado Interno.

1. Extracción de Señales de Estado Interno:
   • Sonda de Creencia Posterior: En cada límite de paso de razonamiento, el modelo estima su creencia posterior sobre la marca entera final. El cambio en el error absoluto esperado ($\Delta \epsilon_k$) entre pasos identifica si un paso acercó o alejó la creencia de la marca de oro (gold mark).
   • Auditoría de Fundamentación basada en Máscaras: El sistema computa puntuaciones de soporte para medir cuánto depende la verosimilitud de un paso de razonamiento de las reglas de calificación, la respuesta del estudiante y el prefijo del razonamiento. Los pasos con puntuaciones de fundamentación bajas (débilmente anclados en la evidencia o las reglas) son marcados.
2. Selección de Candidatos: El sistema selecciona los pasos que más alejaron la creencia del modelo de la marca de oro (negativo $\Delta \epsilon_k$) y que presentan una fundamentación débil.
3. Revisión Atómica: Los pasos seleccionados se revisan en 1 a 3 nuevos subpasos. Esta revisión es guiada por una lista de verificación de la rúbrica (generada utilizando la marca de oro como contexto privilegiado durante el entrenamiento) pero está constreñida por la localidad. La revisión debe corregir el error local sin destruir la coherencia de la cadena de razonamiento original ni simplemente copiar la respuesta de oro.
4. Entrenamiento: Las revisiones exitosas que conducen a la marca correcta se agregan con ejecuciones (rollouts) naturalmente correctas para entrenar la política mediante SFT.

Fase 2: EDIT-RL (Aprendizaje por Refuerzo con Modelado de Recompensa Guiado por la Creencia)

Esta fase calibra la política entrenada mediante SFT utilizando Optimización de Política Relativa al Grupo (GRPO), aumentada con un mecanismo específico de modelado de recompensa.

• Recompensa de Resultado Sensible a la Distancia: Se asigna una recompensa densa basada en la distancia entre la marca predicha y la marca de oro.
• Modelado de Recompensa Guiado por la Creencia: Para gestionar el proceso de reducción de la incertidumbre, se añade una penalización por grandes derivas de creencia a mitad de la trayectoria. La función de recompensa penaliza al modelo si su creencia posterior en cualquier paso intermedio se desvía demasiado de la marca de oro (más allá de un umbral de tolerancia $\beta_{drift}$), permitiendo al mismo tiempo pequeñas fluctuaciones para la exploración benigna.
• Implementación: La sonda de posterior utilizada para el modelado se ejecuta sobre un checkpoint congelado de la política EDIT-SFT para mantener una señal estacionaria y evitar el hackeo de la recompensa (reward hacking).

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Marco EDIT: Un novedoso marco de entrenamiento de dos fases que adapta la asignación de crédito para la calificación fundamentada en rúbricas, yendo más allá de las tareas de razonamiento de sistemas cerrados.
2. Diagnósticos de Estado Interno: El reemplazo de las auditorías de autoevaluación basadas en prompts por señales robustas de creencia posterior y fundamentación para localizar pasos de razonamiento defectuosos. Esto se combina con el contexto de la lista de verificación de la rúbrica para apoyar las revisiones atómicas locales sin imponer plantillas de salida rígidas.
3. Modelado de Recompensa Guiado por la Creencia: Un mecanismo de RL de calibración que penaliza las derivas de creencia severas a mitad de la trayectoria mientras tolera la exploración benigna, mejorando así la precisión de la calificación y la generalización fuera del dominio (OOD).

4. Resultados Experimentales

Los autores evaluaron EDIT en dos benchmarks del mundo real multitemáticos: SAS (un benchmark de calificación de respuestas cortas chinas con Historia, Geografía y Física) y Private-Science (un conjunto de datos propietario de nivel GCSE para Biología y Física).

• Rendimiento: EDIT superó consistentemente a los fuertes baselines, incluyendo SFT estándar, GRPO, DGPO e InT (Entrenamiento de Intervención), tanto en las divisiones dentro del dominio (ID) como fuera del dominio (OOD).
  • En el benchmark SAS (completamente OOD), EDIT-RL logró el mejor macro-QWK promedio (0.794), superando significativamente al modelo base (0.727) y a otros baselines de RL.
  • En Private-Science, EDIT-SFT mostró ganancias constantes en las divisiones tanto ID como OOD, mientras que otros métodos (como InT-RL) mostraron signos de sobreajuste a tipos de preguntas específicos en el entorno OOD.
• Estudios de Ablación:
  • Eliminar el localizador de señales internas causó la mayor caída de rendimiento, confirmando que seleccionar los pasos correctos para la revisión es crítico.
  • Eliminar el contexto de la lista de verificación de la rúbrica aumentó la varianza en el comportamiento de calificación.
  • Eliminar las restricciones de localidad atómica resultó en una ligera degradación, lo que sugiere que preservar la estructura de razonamiento original es beneficioso.
  • Aplicar EDIT-RL directamente al modelo base no produjo las mismas mejoras OOD que aplicarlo después de EDIT-SFT, lo que indica que la fase de SFT es un prerrequisito necesario para una calibración efectiva guiada por la creencia.

5. Significado y Reivindicaciones

El artículo afirma que EDIT aborda un vacío específico en la calificación automatizada: la necesidad de que los modelos no solo predigan una puntuación, sino que lo hagan a través de un proceso de razonamiento que sea fiel a las reglas externas y esté fundamentado en la evidencia del estudiante.

• Fidelidad a las Reglas: Los autores demuestran que EDIT mejora la "Relación de Sensibilidad a la Regla" (RSR), mostrando que los cambios en la puntuación del modelo reflejan con mayor precisión las ediciones deterministas del esquema de calificación en comparación con los modelos base.
• Generalización: Se afirma que el modelado de recompensa guiado por la creencia es particularmente efectivo para la generalización fuera del dominio, ya que evita que el modelo desarrolle trayectorias de razonamiento inestables al encontrarse con preguntas no vistas.
• Cambio Metodológico: El trabajo aboga por un cambio de la optimización basada solo en resultados hacia un entrenamiento consciente del proceso que monitorea y corrige la trayectoria de decisión interna del calificador.

Los autores mantienen una postura modesta, señalando que, aunque EDIT supera significamente a los baselines, el rendimiento varía según la materia (por ejemplo, la Geografía mostró tendencias diferentes a la Historia o la Física), lo que sugiere que diferentes materias pueden beneficiarse de diferentes formas de adaptación. El marco se presenta como una solución robusta para entrenar calificadores fieles a las rúbricas en entornos educativos multitemáticos del mundo real.