CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading

1. Planteamiento del Problema

La evaluación educativa a gran escala enfrenta una tensión entre la calidad y la viabilidad. Aunque los Modelos de Lenguaje Grandes (LLMs) han demostrado un rendimiento prometedor en la Calificación Automática de Respuestas Cortas (ASAG), su despliegue en entornos educativos de alto riesgo (como exámenes oficiales) está limitado por dos desafíos fundamentales:

1. Sobreconfianza Sistemática: Los LLMs instruidos tienden a asignar puntuaciones de confianza muy altas incluso cuando sus predicciones son incorrectas. Esto carece de un mecanismo fiable para que los educadores sepan cuándo confiar en la salida del modelo y cuándo es necesaria la intervención humana.
2. Degradación ante Cambios de Distribución: El rendimiento de los modelos cae drásticamente cuando se enfrentan a tipos de preguntas, rúbricas de calificación o patrones de respuesta que difieren de los datos de entrenamiento inicial (cambio de distribución), lo cual es común en entornos educativos donde los currículos evolucionan.

Las soluciones actuales suelen ser sistemas totalmente autónomos (poco fiables) o totalmente manuales (costosos). Se necesita un enfoque híbrido que combine automatización con supervisión humana, pero que sea capaz de adaptarse y cuantificar su propia incertidumbre.

2. Metodología: El Marco CHiL(L)Grader

El artículo presenta CHiL(L)Grader, el primer marco de trabajo automatizado para ASAG que integra la estimación de confianza calibrada en un flujo de trabajo de Humano en el Bucle (Human-in-the-Loop, HiL). La arquitectura se basa en cuatro componentes principales:

A. Ajuste de Instrucción (Instruction-Tuning)

Se utiliza un LLM (en los experimentos, Qwen-2.5-7B-Instruct) que se ajusta finamente (fine-tuning) mediante LoRA (Low-Rank Adaptation) para seguir instrucciones específicas de rúbricas de calificación. El modelo genera una cadena de texto estructurada que contiene la nota predicha y la nota máxima posible.

B. Calibración de Confianza (Post-hoc Temperature Scaling)

Para abordar la sobreconfianza, el sistema aplica escalado de temperatura post-hoc.

• Se calcula la probabilidad logarítmica de todas las notas posibles.
• Se busca una temperatura óptima ($T^*$) en un conjunto de calibración que minimice el Error de Calibración Esperado (ECE).
• Esto transforma las puntuaciones de confianza crudas (no fiables) en estimaciones de probabilidad bien calibradas que reflejan la incertidumbre real del modelo.

C. Predicción Selectiva (Selective Prediction)

Se implementa un umbral de confianza ($\tau$):

• Alta Confianza ($\hat{c} \geq \tau$): La predicción se acepta automáticamente como la nota final.
• Baja Confianza ($\hat{c} < \tau$): El caso se rechaza y se deriva a un evaluador humano para revisión.
• Esto asegura que la experiencia humana se utilice solo donde el modelo es menos fiable, optimizando el esfuerzo del docente.

D. Aprendizaje Continuo con Refuerzo Humano

Las correcciones realizadas por los humanos en los casos rechazados forman un conjunto de datos de supervisión de alta calidad ($H$).

• Replay Augmented Fine-tuning: Para evitar el "olvido catastrófico" (que el modelo olvide lo aprendido anteriormente al aprender nuevas rúbricas), el sistema entrena el modelo utilizando las correcciones humanas ($H$) combinadas con un buffer de replay ($R$) que contiene muestras históricas equilibradas de diferentes escalas de calificación.
• Tras cada ciclo de ajuste fino, el modelo se recalibra para mantener la precisión de la puerta de confianza.

3. Contribuciones Clave

1. Novelidad: Es el primer marco HiL para ASAG que integra calibración de confianza, predicción selectiva y deferral humano principista en un sistema unificado.
2. Fiabilidad: Demuestra que el escalado de temperatura reduce significativamente el ECE, permitiendo que las puntuaciones de confianza sean útiles para la toma de decisiones.
3. Adaptación: Muestra que el aprendizaje continuo basado en HiL permite generalizar bajo cambios de distribución (nuevas preguntas y rúbricas) sin degradar el rendimiento anterior.
4. Efectividad: Reduce la carga de trabajo manual al automatizar una parte significativa de las respuestas con calidad de nivel experto.
5. Reproducibilidad: El código y los modelos están disponibles públicamente.

4. Resultados Experimentales

Los autores evaluaron el sistema en tres conjuntos de datos diversos: DAMI (Minería de Datos, escalas 0-10), SciEntsBank (Ciencias K-6, escala 0-4) y EngSAF (Ingeniería, escala 0-2).

• Calibración: El escalado de temperatura redujo el ECE en un 65% en DAMI y un 53% en EngSAF, llevando a los modelos a una zona de calibración aceptable (ECE < 0.1).
• Rendimiento de Calificación:
  • CHiL(L)Grader logra una calidad de nivel experto (QWK $\geq$ 0.80) en el 35% al 65% de las respuestas de los estudiantes de forma automática.
  • En el conjunto de datos DAMI, tras un ciclo de corrección, el QWK en las respuestas aceptadas saltó de 0.458 a 0.882.
• Brecha de Calidad: Existe una diferencia significativa de +0.347 en QWK entre las predicciones aceptadas (automáticas) y las rechazadas (derivadas a humanos), lo que confirma que el umbral de confianza separa eficazmente los casos confiables de los inciertos.
• Aprendizaje Continuo: El sistema se adapta a nuevas preguntas no vistas (Unseen Questions) y rúbricas, mejorando progresivamente con cada ciclo de corrección humana.
• Ablación: Se demostró que sin el buffer de replay, el modelo sufre olvido catastrófico (el QWK cae a 0.025), y sin calibración, la derivación humana no es efectiva.

5. Significado e Impacto

El trabajo de CHiL(L)Grader es significativo porque cambia el paradigma de la calificación automática:

• Seguridad en Alto Riesgo: Al no depender de la confianza cruda del modelo, sino de una confianza calibrada, el sistema evita la ilusión de seguridad que tienen los LLMs actuales, haciendo viable su uso en entornos educativos formales.
• Eficiencia Operativa: Permite a los educadores escalar la evaluación sin sacrificar la calidad, delegando solo los casos difíciles a humanos y automatizando los claros.
• Adaptabilidad Dinámica: A diferencia de los sistemas estáticos que se vuelven obsoletos cuando cambian los exámenes, CHiL(L)Grader aprende continuamente de la retroalimentación de los profesores, manteniendo su relevancia a lo largo del tiempo.

En conclusión, el artículo establece que la cuantificación de la incertidumbre es la pieza clave para una asistencia de IA fiable en la educación, demostrando que un enfoque híbrido calibrado supera a los sistemas puramente automáticos o puramente manuales.