Confidence Estimation in Automatic Short Answer Grading with LLMs

A continuación se presenta un resumen técnico detallado del artículo "Estimación de la confianza en la calificación automática de respuestas cortas con LLM".

1. Planteamiento del Problema

La calificación automática de respuestas cortas (ASAG) utilizando Modelos de Lenguaje Grandes (LLM) ha demostrado un rendimiento sólido sin necesidad de ajuste fino específico para la tarea y puede generar retroalimentación sintética. Sin embargo, la calificación basada en LLM no es perfecta debido a la variabilidad lingüística, criterios de puntuación ambiguos y el desacuerdo inherente entre los calificadores humanos.

En la evaluación educativa con Humanos en el Bucle (HITL), los sistemas deben decidir qué respuestas calificar automáticamente y cuáles derivar a expertos humanos. Esto requiere una estimación de confianza fiable. Los desafíos actuales incluyen:

• Estudio Insuficiente: La mayoría de la investigación existente sobre estimación de confianza se centra en Modelos de Lenguaje Preentrenados (PLM), no en LLM generativos.
• Sesgo Centrado en el Modelo: Los métodos existentes dependen exclusivamente de señales basadas en el modelo (incertidumbre epistémica), ignorando la incertidumbre derivada del conjunto de datos (incertidumbre aleatoria) que surge de respuestas estudiantiles ambiguas o mal especificadas.
• Falta de Fiabilidad: Las puntuaciones de confianza a menudo se utilizan para umbralización simple sin un análisis riguroso de fiabilidad, lo que conduce a una sobreconfianza o mala calibración en decisiones educativas críticas.

2. Metodología

Los autores proponen un Marco Híbrido de Confianza que integra señales de confianza basadas en el modelo con una estimación explícita de la incertidumbre aleatoria derivada del conjunto de datos.

A. Señales de Confianza Basadas en el Modelo (Incertidumbre Epistémica)

El estudio evalúa tres estrategias distintas para extraer la confianza de un LLM (específicamente gpt-oss-20b):

1. Verbalización: Solicitar al modelo que genere explícitamente una puntuación de confianza (probabilidad) junto con su decisión de calificación.
2. Latente: Calcular la verosimilitud logarítmica normalizada del token de etiqueta predicho utilizando la distribución de probabilidad interna del modelo (softmax sobre los tokens de etiqueta).
3. Consistencia: Muestrear múltiples predicciones a temperaturas variables (de 0.2 a 1.0) y medir la frecuencia con la que el modelo devuelve la misma etiqueta (estabilidad).

Nota: Todas las puntuaciones están orientadas de modo que valores más altos indican mayor confianza en que una respuesta es correcta.

B. Incertidumbre Derivada del Conjunto de Datos (Incertidumbre Aleatoria)

Para capturar la ambigüedad inherente a los datos (por ejemplo, respuestas que son semánticamente similares pero tienen etiquetas humanas conflictivas), los autores operacionalizan la incertidumbre aleatoria mediante la heterogeneidad semántica:

1. Incrustación: Las respuestas estudiantiles se incrustan utilizando all-MiniLM-L6-v2.
2. Agrupamiento: El agrupamiento jerárquico aglomerativo (enlace de Ward) agrupa respuestas semánticamente similares.
3. Cuantificación de la Heterogeneidad: Para cada grupo, se calcula la entropía de Shannon de la distribución de etiquetas. Una alta entropía indica que respuestas semánticamente similares reciben puntuaciones diferentes de los calificadores humanos, lo que significa una alta ambigüedad.
4. Asignación: Las respuestas de prueba se asignan el valor de entropía de su centroide de grupo más cercano.

C. Fusión de Confianza

Las señales basadas en el modelo ($s_{verb}, s_{lat}, s_{cons}$) y el proxy de incertidumbre aleatoria ($s_{alea}$) se combinan en un vector de características.

• Clasificador: Se entrena un clasificador de Bosque Aleatorio para mapear estas características a la probabilidad de una calificación correcta.
• Calibración: Las probabilidades de salida se calibran post-hoc utilizando escalado de Platt (mediante validación cruzada de 5 pliegues) para asegurar que las probabilidades predichas coincidan con las frecuencias empíricas.
• Línea Base: También se entrena una variante "Híbrida (sin aleatoriedad)" para aislar la contribución de la incertidumbre derivada del conjunto de datos.

D. Métricas de Evaluación

• Predicción Selectiva: Medida mediante curvas ROC (AUROC) y Curvas de Precisión-Rechazo (AUARC). Esto evalúa la capacidad de filtrar errores de baja confianza.
• Fiabilidad: Medida mediante Diagramas de Fiabilidad, Puntuación Brier, Error de Calibración Esperado (ECE) y Error Máximo de Calibración (MCE). Esto evalúa si una confianza predicha de $p$ corresponde realmente a una precisión del $p$%.

3. Contribuciones Clave

1. Comparación Sistemática: El primer estudio sistemático que compara estrategias de confianza basadas en verbalización, latencia y consistencia específicamente para ASAG con LLM.
2. Marco Híbrido: Propuesta de un método novedoso que fusiona la confianza basada en el modelo con la heterogeneidad semántica para estimar la incertidumbre aleatoria, abordando la limitación de los enfoques que solo consideran el modelo.
3. Validación Empírica: Demostración de que las puntuaciones de confianza híbridas superan significativamente a los métodos de fuente única tanto en la precisión de la calificación selectiva como en la fiabilidad de la calibración, proporcionando una base principista para la evaluación HITL.

4. Resultados Experimentales

Los experimentos se realizaron en SciEntsBank, un conjunto de datos de aproximadamente 11,000 respuestas cortas de ciencias.

• Rendimiento de Predicción Selectiva:

  • Fuente Única: La confianza latente tuvo el peor rendimiento (AUROC más bajo). La verbalización y la consistencia tuvieron un rendimiento moderado.
  • Híbrido: El modelo híbrido que incorpora incertidumbre aleatoria logró el AUROC más alto (0.885) y el AUARC más alto (0.876).
  • Impacto: Con una tasa de rechazo del 40% (filtrando el 40% de menor confianza), el modelo híbrido logró una precisión del 90.0% en las respuestas restantes, en comparación con el 70.4% sin selección. El modelo híbrido sin incertidumbre aleatoria fue competitivo pero consistentemente inferior, demostrando el valor de modelar la ambigüedad de los datos.

• Fiabilidad y Calibración:

  • Fuente Única: La verbalización mostró sobreconfianza (MCE alto). La latencia estaba mal calibrada. La consistencia tuvo un error promedio bajo pero un error máximo alto (fallos localizados).
  • Híbrido: El modelo híbrido con incertidumbre aleatoria logró la puntuación Brier más baja (0.138) y el MCE más bajo (0.100). Rastreó estrechamente la diagonal en los diagramas de fiabilidad, lo que indica que sus puntuaciones de confianza son altamente confiables.

5. Significado y Conclusión

• Más allá de las Señales del Modelo: El artículo establece que la confianza basada en el modelo por sí sola es insuficiente para ASAG. La ambigüedad en las respuestas estudiantiles (incertidumbre aleatoria) es una fuente distinta de error que debe modelarse explícitamente.
• Despliegue Seguro de IA: Al proporcionar puntuaciones de confianza bien calibradas, el marco propuesto permite una colaboración más segura entre humanos e IA. Los educadores pueden confiar en que el sistema califica automáticamente las respuestas de alta confianza mientras señala los casos ambiguos para revisión humana.
• Soporte de Decisiones Práctico: El uso de Curvas de Precisión-Rechazo (ARC) ofrece una herramienta práctica para que los educadores equilibren la precisión de la calificación frente al costo de la revisión manual, yendo más allá de la selección arbitraria de umbrales.

En resumen, este trabajo avanza el campo de la educación asistida por IA al demostrar que integrar la heterogeneidad de datos semánticos con las señales de confianza de los LLM crea un sistema de calificación más robusto, fiable e interpretable, adecuado para su implementación en el mundo real.