When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment

Resumen Técnico: Calibración de la Confianza en Evaluadores LLM para la Evaluación Automatizada

1. El Problema

Los Modelos de Lenguaje Grande (LLM) muestran un gran potencial para la calificación automatizada de respuestas estudiantiles. Sin embargo, su fiabilidad es cuestionable: a menudo cometen errores aritméticos, discrepan con evaluadores humanos y su rendimiento se degrada significativamente con trabajos de baja calidad.
El problema central no es solo mejorar la precisión bruta de la calificación, sino predecir cuándo un LLM es probable que tenga razón. Sin esta capacidad, la automatización total conlleva riesgos de errores no detectados. La solución propuesta es la automatización selectiva: procesar automáticamente las predicciones de alta confianza y derivar los casos inciertos a revisión humana. Para ello, es crucial que las puntuaciones de "confianza" del modelo estén bien calibradas (es decir, que una confianza del 80% corresponda realmente a un 80% de precisión).

2. Metodología

Los autores evaluaron sistemáticamente tres métodos para estimar la confianza en las predicciones de calificación binaria (correcto/incorrecto) de LLMs:

1. Confianza Auto-reportada (Self-Reported): Se solicita al modelo que genere explícitamente un veredicto (sí/no) y una puntuación numérica de confianza (1-10) en una sola llamada.
2. Auto-consistencia (Self-Consistency): Se generan múltiples muestras estocásticas ($n=5$) de la misma entrada. La confianza se define como la fracción de votos mayoritarios (ej. 5/5 acuerdos = 1.0).
3. Probabilidad de Token (Token Probability): Se utiliza la distribución de probabilidad interna del modelo sobre los tokens de "sí" o "no" en la salida JSON, agregando las masas de probabilidad de las variantes de mayúsculas/minúsculas.

Configuración Experimental:

• Modelos: Se probaron 7 LLMs de diferentes escalas (de 4B a 120B parámetros), incluyendo variantes de Llama, Qwen y GPT-OSS.
• Datasets: Tres conjuntos de datos educativos:
  • RiceChem: Respuestas largas de química.
  • SciEntsBank: Respuestas cortas de ciencias.
  • Beetle: Respuestas cortas de electrónica y circuitos.
• Métricas de Evaluación:
  • ECE (Error de Calibración Esperado): Mide la diferencia promedio entre la confianza declarada y la precisión real. (Menor es mejor).
  • Puntuación Brier: Error cuadrático medio entre la confianza y la corrección binaria.
  • AUC-ROC: Capacidad de discriminación (ordenar correctamente las predicciones correctas vs. incorrectas).
  • Cobertura a Riesgo Fijo: Qué porcentaje de predicciones se pueden automatizar manteniendo un nivel de error aceptable.

3. Contribuciones Clave y Hallazgos

A. La Confianza Auto-reportada es Superior
Contrario a la intuición de que métodos más costosos como la auto-consistencia serían mejores, el estudio encontró que pedir al modelo que reporte su confianza explícitamente ofrece la mejor calibración.

• Rendimiento: La confianza auto-reportada logró un ECE promedio de 0.166, frente a 0.229 para la auto-consistencia y 0.235 para la probabilidad de token.
• Eficiencia: La auto-consistencia requiere 5 veces más coste de inferencia (5 llamadas vs 1) y aún así rinde un 38% peor en calibración.
• Granularidad: La auto-consistencia produce valores discretos (ej. 0.6, 0.8, 1.0), mientras que la auto-reportada ofrece un espectro continuo, permitiendo umbrales más finos.

B. La Escala del Modelo Mejora la Precisión, pero la Calibración es Mixta

• Los modelos más grandes (≥70B parámetros) son consistentemente más precisos en todos los datasets.
• Sin embargo, la mejora en la calibración no es lineal ni universal; depende del dataset y del método. Por ejemplo, en SciEntsBank, el aumento de escala redujo el ECE en un 28% para el método auto-reportado, pero en RiceChem la mejora fue mínima.
• El modelo GPT-OSS-120B con confianza auto-reportada obtuvo el mejor rendimiento global (ECE promedio de 0.100).

C. El Fenómeno del "Suelo de Confianza" (Top-Skewed)
Se observó una distribución de confianza fuertemente sesgada hacia valores altos:

• El 86% de las predicciones superaron una confianza de 0.8.
• Menos del 1% cayó por debajo de 0.2.
• Implicación: Esto crea un "suelo" de confianza. Los umbrales de decisión no pueden basarse en puntos medios intuitivos (como 0.5), sino que deben calibrarse específicamente según la distribución observada de cada modelo y método.

4. Resultados Cuantitativos Destacados

• Mejor Modelo: GPT-OSS-120B con confianza auto-reportada logró un ECE promedio de 0.100 y un AUC de 0.668.
• Comparación de Métodos:
  • Self-Reported: ECE = 0.166 (Promedio global).
  • Self-Consistency: ECE = 0.229 (Peor rendimiento a mayor coste).
  • Token Probability: ECE = 0.235.
• Cobertura Automatizada: Incluso con modelos de alto rendimiento y un umbral de riesgo estricto (5% de error), solo se puede automatizar entre el 11% y el 20% de las predicciones. Esto indica que, bajo estándares de fiabilidad estrictos, la automatización total no es viable actualmente; la colaboración humano-IA es necesaria.

5. Significado e Implicaciones Prácticas

Este trabajo cambia el paradigma de la evaluación automatizada:

1. Simplicidad Efectiva: No se necesitan métodos complejos de muestreo o ensembles costosos. Simplemente pedir al LLM que "diga qué tan seguro está" es la estrategia más eficiente y precisa.
2. Implementación de Automatización Selectiva: Los educadores pueden configurar sistemas donde el LLM califica automáticamente solo cuando su confianza supera un umbral dinámico (ajustado a la distribución del modelo), derivando el resto a humanos.
3. Advertencia de Sesgo: Los practicantes deben ser conscientes de que los LLMs tienden a ser excesivamente optimistas (confianza alta). Ignorar la distribución sesgada de la confianza puede llevar a automatizar demasiados casos erróneos.

En conclusión, el estudio demuestra que la confianza auto-reportada es la señal más fiable para identificar cuándo confiar en un calificador LLM, permitiendo una colaboración humano-IA más segura y eficiente en entornos educativos.