Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks

A continuación se presenta un resumen técnico detallado del artículo "Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks" de Haldar y Hockenmaier.

1. Planteamiento del Problema

A medida que la Generación de Lenguaje Natural (NLG) se vuelve ubicua, la evaluación de las salidas de los modelos ha pasado de métricas tradicionales (por ejemplo, BLEU, ROUGE) a marcos de trabajo de LLM como Juez, donde los Modelos de Lenguaje Grandes (LLM) asignan puntuaciones o rankings al texto generado. Aunque estos marcos ofrecen escalabilidad y una mejor alineación con las preferencias humanas que las métricas de n-gramas, adolecen de un defecto crítico, a menudo pasado por alto: la baja fiabilidad intra-evaluador (autoconfianza).

Los autores identifican que los jueces LLM exhiben una autoinconsistencia significativa. Cuando el mismo LLM se solicita con las mismas entradas, hiperparámetros y configuraciones en múltiples ejecuciones, frecuentemente produce calificaciones diferentes. Esta variabilidad hace que los juicios individuales sean potencialmente arbitrarios y dificulta determinar la verdadera calidad de las capacidades de evaluación del LLM. Además, los estudios existentes a menudo dependen de métricas como la correlación o la precisión para comparar LLMs con humanos, lo cual no tiene en cuenta el acuerdo por azar, inflando potencialmente la fiabilidad percibida.

2. Metodología

Los autores realizaron un estudio empírico exhaustivo en tres benchmarks de NLG distintos para cuantificar la autoconfianza y su impacto en el rendimiento de la evaluación.

Conjuntos de Datos y Tareas

1. SummaC: Una tarea de clasificación binaria (Consistente vs. Inconsistente) para la consistencia factual en la summarización.
2. SummEval: Una evaluación de resumen multi-métrica utilizando una escala Likert de 1 a 5 en cuatro dimensiones: Coherencia, Consistencia, Fluidez y Relevancia.
3. MT-Bench: Una tarea de ranking de conversaciones multi-turno donde un juez selecciona la mejor respuesta entre dos modelos (Modelo A, Modelo B o Empate).

Configuración Experimental

• Modelos: Se utilizaron tres LLMs como jueces: Llama-3.1-70B-Instruct, DeepSeek-R1-Distill-Qwen y Qwen3-32B.
• Procedimiento: Cada juez se ejecutó tres veces en el mismo conjunto de datos con los mismos prompts y configuraciones para medir la varianza intra-evaluador.
• Métricas de Acuerdo:
  • Alfa de Krippendorff ($\alpha$): La métrica principal utilizada para medir el acuerdo. Se eligió sobre la precisión o la correlación porque corrige el acuerdo por azar y maneja datos faltantes, números variables de evaluadores y diferentes tipos de datos (nominales, ordinales, intervalares).
  • Funciones de Distancia: Distancia nominal para tareas binarias (SummaC); distancia ordinal para escalas Likert y rankings (SummEval, MT-Bench).
  • Precisión Balanceada: Utilizada para SummaC para tener en cuenta el desequilibrio de clases.
• Comparaciones: El estudio comparó:
  • Autoconfianza: Acuerdo de un LLM consigo mismo a través de las ejecuciones.
  • Fiabilidad Inter-evaluador: Acuerdo entre LLMs y jueces humanos (Expertos y Trabajadores de la multitud/Turkers).
  • Impacto en el Rendimiento: El efecto de la "Votación Mayoritaria" (agregando múltiples ejecuciones) frente a "Muestreo Nulo" (configurando la temperatura a 0) sobre el acuerdo con los estándares de oro humanos.

3. Contribuciones Clave

1. Cuantificación de la Autoinconsistencia: El artículo proporciona la primera cuantificación sistemática de la baja fiabilidad intra-evaluador en jueces LLM a través de diversas tareas (resumen, verificación de hechos y diálogo).
2. La Compensación Varianza-Rendimiento: Los autores demuestran un hallazgo contra-intuitivo: Desactivar el muestreo (configurando la temperatura a 0) para forzar salidas deterministas reduce el acuerdo del LLM con los juicios humanos. Esto sugiere que la estocasticidad inherente de los LLM, aunque causa autoinconsistencia, en realidad puede ayudar a explorar el espacio de soluciones para encontrar respuestas más cercanas al consenso humano.
3. Crítica a las Métricas de Evaluación: El estudio destaca que métricas estándar como la Precisión y la Correlación sobreestiman el acuerdo entre LLMs y humanos porque no corrigen el azar. El Alfa de Krippendorff revela niveles de acuerdo significativamente más bajos y más realistas.
4. Variabilidad Específica de la Tarea: La inconsistencia no es uniforme; varía significativamente según la tarea (por ejemplo, menor en MT-Bench que en SummaC) y según la métrica (por ejemplo, la "Fluidez" es notoriamente difícil para que los LLM la califiquen de manera consistente).

4. Resultados Clave

Autoconfianza (Intra-evaluador)

• SummaC: El $\alpha$ de Krippendorff osciló entre 0.32 (Llama 3.1) y 0.79 (Qwen 3). Incluso el mejor modelo (Qwen 3) apenas alcanzó el umbral de 0.8 para un acuerdo "bueno".
• SummEval: La autoconfianza varió según la métrica. Mientras que la Coherencia y la Consistencia mostraron fiabilidad moderada, la Fluidez tuvo una fiabilidad muy baja en todos los modelos.
• MT-Bench: La autoconfianza fue la más baja, con valores de $\alpha$ alrededor de 0.26–0.56. Qwen 3 estuvo de acuerdo consigo mismo en solo el 61.3% de los casos en tres ejecuciones.
• Conclusión: Los jueces LLM son altamente volátiles, a menudo más que los jueces humanos.

Acuerdo con Humanos

• Sesgo de la Métrica: Usando Precisión, los LLM parecían estar de acuerdo con los humanos a altas tasas (por ejemplo, 0.827 para humanos vs. humanos en MT-Bench). Sin embargo, usando el Alfa de Krippendorff, el acuerdo humano-humano cayó a 0.478, y el acuerdo LLM-humano cayó aún más (por ejemplo, Qwen 3 vs. Humanos: 0.426).
• Expertos vs. Multitud: Los expertos humanos mostraron un mayor acuerdo entre sí que los trabajadores de la multitud. Los LLM mostraron un acuerdo modesto con los expertos pero divergieron significativamente de los trabajadores de la multitud, lo que sugiere que los LLM pueden alinearse mejor con el razonamiento de expertos pero aún quedan por debajo del "estándar de oro".

Impacto de las Estrategias de Muestreo

• Votación Mayoritaria: Agregar resultados de múltiples ejecuciones (por ejemplo, tomar la votación mayoritaria de 3 ejecuciones) mejoró el acuerdo con las etiquetas humanas en comparación con una sola ejecución.
• Modo Determinista (Temp=0): Ejecutar el modelo sin muestreo (para eliminar la varianza) degradó el rendimiento. Por ejemplo, en SummaC, la precisión balanceada de Qwen 3 cayó del 80.6% (Votación Mayoritaria) al 79.2% (Sin Muestreo). Esto indica que forzar el determinismo perjudica la capacidad del modelo para alinearse con las preferencias humanas.

5. Significado y Recomendaciones

Significado:
El artículo desafía el paradigma actual de la evaluación de LLM de "ejecución única". Revela que el "estándar de oro" de LLM como Juez es inestable. Si un LLM no puede estar de acuerdo consigo mismo, su utilidad como evaluador confiable se ve comprometida. Los hallazgos sugieren que la naturaleza estocástica de los LLM no es solo un error, sino una característica que ayuda a alcanzar un consenso alineado con los humanos, y eliminarla es perjudicial.

Recomendaciones para Investigaciones Futuras:

1. Reportar Autoconfianza: Los marcos de evaluación deben reportar la fiabilidad intra-evaluador (por ejemplo, Alfa de Krippendorff) junto con el acuerdo inter-evaluador.
2. Usar Métricas Corregidas por Azar: Evitar la Precisión/Correlación para la evaluación de jueces; usar el Alfa de Krippendorff o la Kappa de Cohen.
3. Agregación de Múltiples Ejecuciones: En lugar de una sola inferencia, usar votación mayoritaria o agregación de múltiples ejecuciones para estabilizar las puntuaciones y mejorar la alineación con el juicio humano.
4. No Forzar el Determinismo: Evitar configurar la temperatura a cero para solucionar problemas de consistencia, ya que esto degrada el rendimiento.
5. Medir la Autoconfianza Humana: Los futuros benchmarks deben incluir anotaciones humanas repetidas para establecer un límite superior realista para la autoconfianza de los LLM.

En conclusión, los autores argumentan que, aunque LLM como Juez es una alternativa escalable a la evaluación humana, su implementación actual adolece de una significativa "Ruleta de Calificaciones" (aleatoriedad). Una evaluación robusta requiere reconocer esta variabilidad, utilizar métricas estadísticas apropiadas y aprovechar múltiples ejecuciones de inferencia en lugar de depender de juicios de un solo disparo.