Resumen Técnico: La Geometría de LLM-as-Judge

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) se han convertido en el estándar para evaluar la generación abierta, pero persiste una asimetría estructural crítica: los jueces LLM están fuertemente de acuerdo entre sí, pero acuerdan solo débilmente con los evaluadores humanos. Este fenómeno suele interpretarse ya sea como una alta fiabilidad (lo que respalda los métodos de ensamble) o como un sesgo compartido (lo que socava la validez de la evaluación por LLM). El artículo argumenta que, sin una prueba estructural, estas dos lecturas son indistinguibles. El problema central es determinar si el consenso inter-LLM representa una alineación genuina con el juicio humano o simplemente un "consenso dentro de un subespacio colapsado" donde los jueces comparten sesgos pero omiten el eje de la evaluación humana.

Metodología

Los autores proponen un marco geométrico para formalizar el LLM-as-judge como un operador de proyección de rango deficiente sobre un manifold de calidad latente. Evalúan cuatro cantidades geométricas específicas a través de cuatro conjuntos de datos Indic construidos por la comunidad, ocho lenguas Indic y 41 jueces LLM (incluyendo variantes base, ajustadas mediante fine-tuning, optimizadas por preferencia y calibradas):

1. Dispersión de puntuación ($\sigma_J / \sigma_H$): Mide la compresión del rango de puntuación del juez con respecto a los humanos.
2. Rango efectivo ($r_{95}$): Determina la dimensionalidad de la varianza capturada por el juez en comparación con los humanos.
3. Ángulo principal ($\theta$): Calcula el ángulo entre el subespacio de evaluación del juez y el subespacio humano.
4. Correlaciones apiladas: Compara el acuerdo inter-LLM ($r_{LL}$) frente al acuerdo LLM-humano ($r_{LH}$).

El estudio utiliza dos benchmarks principales:

• Community-Health: Un benchmark de asesoría médica con cuatro rúbricas subjetivas (claridad, utilidad, precisión, completitud) y etiquetas pareadas de tipo independiente/comparativo.
• Real-World Cultural QA (DLQ): Tres dominios (salud y bienestar, finanzas, vida cotidiana) que cubren ocho lenguas Indic, con rúbricas tanto subjetivas (aceptabilidad lingüística, alucinaciones) como una rúbrica fáctica verificable (calidad de la tarea).

Los autores emplean intervalos de bootstrap (1,000 réplicas) para la inferencia estadística y descomponen los deltas de entrenamiento en componentes de "estiramiento" (amplificación de los rankings base), "rotación" (movimiento hacia el eje humano) y "residuo" (reordenamiento).

Contribuciones Clave

1. Diagnóstico Geométrico del Consenso: El artículo establece que el acuerdo inter-LLM en rúbricas subjetivas no es evidencia de alineación humana. En su lugar, los jueces colapsan en un subespacio redundante de bajo rango que es casi ortogonal al eje de evaluación humana.
2. La Condición Límite: El estudio identifica una frontera nítida entre las rúbricas objetivas y las subjetivas. En las rúbricas con respuestas fácticas verificables, las firmas geométricas (ángulo, rango, dispersión) se alinean con los rangos humanos, mientras que en las rúbricas subjetivas, divergen significamente.
3. Análisis de la Dinámica de Entrenamiento: Los autores demuestran que las técnicas de entrenamiento estándar (Fine-tuning, Direct Preference Optimization) restauran principalmente la dispersión de la puntuación ($\sigma$), pero fallan en rotar el eje de evaluación hacia el subespacio humano. Solo la calibración post-hoc sobre un conjunto pequeño anclado por humanos mejora el desempeño en todas las rúbricas, aunque no alcanza plenamente la fiabilidad humana.
4. Topología del Subespacio: El análisis revela que el consenso inter-LLM es impulsado por datos y objetivos de pre-entrenamiento compartidos, creando una fuerte covarianza intra-familia, mientras que el subespacio humano permanece distinto y multidimensional incluso tras eliminar la dispersión de la puntuación.

Resultados Empíricos

• Rúbricas Subjetivas: En tareas subjetivas, los jueces LLM utilizan menos de la mitad del rango de puntuación humano ($\sigma_J / \sigma_H \approx 0.3\text{--}0.5$). Su eje de evaluación es casi ortogonal al humano ($87\text{--}89^\circ$ frente a los ángulos inter-evaluador humanos de $78\text{--}81^\circ$). El acuerdo inter-LLM ($r_{LL} \approx 0.35$) supera significativamente al acuerdo LLM-humano ($r_{LH} \approx 0.27\text{--}0.32$).
• Rúbricas Objetivas: En la rúbrica fáctica verificable, la brecha geométrica se cierra. El ángulo principal cae a $58.5^\circ$ (dentro del suelo humano), y el acuerdo LLM-humano aumenta a $0.519$, igualando al acuerdo inter-LLM ($0.530$).
• Efectos del Entrenamiento: El fine-tuning y la optimización de preferencias aumentan la relación de dispersión de puntuación de $0.32$a$1.08$, pero apenas mueven el ángulo principal (manteniéndose en $87\text{--}88^\circ$). Una descomposición de los deltas de entrenamiento muestra que la rotación hacia el eje humano constituye $\le 3\%$ del cambio total; el resto es "estiramiento" (amplificación de los rankings base existentes) o "reordenamiento".
• Calibración: La calibración post-hoc sobre un conjunto pequeño anclado por humanos logra elevar las cuatro rúbricas de Community-Health, situando a un juez de 24B Indic calibrado ($r=0.184$) por delante de un modelo de frontera como gpt-5.5 ($r=0.123$), aunque todavía por debajo de la fiabilidad humana ($r_{HH} \approx 0.474$ en la rúbrica fáctica).

Significado y Reivindicaciones

El artículo sostiene que el acuerdo inter-LLM debe contar como evidencia de alineación humana solo cuando un chequeo geométrico directo sobre el subespacio de puntuación del juez pase la prueba. Sin dicho chequeo, el alto consenso entre los LLM simplemente indica que todos están proyectando sobre el mismo subespacio de bajo rango y legible para el modelo, ignorando efectivamente los matices multidimensionales y culturalmente situados del juicio humano.

Los autores concluyen que, para la evaluación subjetiva y culturalmente situada en el mundo real, incluso los ensambles de LLM que pasan la prueba geométrica no eliminan la necesidad de un humano en el bucle. El "consenso" observado en los jueces LLM es a menudo un colapso de perspectiva en lugar de una verdadera alineación, y las técnicas de entrenamiento disponibles actualmente corrigen la dispersión de las puntuaciones, pero no la orientación del eje de evaluación. Por lo tanto, el juicio humano matizado y multiperspectivo sigue siendo una señal crítica que no puede ser totalmente reemplazada por los paradigmas actuales de LLM-as-judge.