Resumen Técnico: Los Jueces de LLM tienen Corriente Oscura

Declaración del Problema

El artículo aborda una brecha crítica en la infraestructura de evaluación de los Modelos de Lenguaje Extensos (LLM). Si bien los sistemas de "LLM-como-Juez" se han convertido en el estándar práctico para comparar salidas de modelos abiertos debido a los problemas de costo y reproducibilidad de la anotación humana, estos jueces son tratados actualmente como meros dispositivos de puntuación. Normalmente se reportan utilizando métricas escalares como la precisión, la tasa de victoria o el acuerdo.

Los autores argumentan que, una vez que un juez se utiliza para validar otro sistema, funciona como un instrumento de medición. Como cualquier instrumento físico, posee propiedades intrínsecas que deben caracterizarse antes de que sus lecturas puedan ser confiables. Específicamente, los jueces pueden exhibir:

• Corriente Oscura (Dark Current): Preferencias falsas generadas en ausencia de cualquier señal evaluativa (por ejemplo, en entradas vacías o idénticas).
• Sesgo Posicional: Preferencias impulsadas por el orden de presentación en lugar del contenido.
• Sensibilidad Cruzada: Sensibilidad a variaciones de molestia (forma superficial) en lugar del constructo objetivo.
• Deriva del Criterio: Variaciones en el punto de operación (empate vs. preferencia) inducidas por el prompting.

El artículo postula que reportar solo resultados escalares oculta estos distintos modos de falla, lo que podría conducir a afirmaciones científicas posteriores inválidas.

Metodología: El Protocolo de la Ficha Técnica del Juez (Judge Datasheet)

Para abordar esto, los autores introducen un protocolo de Ficha Técnica del Juez, un marco metrológico diseñado para medir al juez mismo antes de que sea utilizado para medir otros modelos. El protocolo se fundamenta en la psicofísica y la Teoría de Detección de Señales (SDT), utilizando una escalera de estímulos controlada constructivamente.

Componentes Principales

1. Entradas de Vacío Verdadero (A0): El protocolo prueba al juez con entradas que no poseen señal evaluativa, incluyendo cadenas vacías, espacios en blanco y pares idénticos no vacíos. Esto mide la Corriente Oscura (DC), definida como la tasa de preferencia falsa cuando no existe señal.
2. Escalera de Calidad Controlada (A1): Se construye un estímulo de cadena de prefijos donde las respuestas de mayor calidad son superconjuntos estrictos de las de menor calidad. Esto crea una escalera de diferencias de calidad de dominancia de Pareto ($\Delta Q$) para medir la Sensibilidad al Objetivo.
3. Descomposición de Estabilidad de Dirección ($\Delta 0$): Para pares de la misma calidad, el protocolo evalúa tanto los órdenes de presentación (A, B) como (B, A). Descompone la preferencia falsa bruta en:
   • Sensibilidad Cruzada Estable (SCS): Preferencias estables de contenido que persisten independientemente del orden (indicando sensibilidad a la forma superficial).
   • Preferencia Falsa Posicional (PFP): Preferencias impulsadas por el espacio de presentación (por ejemplo, elegir siempre el espacio 1), que revierten la dirección del contenido canónico al revertir el orden.
   • Compromiso Unilateral (OSC): Casos donde se realiza una preferencia en un solo orden.
   • Sin Preferencia: Empates válidos o abstenciones.
4. Sondeo de Cambio de Criterio: El protocolo prueba cómo el cambio de prompt (por ejemplo, imponer un criterio de "empate estricto") desplaza el punto de operación sin alterar la resolución del estímulo subyacente.

Métricas

El protocolo reporta cantidades específicas incluyendo Corriente Oscura, $\Delta 0$ de Preferencia Falsa Bruta, Sensibilidad Cruzada Estable, Preferencia Falsa Posicional, Sensibilidad al Objetivo ($P_{correct}$), Umbral de Detección ($\Delta^*_{75}$) y tasas de Error por Empate (Miss-by-Tie).

Contribuciones Clave

El artículo realiza cinco contribuciones específicas:

1. Protocolo de Ficha Técnica del Juez: Un marco de medición estandarizado que combina pruebas de vacío verdadero, escaleras de calidad controladas y sondeo de cambio de criterio.
2. Descomposición de Estabilidad de Dirección: Un método para separar la preferencia falsa de la misma calidad en sensibilidad cruzada estable, sesgo posicional y compromisos unilaterales, revelando que una alta preferencia falsa no implica necesariamente una sensibilidad de contenido estable.
3. Escalera de Estímulos Controlados: Un diseño de cadena de prefijos con dominancia de Pareto y controles específicos para variantes de $\Delta 0$ de mismo subconjunto y diferentes subconjuntos.
4. Estudio de Caso de Tres Jueces: Una evaluación empírica de Llama-3.1-8B, Qwen2.5-14B y Qwen2.5-32B, demostrando perfiles metrológicos distintos.
5. Evidencia de Cambio de Criterio: Demostración de que el prompting puede mover el criterio de empate/preferencia (reduciendo los falsos positivos) pero no aumenta la resolución de la medición (no puede detectar señales por debajo del piso de ruido inherente del instrumento).

Resultados

El estudio de caso revela que los tres jueces ocupan perfiles metrológicos fundamentalmente diferentes, que quedarían ocultos por el reporte escalar:

• Llama-3.1-8B: Exhibe una alta Corriente Oscura (0.667) y una $\Delta 0$ de preferencia falsa bruta de 1.0. Sin embargo, su Sensibilidad Cruzada Estable es insignificante (0.033), mientras que su Preferencia Falsa Posicional es extremadamente alta (0.967). Se caracteriza como "En conflicto de presentación", lo que lo hace inadecuado para comparaciones de la misma calidad pero potencialmente útil para la depuración de procesos (pipelines).
• Qwen2.5-14B: Muestra cero Corriente Oscura y alta sensibilidad al objetivo. Sin embargo, su $\Delta 0$ de preferencia falsa bruta (0.992) es una mezcla de Sensibilidad Cruzada Estable (0.45) y Preferencia Falsa Posicional (0.53). Es etiquado como "Mixto estable-posicional".
• Qwen2.5-32B: Demuestra el perfil más limpio con cero Corriente Oscura, cero Sensibilidad Cruzada Estable y baja Preferencia Falsa Posicional (0.083). Se describe como "Limpio de vacío" (Vacuum-clean) con bajos artefactos.
• Cambio de Criterio: Aplicar un prompt de empate estricto a Qwen-32B eliminó su $\Delta 0$ de preferencia falsa (reduciéndolo a 0.0) pero absorbió señales de objetivo $\Delta 1$ marginales en empates. Crucialmente, la sensibilidad $\Delta 5$ se preservó y no se introdujeron errores de "elección incorrecta". Esto confirma que el prompting mueve el criterio, no la resolución.

Reivindicaciones y Significado

Los autores mantienen un alcance modesto respecto a sus afirmaciones:

• Sin Validación de Procesos Posteriores: El artículo no confirma la "hipótesis del mecanismo descendente" (orientación en la evaluación de LLM) que motivó el trabajo. No valida el mecanismo de orientación en sí mismo.
• Sin Tendencias Universales: Los autores no reclaman una tendencia universal de tamaño-familia ni que Qwen-32B sea un evaluador de propósito general. Los resultados son específicos para esta familia de estímulos controlados.
• Metrología Primero: La contribución principal es el protocolo de la Ficha Técnica del Juez en sí. El artículo sostiene que antes de realizar cualquier afirmación científica posterior usando un juez de LLM, el dispositivo de medición debe caracterizarse para la corriente oscura, el sesgo y la sensibilidad.
• Insuficiencia Escalar: Los resultados demuestran que las tasas de victoria escalares o los puntajes de acuerdo son insuficientes porque colapsan distintos modos de falla (por ejemplo, sesgo posicional frente a sensibilidad cruzada estable) en un solo número.

En resumen, el artículo establece una línea base metrológica para la evaluación de LLM, afirmando que "los jueces de LLM son instrumentos de medición" que requieren una medición multiaxial para asegurar la validez de la evidencia que producen.