Resumen Técnico: Calibrar, No Curar

Enunciado del Problema

En la evaluación de Modelos de Lenguaje Grandes (LLM) y modelos de recompensa, la comparación por pares con múltiples jueces es el paradigma dominante. La heurística predominante para gestionar paneles de jueces heterogéneos (que van desde casi aleatorios hasta casi expertos) es la curación: seleccionar un subconjunto de los jueces más precisos (top-$k$) y descartar los más débiles para maximizar la precisión puntual.

Sin embargo, los sistemas de evaluación modernos requieren cada vez más salidas probabilísticas calibradas (estimaciones de confianza fiables) en lugar de solo ganadores precisos. Este artículo investiga si la heurística de curación se mantiene cuando el objetivo cambia de la precisión puntual a la estimación probabilística calibrada utilizando un conjunto de calibración etiquetado. La pregunta central es: ¿Deberíamos curar un panel pequeño de jueces de alta precisión o calibrar el panel completo incluyendo a los jueces más débiles?

Metodología

Los autores proponen una tubería estadística de cuatro pasos para la agregación de múltiples jueces, comparando dos ramas: Selección Basada en Precisión (poda top-$k$) versus Inclusión del Panel Completo. Crucialmente, los procedimientos de agregación y calibración se mantienen fijos en ambas ramas para aislar el efecto de la composición del panel de jueces.

La Tubería

1. Agregación Consciente de la Heterogeneidad ($M_\omega$):

   • Los veredictos de los jueces se agregan en una probabilidad cruda utilizando un modelo bayesiano de una moneda integrado.
   • Los pesos de los jueces se derivan de la precisión media posterior ($\alpha_k/(\alpha_k+\beta_k)$) estimada en la partición de calibración.
   • Esto implementa un principio de ponderación por log-odds donde los jueces con precisión incierta ($\alpha_k \approx \beta_k$) reciben un peso cercano a cero, mientras que los jueces fuertes y débiles contribuyen según su fiabilidad aprendida.
   • Nota: El artículo también considera el algoritmo EM de Dawid–Skene como un agregador alternativo.

2. Corrección de Sesgo Residual ($M_{\omega, \delta}$):

   • Un mapa de baja capacidad post-hoc (regresión logística al estilo de Platt) corrige los sesgos globales de escala y desplazamiento en la puntuación agregada.
   • Este paso permite que la clase de modelo se expanda de $M_\omega$ a $M_{\omega, \delta}$ sin aumentar la pérdida calibrada asintótica.

3. Calibración de Distribución ($M_{\omega, \delta, G}$):

   • Se aplica un mapa de calibración Beta a las probabilidades corregidas para garantizar la calibración a nivel de distribución.
   • El mapa $g(p) = \sigma(a \log p + b \log(1-p) + c)$ generaliza la escalación de Platt, permitiendo correcciones asimétricas cerca de los positivos y negativos confiables.
   • Se utiliza regularización de red elástica para evitar el sobreajuste, particularmente cuando los datos de calibración son limitados.

4. Cobertura Conformal (Opcional):

   • La predicción conformal dividida envuelve las probabilidades calibradas para proporcionar garantías de cobertura marginal de muestra finita.

Configuración Experimental

• Conjuntos de datos: Cuatro benchmarks de evaluación por pares etiquetados: JudgeBench, RewardBench, RewardBench 2 y LLMBar.
• Jueces: Paneles que van de 38 a 174 jueces, incluyendo modelos de recompensa nativos y LLMs alojados en API/GPU aumentados.
• Métricas: Negativo Logarítmico de Verosimilitud (NLL) y Puntuación Brier (reglas de puntuación estrictamente propias), Error de Calibración Esperado (ECE) y precisión puntual.
• Protocolo: Particiones de calibración/evaluación 50/50 repetidas sobre 100 permutaciones. La significancia estadística se evalúa mediante pruebas de permutación apareadas a nivel de elemento.

Racional Teórico

El artículo proporciona dos justificaciones teóricas de por qué la inclusión supera a la selección en entornos calibrados:

1. Monotonía del Riesgo Calibrado por Oráculo (Proposición 1):
   Bajo reglas de puntuación estrictamente propias (Brier, NLL), el riesgo calibrado por oráculo es monótono con respecto al conjunto de jueces. Si $S \subseteq T$, entonces $R(T) \leq R(S)$. Añadir jueces no puede aumentar la pérdida calibrada óptima porque proporciona información condicional adicional ($I(Y; X_{T \setminus S} | X_S) \geq 0$).

2. Teorema del Jurado Calibrado (Teorema 1):
   Extendiendo el Teorema del Jurado de Condorcet, los autores muestran que incluso los jueces "anti-expertos" (precisión $p_k < 0.5$) contribuyen positivamente al límite de error si su sesgo es aprendible. El peso óptimo $\alpha_k = \log(p_k / (1-p_k))$ invierte el voto de un anti-experto en lugar de descartarlo. Mientras los jueces no sean ruido puro ($p_k \neq 0.5$), sus señales son no redundantes y mejoran la descomposición exponencial del límite de error.

Resultados Clave

1. Reversión de la Calibración

El hallazgo principal es una reversión de la compensación selección-inclusión:

• Sin calibrar: Podar a los jueces débiles (top-$k$) a menudo mejora la precisión cruda y a veces el NLL crudo al eliminar señales extremas de baja calidad.
• Calibrado: Después de aplicar la calibración Beta, utilizar el panel completo de jueces supera consistentemente a la selección basada en precisión.
  • En RewardBench 2, retener a todos los jueces logró un NLL de 0.006, en comparación con 0.013 para la selección top-5 (reduciendo a la mitad el error de calibración).
  • Se observaron ganancias similares en JudgeBench (+19% de reducción de NLL), RewardBench (+31%) y LLMBar (+22%).

2. Robustez frente a Curadores Más Fuertes

La ventaja de la inclusión del panel completo persiste incluso frente a líneas base de poda más fuertes:

• Selección Avanzada Codiciosa: Seleccionar jueces para minimizar el NLL calibrado en la partición interna no logró superar al panel completo.
• Regresión Logística Esparsa $\ell_1$: No logró esparsificar el panel, recuperando efectivamente el conjunto completo.
• Top-5 Oráculo: Incluso con conocimiento perfecto de la precisión del conjunto de prueba, seleccionar solo 5 jueces no pudo igualar el rendimiento calibrado del panel completo.
• Búsqueda de Subconjuntos: La búsqueda exhaustiva en familias desduplicadas y la búsqueda por haz en paneles completos confirmaron que la inclusión es o bien la ganadora o está estadísticamente empatada (siendo el panel completo la opción predeterminada más simple).

3. Papel del Desacuerdo

El artículo explica que los jueces débiles aportan valor a través del desacuerdo. Sus votos marcan elementos inciertos y producen probabilidades menos extremas, lo cual el calibrador puede aprender a confiar. La poda basada en la precisión elimina esta información, mientras que la calibración del panel completo la retiene y aprende los niveles de confianza apropiados.

4. Diagnósticos de Presupuesto y Alcance

• Presupuesto de Etiquetas: La ventaja de la inclusión es más pronunciada con presupuestos de calibración pequeños (por ejemplo, en RewardBench, la inclusión del panel completo alcanza un NLL de 0.01 con solo 75 etiquetas, mientras que el top-5 requiere >300).
• Casos Límite: La inclusión falla solo cuando los jueces son patológicos (por ejemplo, veredictos no analizables, fiabilidad por debajo del azar sin sesgo aprendible) o cuando el panel ya está saturado (jueces redundantes en el límite de nitidez). Los autores proponen diagnósticos operativos (analizabilidad, no saturación, compatibilidad del agregador) para filtrar dichos casos.

Significancia y Afirmaciones

El artículo afirma presentar la primera evidencia sistemática de una reversión de la calibración en la evaluación de LLM con múltiples jueces. Su importancia radica en cambiar el principio operativo para los regímenes de evaluación etiquetada:

• No descartar a los jueces débiles solo por precisión.
• Mantenerlos si son analizables, no redundantes y calibrables.
• La señal "débil" de un panel diverso, cuando se agrega y calibra adecuadamente, proporciona más información sobre la incertidumbre y las respuestas correctas que un subconjunto curado de jueces "fuertes".

Los autores enfatizan que este resultado se aplica específicamente a benchmarks etiquetados con datos de calibración retenidos. En la evaluación abierta sin verdad fundamental, la capacidad de aprender sesgos de los jueces y calibrar probabilidades no está disponible, y la heurística de curación puede seguir siendo válida. El trabajo sugiere que en regímenes etiquetados, la compensación de presupuesto favorece retener un panel diverso de jueces e invertir en datos de calibración sobre curar un panel pequeño de alta precisión.