Resolution Diagnostics for Paired LLM Evaluation

Resumen Técnico: Diagnósticos de Resolución para la Evaluación Emparejada de LLM

Declaración del Problema
Las tablas de clasificación modernas de Modelos de Lenguaje Grandes (LLM) frecuentemente rankean modelos basándose en diferencias en puntos porcentuales derivadas de benchmarks de prompts compartidos. Aunque una diferencia destacada (por ejemplo, 78,3 % frente a 77,5 %) impulsa decisiones de producto y narrativas, la afirmación estadística de que un modelo es significativamente mejor que otro depende de si el tamaño del benchmark y la estructura de los datos proporcionan una resolución suficiente para distinguir la diferencia del ruido de muestreo.

El artículo identifica una brecha crítica en las prácticas actuales de evaluación: muchas clasificaciones emparejadas mostradas en tablas de clasificación públicas no cumplen con los objetivos de resolución de pruebas emparejadas convencionales (específicamente $\alpha=0,05$ y potencia $1-\beta=0,8$). Los autores argumentan que las calculadoras de potencia estándar y los protocolos de evaluación a menudo ignoran la naturaleza emparejada de los benchmarks de prompts compartidos, lo que lleva a comparaciones con potencia insuficiente. Específicamente, el artículo destaca que:

1. En la Open LLM Leaderboard (OLL) v1, 11 de 40 comparaciones emparejadas están sin resolver.
2. En el top-10 de MMLU-Pro, 4 de 9 pares de rangos adyacentes están sin resolver con el tamaño real del benchmark ($N=12.032$).
3. Los "atajos" comunes para calcular los tamaños de muestra requeridos en configuraciones emparejadas (por ejemplo, aplicar una corrección $(1-\rho)$ a la $h$ de Cohen no emparejada) subestiman sistemáticamente el tamaño de muestra requerido en un factor de aproximadamente dos en regímenes de comparación cercana.

Metodología
Los autores enmarcan la evaluación emparejada de LLM como un problema de prueba de hipótesis y derivan un marco de informes de resolución invirtiendo pruebas de nivel-$\alpha$ y potencia-$(1-\beta)$.

• Ratio de Resolución ($q$): El diagnóstico principal se define como $q = N / N^\star$, donde $N$ es el tamaño real del benchmark y $N^\star$ es el tamaño de muestra requerido para detectar una diferencia observada $\hat{\delta}$ con la potencia objetivo. Una diferencia se considera "resuelta" si $q \ge 1$.
• Varianza Emparejada: Para la precisión binaria, el tamaño de muestra requerido $N^\star$ se deriva utilizando la fórmula de McNemar-Connor, que tiene en cuenta la varianza de la diferencia emparejada $\sigma_D^2 = p_A q_A + p_B q_B - 2\rho\sqrt{p_A q_A p_B q_B}$. Esto contrasta con las fórmulas no emparejadas que inflan el $N$ requerido al ignorar la covarianza $\rho$.
• El Lema del Atajo (Lema 1): El artículo proporciona una expansión aguda de efectos pequeños que caracteriza el fracaso del atajo ampliamente utilizado de "$h$ de Cohen no emparejada más $(1-\rho)$". Los autores demuestran que para tamaños de efecto pequeños $\delta$, la relación entre la estimación del atajo ($n_h$) y la estimación emparejada correcta ($N^\star$) converge a $1/2$ con una constante explícita de segundo orden $C(p, \rho)$. Esto explica por qué las herramientas que aplican $(1-\rho)$ a una salida no emparejada por brazo subestiman sistemáticamente $N^\star$ en aproximadamente la mitad en regímenes de comparación cercana.
• Extensiones: El marco integra:
  • Corrección de Multiplicidad: Ajuste para tasas de error familiar (Bonferroni/Holm) o tasas de descubrimiento falso (BH) al evaluar múltiples pares.
  • Sensibilidad de Agrupamiento: Escalamiento de $N^\star$ por un efecto de diseño ($DE$) para tener en cuenta la correlación intra-agrupamiento (por ejemplo, categorías de sujetos en MMLU-Pro).
  • Pruebas Válidas en Cualquier Momento: Reemplazo de umbrales de $N$ fijo con límites uniformes en el tiempo derivados de procesos-e para manejar actualizaciones continuas de la tabla de clasificación.

Contribuciones Clave

1. Caracterización Teórica de un Patrón de Mal Uso: El artículo proporciona un nuevo lema (Lema 1) con una constante explícita que cuantifica la desviación del atajo "no emparejado + $(1-\rho)$" del tamaño de muestra emparejado correcto. Demuestra que este atajo subestima el tamaño de muestra requerido en un factor de dos en el régimen de comparación cercana, un patrón heredado silenciosamente por tres de cinco calculadoras de potencia comunes (Cohen 1988, G*Power, R pwr).
2. Diagnósticos de Resolución Empíricos: Los autores aplican su marco a datos reales de tablas de clasificación (OLL v1 y MMLU-Pro). Demuestran que una parte significativa de las diferencias de rangos adyacentes mostradas están sin resolver en objetivos de potencia estándar.
   • En OLL v1, 11/40 pares están sin resolver.
   • En MMLU-Pro, el recuento de pares adyacentes sin resolver aumenta de 4/9 (bajo supuestos IID) a 6/9 al tener en cuenta el agrupamiento real a nivel de sujeto.
3. Protocolo de Informes y Herramientas: El artículo introduce un protocolo empaquetado (llm-power) que expone los diagnósticos de resolución como una llamada de una sola línea, permitiendo a los diseñadores de benchmarks informar el efecto mínimo detectable (MDE) y el ratio de resolución $q$ junto con las diferencias destacadas.

Resultados

• Mal Uso de Calculadoras: En un ejemplo resuelto con parámetros $(p_A, p_B, \rho) = (0,65, 0,60, 0,30)$, tres herramientas populares devolvieron un tamaño de muestra requerido de $\approx 515$ cuando el $N^\star$ emparejado correcto era $1.028$. Las herramientas aplicaron la corrección $(1-\rho)$ a una varianza de un solo brazo en lugar de a la varianza de la diferencia emparejada.
• Impacto en el Mundo Real:
  • OLL v1: El 28 % de las comparaciones emparejadas (11/40) fallaron el objetivo de resolución. Todos los pares con diferencias $\le 2\%$ estaban sin resolver.
  • MMLU-Pro: Bajo el supuesto de ítems independientes, 4/9 pares adyacentes estaban sin resolver. Al aplicar la corrección de agrupamiento basada en las 14 categorías de sujetos, el recuento sin resolver aumentó a 6/9. Dos pares (Rango 4 vs. 5 y Rango 5 vs. 6) pasaron de "resueltos cómodamente" a requerir tamaños de muestra $>3N$.
  • Pruebas Válidas en Cualquier Momento: Aplicar umbrales uniformes en el tiempo para el monitoreo continuo endureció aún más los veredictos, dejando sin resolver 5/9 pares de MMLU-Pro (un par adicional en comparación con las pruebas de $N$ fijo).
• Calibración: Las prescripciones de $N^\star$ del marco se validaron mediante remuestreo de bootstrap en datos reales, confirmando que los tamaños de muestra derivados alcanzan la potencia objetivo ($\approx 0,80$) empíricamente.

Significado y Afirmaciones
El artículo afirma que la afirmación de que un modelo es "mejor" que otro es una afirmación estadística sobre la diferencia, no la diferencia en sí misma. La importancia de este trabajo radica en cambiar el enfoque de simplemente informar una diferencia y un valor p a informar la resolución del benchmark.

Los autores argumentan que muchas afirmaciones actuales de tablas de clasificación no están respaldadas por la potencia estadística de los datos, particularmente en el "régimen de comparación cercana" donde se rankean modelos adyacentes. Al exponer la subestimación de un factor de dos en herramientas comunes y demostrar que el agrupamiento y la multiplicidad degradan aún más la resolución, el artículo proporciona un marco de diagnóstico para prevenir conclusiones excesivamente confiables. El trabajo no afirma que los modelos sean iguales, sino que los tamaños actuales de los benchmarks son insuficientes para distinguir las diferencias observadas del ruido bajo estándares estadísticos rigurosos. El artículo concluye que un benchmark puede tener una alta validez de constructo y aún así ser demasiado pequeño para la prueba de hipótesis específica en cuestión, lo que hace necesaria una nueva norma de informes para las evaluaciones de LLM.