Resumen Técnico: La estimación de la forma de la cola en la evaluación de LLM es frágil

Declaración del Problema

La literatura reciente ha abogado por desplazar la evaluación de los Grandes Modelos de Lenguaje (LLM) de las métricas basadas en la media hacia métricas conscientes de la cola, como el Valor en Riesgo Condicional (CVaR) y las estimaciones del índice de la cola, para capturar comportamientos catastróficos y raros de casos peores que las medias pasan por alto. El índice de la cola ($\xi$), derivado de la Teoría de Valores Extremos (EVT), es un parámetro escalar destinado a aislar la forma de la cola de una distribución (por ejemplo, cola pesada frente a acotada) de su magnitud.

Sin embargo, la estimación de $\xi$ mediante el método de Picos sobre el Umbral (POT) y el ajuste de una Distribución de Pareto Generalizada (GPD) es estadísticamente frágil en muestras finitas. La pregunta central de este artículo es si el parámetro del índice de la cola añade información discriminativa más allá de la media y una estadística estándar de la magnitud de la cola (TVaR) en configuraciones estándar de evaluación de LLM, o si las afirmaciones de diferencias en la forma de la cola son a menudo artefactos del ruido de estimación, sesgos de soporte acotado o selección de umbrales.

Metodología: Un Protocolo de Cinco Puertas Pre-registrado

Los autores proponen y pre-registran un riguroso protocolo de cinco puertas diseñado para validar cualquier afirmación de discriminación de la forma de la cola ($H_1$). El protocolo está diseñado para terminar el análisis prematuramente ("MATAR" la hipótesis) si alguna puerta falla, evitando la publicación de falsos positivos.

El protocolo consta de dos fases: Puertas de Admisibilidad (G1–G5) y Criterios de Paso (P1–P2).

Puertas de Admisibilidad

1. G1 (Equivalencia de la Media): El intervalo de confianza (IC) del bootstrap del 95% para la diferencia en la severidad de la media entre dos modelos debe residir enteramente dentro de una banda de tolerancia pre-registrada ($\delta_\mu$). Esto utiliza una Prueba de Dos Unos (TOST) para establecer equivalencia práctica, evitando la falacia de que "la no significancia no implica equivalencia".
2. G2 (Equivalencia de la Magnitud de la Cola): Del mismo modo, el IC del bootstrap del 95% para la diferencia en el Valor en Riesgo de la Cola (TVaR$_{0.9}$) debe residir dentro de una banda de tolerancia ($\delta_{TVaR}$).
3. G3 (Tamaño de la Muestra): El número de excedencias ($n_{exc}$) por encima del umbral debe cumplir con un límite inferior teórico ($N^*$) derivado del asintótico de Smith para los Estimadores de Máxima Verosimilitud (MLE) de la GPD. Esto asegura suficiente potencia para detectar un tamaño de efecto pre-registrado ($\Delta \xi$).
4. G4 (Bondad de Ajuste): La distribución empírica de excedencias debe pasar la prueba de Anderson-Darling (AD) para el ajuste de la GPD ($p > 0.05$).
5. G5 (Estabilidad del Umbral): El $\hat{\xi}$ estimado debe ser aproximadamente constante a través de una banda de robustez de umbrales ($u \in [q-\delta, q+\delta]$). Las fluctuaciones grandes indican búsqueda de umbrales (threshold-fishing) o inestabilidad.

Criterios de Paso

Solo si un par de modelos pasa todas las puertas de admisibilidad, el análisis procede a:

• P1: Los IC del bootstrap del 95% para $\hat{\xi}$ de los dos modelos deben ser no superpuestos.
• P2: La diferencia absoluta en los índices de cola estimados ($|\hat{\xi}_A - \hat{\xi}_B|$) debe exceder un suelo de tamaño de efecto pre-registrado ($\Delta_{floor}$).

Configuración Experimental

• Modelos: Cuatro LLM de pesos abiertos ajustados por instrucciones (Qwen2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-Instruct-2407).
• Datos: 30,000 prompts del conjunto de datos RealToxicityPrompts por condición.
• Evaluadores (Scorers):
  1. Detoxify: Un clasificador de toxicidad que devuelve probabilidades en $[0, 1]$.
  2. Juez de Token-NLL: Una familia de evaluadores secundarios que utiliza la log-verosimilitud negativa.
• Piloto: Un estudio de perturbación (H2) sobre Qwen2.5-3B con ruido de incrustación de entrada para probar la variación intra-modelo.

Resultados Clave: Tres Modos de Falsos Positivos Detectados

El protocolo rechazó con éxito la afirmación principal de que la forma de la cola proporciona información discriminativa en esta configuración. El estudio identificó tres modos distintos de falsos positivos que un análisis ingenuo habría pasado por alto:

1. Ilusión de Tamaño de Muestra (Puerta G3)

En un estudio piloto utilizando solo 2,000 prompts ($n_{exc} \approx 100$), los autores observaron una gran diferencia aparente en los índices de la cola ($\Delta \hat{\xi} \approx 0.28$) entre niveles de ruido. La prueba de Anderson-Darling pasó, pero la puerta de tamaño de muestra (G3) rechazó este resultado porque $n_{exc}$ estaba muy por debajo de los 1,570 requeridos para un 80% de potencia al tamaño de efecto objetivo. Al repetir el proceso con 30,000 prompts, el efecto se redujo 30 veces ($\Delta \hat{\xi} \approx 0.009$), confirmando que el resultado del piloto era ruido de estimación.

2. Contaminación por Soporte Acotado (Puerta G4)

Al evaluar con Detoxify (probabilidades en $[0, 1]$), el ajuste de la GPD falló para tres de cuatro modelos (AD $p < 0.05$). El MLE produjo estimaciones espurias de cola pesada ($\hat{\xi} \approx 0.9 - 1.2$) o ajustes degenerados ($\hat{\xi} \approx -1$) porque las puntuaciones de severidad se saturaban cerca del límite superior (1.0), violando el supuesto de soporte no acotado de la GPD estándar.

• Solución: Aplicar una transformación logit ($s' = \log(s/(1-s))$) a las puntuaciones restauró la validez de la GPD (AD $p > 0.05$).
• Resultado: La verdadera forma de la cola era ligera ($\hat{\xi} \approx 0$, dominio Gumbel), no pesada. El diagnóstico de "cola pesada" fue un artefacto del soporte acotado.

3. Búsqueda de Umbrales / Threshold-Fishing (Puerta G5)

Utilizando los datos transformados por logit, los autores escanearon umbrales desde $q=0.95$ hasta $q=0.99$. En $q=0.97$, un par (Qwen vs. Llama-3.1-8B) pareció pasar todos los criterios con $\Delta \hat{\xi} = 0.139$. Sin embargo, la puerta de estabilidad de umbral (G5) reveló que $\hat{\xi}$ fluctuaba significamente a través de la banda de robustez para el modelo Qwen. El resultado "positivo" en $q=0.97$ era un valor atípico dentro de la propia envolvente de ruido del modelo, identificado correctamente como threshold-fishing.

Veredicto Final

Después de corregir el soporte acotado y aplicar el protocolo completo:

• Cero de seis pares de modelos pasaron todas las puertas simultáneamente.
• Cinco pares fallaron en la equivalencia de volumen (G1/G2).
• El único par con equivalencia de volumen (Qwen vs. Llama-3.1-8B) tenía IC superpuestos y un tamaño de efecto ($0.095$) por debajo del suelo ($0.10$).
• El mismo veredicto de MATAR (KILL) se aplicó al juez Token-NLL, confirmando que el resultado no es específico del evaluador Detoxify.

Contribuciones

1. Protocolo: Un protocolo pre-registrado de cinco puertas para afirmaciones de índice de cola, que incluye criterios específicos de admisibilidad y estabilidad.
2. Límite de Tamaño de Muestra: Un límite inferior asintótico (Ec. 2) para el número de excedencias requeridas para detectar un $\Delta \xi$ específico con un 80% de potencia.
3. Diagnóstico de Sesgo de Soporte Acotado: Identificación de cómo los clasificadores con cabezal sigmoide (como Detoxify) producen estimaciones de cola pesada espurias debido a la saturación de puntuaciones, y la propuesta de una transformación logit como solución.
4. Demostración Empírica: Una demostración de que el protocolo detecta tres modos distintos de falsos positivos (ruido de muestra finita, artefactos de soporte acotado y búsqueda de umbrales) en un escenario de toxicidad de LLM de libro de texto.

Significado y Reivindicaciones

El artículo concluye que la estimación de la forma de la cola en los entornos de evaluación de toxicidad de LLM examinados es más frágil de lo que la literatura reciente sugiere. Los autores no afirman que el método POT-GPD sea inadecuado para la evaluación de LLM en general, ni afirman que la forma de la cola nunca contenga información.

En cambio, argumentan que:

• Sin un protocolo riguroso, los análisis ingenuos en configuraciones estándar tienen una alta probabilidad de publicar falsos positivos.
• En el caso específico de RealToxicityPrompts con Detoxify, el índice de la cola $\xi$ no proporciona información discriminativa ortogonal a la media y al TVaR.
• El protocolo sirve como un punto de partida necesario para cualquier afirmación futura de discriminación de la forma de la cola. El resultado negativo aquí es una demostración de la capacidad del protocolo para filtrar el ruido, no una prueba de que la forma de la cola sea irrelevante en todos los contextos.

Los autores recomiendan que los trabajos futuros pre-registren los tamaños de muestra basados en los límites derivados, apliquen transformaciones apropiadas para evaluadores acotados y reporten escaneos de estabilidad de parámetros en lugar de estimaciones de un solo umbral.