Resumen Técnico: CELEUS

Planteamiento del Problema

La evaluación de los Modelos de Lenguaje de Gran Escala (LLMs) depende cada vez más de la curación secuencial de muestras para estimar métricas de rendimiento. Sin embargo, las prácticas de evaluación estándar enfrentan una brecha crítica entre el rigor teórico y la aplicación práctica. Los métodos existentes que actualizan los intervalos de confianza (IC) de forma secuencial suelen fallar en ser válidos en cualquier momento (anytime-valid). Esto significa que cuando un evaluador actualiza repetidamente los IC y los utiliza para decidir cuándo detenerse (por ejemplo, cuando el ancho del intervalo alcanza una precisión objetivo), la probabilidad de cobertura declarada (por ejemplo, 95%) puede fallar debido al "doble uso" (double dipping): usar los mismos datos tanto para seleccionar la estrategia de evaluación como para cuantificar la incertidumbre. Además, el simple hecho de recolectar más muestras no certifica que la estimación sea lo suficientemente precisa para la toma de decisiones, dejando sin un criterio de parada estadísticamente fundamentado.

Los enfoques actuales como Cer-Eval intentan abordar esto mediante la partición adaptativa, pero dependen de supuestos de partición fija que no se mantienen cuando las particiones se aprenden de forma adaptativa a partir de los datos, lo que conduce a una posible pérdida de cobertura. Además, la eficiencia en la evaluación se ve obstaculizada por el alto costo de obtener etiquetas de verdad fundamental o juicios humanos, lo que requiere estrategias que minimicen el número de muestras evaluadas manteniendo la validez estadística.

El presente trabajo propone CELEUS (Evaluación de LLM Certificable y Eficiente mediante E-procesos), un marco que cierra la brecha entre la garantía teórica y la eficiencia práctica aprovechando los E-procesos.

Marco Central

1. Intervalos de Confianza Válidos en Cualquier Momento: CELEUS construye IC utilizando E-procesos, que proporcionan garantías que se mantienen en cualquier tiempo de parada. A diferencia de los métodos tradicionales, los E-procesos dependen únicamente del supuesto de que las puntuaciones de evaluación están acotadas (asegurado mediante normalización o recorte), lo que los hace robustos ante reglas de parada adaptativas.
2. Procedimiento Secuencial: El método opera sobre un conjunto de datos finito $D_N$. En cada ronda $t$, selecciona una muestra no evaluada, observa su riesgo real y actualiza el IC. El proceso se detiene cuando el ancho del IC alcanza una precisión objetivo $\epsilon$.

Componentes Técnicos Clave

Para asegurar la eficiencia y la validez bajo un muestreo no uniforme, CELEUS construye señales de inferencia utilizando dos ingredientes principales:

• Muestreo Guiado por la Incertidumbre: En lugar de un muestreo aleatorio uniforme, CELEUS prioriza las muestras que se espera que reduzcan la varianza de la estimación. La probabilidad de muestreo $q_t$ está diseñada para ser proporcional a la magnitud de la discrepancia entre el riesgo observado y una puntuación subrogada. Esto se alinea con la regla de muestreo óptima de varianza derivada teóricamente.
• Aproximaciones Asistidas por Modelos Subrogados: Para las muestras no evaluadas, CELEUS utiliza puntuaciones de un modelo subrogado más pequeño y pre-entrenado (por ejemplo, un modelo de 7–8B) para aproximar el riesgo real. Esto permite al marco extraer información de todo el conjunto de datos sin necesidad de evaluar cada muestra con el modelo objetivo.

Construcción de la Señal

El marco construye una señal por ronda $\hat{S}_t$ que es condicionalmente insesgada para el riesgo del conjunto finito $R_N$. La señal combina:

1. Una estimación completada por el subrogado del riesgo del conjunto (usando riesgos observados para las muestras evaluadas y puntuaciones subrogadas para el resto).
2. Una corrección de ponderación por el inverso de la probabilidad para el residuo de la muestra recién evaluada (la diferencia entre su riesgo real y su puntuación subrogada).

Esta insesgadez condicional es el mecanismo central que permite la construcción de E-procesos válidos. El marco luego eleva el IC del riesgo del conjunto finito $R_N$ al riesgo de la población $R$ utilizando una corrección de tipo Hoeffding, la cual depende del tamaño total del conjunto $N$.

Garantías Teóricas

• Cobertura Válida en Cualquier Momento: Los IC resultantes cubren el riesgo real de la población con una probabilidad de al menos $1-\alpha$ en cualquier tiempo de parada.
• Tasa de Contracción: El ancho de los IC se contrae a una tasa casi paramétrica de $O(\sqrt{\log t \log \log t / t})$, salvo por factores logarítmicos.
• Reducción de la Varianza: El artículo demuestra que el muestreo guiado por la incertidumbre y la asistencia por subrogados propuestos reducen la varianza condicional de las señales, acelerando directamente la contracción de los intervalos de confianza.

Contribuciones Clave

1. Cerrar la Brecha entre Rigor y Práctica: CELEUS proporciona el primer marco para la evaluación de LLMs que es tanto estadísticamente riguroso (válido en cualquier momento) como prácticamente eficiente, resolviendo las fallas de cobertura de los métodos adaptativos existentes como Cer-Eval.
2. Construcción de Señales Novedosa: El artículo introduce una señal condicionalmente insesgada que integra aproximaciones asistidas por subrogados con ponderación por el inverso de la probabilidad, permitiendo la construcción de E-procesos válidos bajo un muestreo no uniforme y adaptativo.
3. Análisis Teórico: Los autores proporcionan pruebas para la insesgadez del estimador, la validez de los IC válidos en cualquier momento y las propiedades de varianza óptima de su estrategia de muestreo. Caracterizan la tasa de convergencia del ancho del IC.
4. Validación Empírica: Experimentos extensos demuestran que CELEUS logra la precisión objetivo utilizando entre un 54% y 62% menos de muestras evaluadas que los modelos de referencia (como el muestreo uniforme con E-procesos) mientras preserva la cobertura nominal. El uso de modelos subrogados pequeños (de 7–8B de parámetros) sin ajuste específico para la tarea mejora la eficiencia en un 10–23% adicional en comparación con la variante sin subrogados.

Resultados

Los experimentos se realizaron en tres bancos de pruebas (SST-2, AG News, MMLU) con varios modelos objetivo (por ejemplo, Llama-3-70B, DeepSeek-67B, Mixtral-8×7B) y pares de subrogado-objetivo.

• Cobertura: En entornos de diagnóstico donde Cer-Eval falló en mantener la cobertura (tasa de error de cobertura del 16.1% frente al 5% nominal), CELEUS y otros métodos basados en E-procesos mantuvieron tasas de error de cobertura por debajo del nivel nominal (0.021–0.030).
• Eficiencia: CELEUS alcanzó la precisión objetivo ($\epsilon=0.05$) con significativamente menos etiquetas. Por ejemplo, en MMLU, requirió 3,242 muestras en comparación con las 8,144 de la línea base (EVALUE), una reducción del 60%.
• Impacto del Subrogado: La variante asistida por subrogados superó consistentemente a la versión sin subrogados, demostando que aprovechar modelos más pequeños pre-entrenados reduce eficazmente la varianza de la señal de estimación.

Significación y Reivindicaciones

El artículo afirma que CELEUS ofrece un criterio estadísticamente fundamentado para decidir cuándo se han evaluado suficientes muestras, yendo más allá de simples estimaciones puntuales hacia intervalos de confianza certificados. Al asegurar la validez en cualquier momento, permite a los evaluadores monitorear el progreso y detenerse prematuramente sin inflar las tasas de error de Tipo I.

Los autores enfatizan que su método es particularmente valioso en escenarios donde la evaluación depende de anotaciones humanas costosas o jueces de LLM potentes, ya que reduce drásticamente el número de tales evaluaciones requeridas. Señalan que, si bien el método aborda la incertidumbre estadística en la evaluación, no resuelve otros riesgos de despliegue (por ejemplo, seguridad, sesgo) ni garantiza que el propio benchmark sea representativo de las condiciones del mundo real. Se reconoce el costo computacional de la puntuación por subrogado, pero se muestra como insignificante comparado con el ahorro derivado de reducir las evaluaciones del modelo objetivo.

El trabajo futuro sugerido por los autores incluye la extensión del marco a escenarios de evaluación conscientes del cambio de distribución.