Efficient Sequential Evaluation of Large Language Models

Planteamiento del Problema
El artículo aborda el desafío de evaluar eficientemente un Gran Modelo de Lenguaje (LLM) recién desarrollado en un benchmark fijo que consta de $N$ preguntas. El objetivo es estimar la tasa de corrección promedio (capacidad) del modelo con una incertidumbre aceptable mientras se minimiza el número de consultas (preguntas respondidas). A diferencia de los intervalos de confianza estándar de tiempo fijo, los autores buscan construir una Secuencia de Confianza (CS) —una secuencia de conjuntos de confianza que mantenga una cobertura válida de forma uniforme en el tiempo (válida en cualquier momento)—. Esto permite al evaluador detener las consultas tan pronto como la estimación sea suficientemente precisa, adaptando el tiempo de parada a la fuerza de la evidencia. El entorno aprovecha los datos de rendimiento históricos de LLMs anteriores en el mismo benchmark para predecir la probabilidad de que el nuevo modelo responda correctamente cada pregunta, guiando así una estrategia de consulta activa y adaptativa.

Metodología
Los autores proponen un marco que diseña conjuntamente una regla de consulta adaptativa y una construcción de CS basada en supermartingales de prueba.

1. Construcción de CS mediante Supermartingales de Prueba:
   Los autores invierten una familia de supermartingales de prueba para formar la CS. Para un valor candidato $m$ (una posible tasa de corrección promedio), una supermartingala de prueba acumula evidencia contra $m$ si $m \neq \theta^*$ (el promedio real). La CS en el tiempo $t$ consiste en todos los valores de $m$ cuyas supermartingalas no han cruzado un umbral de rechazo ($1/\alpha$).
   Se investigan dos construcciones específicas para las supermartingalas de prueba:

• Proyección de Información Inversa (RIPr): Este enfoque identifica la distribución "menos favorable" dentro de la clase nula (distribuciones con media $m$) que es más cercana a la distribución real en divergencia de Kullback-Leibler (KL). La razón de verosimilitud entre la distribución real y esta proyección sirve como el e-valor. En un entorno de oráculo (donde las probabilidades de corrección reales son conocidas), se demuestra que este método es óptimo para el crecimiento.
• Prueba mediante Apuestas (Testing-by-Betting): Este enfoque enmarca el problema como un juego de apuestas donde se realiza una apuesta sobre un estimador del parámetro objetivo. El proceso de riqueza crece si el candidato $m$ es incorrecto. Los autores proponen una variante computacionalmente más ligera utilizando un límite inferior cuadrático en el crecimiento del logaritmo de la riqueza.

2. Reglas de Consulta Activa:
   Para reducir rápidamente el ancho de la CS, los autores diseñan reglas de consulta que maximizan el incremento de logaritmo esperado (criterio de Kelly) de la supermartingala de prueba.

• Entorno de Oráculo: Asumiendo probabilidades reales conocidas, proponen un criterio maxmin orientado al crecimiento. Esta regla selecciona la distribución de consulta que maximiza el peor caso de incremento de logaritmo de un solo paso sobre los extremos de la CS actual (los límites inferior y superior del intervalo).
• Entorno Práctico: Dado que las probabilidades reales son desconocidas, los autores utilizan predicciones derivadas de un modelo de factores bayesiano ajustado con datos históricos. Reemplazan los parámetros reales con estas predicciones (enfoque de inserción o plug-in) tanto en la construcción del e-valor como en la regla de consulta.

3. Estrategias de Consulta de Mezcla:
   Reconociendo que la consulta de crecimiento puro puede ser sensible a los errores de predicción y a la "espiculidad" (baja probabilidad mínima) de la distribución de consulta, los autores proponen reglas de consulta de mezcla. Estas combinan:

• Muestreo orientado al crecimiento (para reducir la CS).
• Refinamiento de la predicción (para mejorar la precisión de las predicciones de inserción).
• Exploración uniforme (para asegurar un límite inferior en las probabilidades de consulta y mitigar la espiculidad).
  Estas mezclas pueden ser programadas en el tiempo o dependientes de los datos (adaptando los pesos según la incertidumbre y la estabilidad de la prediccción).

Contribuciones Clave

• Optimalidad de Oráculo: En un entorno de oráculo, los autores demuestran que la construcción basada en RIPr logra la optimalidad de crecimiento de oráculo entre los e-valores condicionales válidos. También muestran que para el enfoque de prueba mediante apuestas, una regla de muestreo específica orientada al crecimiento coincide con la regla de muestreo de reducción de varianza de trabajos previos.
• Análisis Teórico de la Contracción (Shrinkage): El artículo analiza el comportamiento de contracción de las CS resultantes en el entorno práctico (de inserción). Identifica dos factores clave que ralentizan la contracción de la CS:
  1. Desajuste de Predicción Acumulado: Cuantificado por un término de divergencia KL para RIPr y un término de Error Cuadrático Medio (MSE) para la prueba mediante apuestas. El análisis sugiere que RIPr es más sensible al desajuste de predicción que el enfoque de apuestas.
  2. Espiculidad de la Distribución de Consulta: Un límite inferior bajo en las probabilidades de consulta ($h$) obstaculiza significamente el crecimiento de la CS basada en apuestas al restringir el rango de apuesta válido, mientras que RIPr se ve menos directamente afectada por esta restricción específica.
• Hallazgos Empíricos: A través de experimentos con conjuntos de datos sintéticos con diversos regímenes de capacidad (por ejemplo, modelos similares a los datos históricos frente a modelos fuera de la familia), los autores encuentran que:
  • No existe una regla de consulta universalmente mejor; el rendimiento depende de la estructura del conjunto de datos y de la calidad de las predicciones.
  • El enfoque de prueba mediante apuestas es generalmente más robusto al desajuste de predicción que RIPr.
  • Sorprendentemente, la regla más simple, el muestreo uniforme, a menudo rinde de manera competitiva frente a las reglas adaptativas más complejas, particularmente cuando el refinamiento de la predicción es difícil o cuando el modelo es significativamente diferente de los datos históricos.

Significancia y Reivindicaciones
El artículo afirma proporcionar un método principista para la evaluación secuencial de LLMs con garantías de incertidumbre válidas en cualquier momento. Al aprovechar los datos históricos, busca reducir el costo de la evaluación (número de consultas) manteniendo la validez estadística rigurosa.

Los autores enmarcan modestamente sus límites teóricos como "diagnósticos" en lugar de caracterizaciones precisas de un diseño óptimo, señalando que capturan los efectos del desajuste de predicción y las probabilidades mínimas de consulta, pero que pueden no reflejar plenamente las propiedades más finas de las reglas de muestreo. Enfatizan que su trabajo destaca los compromisos entre la consulta orientada al crecimiento, el refinamiento de la predicción y la exploración uniforme. La observación de que el muestreo uniforme puede superar a las reglas adaptativas en ciertos regímenes sugiere que la complejidad de la consulta adaptativa no siempre ofrece beneficios proporcionales, un hallazgo que desafía la suposición de que la adaptatividad es siempre superior en este contexto.

El trabajo se posiciona como un contraparte secuencial del trabajo previo sobre inferencia potenciada por predicción, extendiendo el alcance a la consulta activa desde un benchmark fijo en lugar de un muestreo pasivo desde un flujo. Se sugiere como trabajo futuro el desarrollo de reglas de consulta más efectivas (potencialmente vía aprendizaje por refuerzo) y la exploración de métodos de predicción alternativos más allá del modelo de factores bayesiano.