💬 NLP

Don't Pass@k: A Bayesian Framework for Large Language Model Evaluation

Este artículo presenta un marco de evaluación bayesiano que sustituye a la métrica Pass@k por estimaciones posteriores de la probabilidad de éxito y intervalos de credibilidad, logrando clasificaciones más estables y decisiones transparentes sobre diferencias de rendimiento en modelos de lenguaje grandes con un número reducido de muestras.

Autores originales: Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

Publicado 2026-03-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los Modelos de Lenguaje (LLM) son como cocineros que intentan resolver un problema matemático. A veces, el primer intento sale perfecto; otras veces, se les quema la tortilla, pero si les das una segunda o tercera oportunidad, logran el plato perfecto.

El problema es: ¿Cómo sabemos quién es el mejor cocinero si solo tenemos tiempo de probar sus platos unas pocas veces?

Aquí es donde entra este paper, que propone cambiar las reglas del juego.

1. El Problema: La ruleta rusa de "Pass@k"

Hasta ahora, la forma estándar de evaluar a estos cocineros (modelos de IA) se llamaba Pass@k.

La analogía: Imagina que le pides a un cocinero que haga un pastel. Le das 5 intentos (k=5). Si en cualquiera de esos 5 intentos logra un pastel perfecto, cuenta como un "éxito".
El problema: Esto es como jugar a la ruleta rusa. Si un cocinero es mediocre pero tiene mucha suerte en sus 5 intentos, parecerá un genio. Si otro es brillante pero tuvo mala suerte en esos 5 intentos específicos, parecerá un desastre. Además, si solo tienes tiempo para 5 intentos (porque son costosos), el ranking de "quién es el mejor" cambia locamente cada vez que repites el experimento. Es inestable y confuso.

2. La Solución: El "Ojo de Águila" Bayesiano

Los autores proponen dejar de adivinar y empezar a estimar con inteligencia. Presentan un marco de trabajo llamado Bayes@N.

La analogía: En lugar de solo contar cuántos pasteles perfectos lograste en 5 intentos, este nuevo método actúa como un chef experto que observa el proceso.
- No solo mira si el pastel salió bien o mal (0 o 1).
- Mira todo: ¿Se quemó un poco? ¿Le faltó sal? ¿El formato del plato era bonito? ¿El chef se confundió?
- Usa una fórmula matemática (Bayesiana) que combina lo que ves ahora con lo que ya sabes (o con una "suposición justa" si no sabes nada).

3. Las Tres Grandes Ventajas (Explicadas con Metáforas)

A. El Mapa de la Niebla (Intervalos de Credibilidad)

Antes: Decías: "El cocinero A es mejor que el B porque hizo 3 pasteles perfectos y el B hizo 2". Punto.
Ahora: El nuevo método te da un mapa con niebla. Te dice: "El cocinero A probablemente es mejor, pero hay una niebla (incertidumbre) alrededor de su puntuación".
- Si la niebla del cocinero A y la del cocinero B se superponen, el método te dice: "¡Alto! No podemos decir quién es mejor todavía, es solo ruido o suerte. Necesitamos más pruebas".
- Esto evita que el ranking cambie cada semana por una diferencia mínima de suerte.

B. La Caja de Colores (Evaluación Categórica)

Antes: Era blanco o negro. O el pastel salió bien (1) o se quemó (0).
Ahora: El método entiende los matices.
- ¿El pastel estaba bien pero sin decorar? (Puntos parciales).
- ¿El chef dio una respuesta correcta pero con un formato feo? (Puntos parciales).
- ¿El chef se negó a cocinar? (Otra categoría).
- Esto permite evaluar cosas más complejas, como el razonamiento paso a paso, no solo la respuesta final.

C. La Brújula de la Convergencia (Ahorro de Dinero)

El problema: Para estar 100% seguros de quién es el mejor, antes tenías que pedirle al cocinero que hiciera 80 pasteles. Eso es muy caro y lento.
La solución: El método Bayesiano es como una brújula muy precisa. Con solo 10 o 20 intentos, ya te dice con mucha seguridad quién es el líder.
- En sus pruebas, el método antiguo (Pass@k) a veces nunca lograba decidir un ganador incluso con 80 intentos (se quedaba dando vueltas).
- El nuevo método (Bayes@N) llegó a una conclusión estable mucho más rápido, ahorrando tiempo y dinero (computación).

4. ¿Qué significa esto para el futuro?

Imagina que estás comprando un coche.

El método viejo (Pass@k): Te dice: "Este coche ganó la carrera de ayer, ¡es el mejor!". Pero si repites la carrera mañana, quizás gane otro por un error de tráfico.
El método nuevo (Bayes@N): Te dice: "Este coche es muy rápido, pero hay una pequeña duda sobre su frenado. Si quieres estar 100% seguro, hagamos 5 pruebas más. Si las dudas se superponen, son igual de buenos".

En resumen:
Este paper nos dice que dejemos de confiar en la "suerte" de unos pocos intentos y empecemos a usar las matemáticas para entender la probabilidad real y la incertidumbre. Nos permite:

Ahorrar recursos: Necesitamos menos pruebas para saber quién gana.
Ser más justos: No penalizamos a los buenos por mala suerte, ni premiamos a los mediocres por suerte.
Ver más allá: Entender que un "error" puede tener matices (formato, confianza, etc.) y no solo ser un "fracaso".

Es como pasar de adivinar quién gana la lotería a usar estadística para predecir quién es el mejor jugador de la liga. ¡Y todo esto con una herramienta que ahorra dinero y tiempo!

1. El Problema: Inestabilidad en la Evaluación de LLMs

El artículo identifica que la métrica estándar Pass@k (y sus variantes como Pass^k o G-Pass@k), utilizada ampliamente para evaluar el rendimiento de modelos de lenguaje grandes (LLMs) en tareas de razonamiento y código, presenta deficiencias críticas:

Inestabilidad y Varianza: En benchmarks con pocas preguntas (como AIME, que tiene solo ~30 problemas) o recursos computacionales limitados, Pass@k produce rankings inestables. Pequeñas fluctuaciones en la corrección de las muestras pueden alterar drásticamente el ordenamiento de los modelos.
Falta de Criterio de Significancia: No ofrece una regla transparente para determinar si una diferencia de rendimiento entre dos modelos es estadísticamente significativa o simplemente ruido debido al muestreo.
Ineficiencia Computacional: Métodos como el promedio de múltiples ejecuciones (avg@N) o el uso de bootstrapping para estimar intervalos de confianza son costosos y no siempre proporcionan intervalos válidos en regímenes de muestra pequeña (donde el Teorema del Límite Central falla).
Simplificación Binaria: Reduce la evaluación a "correcto/incorrecto", ignorando matices valiosos como errores de formato, rechazos, o respuestas parciales que son comunes en tareas de razonamiento.

2. Metodología: Marco Bayesiano Unificado

Los autores proponen un marco de evaluación basado en inferencia estadística bayesiana que reemplaza las métricas puntuales tradicionales por estimaciones posteriores de la probabilidad de éxito subyacente del modelo.

A. Modelado Categorical y Priori Dirichlet

En lugar de tratar los resultados como binarios (0/1), el marco modela los resultados de cada intento como variables categóricas con $C+1$ categorías (ej. correcto, parcialmente correcto, error de formato, rechazo).

Se utiliza una distribución a priori Dirichlet sobre las probabilidades de estas categorías.
Esto permite incorporar evidencia previa (por ejemplo, de versiones anteriores del modelo o tareas relacionadas) mediante una matriz de resultados previos $R_0$ .

B. Estimadores de Cierre (Closed-Form)

El marco deriva expresiones analíticas exactas para:

Media Posterior ( $\mu$ ): Una estimación óptima del rendimiento esperado.
Varianza/Incertidumbre ( $\sigma^2$ ): Una medida cuantitativa de la incertidumbre asociada a la estimación.

Estos cálculos se realizan mediante el Algoritmo 1, que es computacionalmente eficiente ( $O(M(N+D+C))$ ) y no requiere simulaciones de Monte Carlo costosas.

C. Regla de Decisión Transparente

Para comparar dos modelos, el método utiliza Intervalos Credibles (CI):

Si los intervalos de confianza de dos modelos se superponen, no se declara un ganador; la diferencia se considera estadísticamente no significativa.
Esto reduce el "churn" (cambio constante) en los rankings y evita la sobreinterpretación de diferencias mínimas.

D. Equivalencia con Promedios

Bajo un prior uniforme, la media posterior del marco bayesiano es orden-equivalente al promedio de precisión simple (avg@N). Esto explica por qué promediar múltiples ejecuciones funciona empíricamente, pero añade la ventaja crucial de cuantificar la incertidumbre de manera principista, incluso con pocas muestras.

3. Contribuciones Clave

Marco Unificado: Unifica la evaluación binaria y la basada en rúbricas (gradada) bajo un mismo formalismo probabilístico.
Protocolo Eficiente: Proporciona una receta simple: reportar la media posterior con intervalos de confianza y asignar muestras adicionales solo si los intervalos no permiten una decisión clara.
Manejo de Priors No Uniformes: Demuestra cómo utilizar datos de versiones anteriores o modelos relacionados para acelerar la convergencia del ranking en nuevas evaluaciones.
Herramienta de Código Abierto (Scorio): Lanzan una librería Python que implementa estos métodos, facilitando su adopción por la comunidad.

4. Resultados Empíricos

Los autores validaron su enfoque en simulaciones controladas (monedas sesgadas) y en benchmarks reales de razonamiento matemático (AIME'24/'25, HMMT'25, BrUMO'25).

Convergencia Más Rápida: El método Bayes@N converge al ranking "gold standard" (definido por un gran número de pruebas, $N=80$ $N = 80$ ) significativamente más rápido que Pass@k y sus variantes.
- En HMMT'25 y BrUMO'25, Bayes@N alcanzó estabilidad con ~44 y ~27 pruebas respectivamente, mientras que los métodos Pass@k requirieron ~70 y ~49 pruebas.
- En AIME'25, los métodos Pass@k a menudo no convergieron dentro de 80 pruebas, mientras que Bayes@N sí lo hizo o permitió identificar la necesidad de más pruebas mediante intervalos de confianza.
Estabilidad de Ranking: Al incorporar intervalos de confianza, el método identifica correctamente cuándo dos modelos son estadísticamente indistinguibles, evitando rankings artificiales basados en ruido.
Evaluación Categorical: Al aplicar rúbricas (ej. penalizar respuestas "confiadas pero incorrectas" o valorar el formato), el marco revela matices en el rendimiento que Pass@k oculta, mostrando que el ordenamiento de modelos de rango medio es sensible a la rúbrica elegida, mientras que los extremos (mejores y peores) permanecen estables.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la evaluación de LLMs:

De la Puntuación Puntual a la Incertidumbre: Cambia el foco de "cuánto mejor es un modelo" a "cuánto podemos confiar en que un modelo es mejor".
Eficiencia de Recursos: Permite realizar comparaciones fiables con menos muestras computacionales, lo cual es vital dado el alto costo de inferencia de modelos grandes.
Rigor Estadístico: Proporciona una base teórica sólida para la toma de decisiones en la investigación y despliegue de modelos, eliminando la ambigüedad de las métricas actuales.
Adaptabilidad: El enfoque es agnóstico al dominio y se aplica tanto a tareas binarias como a evaluaciones subjetivas o complejas mediante rúbricas.

En conclusión, el artículo argumenta que Pass@k debe ser reemplazado por un protocolo basado en la inferencia posterior (Bayes@N) que haga explícita la incertidumbre, unifique la evaluación binaria y graduada, y ofrezca una toma de decisiones más robusta y eficiente en términos computacionales.