Don't Pass@k: A Bayesian Framework for Large Language Model Evaluation

Título: Não Pass@k: Um Framework Bayesiano para Avaliação de Grandes Modelos de Linguagem (LLMs)

1. O Problema

A avaliação atual de LLMs, especialmente em tarefas de raciocínio (como matemática e programação), depende fortemente de métricas como Pass@k (a probabilidade de pelo menos uma das $k$ tentativas ser correta) e avg@N (acurácia média em $N$ tentativas). O artigo identifica várias limitações críticas nessas abordagens:

• Instabilidade e Ruído: Em benchmarks pequenos ou caros (ex: AIME, com apenas dezenas de problemas), o Pass@k produz rankings instáveis e sensíveis a escolhas de decodificação e sementes aleatórias.
• Falta de Medida de Incerteza: Métricas pontuais não indicam se uma diferença de desempenho entre dois modelos é estatisticamente significativa ou apenas ruído de amostragem.
• Ineficiência Computacional: Métodos como "avg@N" exigem um número massivo de tentativas para convergir a um ranking estável, desperdiçando recursos computacionais.
• Avaliação Binária Limitada: O Pass@k trata a saída apenas como "correta" ou "incorreta", ignorando nuances como erros de formatação, respostas parciais, recusas ou qualidade do raciocínio passo a passo.

2. Metodologia Proposta: Framework Bayesiano (Bayes@N)

Os autores propõem substituir as métricas frequentistas tradicionais por um framework de inferência bayesiana que estima a probabilidade subjacente de sucesso de um modelo e sua incerteza associada.

• Modelagem Categórica: Em vez de binário (0/1), os resultados de cada tentativa são modelados como variáveis categóricas com $C+1$ categorias (ex: correto, parcialmente correto, erro de formatação, recusa).
• Priori Dirichlet: Utiliza-se uma distribuição Dirichlet como priori sobre as probabilidades das categorias. Isso permite:
  • Incorporar evidências prévias (outros benchmarks ou versões anteriores do modelo) através de uma matriz de resultados $R_0$.
  • Obter expressões fechadas para a média e variância do posterior.
• Estimador Bayesiano ($\mu$): O desempenho do modelo é estimado pela média do posterior ($\mu$), que fornece um ponto de estimativa robusto.
• Intervalos Credíveis (Credible Intervals - CI): O framework calcula a variância ($\sigma^2$) do posterior, permitindo a construção de intervalos credíveis.
  • Regra de Decisão: Se os intervalos credíveis de dois modelos se sobrepõem, não se deve declarar um vencedor; a diferença é considerada estatisticamente não significativa.
• Equivalência com Média Simples: Sob uma priori uniforme, a média do posterior Bayesiano é ordem-equivalente à acurácia média simples (Pass@1/avg@N), explicando a robustez empírica da média, mas adicionando a quantificação de incerteza que falta na abordagem clássica.
• Algoritmo Eficiente: O cálculo é feito via contagem de frequências e fórmulas fechadas (Algoritmo 1), sem necessidade de simulações de Monte Carlo ou bootstrapping intensivo para estimar a incerteza.

3. Contribuições Principais

1. Framework Unificado: Unifica avaliação binária e não-binária (com rubricas ponderadas) em um único modelo probabilístico.
2. Protocolo Consciente de Incerteza: Introduz uma regra simples e transparente: declarar diferenças apenas quando os intervalos credíveis não se sobrepõem, reduzindo a "churn" (mudanças frequentes) em leaderboards.
3. Convergência Rápida: Demonstra que o método Bayesiano converge para o ranking "verdadeiro" (gold standard) com muito menos tentativas ($N$) do que o Pass@k e suas variantes.
4. Uso de Informação Prévia: Permite o uso de dados de modelos relacionados ou versões anteriores como priori, acelerando ainda mais a convergência em cenários de poucos dados.
5. Ferramenta Open-Source (Scorio): Lançamento de um pacote Python (scorio) para facilitar a adoção do método.

4. Resultados Experimentais

Os autores validaram o método em simulações controladas (moedas viciadas) e em benchmarks reais de raciocínio matemático (AIME'24/'25, HMMT'25, BrUMO'25).

• Convergência Superior: Em todos os datasets, o Bayes@N alcançou uma correlação de Kendall ($\tau$) mais alta com o ranking de referência (gold standard) com menos tentativas do que o Pass@k (k=2, 4, 8) e variantes recentes (G-Pass, mG-Pass).
  • Exemplo: No HMMT'25, o Pass@k exigiu ~69,5 tentativas para convergir, enquanto o Bayes@N convergiu em ~44,2.
• Estabilidade em Pequenas Amostras: O método manteve rankings estáveis com $N$ muito baixo (ex: 10 tentativas), enquanto o Pass@k produzia rankings flutuantes.
• Identificação de Empates: O uso de intervalos credíveis revelou que muitas diferenças de ranking observadas em rankings pontuais (sem CI) não eram estatisticamente significativas, especialmente em conjuntos de modelos com desempenho próximo.
• Avaliação com Rubricas: Ao aplicar esquemas categóricos (ex: penalizar respostas "confiantemente erradas" ou recompensar formatação correta), o framework mostrou-se capaz de capturar nuances que o Pass@k binário ignora, reordenando modelos no meio da tabela sem alterar os extremos.

5. Significado e Impacto

Este trabalho representa uma mudança de paradigma na avaliação de LLMs:

• Eficiência Computacional: Permite comparar modelos com confiança usando menos recursos de inferência (menos tokens e tempo de GPU), crucial para benchmarks caros.
• Transparência e Rigor: Substitui a intuição sobre "quem é melhor" por uma decisão estatística fundamentada em intervalos de confiança, evitando a superinterpretação de pequenas variações.
• Flexibilidade: Adapta-se naturalmente a avaliações subjetivas ou baseadas em rubricas complexas, onde a simples contagem de acertos é insuficiente.
• Recomendação Prática: Os autores recomendam fortemente a substituição do Pass@k pelo Bayes@N (com intervalos credíveis) para a maioria das tarefas de avaliação e ranking de LLMs, especialmente em cenários de recursos limitados.

Em suma, o paper argumenta que a incerteza não é um ruído a ser ignorado, mas uma informação essencial para a avaliação justa e eficiente de modelos de inteligência artificial.