Resolution Diagnostics for Paired LLM Evaluation

Resumo Técnico: Diagnósticos de Resolução para Avaliação de LLMs em Pares

Declaração do Problema
As tabelas de classificação modernas de Modelos de Linguagem de Grande Escala (LLM) frequentemente ranqueiam modelos com base em diferenças em pontos percentuais derivadas de benchmarks de prompts compartilhados. Embora uma diferença de destaque (por exemplo, 78,3% vs. 77,5%) impulsione decisões de produto e narrativas, a afirmação estatística de que um modelo é significativamente melhor que outro depende de o tamanho do benchmark e a estrutura dos dados fornecerem resolução suficiente para distinguir a diferença do ruído de amostragem.

O artigo identifica uma lacuna crítica nas práticas atuais de avaliação: muitas classificações em pares exibidas em tabelas de classificação públicas não atendem às metas convencionais de resolução de testes emparelhados (especificamente $\alpha=0,05$ e poder $1-\beta=0,8$). Os autores argumentam que calculadoras de poder padrão e protocolos de avaliação frequentemente ignoram a natureza emparelhada de benchmarks de prompts compartilhados, levando a comparações subpoderadas. Especificamente, o artigo destaca que:

1. Na Open LLM Leaderboard (OLL) v1, 11 de 40 comparações em pares são não resolvidas.
2. No top-10 do MMLU-Pro, 4 de 9 pares de ranks adjacentes são não resolvidos no tamanho real do benchmark ($N=12.032$).
3. "Atalhos" comuns para calcular tamanhos de amostra necessários em configurações emparelhadas (por exemplo, aplicar uma correção $(1-\rho)$ ao Cohen's $h$ não emparelhado) subestimam sistematicamente o tamanho de amostra necessário por um fator de aproximadamente dois em regimes de comparação próxima.

Metodologia
Os autores enquadram a avaliação de LLMs em pares como um problema de teste de hipóteses e derivam uma estrutura de relatórios de resolução invertendo testes de nível-$\alpha$ e poder-$(1-\beta)$.

• Razão de Resolução ($q$): O diagnóstico primário é definido como $q = N / N^\star$, onde $N$ é o tamanho real do benchmark e $N^\star$ é o tamanho de amostra necessário para detectar uma diferença observada $\hat{\delta}$ com poder alvo. Uma diferença é considerada "resolvida" se $q \ge 1$.
• Variância Emparelhada: Para precisão binária, o tamanho de amostra necessário $N^\star$ é derivado usando a fórmula de McNemar-Connor, que leva em conta a variância da diferença emparelhada $\sigma_D^2 = p_A q_A + p_B q_B - 2\rho\sqrt{p_A q_A p_B q_B}$. Isso contrasta com fórmulas não emparelhadas que inflacionam o $N$ necessário ao ignorar a covariância $\rho$.
• O Lema do Atalho (Lema 1): O artigo fornece uma expansão aguda de pequeno efeito que caracteriza a falha do amplamente utilizado "atalho Cohen-$h$ não emparelhado mais $(1-\rho)$". Os autores provam que, para tamanhos de efeito pequenos $\delta$, a razão entre a estimativa do atalho ($n_h$) e a estimativa emparelhada correta ($N^\star$) converge para $1/2$ com uma constante explícita de segunda ordem $C(p, \rho)$. Isso explica por que ferramentas que aplicam $(1-\rho)$ a uma saída não emparelhada por braço subestimam sistematicamente $N^\star$ pela metade em regimes de comparação próxima.
• Extensões: A estrutura integra:
  • Correção de Multiplicidade: Ajuste para taxas de erro familiar (Bonferroni/Holm) ou taxas de descoberta falsa (BH) ao avaliar múltiplos pares.
  • Sensibilidade a Agrupamentos: Escalonamento de $N^\star$ por um efeito de desenho ($DE$) para contabilizar correlação intra-agrupamento (por exemplo, categorias de assunto no MMLU-Pro).
  • Teste Válido a Qualquer Momento: Substituição de limiares fixos-$N$ por limites uniformes no tempo derivados de processos-e para lidar com atualizações contínuas da tabela de classificação.

Principais Contribuições

1. Caracterização Teórica de um Padrão de Uso Indevido: O artigo fornece um novo lema (Lema 1) com uma constante explícita que quantifica o desvio do atalho "não emparelhado + $(1-\rho)$" do tamanho de amostra emparelhado correto. Demonstra que este atalho subestima o tamanho de amostra necessário por um fator de dois no regime de comparação próxima, um padrão herdado silenciosamente por três de cinco calculadoras de poder comuns (Cohen 1988, G*Power, R pwr).
2. Diagnósticos de Resolução Empíricos: Os autores aplicam sua estrutura a dados reais de tabelas de classificação (OLL v1 e MMLU-Pro). Demonstram que uma parte significativa das diferenças de ranks adjacentes exibidas é não resolvida em metas de poder padrão.
   • Na OLL v1, 11/40 pares são não resolvidos.
   • No MMLU-Pro, a contagem de pares adjacentes não resolvidos aumenta de 4/9 (sob suposições de IID) para 6/9 ao contabilizar o agrupamento real em nível de assunto.
3. Protocolo de Relato e Ferramentas: O artigo introduz um protocolo empacotado (llm-power) que expõe diagnósticos de resolução como uma chamada de uma linha, permitindo que designers de benchmarks relatem o efeito mínimo detectável (MDE) e a razão de resolução $q$ juntamente com as diferenças de destaque.

Resultados

• Uso Indevido de Calculadoras: Em um exemplo trabalhado com parâmetros $(p_A, p_B, \rho) = (0,65, 0,60, 0,30)$, três ferramentas populares retornaram um tamanho de amostra necessário de $\approx 515$ quando o $N^\star$ emparelhado correto era $1.028$. As ferramentas aplicaram a correção $(1-\rho)$ a uma variância de braço único em vez da variância da diferença emparelhada.
• Impacto no Mundo Real:
  • OLL v1: 28% das comparações em pares (11/40) falharam na meta de resolução. Todos os pares com diferenças $\le 2\%$ foram não resolvidos.
  • MMLU-Pro: Sob a suposição de itens independentes, 4/9 pares adjacentes foram não resolvidos. Ao aplicar correção de agrupamento baseada nas 14 categorias de assunto, a contagem de não resolvidos aumentou para 6/9. Dois pares (Rank 4 vs. 5 e Rank 5 vs. 6) mudaram de "confortavelmente resolvidos" para exigir tamanhos de amostra $>3N$.
  • Teste Válido a Qualquer Momento: Aplicar limiares uniformes no tempo para monitoramento contínuo apertou ainda mais os vereditos, tornando 5/9 pares do MMLU-Pro não resolvidos (um par adicional em comparação com testes fixos-$N$).
• Calibração: As prescrições de $N^\star$ da estrutura foram validadas via subamostragem bootstrap em dados reais, confirmando que os tamanhos de amostra derivados atingem o poder alvo ($\approx 0,80$) empiricamente.

Significado e Afirmações
O artigo afirma que a afirmação de um modelo ser "melhor" que outro é uma afirmação estatística sobre a diferença, não a diferença em si. O significado deste trabalho reside em mudar o foco de meramente relatar uma diferença e um valor-p para relatar a resolução do benchmark.

Os autores argumentam que muitas afirmações atuais de tabelas de classificação não são suportadas pelo poder estatístico dos dados, particularmente no "regime de comparação próxima" onde modelos adjacentes são ranqueados. Ao expor a subestimação por um fator de dois em ferramentas comuns e demonstrar que agrupamentos e multiplicidade degradam ainda mais a resolução, o artigo fornece uma estrutura de diagnóstico para prevenir conclusões excessivamente confiantes. O trabalho não afirma que os modelos são iguais, mas sim que os tamanhos atuais de benchmarks são insuficientes para distinguir as diferenças observadas do ruído sob padrões estatísticos rigorosos. O artigo conclui que um benchmark pode ter alta validade construtiva e ainda ser muito pequeno para o teste de hipótese específico em questão, necessitando de um novo padrão de relato para avaliações de LLMs.