Benchmark Illusion: Disagreement among LLMs and Its Scientific Consequences

1. O Problema: A Ilusão do Benchmark

O artigo identifica um fenômeno crítico na ciência de dados e nas ciências sociais computacionais: a Ilusão do Benchmark.

• Premissa Atual: Pesquisadores assumem que, se dois Grandes Modelos de Linguagem (LLMs) obtêm pontuações de precisão semelhantes em benchmarks padrão (como MMLU-Pro e GPQA), eles são funcionalmente equivalentes e intercambiáveis para tarefas de inferência científica.
• O Problema: A precisão agregada (acerto médio) mascara uma divergência epistêmica profunda. Modelos com desempenho similar podem cometer erros sistemáticos em subconjuntos diferentes de dados. Quando esses modelos são usados para anotar dados não estruturados (como textos de notícias ou redações escolares), essa divergência oculta se propaga para os resultados estatísticos, alterando conclusões científicas, magnitudes de efeitos e, em casos extremos, invertendo o sinal dos resultados.

2. Metodologia

Os autores utilizam uma abordagem mista combinando análise de benchmarks, simulação estatística e reanálise empírica:

• Análise de Benchmarks:
  • Utilizaram previsões de modelos em dois benchmarks de raciocínio de alto nível: MMLU-Pro (12.032 questões em 14 disciplinas) e GPQA (448 questões de nível especialista em ciências).
  • Calcularam a taxa de desacordo par a par entre modelos com precisão comparável, mantendo prompts e decodificação fixos para isolar diferenças na representação interna e no raciocínio dos modelos.
• Framework Teórico e Simulação:
  • Desenvolveram um quadro de erro de medição para demonstrar como erros de predição correlacionados com variáveis de interesse ($X$) ou resultados ($Y$) enviesam estimativas de regressão.
  • Realizaram uma simulação com $N=10.000$ observações (cenário de ensaio clínico com antibióticos) comparando três "anotadores":
    1. Baixo desempenho com erros aleatórios.
    2. Alto desempenho com viés sistemático (subnotificando eventos adversos no grupo de tratamento).
    3. Alto desempenho com viés sistemático oposto (subnotificando no grupo de controle).
• Reanálise Empírica:
  • Reanalisaram dois estudos publicados usando 8 LLMs diferentes (open-source e comerciais) para substituir a anotação humana original:
    1. Ciência da Educação: Um ensaio randomizado sobre intervenção de alfabetização (Kim et al., 2021), onde LLMs reavaliaram redações de alunos.
    2. Ciência Política: Um estudo sobre atribuição seletiva em mídia estatal russa (Rozenas and Stukal, 2019), onde LLMs classificaram se notícias eram atribuídas a oficiais russos.

3. Resultados Principais

A. Divergência em Benchmarks

• Mesmo entre modelos com precisão comparável, o desacordo é massivo: 16-66% dos itens no MMLU-Pro e 17-65% no GPQA.
• Entre os modelos de ponta (precisão > 60%), o desacordo permanece entre 16% e 38%.
• Conclusão: Modelos que "acertam 7 de 10 questões" acertam subconjuntos fundamentalmente diferentes de questões, indicando perfis de erro distintos.

B. Impacto na Simulação

• A simulação demonstrou que anotadores com alta precisão agregada, mas com erros sistemáticos correlacionados com a variável de tratamento, produzem vieses maiores e em direções opostas do que anotadores com erros aleatórios (mesmo que menos precisos).
• O Anotador 2 (viés no grupo de tratamento) subestimou o efeito do tratamento em 63% (coeficiente 0.37 vs. verdadeiro 1.0).
• O Anotador 3 (viés no grupo de controle) superestimou o efeito em 43% (coeficiente 1.43).

C. Reanálise Empírica

1. Estudo de Educação (Kim et al., 2021):
   • Embora todos os LLMs tenham detectado um efeito positivo, a magnitude variou em 84% (de 0.19 a 0.35), comparado à estimativa original de 0.44.
   • A correlação com a pontuação humana (padrão-ouro) não previu a magnitude do viés no efeito do tratamento.
2. Estudo de Ciência Política (Rozenas and Stukal, 2019):
   • O estudo original encontrou uma atribuição positiva (oficiais recebem crédito por boas notícias).
   • Alguns LLMs replicaram o achado, mas dois modelos (Gemma-3-27B e Qwen-2.5-72B) inverteram o sinal, sugerindo que oficiais são mais culpados por más notícias do que creditados por boas.
   • O desacordo par a par entre os LLMs variou de 29% a 66%.

4. Contribuições Chave

1. Desconstrução da Equivalência Funcional: Demonstram que a precisão em benchmarks não garante intercambiabilidade. A escolha do modelo é uma variável oculta com consequências substantivas, análoga a uma escolha de especificação estatística.
2. Novo Eixo de Liberdade do Pesquisador: A seleção do LLM introduz um novo grau de liberdade que pode levar a "caminhos de garfo" (forking paths), onde diferentes escolhas de modelos levam a conclusões científicas contraditórias a partir dos mesmos dados.
3. Proposta de "Alinhamento Científico": Argumentam que os regimes de avaliação atuais estão desalinhados com as necessidades da ciência. Modelos precisam ser otimizados não apenas para precisão média, mas para estabilidade, calibração de incerteza e padrões de erro não correlacionados com variáveis de interesse.

5. Significado e Implicações

• Reprodutibilidade em Perigo: A "Ilusão do Benchmark" ameaça a reprodutibilidade da ciência assistida por IA. Dois pesquisadores usando modelos diferentes (mas ambos "de ponta") podem chegar a conclusões opostas sobre o mesmo fenômeno.
• Mudança de Paradigma na Avaliação: Leaderboards atuais focam em acerto agregado. O artigo defende que futuras avaliações devem priorizar a convergência entre modelos, a estabilidade sob perturbações e a análise de perfis de erro estruturados.
• Melhores Práticas para Pesquisa:
  • Tratar a escolha do modelo como parte do desenho experimental.
  • Realizar análises de sensibilidade rodando estimativas com múltiplos modelos distintos.
  • Adotar fluxos de trabalho híbridos (IA para escala + humanos para calibração de viés sistemático).
  • Documentar rigorosamente a identidade do modelo e suas configurações.

Em suma, o artigo alerta que, para a ciência, onde e para quem um modelo erra é tão importante quanto quão frequentemente ele erra. A precisão agregada é uma métrica insuficiente para garantir a validade inferencial em pesquisas científicas.