Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks

Resumo Técnico: Avaliando os Benchmarks

Definição do Problema
Configurações de avaliação padronizadas, particularmente benchmarks estáticos de múltipla escolha sobre senso comum, são amplamente utilizadas para inferir capacidades de Grandes Modelos de Linguagem (LLMs). No entanto, a extensão em que o desempenho nesses benchmarks prevê o comportamento em tarefas do mundo real permanece subespecificada. Embora as falhas dos benchmarks existentes (ex: artefatos, contaminação, anotações instáveis) sejam bem documentadas, a questão crítica mudou: os escores de benchmark servem como indicadores válidos de competência downstream do modelo? Especificamente, não está claro se benchmarks "reformulados" — projetados para mitigar falhas conhecidas — realmente melhoram a validade de critério (prevendo resultados externos) ou se apenas preservam o ranking relativo dos modelos sem aumentar sua utilidade para a inferência de capacidade.

Metodologia
O estudo avalia 23 LLMs de pesos abertos de seis famílias (Llama 3, Gemma 2, Pythia, OPT, Qwen 2.5, Mistral) variando de 1B a 72B de parâmetros. O design experimental envolve uma comparação abrangente através de quatro dimensões:

1. Pares de Benchmarks: Os autores avaliam modelos em quatro benchmarks estabelecidos de senso comum e suas variantes reformuladas:
   • WinoGrande vs. WinoWhat (parafraseado)
   • HellaSwag vs. GoldenSwag (filtrado)
   • Social IQA vs. Social IQA filtered
   • Physical IQA vs. Physical IQA-RUP (parafraseado)
2. Tarefas Downstream: Os modelos são testados em oito tarefas downstream que exigem raciocínio implícito, categorizadas em três eixos conceituais:
   • Social/Emocional: CEI, SARC7, False Beliefs.
   • Pragmático: Implicatura, Pressuposição, Pedidos Indiretos.
   • Evento/Físico: TimeDial, TRIP.
3. Benchmarks de Controle: Para distinguir a habilidade específica de senso comum da capacidade geral do modelo, o estudo inclui controles não relacionados ao senso comum: BLiMP, GPQA-Diamond e MMLU-Redux.
4. Protocolo de Avaliação: Todas as tarefas utilizam uma configuração de múltipla escolha baseada em log-likelihood para garantir uniformidade. A análise utiliza:
   • Correlações de Spearman pareadas para avaliar o ranking dos modelos.
   • Correlações de Spearman parciais controlando por tamanho do modelo, família e desempenho em benchmarks de controle.
   • Validação cruzada leave-one-family-out (LOFOCV) usando regressão Ridge para testar a validade preditiva para famílias de modelos não vistas.
   • Transformações Fisher-z e bootstrapping não paramétrico para estimar intervalos de confiança.

Contribuições Principais e Resultados

• Preservação de Rankings vs. Validade: O estudo descobre que os benchmarks reformulados preservam amplamente o ranking dos modelos de seus contrapartes originais. A exceção é o WinoWhat, que correlaciona menos fortemente com o WinoGrande e outros benchmarks, sugerindo que captura comportamentos diferentes do modelo. No entanto, essas revisões não melhoram sistematicamente a validade preditiva downstream. Na maioria dos casos, a diferença na correlação entre os benchmarks originais e reformulados em relação às tarefas downstream é negligenciável. Notavelmente, o WinoGrande original é substancialmente mais preditivo da tarefa False Beliefs do que sua variante reformulada WinoWhat.
• Transferência Estreita para Tarefas Downstream: Benchmarks de senso comum mostram validade preditiva cross-family consistente apenas para um subconjunto estreito de tarefas downstream.
  • Melhores Preditores: False Beliefs e TRIP mostram as associações mais fortes e consistentes com os escores de benchmarks de senso comum.
  • Ganhos Específicos de Métrica: Implicature, Indirect Requests e TimeDial mostram ganhos apenas para métricas específicas (ex: macro-F1 ou acurácia), não para ambas.
  • Pobres Preditores: CEI (Inferência Emocional) e SARC7 (Sarcasmo) permanecem mal previstos por benchmarks de senso comum.
• Falta de Especificidade de Domínio: A hipótese de que os benchmarks transferem melhor para tarefas downstream dentro do mesmo eixo conceitual (ex: Social IQA prevendo tarefas sociais) não é sustentada. Enquanto os benchmarks de Evento/Físico mostram algum alinhamento com tarefas de plausibilidade física, o eixo pragmático mostra o padrão oposto. Globalmente, pares correspondentes são frequentemente mais fracos do que pares não correspondentes, indicando que os rótulos dos benchmarks não mapeiam de forma confiável para capacidades downstream refinadas.
• Capacidade Geral vs. Habilidade Específica: Ao controlar por tamanho do modelo, família e desempenho em controles não relacionados ao senso comum, a significância estatística da maioria das correlações diminui. Isso sugere que as transferências observadas frequentemente refletem uma capacidade ampla do modelo em vez de um raciocínio distinto de senso comum. No entanto, os resultados de LOFOCV indicam que os escores de senso comum retêm alguma informação incremental e cross-family para False Beliefs e TRIP.

Significância e Alegações
O artigo argumenta que os benchmarks padronizados de senso comum fornecem evidência dependente de tarefa, em vez de evidência ampla, de competência de senso comum downstream. Os autores afirmam que:

1. Revisões não garantem validade: Limpar conjuntos de dados para remover artefatos ou ambiguidade melhora a qualidade interna, mas não se traduz automaticamente em melhor validade de critério ou indicadores mais úteis para seleção de modelos.
2. Generalização Limitada: O desempenho em benchmarks como HellaSwag, Social IQA ou Physical IQA não deve ser interpretado como evidência ampla de habilidades de raciocínio pragmático, social ou contextual. A relação entre escores de benchmark e tarefas downstream é desigual e raramente se alinha com os subdomínios implicados pelos metadados do benchmark.
3. Mudança nas Prioridades de Avaliação: O estudo pede uma mudança no paradigma de benchmarking. Em vez de refinar repetidamente datasets estáticos isolados, a comunidade deve priorizar a construção de suítes de avaliação onde os escores sejam demonstradamente informativos sobre comportamentos e aplicações específicas. Alegações sobre capacidades de modelos requerem evidência de validade de critério: os escores devem generalizar para tarefas externas que instanciem a capacidade pretendida em diferentes contextos e formatos, contribuindo com informação além da capacidade geral do modelo.

Os autores concluem que, embora os benchmarks de senso comum sejam informativos para tarefas específicas como False Beliefs e TRIP, eles não suportam de forma confiável alegações refinadas sobre sub-habilidades distintas de senso comum ou competência pragmática ampla.