Resumo Técnico: Every Eval Ever

1. Declaração do Problema

Os resultados de avaliação de IA são atualmente fragmentados, inconsistentes e difíceis de interpretar, o que prejudica a reprodutibilidade, a comparação entre benchmarks e a meta-análise sistemática. Os principais problemas identificados são:

• Incompatibilidade de Formato: Os resultados estão espalhados por leaderboards, artigos de pesquisa, postagens de blogs e repositórios customizados em 31 formatos de relatório distintos.
• Omissão de Metadados: O contexto crítico — como parâmetros de geração (temperatura, sequências de parada), procedência de dados, configurações de harness de avaliação e modos de acesso ao modelo — é frequentemente omitido ou espalhado por logs não estruturados.
• Lacunas de Reprodutibilidade: Nomes de benchmarks idênticos podem mascarar configurações de avaliação divergentes. Por exemplo, o mesmo modelo (ex: LLaMA 65B) pode receber pontuações significativamente diferentes (63.7 vs. 48.8 no MMLU) dependendo do harness de avaliação utilizado, mas essas discrepâncias são invisíveis sem uma análise forense profunda.
• Falta de Padronização: Ao contrário de datasets (padronizados por Datasheets for Datasets, Croissant) ou modelos (Model Cards), os resultados de avaliação carecem de um esquema unificado para capturar o contexto de execução necessário para determinar se dois scores são comparáveis.

2. Metodologia: O Framework Every Eval Ever (EEE)

Os autores propõem o Every Eval Ever (EEE), um repositório colaborativo da comunidade e um esquema unificador projetado para padronizar o reporte de avaliação de IA. A metodologia consiste em três componentes primários:

A. O Esquema Unificador

O EEE utiliza um esquema JSON versionado e agnóstico à fonte que captura o contexto completo de uma execução de avaliação. O esquema é modular, organizado em cinco blocos de metadados:

1. Metadados de Origem: Identifica o produtor (desenvolvedor, terceiro, próprio) e a origem (artigo, leaderboard, execução local).
2. Informação do Modelo: Registra o identificador do modelo e o modo de acesso (ex: API hospedada vs. motor de inferência local como vLLM), abordando confundidores ocultos onde diferentes provedores geram resultados diferentes.
3. Configuração de Geração: Captura campos de primeira classe para parâmetros como temperatura, número de amostras e sequências de parada. Parâmetros ausentes são explicitamente registrados como omitidos em vez de assumirem um valor padrão silencioso.
4. Resultados de Avaliação: Armazena métricas com semântica explícita (direção do score, tipo, intervalo) para evitar ambiguidades (ex: distinguir entre scores de toxicidade onde "menor é melhor" e scores de pass@1 onde "maior é melhor").
5. Dados ao Nível de Instância: Um arquivo companheiro opcional (_samples.jsonl) que armazena saídas por instância, prompts, referências e scores. Isso suporta interações de turno único, múltiplos turnos e agentes (incluindo rastros de chamadas de ferramentas/tool-calls).

Princípios de Design:

• Aceitação de Registros Parciais: Campos obrigatórios são mínimos para incluir resultados existentes que seriam excluídos por padrões rigorosos.
• Preservação da Identidade da Execução: Cada execução recebe um UUID em vez de um fingerprint canônico, permitindo que execuções conflitantes ou subespecificadas permaneçam visíveis para deduplicação posterior.
• Separação de Preocupações: Scores agregados são separados dos dados ao nível de instância para permitir reanálise granular.

B. Conversores e Pipeline de Validação

Para reduzir a barreira de entrada, o EEE fornece:

• Conversores Automáticos: Ferramentas para processar saídas de principais harnesses de avaliação (HELM, lm-eval-harness, Inspect AI) e realizar o scraping de leaderboards para o esquema EEE.
• Validação: Um pipeline de validação baseado em Pydantic (acessível via CLI e GitHub Bot) que impõe a conformidade com o esquema, verifica tipos de dados e sinaliza registros duplicados antes da fusão dos dados no repositório.

C. Governança Comunitária

O EEE opera como um bem público com um modelo de governança envolvendo mantenedores principais, contribuidores e revisores da comunidade. Os registros são imutáveis uma vez aceitos; correções são tratadas via mecanismos explícitos de retração e correção para preservar a reprodutibilidade.

3. Principais Contribuições

O artigo descreve quatro contribuições específicas:

1. Um Esquema Compartilhado: Um esquema JSON versionado e governado pela comunidade (com um companheiro opcional de nível de instância) que padroniza procedência de origem, configuração de geração, acesso ao modelo e semântica de métricas.
2. Ferramental de Conversão: Conversores automáticos para frameworks populares e um pipeline de validação que garante a conformidade do esquema no ponto da contribuição.
3. Repositório Colaborativo: Um banco de dados hospedado no Hugging Face (evaleval/EEE_datastore) contendo 22.235 modelos, 2.273 benchmarks únicos e 31 formatos de avaliação (até maio de 2026).
4. Viabilização de Meta-Análise: O formato unificado permite pesquisas anteriormente inviáveis devido à fragmentação de dados, incluindo análise de tradeoff custo-precisão, detecção de dependência de versão de perplexidade, forense de reprodutibilidade e meta-análise via Teoria de Resposta ao Item (IRT).

4. Resultados e Achados Empíricos

Os autores demonstram a utilidade do EEE através de quatro estudos de caso:

• Tradeoffs Custo–Precisão em Avaliação Agêntica: Ao agregar metadados sobre custo e tempo, o EEE revela que escolhas de scaffold (ex: Codex vs. OpenClaw) podem alterar significativamente os custos sem mudar a precisão, e que os efeitos do scaffold dependem do backbone do modelo.
• Perplexidade Dependente de Versão: O esquema expõe que "perplexidade" é ambíguo; diferentes implementações (ex: scripts GPTQ vs. LM Evaluation Harness) normalizam a perda de formas diferentes (tokens vs. palavras vs. bytes), levando a scores não comparáveis para o mesmo modelo. O EEE torna essas convenções de normalização explícitas.
• Forense de Reprodutibilidade: Ao converter registros oficiais do HELM e reproduções locais para o EEE, os autores identificaram discrepâncias específicas, incluindo mudanças na ordem das linhas no processamento de dados, conclusões vazias em registros oficiais e variações estocásticas de amostragem.
• Meta-Análise via IRT: Usando dados ao nível de instância, os autores aplicaram a Teoria de Resposta ao Item (IRT) para comparar datasets como GPQA Diamond e Wordle Arena, revelando diferenças nas distribuições de dificuldade dos itens e estimativas de habilidade do modelo que são invisíveis ao nível do score agregado.

Estatísticas de Dados:
O repositório abrange atualmente mais de 200.000 resultados agregados. A análise mostra uma distribuição de cauda longa de benchmarks e uma forte concentração em modelos baseados nos EUA (particularmente variantes GPT). Crucialmente, metadados críticos como a plataforma de inferência estão ausentes em 98% das linhas nos dados brutos, destacando a necessidade do esquema para capturar esses detalhes.

5. Significância e Alegações

O artigo afirma que o EEE aborda uma lacuna crítica no ecossistema de IA ao fornecer a "linguagem comum" para o reporte de avaliação. Sua significância reside na:

• Reutilização: Transformar scores estáticos e isolados em dados reutilizáveis e ricos em contexto.
• Transparência: Tornar visíveis e auditáveis os confundidores ocultos (como diferenças de motor de inferência ou parâmetros de geração).
• Escalabilidade: Viabilizar meta-análises em larga escala que eram anteriormente impossíveis devido ao esforço manual de lidar com dados heterogêneos.
• Governança: Estabelecer um modelo de padronização impulsionado pela comunidade que preserva a imutabilidade enquanto permite correções.

Os autores reconhecem limitações, observando que a cobertura é atualmente mais forte para avaliações de texto e modelo único, e que o valor do esquema depende da ampla adoção pela comunidade. Eles não pretendem substituir os harnesses de avaliação, mas sim situar-se acima deles como uma camada de tradução e agregação.