Position: Science of AI Evaluation Requires Item-level Benchmark Data

Este artigo de posição defende que a adoção de dados de benchmark em nível de item é fundamental para estabelecer uma ciência rigorosa de avaliação de IA, permitindo diagnósticos granulares e validação principista, e apresenta o repositório OpenEval para catalisar essa mudança na comunidade.

O essencial

Imagine que você é um professor tentando avaliar se seus alunos realmente aprenderam matemática ou se apenas decoraram as respostas do livro didático.

Até agora, a forma como avaliamos a Inteligência Artificial (IA) tem sido um pouco como olhar apenas para a nota final de uma prova. Se o aluno tirou 9,0, dizemos: "Ótimo, ele sabe matemática!". Mas e se ele só acertou porque o professor usou as mesmas perguntas de um teste antigo que ele já viu antes? Ou e se a prova era tão fácil que qualquer um tiraria 9,0?

Este artigo, escrito por pesquisadores da Johns Hopkins, Microsoft e outras instituições, diz que parar de olhar apenas para a nota final é urgente. Eles defendem que precisamos olhar para cada pergunta individualmente (o que chamam de "dados em nível de item") para entender o que a IA realmente sabe.

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: A "Nota Média" Engana

Hoje, quando lançamos um novo modelo de IA, a comunidade olha para uma tabela de classificação (um leaderboard) e vê uma média de acertos.

• A Analogia: Imagine que você quer comprar um carro. O vendedor diz: "Este carro faz 100 km/h em média!". Mas ele não diz que o carro quebra na primeira subida ou que o motor faz um barulho estranho. Você só sabe a "média", mas não sabe a qualidade real.
• O que acontece na IA: Muitos testes de IA estão ficando "saturados". As perguntas são tão fáceis que a IA acerta tudo, ou as perguntas vazaram para a internet e a IA "decorou" a resposta antes mesmo de ser testada. Se olharmos apenas para a média, achamos que a IA é um gênio, quando na verdade ela pode estar apenas "chutando" ou repetindo o que viu no treinamento.

2. A Solução: A "Autópsia" de Cada Pergunta

Os autores dizem que precisamos de uma ciência de avaliação mais rigorosa, parecida com a que os psicólogos usam para criar testes de QI ou exames escolares.

• A Analogia: Em vez de apenas olhar a nota do aluno, o professor precisa analisar cada questão da prova:
  • Essa pergunta era muito fácil? (Todo mundo acertou, então não serve para diferenciar quem sabe de quem não sabe).
  • Essa pergunta era ambígua? (A IA acertou, mas por um motivo errado).
  • Essa pergunta mede mesmo o que queremos? (A pergunta era sobre lógica ou sobre a capacidade de ler letra miúda?).
• Na prática: Ao olhar para cada resposta individual da IA, podemos descobrir se ela está raciocinando de verdade ou apenas usando "atalhos" (como adivinhar a resposta baseada em uma palavra-chave).

3. O Novo Projeto: O "OpenEval" (A Biblioteca de Perguntas)

Para consertar isso, os pesquisadores criaram um repositório chamado OpenEval.

• A Analogia: Pense no OpenEval como uma biblioteca pública gigante. Em vez de apenas mostrar o resultado final de uma corrida, a biblioteca guarda:
  • O roteiro completo da corrida.
  • O que cada corredor fez em cada curva.
  • Onde eles tropeçaram.
  • Por que eles ganharam ou perderam.
• Por que isso importa? Com esses dados abertos, qualquer pesquisador pode pegar uma pergunta específica, ver como 500 IAs diferentes responderam a ela e descobrir padrões que ninguém viu antes. Isso ajuda a criar testes melhores e mais justos.

4. Por que isso muda tudo?

Sem esses dados detalhados, estamos no escuro.

• Sem dados detalhados: É como tentar consertar um relógio olhando apenas para o ponteiro dos segundos. Você vê que ele se move, mas não sabe qual engrenagem está quebrada.
• Com dados detalhados: É como abrir o relógio e ver cada engrenagem. Se a IA erra em perguntas de "raciocínio lógico" mas acerta em "memorização", os desenvolvedores sabem exatamente onde melhorar o modelo.

Resumo em uma frase

Este artigo pede que paremos de tratar a avaliação de IA como um "resultado final misterioso" e comecemos a tratá-la como uma ciência forense, onde examinamos cada "prova" (pergunta) individualmente para garantir que a inteligência que estamos medindo seja real e não apenas um truque de mágica.

O objetivo final: Garantir que, quando usarmos IAs em hospitais, tribunais ou escolas, elas sejam realmente competentes e seguras, e não apenas boas em tirar notas altas em testes mal feitos.

Resumo técnico

Resumo Técnico: A Ciência da Avaliação de IA Requer Dados de Benchmark em Nível de Item

1. O Problema: Falhas de Validade Sistêmicas na Avaliação de IA

O artigo identifica que as avaliações de Inteligência Artificial (IA), particularmente as baseadas em benchmarks (conjuntos de testes padronizados), sofreram falhas sistêmicas de validade à medida que os modelos generativos são implantados em domínios de alto risco. Os principais problemas incluem:

• Falta de Transparência e Justificativa: As escolhas de design (definição de capacidades, curadoria de conteúdo, seleção de métricas) muitas vezes carecem de justificativa formal ou transparência, dificultando a validação do que os benchmarks realmente medem (validade de construto).
• Degradação do Ciclo de Vida: Os benchmarks estáticos sofrem de saturação (tornam-se fáceis demais para modelos modernos), desatualização de conteúdo e contaminação de dados (onde os modelos treinam nos dados de teste).
• Limitação das Métricas Agregadas: A análise atual foca excessivamente em pontuações agregadas no nível do benchmark (ex: média de acurácia). Isso mascara problemas críticos, como itens ruins, viéses específicos, correlações espúrias e a incapacidade de distinguir se melhorias de desempenho refletem ganhos reais de raciocínio ou apenas "atalhos" aprendidos pelos modelos.
• Ausência de Diagnóstico Granular: Sem dados em nível de item (respostas individuais dos modelos para cada pergunta), a comunidade não consegue diagnosticar por que um modelo falhou ou teve sucesso, nem validar a estrutura interna do teste.

2. Metodologia e Abordagem

Os autores propõem uma mudança de paradigma, adotando práticas estabelecidas na Psicometria e aplicando-as à avaliação de IA. A metodologia envolve:

• Análise de Dados em Nível de Item: Coleta e análise de dados granulares, incluindo o conteúdo de cada item, a resposta específica do modelo, a pontuação por item e estatísticas associadas.
• Teoria Clássica de Testes (TCT): Aplicação de conceitos como Dificuldade do Item ($p_i$) e Discriminação do Item ($r_i$) para avaliar a qualidade dos itens. A discriminação mede a correlação entre o desempenho em um item específico e o desempenho total no restante do teste.
• Análise Fatorial de Itens (IFA): Uso de técnicas estatísticas (como Decomposição em Valores Singulares - SVD e Modelos de Baixo Rank Generalizados - GLRM) para decompor a estrutura interna dos benchmarks e identificar sub-dimensões latentes (ex: raciocínio formal vs. recall de domínio).
• Validação Convergente e Discriminante: Correlação das pontuações de sub-construtos identificados com benchmarks externos para verificar se as dimensões medidas correspondem às capacidades teóricas pretendidas.
• Criação do OpenEval: Desenvolvimento de um repositório de dados para centralizar e padronizar o acesso a esses dados em nível de item.

3. Contribuições Principais

• Argumento de Posição: Estabelecimento de que o acesso e a análise de dados em nível de item são fundamentais para criar uma "ciência da avaliação de IA" rigorosa e baseada em evidências.
• Diagnóstico de Falhas de Validade: Demonstração de como a falta de dados granulares impede a detecção de contaminação, saturação e itens mal formulados.
• Ferramentas Analíticas: Adaptação de métodos psicométricos (TCT e IFA) para diagnosticar a qualidade de benchmarks de LLMs (Large Language Models).
• OpenEval: Lançamento de um repositório crescente e escalável contendo mais de 225.000 itens de 64 conjuntos de dados, com mais de 8 milhões de respostas de modelos, projetado para suportar a avaliação centrada em evidências.

4. Resultados e Evidências Empíricas

Os autores realizaram análises ilustrativas em conjuntos de dados populares (MMLU, MMLU-Pro, BabiQA) para validar sua tese:

• Saturação e Qualidade de Itens (MMLU vs. MMLU-Pro):
  • A análise de TCT revelou que, embora o MMLU-Pro tenha sido projetado para ser mais robusto, uma grande proporção de seus itens ainda apresenta baixa dificuldade para modelos pós-2024, indicando saturação rápida.
  • Itens com discriminação negativa ou próxima de zero foram identificados, sugerindo que eles não distinguem modelos competentes de incompetentes e podem conter ambiguidades ou pistas irrelevantes.
• Estrutura Interna e Sub-construtos (BabiQA e MMLU-Pro):
  • BabiQA: A análise fatorial mostrou que os clusters de itens eram explicados principalmente pela chave de resposta (ex: qual animal é mencionado) e não pela capacidade de dedução lógica pretendida. Isso indica uma validade de construto comprometida.
  • MMLU-Pro: A análise identificou quatro dimensões latentes principais que explicam o desempenho dos modelos: (1) Modelagem quantitativa formal e multi-etapas; (2) Recall específico de domínio e raciocínio simples; (3) Compreensão conceitual e explicação; (4) Síntese aplicada e julgamento baseado em casos.
  • Validação Externa: As pontuações desses sub-construtos correlacionaram-se de forma esperada com benchmarks externos (GPQA e Omni-MATH), validando que a decomposição em nível de item revela capacidades reais que as pontuações agregadas ocultam.
• Revelação de Inconsistências: Mostrou-se que itens dentro do mesmo domínio (ex: Psicologia ou Física) podem medir capacidades cognitivas radicalmente diferentes, o que é invisível em análises de nível agregado.

5. Significado e Impacto

O artigo tem implicações profundas para o futuro da pesquisa e governança de IA:

• Ciência da Avaliação Rigorosa: Transita a avaliação de IA de uma prática baseada em "ranking" para uma ciência baseada em evidências, permitindo a validação formal de métricas e capacidades.
• Manutenção e Atualização de Benchmarks: Facilita a identificação proativa de itens saturados ou contaminados, permitindo a atualização dinâmica e eficiente dos conjuntos de teste.
• Governança e Auditoria: Fornece a base de evidências necessária para reguladores e partes interessadas auditarem alegações de capacidade de modelos, rastreando conclusões agregadas até exemplos de dados concretos e padrões de erro.
• Desenvolvimento de IA Centrada em Dados: Permite que pesquisadores de ML entendam as trajetórias de aprendizado dos modelos em nível de amostra, informando melhor a composição de dados de treinamento e a escolha de tarefas proxy.
• Comunicação Pública: Itens individuais permitem exemplificar capacidades e limitações da IA de forma tangível para públicos não especialistas, promovendo narrativas mais responsáveis.

Em suma, o paper argumenta que sem a transparência e a análise de dados em nível de item, a comunidade de IA permanece cega para as verdadeiras capacidades e falhas dos modelos, comprometendo a segurança e a eficácia das implantações de alto risco. O OpenEval é apresentado como o catalisador necessário para essa mudança.