🤖 AI

Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation

O artigo apresenta o Messier, um corpus unificado de alta resolução com quase um milhão de registros padronizados abrangendo 30 benchmarks e diversos domínios, o qual possibilita uma avaliação abrangente de agentes entre diferentes benchmarks, revela o progresso desigual entre tipos de tarefas e fornece uma infraestrutura fundamental para auditar e escalar as capacidades de agentes de IA.

Autores originais: Stefan Krsteski, Charlotte Meyer, Guillaume Allegre, Tony O'Halloran, Alexandre Sallinen

Publicado 2026-07-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Stefan Krsteski, Charlotte Meyer, Guillaume Allegre, Tony O'Halloran, Alexandre Sallinen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descobrir qual personagem de videogame é o absolutamente melhor em tudo. Você tem um personagem que é incrível em pular, outro que é um mestre em resolver enigmas matemáticos e um terceiro que consegue navegar em um labirinto perfeitamente. Mas aqui está o detalhe: cada jogo mede a "habilidade" de forma diferente. Um jogo te dá uma estrela de ouro por pular um único buraco, enquanto outro exige que você resolva um problema complexo de álgebra para abrir uma porta, e um terceiro exige que você colete cada única moeda de um nível sem tocar em um único inimigo. Se você olhar apenas para a pontuação final — um número único como "95%" — pode pensar que todos são igualmente bons. Mas esse número esconde os detalhes bagunçados. O personagem falhou porque não conseguiu pular ou porque ficou travado em uma porta? Ele obteve 95% porque fez tudo perfeitamente ou porque falhou em uma única coisa minúscula e o jogo contou a tentativa inteira como zero?

Este é exatamente o problema enfrentado pelos cientistas que estudam agentes de IA. Estes não são apenas chatbots; são trabalhadores digitais que podem usar ferramentas, escrever código, navegar na web e tomar decisões em ambientes em tempo real. Atualmente, existem centenas de testes diferentes (benchmarks), mas todos falam línguas diferentes. Alguns testes são rigorosos: se você errar um passo em uma receita de 10 passos, recebe zero. Outros são mais tolerantes. Por causa disso, é incrivelmente difícil comparar um agente que é ótimo em programação com um que é ótimo em pesquisa jurídica. É como tentar comparar um maratonista com um grande mestre de xadrez usando apenas uma pontuação única de "atletismo". Para entender como a IA está realmente melhorando, precisamos olhar sob o capô dessas pontuações e ver exatamente onde os agentes têm sucesso e onde eles tropeçam.

Apresentamos o MESSIER, um novo e enorme projeto que atua como um tradutor universal gigante para testes de IA. Os pesquisadores por trás do MESSIER não construíram apenas um novo teste; eles construíram uma biblioteca gigante que coleta os resultados de 30 testes existentes, cobrindo 11.891 tarefas específicas e 74.205 maneiras diferentes de verificar se um agente teve sucesso. Eles reuniram dados de 714 agentes de IA diferentes e até realizaram novos testes inéditos em seis áreas difíceis onde os dados estavam faltando, como revisões jurídicas e design de circuitos quânticos. No total, eles organizaram quase um milhão de registros de tentativas em um formato único e padronizado. Pense nisso como pegar uma pilha caótica de recibos de 30 lojas diferentes, cada uma escrita em uma moeda diferente e com regras matemáticas distintas, e transformá-las em uma planilha única e clara que permite ver exatamente o que foi comprado, quanto custou e qual loja teve as melhores ofertas.

O mais emocionante que o MESSIER descobriu é que a maneira como contamos os pontos muda a história. O artigo mostra que muitos testes usam uma regra "estrita": se um agente falha em até uma pequena parte da tarefa, a tarefa inteira é marcada como falha. Os pesquisadores mostraram que, se relaxassem essa regra e olhassem para quantas partes o agente acertou, o quadro de progresso pareceria muito diferente. Por exemplo, em um benchmark jurídico, a pontuação estrita de "tudo ou nada" dizia que os agentes estavam tendo sucesso apenas 0,2% das vezes. Mas quando olharam para os detalhes, descobriram que, em média, os agentes estavam satisfazendo 28,8% dos critérios. A regra estrita estava escondendo muito progresso parcial. Isso sugere que, embora a IA esteja melhorando, a maneira como a medimos pode ser muito severa, fazendo parecer que os agentes estão falhando com mais frequência do que realmente estão.

O estudo também mapeou onde a IA está realmente "vencendo" e onde ainda está enfrentando dificuldades. Eles descobriram que a IA é quase perfeita em "chamada de função" (uso de ferramentas), com uma taxa de sucesso de 0,97. Também está ficando muito boa em programação, melhorando rapidamente nos últimos dois anos. No entanto, a IA ainda está tendo dificuldades com "fluxos de trabalho empresariais" — tarefas de escritório complexas e de várias etapas, como gerenciar um processo de negócios. Nessas áreas, a taxa de sucesso é de apenas 0,57, o que significa que os agentes falham mais vezes do que acertam. Os pesquisadores também provaram que você pode usar esta biblioteca massiva para criar uma nova "escala de habilidade" para a IA que se aproxima muito de outros rankings importantes (com uma correlação de 0,81), sem precisar gastar milhões de dólares realizando novos testes.

Em última análise, o MESSIER é uma ferramenta de clareza. Ele sugere que, ao olhar para os pequenos detalhes de como um agente falha, em vez de apenas para a pontuação final, podemos obter uma imagem muito mais verdadeira do que a IA realmente pode fazer. Não diz que a IA resolveu tudo, mas sugere que nossas réguas de medição atuais podem ser muito rudimentares. Ao padronizar esses resultados, os autores esperam interromper o desperdício de dinheiro repetindo os mesmos testes e ajudar os pesquisadores a entender exatamente quais trabalhos a IA está pronta para assumir e quais ainda precisam de uma mão humana. Os dados agora estão abertos para qualquer pessoa usar, transformando uma confusão de números em um mapa claro do cenário da IA.

Resumo Técnico: MESSIER – Um Corpus de Alta Resolução para Avaliação de Agentes entre Benchmarks

Declaração do Problema

A avaliação de agentes de IA em ambientes interativos é atualmente dificultada pela fragmentação. Os esforços existentes são caracterizados por:

Heterogeneidade: Os benchmarks variam significativamente em definições de domínio, scaffolds de agentes, ambientes, espaços de ação e condições de sucesso.
Incomparabilidade: As pontuações finais frequentemente comprimem comportamentos complexos de múltiplos passos em números únicos, obscurecendo a natureza específica do sucesso ou falha. Um "passar" em uma verificação matemática binária difere fundamentalmente de um "passar" em um fluxo de trabalho empresarial com múltiplos verificadores.
Escassez de Dados e Custo: Dados de resultados de alta qualidade por tarefa são frequentemente indisponíveis ou exigem execuções custosas (estimadas em aproximadamente $40.000 para varreduras de larga escala) para gerar conjuntos de dados comparáveis.
Artefatos de Agregação: Regras de agregação padrão (ex: requisitos de "todos-passam") podem obscurecer o progresso parcial, levando a classificações de capacidade enganosas e escondendo a distribuição dos resultados ao nível de critério.

Meta-coleções existentes focam em configurações de agentes estreitas (ex: uso de ferramentas), benchmarks estáticos não-agentes, ou carecem da escala e granularidade necessárias para uma análise detalhada.

Metodologia

Os autores introduzem o MESSIER, um corpus unificado projetado para reconciliar dados heterogêneos de avaliação de agentes em um esquema padronizado.

Construção de Dados

O MESSIER consolida 957.253 resultados de tentativas abrangendo:

30 Benchmarks: Incluindo lançamentos públicos estabelecidos (ex: SWE-bench, LiveCodeBench, BFCL) e seis novos benchmarks voltados para domínios profissionais sub-representados (jurídico, clínico, científico, etc.).
714 Agentes: Combinações distintas de modelo-scaffold.
11.891 Tarefas: Instâncias individuais de problemas.
74.205 Verificadores: As verificações específicas usadas para pontuar as tentativas.

O corpus integra dados de três fontes primárias:

Lançamentos Públicos: Ingestão de resultados por tarefa de lançamentos existentes (METR, BRIDGE, Agent Psychometrics, General AgentBench) e artefatos liberados pelos autores (datasets do Hugging Face, repositórios GitHub).
Novas Avaliações: Os autores contribuíram com novas execuções uniformes de cinco agentes em seis benchmarks (HarveyAI-Lab, MedAgentBench, DABStep, QCircuitBench, ScienceAgentBench, ReplicationBench) usando o scaffold OpenHands através do harness Harbor.
Pipeline de Reconciliação: Um processo de quatro estágios para normalizar os dados:
- Padronização: Conversão dos registros em um modelo de dados uniforme onde cada ambiente contém tarefas, e cada tarefa contém verificadores tipados (script, correspondência exata, juiz LLM, humano) com regras de agregação definidas.
- Normalização: Mapeamento de identificadores de modelos, scaffolds e datas de lançamento para categorias padronizadas (seguindo as convenções do Epoch ECI).
- Verificação: Execução de testes determinísticos para higiene de identificadores, validade de datas e deduplicação, seguidos de verificações manuais pontuais.
- Classificação: Atribuição de códigos SOC (ocupacional) e NAICS (indústria) às tarefas usando um ensemble de LLM.

Estrutura Analítica

O artigo define agentes como um par de (modelo, scaffold) e tarefas como (instrução, estado inicial). Ele modela explicitamente o problema de reconciliação: como diferentes regras de agregação (ex: todos-passam vs. limiar vs. pontuação suave) mapeiam múltiplos resultados de verificadores ( $v_1, \dots, v_N$ ) para uma única pontuação de tarefa ( $S$ ). O MESSIER preserva os resultados brutos dos verificadores $\{v_i(\tau)\}$ em vez de apenas a pontuação agregada $S$ , permitindo análise contrafactual.

Principais Contribuições

Corpus Unificado: Uma infraestrutura fundamental e reutilizável contendo visões de macro e micro escala do desempenho de agentes através de 30 benchmarks e 714 agentes.
Capacidade de Re-pontuação Contrafactual: Ao reter registros ao nível de verificador, o corpus permite que pesquisadores re-agreguem pontuações sob diferentes regras (ex: mudando de "todos-passam" para "maioria-passa") para observar como as escolhas de agregação alteram a capacidade medida e o ranking dos agentes.
Índices de Capacidade de Dados Abertos: A derivação de escalas de capacidade a partir de dados abertos que se alinham com rankings estabelecidos (Epoch ECI) sem exigir novas campanhas de avaliação.
Taxonomia Granular: A inclusão de classificações SOC/NAICS e definições de espaço de ação/estado de ambiente suporta a análise segmentada por ocupação, indústria e tipo de tarefa.

Resultados e Análise

1. Progresso Inconsistente da Fronteira

A análise do progresso da fronteira (2024–2026) revela melhoria assimétrica entre os grupos de benchmarks:

Chamada de Função (Function Calling): Aproxima-se da saturação com uma pontuação de fronteira de 0.97.
Programação: Mostra a melhoria mais rápida, subindo de uma base baixa para 0.82 (crescimento líquido de +0.64).
Fluxos de Trabalho Empresariais: Permanece o domínio mais desafiador com uma pontuação de fronteira de 0.57, indicando que fluxos de trabalho profissionais de múltiplos passos ainda são difíceis para agentes.
Pesquisa/Raciocínio e GUI: Ocupam bandas intermediárias (0.68 e 0.71, respectivamente).

2. Impacto das Regras de Agregação

A re-pontuação contrafactual em benchmarks com resultados por critério (HarveyAI-Lab, $\tau^2$ -bench, TheAgentCompany) demonstra que as regras de agregação distorcem significativamente a capacidade medida:

Perda de Informação: A graduação rigorosa de "todos-passam" pode reportar sucesso próximo de zero (ex: 0.2% no HarveyAI-Lab) mesmo quando os agentes satisfazem uma fração significativa dos critérios em média (28.8%).
Instabilidade de Ranking: Alterar as regras de agregação altera o ranking dos agentes. As correlações de Spearman entre pontuações "todos-passam" e "suaves" (fração média passada) variam de $\rho=0.667$ a $\rho=0.981$ , indicando que conclusões comparativas são sensíveis às escolhas de agregação.

3. Alinhamento da Escala de Capacidade

Usando um modelo de Teoria de Resposta ao Item (IRT) 1PL nos dados do MESSIER, os autores derivaram estimativas de habilidade de agentes ( $\theta$ ) que correlacionam fortemente com o Índice de Capacidade de Avaliação (ECI) da Epoch:

Capacidade Geral: Spearman $\rho = 0.81$ .
Programação: Spearman $\rho = 0.77$ .
Matemática: Spearman $\rho = 0.84$ .
Isso sugere que uma ordenação de capacidade de alta qualidade pode ser derivada de dados abertos existentes sem novas e custosas campanhas de avaliação.

4. Predição de Dificuldade de Tarefa

O artigo testa a previsibilidade da dificuldade da tarefa ( $\beta$ ) usando metadados (instruções da tarefa, descrições do ambiente, espaços de ação).

Metadados contendo contexto completo (tarefa + ambiente + ação + resposta de ouro) geram melhorias modestas, mas consistentes, na predição de dificuldade em comparação com apenas o texto bruto da instrução.
A identidade do benchmark explica uma parte significativa da variância bruta de dificuldade, mas as descrições das tarefas contêm sinais para a dificuldade relativa dentro dos benchmarks.

Significância e Alegações

O artigo afirma que o MESSIER fornece uma infraestrutura fundamental para o campo da avaliação de agentes. Sua significância reside em:

Redução de Redundância: Ao padronizar e compartilhar dados de avaliação, visa reduzir a necessidade de execuções redundantes e custosas de avaliações de agentes.
Permitir Análise Granular: Muda o foco de pontuações agregadas para a distribuição de resultados ao nível de critério, permitindo o estudo de falhas de avaliação, design de verificadores e artefatos de agregação.
Suporte à Auditoria: A natureza aberta e inspecionável do corpus apoia a auditoria do comportamento do agente e a detecção de problemas como reward hacking ou sandbagging.
Democratização do Acesso: Ao fornecer um dataset de larga escala e pré-computado, reduz a barreira de entrada para pesquisadores que carecem de capital para rodar campanhas de agentes do zero.

Os autores mantêm uma postura modesta, reconhecendo que o corpus reflete o cenário atual (Ocidental, Inglês, domínios técnicos) e depende da validade dos benchmarks de origem, que continuam sendo um esforço comunitário contínuo para validação.