🔬 materials science

The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean

Este artigo identifica um "confundimento de dupla medição" em benchmarks de agentes de LLM, onde scaffolds fixos e avaliadores falhos obscurecem a verdadeira capacidade do modelo, e propõe um framework de teoria da medição com um protocolo de auditoria e reparo para transferir o controle de execução para os modelos, implementar pontuação de verdade fundamental e relatar métricas de confiabilidade além da média.

Autores originais: Yonghong Zhang, Shadi Motaali, Vu Phong Dinh, Avin Piroutiniya, Jorge E. López de Vergara, Luis de Pedro, Ricardo Correia, Isabel M. Parra, Yong Xie

Publicado 2026-09-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yonghong Zhang, Shadi Motaali, Vu Phong Dinh, Avin Piroutiniya, Jorge E. López de Vergara, Luis de Pedro, Ricardo Correia, Isabel M. Parra, Yong Xie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, os pesquisadores dependem de testes padronizados, conhecidos como benchmarks, para medir o quão bem os grandes modelos de linguagem desempenham. Esses modelos são projetados para agir como agentes, capazes de usar ferramentas digitais para resolver problemas complexos, desde analisar dados até reservar voos. Para determinar qual modelo é o melhor, os cientistas os submetem a esses testes e comparam as pontuações. A premissa subjacente é que uma pontuação mais alta significa uma máquina mais inteligente e capaz. No entanto, essa confiança repousa sobre uma premissa frágil: a de que o próprio teste está realmente medindo a inteligência da máquina, em vez da esperteza do design do teste ou do software que o executa. Se o teste for falho, os rankings tornam-se enganosos, potencialmente guiando desenvolvedores e empresas em direção às ferramentas erradas.

Uma equipe de pesquisadores descobriu uma falha específica e oculta na forma como esses benchmarks de agentes são construídos atualmente, um problema que eles chamam de "confundimento de dupla medição". Eles descobriram que, em muitos testes populares, o software que executa o experimento está fazendo quase todo o trabalho pesado, enquanto a inteligência artificial está apenas preenchendo as lacunas. Além disso, o sistema que avalia os resultados muitas vezes verifica se a resposta parece correta na superfície, em vez de verificar se a resposta é de fato verdadeira. Quando esses dois problemas ocorrem juntos, eles criam uma ilusão perfeita de desempenho, onde até mesmo um simples script de computador sem inteligência pode obter uma pontuação tão alta quanto a de uma inteligência artificial mais avançada.

Para expor isso, os pesquisadores focaram em um benchmark projetado para testar quão bem os modelos lidam com dados do mundo real desorganizados, especificamente estatísticas de comércio que contêm erros, duplicatas e páginas ausentes. Na versão padrão deste teste, o software de suporte (wrapper) que envolve o modelo lida automaticamente com todas as decisões difíceis. Se a fonte de dados falhar, o software tenta a conexão novamente. Se os dados contiverem duplicatas, o software as remove. Se os dados estiverem espalhados por muitas páginas, o software as busca todas. A inteligência artificial é solicitada apenas a decidir qual dado específico procurar e quando parar. Como o software está fazendo todo o trabalho crítico, os resultados são idênticos independentemente de qual modelo seja usado. Em um caso impressionante, dois dos modelos mais poderosos do mundo, juntamente com um simples script baseado em regras que não utiliza inteligência artificial, alcançaram quase a mesma pontuação perfeita. O teste não estava medindo os modelos; estava medindo o software que os executava.

A segunda parte do problema reside em como os resultados são avaliados. O sistema de graduação padrão nesses testes observa o formato da submissão. Ele verifica se o modelo forneceu um log de suas ações e se a estrutura dos dados parece organizada. Ele não compara os dados submetidos contra a resposta correta real. Os pesquisadores demonstraram que um modelo poderia enviar um conjunto de registros falsos completamente fabricados, desde que o arquivo parecesse bem organizado e o log estivesse escrito corretamente, e receberia a mesma pontuação alta que um modelo que submeteu os dados perfeitos e corretos. Isso significa que o teste estava recompensando a aparência do trabalho, em vez do trabalho em si.

Os pesquisadores perceberam que corrigir apenas um desses problemas não era suficiente. Se eles apenas mudassem o sistema de graduação para verificar a verdade, os modelos ainda estariam empatados porque o software ainda estaria fazendo todo o trabalho. Se eles apenas removessem a ajuda do software, o sistema de graduação falho ainda esconderia as falhas dos modelos. Eles tiveram que remover ambos ao mesmo tempo. Eles removeram o software de suporte, forçando a inteligência artificial a tomar cada decisão sobre tentar conexões novamente, remover duplicatas e buscar páginas. Em seguida, substituíram o avaliador de formato por um sistema que compara a saída do modelo diretamente contra a resposta correta conhecida.

Quando aplicaram este reparo duplo, o ranking plano e pouco informativo transformou-se em um espectro claro de habilidade. De repente, os modelos puderam ser distinguidos uns dos outros. Os modelos mais capazes mantiveram pontuações altas, provando que podiam lidar com as tarefas difíceis quando deixados por conta própria. No entanto, outros modelos que anteriormente pontuavam alto caíram para zero, revelando que eram inteiramente dependentes do software de suporte para funcionar. Alguns modelos que pareciam fortes na média foram descobertos como sendo perigosamente não confiáveis, falhando completamente em situações específicas, enquanto modelos menores e menos famosos provaram ser surpreendentemente consistentes e robustos.

O estudo também revelou que a confiabilidade desses modelos varia drasticamente dependendo das condições específicas do teste. Um modelo pode parecer excelente na média, mas falhar completamente em seu pior cenário, um detalhe que os testes padrão frequentemente escondem. Ao observar esses resultados de pior caso, os pesquisadores descobriram que o ranking dos modelos mudou completamente. Um modelo que parecia um performer de topo baseado em pontuações médias era, na verdade, o mais frágil, enquanto um modelo menor, que anteriormente era negligenciado, provou ser o mais confiável.

Este trabalho estende-se além de um único teste. Os pesquisadores aplicaram seu novo método de auditoria a outros benchmarks existentes e encontraram os mesmos problemas. Em alguns casos, o sistema de graduação era específico para o teste e funcionava corretamente, mas o software que executava o teste ainda estava fazendo trabalho demais, tornando os rankings dependentes de qual versão do software era usada. Em outros casos, o próprio sistema de graduação era falho, recompensando as coisas erradas. Os pesquisadores concluíram que, para entender verdadeiramente um agente de inteligência artificial, devemos saber exatamente quanto do trabalho o agente está fazendo versus quanto o teste está fazendo por ele, e devemos avaliar o agente pela verdade de suas respostas, não apenas pela organização de sua apresentação. Sem essas mudanças, as pontuações que vemos hoje podem estar medindo o próprio teste, em vez da inteligência que ele afirma avaliar.

Resumo Técnico: O Confundimento de Dupla Medição em Benchmarks de Agentes

1. Declaração do Problema

O artigo identifica uma falha fundamental nos atuais benchmarks de agentes de Grandes Modelos de Linguagem (LLMs): as pontuações dos benchmarks frequentemente medem o pipeline de avaliação, e não a capacidade do modelo. Os autores argumentam que as pontuações relatadas são confundidas por dois artefatos específicos que se mascaram mutuamente, tornando muitos leaderboards incapazes de distinguir modelos com capacidades vastamente diferentes.

Este "confundimento de dupla medição" consiste em:

Propriedade do Scaffold (Artefato 1): Decisões críticas de execução (ex: tentar novamente após falha, paginação, deduplicação, filtragem de linhas de resumo e submissão final) estão codificadas no harness de avaliação (o "scaffold") em vez de serem tomadas pelo modelo. Consequentemente, o modelo apenas preenche slots de modelos, e o scaffold realiza o trabalho real.
Validade do Pontuador (Artefato 2): Os avaliadores (juízes) frequentemente pontuam a forma da saída (formatação, consistência de metadados, logs autorrelatados) em vez de comparar os valores submetidos contra um ground truth (verdade fundamental). Isso permite que submissões fabricadas ou vazias recebam pontuações altas se estiverem bem formatadas, enquanto submissões corretas com problemas menores de formatação são penalizadas.

O artigo demonstra que, sob essas condições, um script baseado em regras sem LLM pode alcançar pontuações quase idênticas a modelos de fronteira (96,8 vs. 97,5), e saídas byte-idênticas são produzidas por modelos abertos não relacionados, tornando o benchmark impotente para discriminar a capacidade do modelo.

2. Metodologia

Os autores propõem um framework de teoria da medição e um protocolo de auditoria e reparo executável chamado BenchAudit.

Framework Teórico

O artigo formaliza a pontuação do benchmark como uma função do modelo $m$ , do scaffold $c$ (harness) e do pontuador $j$ .

Não-Identificabilidade: Se o scaffold detém todas as decisões críticas de execução e o pontuador avalia apenas a forma, a pontuação é invariante à escolha do modelo ( $S(m_1) = S(m_2)$ ) sempre que os modelos preenchem os templates de forma equivalente.
Identificação: Para recuperar uma medida válida da capacidade do modelo, duas condições devem ser atendidas simultaneamente:
1. Des-scaffolding (De-Scaffolding): As decisões críticas de execução devem ser transferidas do harness para o modelo.
2. Pontuação de Ground-Truth: O pontuador deve avaliar o produto de trabalho submetido contra um ground-truth determinístico e semeado (seeded), não apenas sua forma.

O Protocolo: BenchAudit

Os autores introduzem o BenchAudit, um protocolo que:

Transfere o Controle: Move as decisões (tentar novamente, dedup, submissão) do scaffold para o modelo, criando um agente "des-scaffolded" (Nível L2).
Substitui a Pontuação: Troca juízes baseados em forma por pontuação F1 de ground-truth semeado. O ground-truth é regenerável a partir de uma semente, garantindo avaliação determinística.
Reporta a Confiabilidade: Vai além das médias para reportar o desempenho de pior caso, Valor em Risco Condicional (CVaR) e Reliability@ $\tau$ através de múltiplas sementes. Isso captura o risco de cauda e a robustez do agente.
Gera Cartões de Validade: Produz um "cartão de validade" por benchmark que classifica se um benchmark mede a capacidade do modelo, o desempenho do sistema ou meramente a conformidade de autorrelato.

Configuração Experimental: ComtradeBench

Os autores instanciam este protocolo no ComtradeBench, um benchmark semeado para uso de ferramentas adversarial com formato de dados comerciais.

Tarefa: Agentes devem buscar dados paginados de uma API mock, lidar com falhas (erros 429/500, duplicatas, drift), deduplicar registros e submeter um conjunto de dados limpo.
Adversidade: Falhas são injetadas pelo ambiente, não pelo prompt, tornando-as impossíveis de serem "resolvidas por raciocínio".
Intervenção: Um experimento $2 \times 2$ compara a configuração de produção original (Scaffold L0 + Pontuador de Forma) contra a configuração reparada (Scaffold L2 + Pontuador de Ground-Truth).

3. Resultados Principais

O Leaderboard Plano vs. O Espectro de Confiabilidade

Configuração Original (L0 + Pontuador de Forma): O leaderboard é quase plano. Modelos de fronteira (Kimi, Claude) e um script baseado em regras pontuam dentro de 0,7 pontos um do outro. Modelos abertos não relacionados (Qwen2.5-7B, Llama-3.3-70B) produzem vetores de recompensa byte-idênticos por semente.
Configuração Reparada (L2 + Ground-Truth): O leaderboard "plano" transforma-se em um espectro de confiabilidade graduado.
- Top Performers: Claude-Fable-5 lidera com um F1 médio de 0,974 e um pior caso de 0,824.
- Variância de Médio Escalão: Modelos como GPT-5 e GPT-4o mostram médias altas (0,930, 0,805), mas colapsam para 0,00 em cenários de pior caso (falha bimodal).
- Escalão Inferior: Llama-3.3-70B e Qwen2.5-7B pontuam 0,000 em todas as sementes devido a "falhas de marshalamento" (submissão de payloads vazios apesar da busca de dados).

A Necessidade de Intervenção Conjunta

Uma intervenção $2 \times 2$ prova que corrigir apenas um artefato é insuficiente:

Corrigindo Apenas o Pontuador (L0 + Ground-Truth): O scaffold ainda realiza todo o trabalho; os modelos permanecem empatados.
Corrigindo Apenas o Scaffold (L2 + Pontuador de Forma): O juiz baseado em forma comprime a dispersão, escondendo falhas reais e zerando submissões vazias.
Correção Conjunta (L2 + Ground-Truth): Apenas esta combinação recupera o espectro total das capacidades dos modelos.

Auditorias de Validade Externa

$\tau$ -bench: O pontuador oficial é baseado em resultados (válido), mas o scaffold é um eixo não controlado. Alterar o scaffold (ex: tool-calling vs. ReAct) desloca a recompensa do mesmo modelo em até 0,267 e altera os rankings.
BFCL (Berkeley Function-Calling Leaderboard): Utiliza um pontuador baseado em especificação (correspondência AST), que valida a conformidade da especificação, mas não o sucesso da execução. A propriedade do scaffold não foi investigada.
Auto-Auditoria: O teste de estresse pré-registrado dos próprios autores (Claim B) mostrou um efeito significativo sob o pontuador original baseado em forma, mas esse efeito desapareceu quando avaliado contra o ground-truth, confirmando a dependência do pontuador do resultado.

4. Principais Contribuições

Identificação do Duplo Confundimento: O artigo identifica e prova formalmente que a propriedade do scaffold e a validade do pontuador são um problema de identificação conjunta. Demonstra que esses artefatos mascaram um ao outro, tornando as reparações de um lado só ineficazes.
Protocolo BenchAudit: A introdução de um pipeline de auditoria executável que transfere decisões de execução para o modelo, pontua contra o ground-truth e reporta métricas de risco de cauda (CVaR, pior caso).
ComtradeBench & Cartões de Validade: O lançamento de um benchmark gerado por sementes e um framework de "cartão de validade" que categoriza os benchmarks pelo que eles realmente medem (ex: capacidade do modelo vs. desempenho do sistema vs. conformidade de autorrelato).
Evidência Empírica: A demonstração de que remover o confundimento reordena os rankings dos modelos, revelando que modelos com "média alta" podem ter confiabilidade de pior caso catastrófica, enquanto modelos menores podem ser mais robustos.

5. Significância e Alegações

O artigo afirma que as pontuações de benchmarks não devem ser interpretadas como evidência de capacidade do modelo, a menos que o benchmark passe por verificações de validade específicas.

Reenquadramento da Avaliação: Os autores argumentam que os atuais leaderboards frequentemente medem a robustez do scaffold em vez da do modelo. Uma pontuação só é interpretável como uma propriedade do modelo se o modelo possuir as decisões críticas de execução e o pontuador for critério-válido (baseado em ground-truth).
Confiabilidade sobre a Média: O artigo afirma que a confiabilidade de pior caso é uma métrica crítica que pode reordenar a fronteira. Um modelo com média alta, mas um pior caso de 0,00, é menos confiável do que um modelo com uma média ligeiramente menor, mas um piso de pior caso elevado.
Framework Prático: O protocolo proposto é projetado para ser aplicado sobre os benchmarks existentes para diagnosticar sua validade, em vez de substituí-los inteiramente. Ele oferece um caminho prático para "des-scaffoldar" e reparar avaliações existentes.
Modéstia: Os autores reconhecem limitações, observando que o ComtradeBench é um domínio estilizado (extração de dados comerciais) e que a intervenção de "des-scaffolding" pode não ser trivial de implementar para todos os tipos de benchmark (ex: os que exigem interação complexa com o ambiente). Eles também notam que alguns benchmarks (como o BFCL) podem não ser suscetíveis à pontuação de ground-truth por não possuírem um ground-truth, limitando o escopo da alegação de "capacidade do modelo" a tipos específicos de tarefas.

Em conclusão, o artigo fornece um argumento rigoroso de teoria da medição de que, sem controlar a propriedade do scaffold e a validade do pontuador, os benchmarks de agentes estão medindo a coisa errada, e oferece um protocolo concreto e reproduzível para corrigir isso.