Resumo Técnico: Avaliando os Benchmarks: Uma Auditoria de Validade de Chamada de Ferramentas

Declaração do Problema

Os benchmarks de chamada de ferramentas (tool-calling) tornaram-se o principal mecanismo para medir o progresso em agentes de modelos de linguagem, mas suas pontuações são frequentemente tratadas como verdade absoluta sem validar os próprios avaliadores. Este artigo argumenta que as pontuações dos benchmarks atuais frequentemente refletem propriedades do avaliador, em vez das capacidades do agente. Os autores identificam dois modos primários de falha em todos os paradigmas existentes:

1. Benchmarks Determinísticos: Sofrem de correspondência de estado frágil (brittle state matching), travamento de trajetória (trajectory lock-in), anotações de verdade fundamental incorretas, falhas de comunicação baseadas em substrings e desalinhamento de base de recompensa. Estes resultam frequentemente em falsos negativos (tarefas válidas marcadas como falhas) ou falsos positivos (tarefas inválidas marcadas como sucessos).
2. Benchmarks de Juiz LLM: Exibem deriva de rubrica (rubric drift), conclusões alucinadas, pontuação baseada apenas na resposta e variância substancial entre execuções. Estes introduzem instabilidade de pontuação que pode alterar as conclusões de liderança (leaderboards) sem qualquer mudança no modelo avaliado.

O problema central é que os benchmarks existentes falham em satisfazer requisitos fundamentais de validade: distinguir corretamente execuções bem-sucedidas de malsucedidas, capturar fielmente a intenção do usuário e produzir pontuações reproduzíveis sob avaliações repetidas.

Metodologia

Os autores conduziram uma auditoria sistemática de validade e reprodutibilidade de quatro grandes famílias de benchmarks de chamada de ferramentas: BFCL v4, τ 2-Bench, LiveMCPBench e MCP-Atlas.

Estrutura de Auditoria

A auditoria envolveu um procedimento de três estágios:

1. Reprodução: Reproduzir as avaliações dos benchmarks para coletar traços de execução completos, logs de invocação de ferramentas, saídas do avaliador e estados do ambiente.
2. Adjudicação Humana: Três anotadores especialistas independentes revisaram 496 execuções de tarefas. Eles inspecionaram a trajetória completa da interação, sequências de ferramentas, transições de estado e resultados finais para atribuir um rótulo humano ($h_i \in \{PASS, FAIL\}$).
3. Análise de Causa Raiz: Comparar os rótulos oficiais do benchmark ($y_i$) com os julgamentos humanos para identificar discrepâncias ($\delta_i = 1[y_i \neq h_i]$). As discrepâncias foram categorizadas em falsos negativos e falsos positivos e mapeadas para uma taxonomia de falhas unificada.

Infraestrutura

Os autores desenvolveram o Harness Lab, um sistema de código aberto usado para executar a auditoria. O Harness Lab preserva artefatos brutos, fornece diagnósticos ao nível de turno, suporta a tentativa de reexecução seletiva de casos falhos e permite comparações de execuções repetidas para medir a variabilidade da pontuação.

Soluções Propostas

Para abordar as limitações identificadas, o artigo introduz:

• Tool-Veritas: Um benchmark configurável usando um protocolo "determinístico primeiro". Ele emprega portões de estado determinísticos para verificar resultados fatuais (ex: criação de arquivos, atualizações de banco de dados) e restringe o julgamento por LLM apenas a critérios qualitativos após a passagem dos portões determinísticos. Também inclui uma janela de reparo limitada para medir a recuperação do agente.
• Métricas Decompostas: Um framework que separa a avaliação em três componentes independentes: correção de invocação de ferramenta, correção de conclusão de tarefa e verificação de resultado.

Resultados Principais

Desalinhamento Avaliador-Humano

Através de 496 tarefas revisadas por especialistas, a auditoria identificou 92 discrepâncias avaliador-humano, correspondendo a uma taxa de desalinhamento agregada de 18,5%.

• BFCL v4: Taxa de erro de 20,0% (40 discrepâncias). As falhas foram dominadas por instance_state_mismatch (80%), onde o avaliador penalizou diferenças de estado irrelevantes ou pontuação em vez do sucesso da tarefa.
• τ 2-Bench Retail: Taxa de erro de 9,8% (11 discrepâncias). Os erros incluíram falsos negativos devido a verificações de substring frágeis (ex: rejeitar uma resposta correta porque faltava uma string numérica específica) e falsos positivos onde estados de banco de dados inalterados foram incorretamente pontuados como sucesso.
• MCP-Atlas: Taxa de erro de 13,5% (12 discrepâncias).
• LiveMCPBench: Taxa de erro de 30,5% (29 discrepâncias), a mais alta entre os benchmarks auditados.

Reproducibilidade de Juízes LLM

A auditoria do LiveMCPBench revelou instabilidade significativa. Em 23 avaliações repetidas da mesma configuração de 95 tarefas, as pontuações variaram de 57,9% a 76,8%, uma dispersão de 18,9 pontos percentuais. Essa variância é grande o suficiente para alterar o ranking dos líderes, indicando que uma pontuação de execução única é insuficiente para comparação refinada de modelos.

Desempenho do Tool-Veritas

Ao ser avaliado em 70 tarefas em seis modelos, o Tool-Veritas alcançou um acordo agregado de 95,5% com os julgamentos de traço de especialista.

• Todas as 19 discrepâncias foram falsos negativos (o benchmark foi mais rigoroso que o especialista humano).
• Houve zero falsos positivos (o benchmark nunca aprovou uma execução rejeitada por um revisor humano).
• Isso sugere que separar a verificação determinística do julgamento qualitativo reduz significativamente aprovações não sustentadas, mantendo alta conformidade com a intenção humana.

Significância e Alegações

O artigo afirma que o progresso nos agentes que utilizam ferramentas requer benchmarks cujos avaliadores sejam, eles próprios, reproduzíveis, auditáveis e alinhados com os julgamentos humanos de sucesso da tarefa.

• Validade sobre Escala: Os autores argumentam que aumentar a escala ou a cobertura das tarefas é insuficiente se a lógica de avaliação for falha. As pontuações atuais frequentemente refletem artefatos do avaliador (ex: instabilidade de API, viés do juiz, correspondência de estado rígida) em vez da capacidade do agente.
• Taxonomia de Falha: O trabalho fornece uma taxonomia unificada de falhas de avaliação, distinguindo entre problemas determinísticos (correspondência frágil, erros de anotação) e problemas estocásticos (deriva de rubrica, variância do juiz).
• Infraestrutura para Depuração: Ao lançar o Harness Lab e os componentes de avaliação corrigidos, o artigo defende uma mudança para um benchmarking transparente e inspecionável, onde artefatos brutos e adjudicações humanas são preservados e acessíveis.
• Princípio de Design: Os autores propõem que os futuros benchmarks devem adotar uma abordagem "determinística primeiro", usando juízes LLM apenas para critérios que não podem ser representados como predicados de estado, evitando assim que respostas fluentes, porém incorretas, recebam crédito.

As descobertas sugerem que o campo deve se afastar de tratar as pontuações de benchmarks como verdade absoluta e mover-se para um modelo de avaliação que explicitamente considere e mitigue o erro do avaliador.