Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench

Título: AgentProp-Bench: Avaliando Agentes de LLM que Usam Ferramentas

Autores: Bhaskar Gurram (Zasti Inc.)
Data: Abril de 2026 (arXiv)

1. O Problema

A avaliação automatizada de agentes de Grandes Modelos de Linguagem (LLMs) que utilizam ferramentas (ferramentas de API, chamadas de função) assume frequentemente que as métricas de correção são confiáveis. No entanto, o artigo identifica duas lacunas críticas:

1. Inconfiabilidade da Avaliação: A maioria dos benchmarks (como $\tau$-bench, AgentBench) depende de heurísticas de correspondência de substrings ou palavras-chave para julgar a resposta final. Estudos mostram que essas heurísticas têm baixa concordância com anotações humanas, especialmente quando há variabilidade na formatação da saída ou parafraseamento.
2. Falta de Granularidade na Propagação de Erros: Benchmarks existentes reportam apenas uma métrica de "corretude ponta a ponta". Eles não localizam onde o erro ocorre no pipeline (ex: geração de parâmetro, execução da ferramenta, síntese da resposta) nem medem como um erro inicial se propaga até a resposta final.

2. Metodologia e o Benchmark AgentProp-Bench

O autor introduz o AgentProp-Bench, um benchmark de 2.000 tarefas (com 2.300 traços de execução) cobrindo quatro domínios principais (Calendário, Clima, Médico, Conhecimento) e um domínio de varejo mantido em teste (held-out).

Componentes Principais:

• Injeção Controlada de Erros (Protocolo P2): Em vez de depender de erros naturais, o estudo injeta intencionalmente parâmetros semanticamente incorretos (mas válidos sintaticamente) nas chamadas de ferramentas antes da execução. Exemplo: mudar a cidade de "Londres" para "Manchester" em uma consulta de clima.
• Validação Humana: Um subconjunto de 100 traços foi anotado por humanos para validar a confiabilidade dos juízes automatizados.
• Métricas de Estágio: O pipeline é decomposto em três indicadores independentes:
  • $S_1$: A injeção foi aplicada (o parâmetro foi alterado).
  • $S_2$: A chamada modificada executou com efeito observável (erros de validação ou resposta alterada).
  • $S_3$: A resposta final está errada (sob julgamento do ensemble).
• Interceptador em Tempo de Execução (Runtime Interceptor): Um módulo leve de três camadas (validação de esquema, monitoramento de palavras-chave de raciocínio e consistência de saída) testado sob um controle concorrente ($n=600$).

3. Contribuições Principais

1. Validação da Confiabilidade do Juiz: Demonstração de que a avaliação baseada em substring tem concordância chance ($\kappa=0.049$) com humanos, enquanto um ensemble de três LLMs atinge concordância moderada ($\kappa=0.432$), embora com viés conservador.
2. Medição de Propagação em Estágios: Quantificação de como erros de parâmetro se propagam. Sob avaliação validada, a probabilidade de um erro de parâmetro resultar em uma resposta final errada é de aproximadamente 62% (intervalo de 0.46–0.73 entre modelos).
3. Decomposição Rejeição-Recuperação: Evidência estatística de que a capacidade de um modelo de rejeitar parâmetros ruins e a capacidade de recuperar-se (corrigir a resposta mesmo com parâmetros ruins aceitos) são capacidades independentes (correlação de Spearman $\rho=0.126$, $p=0.747$).
4. Mitigação em Tempo Real: Avaliação de um interceptador que reduz alucinações em 23 pontos percentuais no GPT-4o-mini, mas mostra efeito nulo no Gemini-2.0-Flash devido à sua alta taxa de rejeição nativa de parâmetros.

4. Resultados Chave

A. Confiabilidade do Juiz (Judge Reliability)

• Heurística (Substring): Concordância $\kappa=0.049$ vs. Humanos (nível de chance).
• Ensemble de 3 LLMs: Concordância $\kappa=0.432$ vs. Humanos (acordo moderado).
• Viés Conservador: O ensemble tende a classificar mais respostas como erradas do que os humanos (25% corretas vs. 38% pelos humanos). Isso significa que as taxas de correção reportadas pelo ensemble são subestimadas em ~13 pontos percentuais.

B. Taxas de Propagação de Erros

• Sob a condição de injeção de erro ($S_1=1$), a taxa de propagação para uma resposta errada ($P[S_3=1 | S_1=1]$) varia entre modelos.
• DeepSeek-V3: Taxa de propagação mais baixa (~57%).
• GPT-4.1-nano: Taxa de propagação mais alta (~83%).
• A taxa condicional de erro dado que a execução foi visível ($r_{2,3}$) varia de 0.43 a 0.97, indicando alta variabilidade na robustez dos modelos.

C. Rejeição vs. Recuperação

• Os modelos não se alinham em um único eixo de "qualidade".
  • Gemini-2.0-Flash: Alta rejeição (95%), recuperação moderada (50%).
  • GPT-4.1-nano: Rejeição moderada (37.5%), recuperação quase nula (2.9%).
• Implicação: Melhorar a validação de esquema (rejeição) não melhora automaticamente a capacidade de raciocínio sobre observações corrompidas (recuperação). Estratégias de mitigação devem abordar ambos os eixos.

D. Mitigação (Interceptador)

• GPT-4o-mini: Redução significativa de alucinações de 55.8% para 32.8% (-23.0 pontos percentuais). O interceptador salvou 163 traços que estariam errados.
• Gemini-2.0-Flash: Sem efeito significativo (-1.3 pp). Como o modelo já rejeita 95% dos parâmetros errados na fase de entrada, o interceptador não tem erros para capturar.

5. Significado e Implicações

• Para a Comunidade de IR e Avaliação: O uso de heurísticas de substring para avaliar agentes de LLM é desaconselhado, pois é pior que um "lançamento de moeda" ($\kappa \approx 0$). Benchmarks futuros devem validar seus juízes contra anotações humanas.
• Para Projetistas de Agentes: A robustez de um agente é bidimensional. É necessário investir tanto em validadores de esquema rigorosos (para rejeição) quanto em mecanismos de raciocínio e recuperação (para lidar com erros que passam pelo filtro).
• Para Mitigação: Soluções de interceptação em tempo de execução são eficazes, mas dependem do modelo base. Se o modelo já possui alta rejeição nativa, o custo-benefício do interceptador diminui.
• Reprodutibilidade: O estudo libera todo o código, dados, traços e rótulos humanos, permitindo a reprodutibilidade completa da avaliação de agentes.

Conclusão

O AgentProp-Bench estabelece um novo padrão para a avaliação de agentes de LLM, movendo-se de métricas de "caixa preta" para uma análise causal de propagação de erros. O trabalho demonstra que a avaliação automatizada atual é falha, que os erros se propagam com alta probabilidade e que a robustez dos modelos deve ser analisada através de múltiplas dimensões independentes (rejeição e recuperação).