Resumo Técnico: Quando as Ferramentas Falham: Avaliando o Replanejamento Dinâmico e a Recuperação de Anomalias em Agentes de LLM

1. Definição do Problema

Os benchmarks atuais para Raciocínio Integrado a Ferramentas (TIR - Tool-Integrated Reasoning) em Grandes Modelos de Linguagem (LLMs) avaliam predominantemente agentes sob condições de "caminho feliz" (happy path), assumindo implicitamente que os ambientes de ferramentas são perfeitamente estáveis e verídicos. Isso negligencia a realidade da execução de ferramentas no mundo real, que frequentemente envolve grafos de dependência complexos e propensos a falhas. Os agentes encontram frequentemente dois tipos distintos de falhas:

• Falhas Explícitas: Exceções legíveis por máquina (ex: HTTP 404, 429, timeouts) que bloqueiam claramente a execução.
• Falhas Implícitas: Respostas estruturalmente válidas, mas semanticamente corrompidas (ex: contagens de estoque negativas devido a atrasos em atualizações) que exigem detecção autônoma de anomalias para serem identificadas.

Os métodos de avaliação existentes falham ao não distinguir entre o replanejamento sistemático e o erro e acerto cego (trial-and-error), introduzindo perturbações aleatoriamente em vez de em nós pré-especificados. Consequentemente, há uma falta de métricas rigorosas para medir a capacidade de um agente em detectar anomalias, retroceder (backtrack) e replanejar dinamicamente quando obstruído.

2. Metodologia: O Framework TOOLMAZE

Os autores introduzem o TOOLMAZE, um benchmark projetado para mudar a avaliação da execução de trajetória única estática para a exploração dinâmica de espaço de estados. O framework é construído sobre uma grade de avaliação bidimensional definida por eixos ortogonais: Complexidade Topológica (C) e Modo de Perturbação (P).

2.1 Corpus de Ferramentas e Geração de Tarefas

• Corpus: Um conjunto curado de 270 ferramentas em seis domínios (Financeiro, Viagens, Escritório, Compras, IoT, Geral), categorizadas como ferramentas de Origem (Source), Processamento (Processor) ou Ação (Action).
• Construção Baseada em DAG: As tarefas são geradas como Grafos Acíclicos Dirigidos (DAGs), onde os nós representam chamadas de ferramentas e as arestas representam dependências de fluxo de dados. Isso garante coerência semântica e permite a enumeração exaustiva de caminhos de recuperação válidos (verdade fundamental/ground truth).
• Naturalização: Os DAGs são convertidos em consultas de linguagem natural ricas em contexto via um pipeline de dois estágios, com validação reversa para garantir que a consulta gerada corresponda estritamente às dependências subjacentes da ferramenta.

2.2 A Matriz de Avaliação C × P

• Eixo 1: Complexidade Topológica (C): As tarefas são estruturadas em quatro níveis de complexidade crescente:
  • C1 (Linear): Caminho único, sem alternativas.
  • C2 (1-para-N): Introduz substitutos funcionalmente equivalentes que exigem substituição de etapa única.
  • C3 (Muitos-para-Muitos): Cria um espaço combinatório de caminhos de recuperação válidos através de subgrafos interagentes.
  • C4 (Multi-ramificação Integrada): Combina múltiplos padrões C2 e C3, exigindo raciocínio sobre múltiplos nós de ramificação.
• Eixo 2: Modo de Perturbação (P): Uma taxonomia 2 × 2 cruzando manifestação de erro (Explícita vs. Implícita) e persistência temporal (Transiente vs. Permanente):
  • P1: Explícita-Transiente (ex: timeout temporário).
  • P2: Explícita-Permanente (ex: ferramenta removida).
  • P3: Implícita-Transiente (ex: corrupção semântica temporária).
  • P4: Implícita-Permanente (ex: corrupção semântica persistente).
• Mecanismo de Perturbação: Um mecanismo de tempo de execução injeta respostas sintéticas determinísticas e pré-especificadas (erros ou dados corrompidos) em nós de ferramentas específicos. Isso garante condições de falha idênticas para todos os modelos avaliados.

2.3 Métricas de Avaliação

Além da Taxa de Sucesso da Tarefa (TSR - Task Success Rate) padrão, o TOOLMAZE introduz métricas para isolar capacidades de recuperação:

• Taxa de Recuperação de Perturbação (PRR - Perturbation Recovery Rate): A probabilidade condicional de resolver uma perturbação encontrada (via tentativa de repetição, caminho alternativo ou aborto gracioso).
• Custo de Recuperação (RC - Recovery Cost): Uma métrica de penalidade que quantifica a ineficiência, medindo chamadas de ferramentas desnecessárias durante a recuperação em comparação com o mínimo teórico.

3. Principais Contribuições

1. Novo Benchmark Bidimensional: O TOOLMAZE é o primeiro benchmark a avaliar sistematicamente a descoberta de caminhos dinâmicos e a recuperação de erros usando eixos ortogonais de complexidade de DAG e modos de perturbação.
2. Paradigma de Síntese Escalável e de Alta Qualidade: Os autores projetam um pipeline de síntese de dados que constrói topologias de DAG antes da naturalização da consulta. Isso garante coerência semântica e permite a enumeração exaustiva de caminhos de recuperação da verdade fundamental.
3. Análise Empírica Abrangente: Através de experimentos em modelos de pesos abertos e proprietários de última geração, o estudo fornece uma análise granular da robustez dos agentes, revelando modos de falha específicos e comportamentos de escala.

de Resultados Experimentais

A avaliação cobriu uma gama de modelos (ex: GPT-5.5, Claude-Sonnet-4-6, Gemini-3.1-Pro-Preview, série Qwen, GLM-5.1) sob prompts padrão e conscientes de falhas.

• Degradação de Desempenho: Quase todos os modelos exibiram quedas substanciais de desempenho ao transitar de baselines não perturbados para modos de perturbação. Mesmo modelos de fronteira com altas taxas de sucesso de baseline sofreram declínios acentuados em TSR, PRR e aumentos em RC sob perturbações.
• Implícito vs. Explícito: As quedas de desempenho mais acentuadas ocorreram sob falhas semânticas implícitas (P3/P4). Os modelos exibiram um "hiato de confiança" significativo, com as Taxas de Recuperação de Perturbação despencando aproximadamente 37% em cenários implícitos comparados aos explícitos. Isso indica uma confiança sistêmica excessiva em saídas corrompidas.
• Impacto da Complexidade: A resiliência foi maior em C2 (onde existem alternativas), mas deteriorou-se conforme a complexidade escalou para C3 e C4. Os agentes tiveram dificuldade com cadeias de dependência mais longas e espaços de busca combinatoriamente expandidos, muitas vezes ficando presos em loops de tentativa e erro fúteis.
• Disparidade de Escala: Uma descoberta crítica é que a tolerância a falhas de agentes melhora com a escala do modelo a uma taxa 3,66× mais lenta do que a execução de tarefas básicas. Enquanto a Taxa de Sucesso da Tarefa (TSR) cresce significamente com a contagem de parâmetros, a Taxa de Recuperação de Perturbação (PRR) mostra ganhos mínimos, sugerindo que o replanejamento dinâmico é uma capacidade distinta que não é resolvida naturalmente apenas pelo escalonamento.
• Limitações de Prompting: Embora prompts conscientes de falhas (avisando explicitamente sobre potenciais falhas) tenham melhorado o desempenho, os ganhos foram parciais. Os modelos ainda careciam de capacidades robustas de replanejamento dinâmico mesmo com orientação explícita.

5. Significância e Alegações

O artigo afirma que o TOOLMAZE desafia a prevalente falácia de avaliação de "caminho feliz" no campo. Sua principal significância reside em demonstrar que a robustez não emerge naturalmente da proficiência geral em seguir instruções ou do escalonamento do modelo.

Os autores argumentam que os agentes de LLM atuais carecem de consciência de anomalia intrínseca e que o replanejamento dinâmico representa uma capacidade distinta e fundamental que requer sinais de treinamento direcionados, em vez de apenas modelos maiores ou prompting superficial. O benchmark ressalta a necessidade urgente de mudar os paradigos de avaliação de execução linear para detecção de anomalias autônoma e replanejamento deliberado do tipo "Sistema 2" para construir agentes genuinamente resilientes.

O trabalho limita-se a topologias de DAG controladas e geradas proceduralmente para garantir a verdade matemática, reconhecendo que trabalhos futuros podem estender esses princípios para fluxos de trabalho mais não estruturados e de domínio aberto.