EvoTool: Self-Evolving Tool-Use Policy Optimization in LLM Agents via Blame-Aware Mutation and Diversity-Aware Selection

O artigo apresenta o EvoTool, um framework autoevolutivo que otimiza a política de uso de ferramentas em agentes LLM através de um paradigma evolutivo sem gradiente, utilizando atribuição de culpa baseada em trajetórias, mutação direcionada por feedback e seleção consciente da diversidade para superar limitações de otimização monolítica e de aspectos únicos.

O essencial

Imagine que você tem um gerente de projetos muito inteligente (o Agente de IA), mas que, às vezes, comete erros ao tentar resolver tarefas complexas, como planejar uma viagem ou organizar um evento. O problema é que, quando ele falha, muitas vezes não sabemos exatamente onde o erro aconteceu: foi no planejamento? Na escolha do fornecedor? Na execução? Ou na forma como ele apresentou o resultado final?

A maioria dos métodos atuais tenta consertar esse gerente de duas formas ruins:

1. O "Tudo ou Nada": Eles reescrevem todo o manual do gerente de uma vez. Isso é perigoso porque, ao tentar consertar um erro de planejamento, eles podem quebrar a habilidade dele de escolher bons fornecedores. É como tentar consertar o motor de um carro trocando o motor inteiro, arriscando estragar o sistema de som e o ar-condicionado no processo.
2. O "Foco Cego": Eles tentam consertar apenas uma parte (ex: só o planejamento), ignorando que o erro pode ter vindo de outra parte e se espalhado. É como tentar consertar um vazamento de água apenas apertando a torneira, ignorando que o cano estourou lá embaixo.

O EVOTOOL é a nova solução proposta pelos pesquisadores. Pense nele como um sistema de evolução inteligente e cirúrgica para esses agentes.

Aqui está como ele funciona, usando analogias do dia a dia:

1. A Equipe Especializada (Módulos)

Em vez de ter um único "cérebro" bagunçado, o EVOTOOL divide o trabalho do agente em 4 especialistas distintos:

• O Planejador: Desenha o mapa da missão.
• O Selecionador: Escolhe as ferramentas certas para o trabalho.
• O Executor: Usa as ferramentas com precisão.
• O Sintetizador: Joga todas as informações e cria a resposta final.

2. O Detetive de Culpa (Blame Attribution)

Quando a missão falha, o EVOTOOL não chora e nem reescreve tudo. Ele aciona um Detetive (o "Blamer").

• O Detetive analisa o rastro da missão (o que foi feito, o que deu errado).
• Ele aponta o dedo para o especialista específico que cometeu o erro.
• Exemplo: "Não foi o Planejador que errou o mapa. O erro foi do Executor, que usou a ferramenta errada."

3. A Cirurgia Precisa (Targeted Mutation)

Agora que sabemos quem errou, o EVOTOOL não muda todo o time. Ele chama apenas o especialista culpado para uma sessão de feedback.

• Um "Mentor" (outra IA) lê o relatório do Detetive e diz ao especialista: "Você errou porque escolheu a ferramenta X quando deveria ter escolhido Y. Aqui está uma regra nova para não errar mais."
• Apenas a "receita" (o prompt) desse especialista é atualizada. Os outros três continuam trabalhando exatamente como antes, sem serem perturbados.

4. A Seleção Diversa (Diversity-Aware Selection)

Aqui está o segredo para não ficar "estagnado". Imagine que você está criando uma equipe de atletas. Se você escolher apenas o mais rápido para correr, pode acabar sem ninguém que saiba nadar.

• O EVOTOOL mantém um grupo diverso de candidatos.
• Ele não escolhe apenas o "melhor" em geral. Ele pergunta: "Quem foi o melhor neste tipo específico de problema?"
• Assim, ele mantém especialistas diferentes na equipe, garantindo que o agente saiba lidar com situações variadas, sem ficar preso em uma única estratégia ruim.

O Resultado?

Ao fazer isso, o EVOTOOL consegue:

• Aprender mais rápido: Porque não perde tempo consertando o que já funciona.
• Ser mais eficiente: Gasta menos "energia" (tokens) do computador.
• Ser mais robusto: Consegue lidar com tarefas longas e complexas onde outros métodos falham, porque entende onde o problema realmente está.

Em resumo:
Enquanto outros métodos tentam "chutar o balde" ou "consertar apenas um parafuso" de forma aleatória, o EVOTOOL age como um médico de elite: ele faz um diagnóstico preciso, opera apenas na área doente e mantém o paciente saudável e diversificado para o futuro.

Resumo técnico

Resumo Técnico: EVOTOOL

1. O Problema

Agentes baseados em Grandes Modelos de Linguagem (LLMs) dependem de políticas eficazes de uso de ferramentas para resolver tarefas complexas. No entanto, otimizar essas políticas enfrenta dois desafios principais:

• Atribuição de Crédito Difícil: Em trajetórias de longo horizonte (long-horizon), onde múltiplas ferramentas são chamadas sequencialmente, o feedback de sucesso ou falha geralmente ocorre apenas no final da interação. Isso cria um problema de atribuição de crédito: é difícil determinar qual módulo específico (planejamento, seleção, chamada ou síntese) causou a falha.
• Limitações das Abordagens Existentes:
  • Otimização Monolítica: Métodos que tratam o prompt do agente como um bloco único tendem a entrelaçar comportamentos heterogêneos. Corrigir um erro em uma área pode desestabilizar capacidades em outras (regressão).
  • Otimização de Aspecto Único: Métodos que refinam apenas um componente (ex: apenas o planejador) ignoram a propagação de erros entre módulos, falhando em corrigir falhas sistêmicas em cadeias de decisão complexas.

2. Metodologia: EVOTOOL

O EVOTOOL é um framework de auto-evolução que otimiza uma política de uso de ferramentas modular através de um paradigma evolutivo sem gradiente (gradient-free). A abordagem decompõe a política do agente em quatro módulos distintos:

1. Planner (Planejador): Decompõe a tarefa em subobjetivos.
2. Selector (Seletor): Decide qual ferramenta chamar.
3. Caller (Chamador): Constrói os argumentos e executa a ferramenta.
4. Synthesizer (Sintetizador): Integra as saídas das ferramentas na resposta final.

O sistema opera em um loop iterativo de auto-aperfeiçoamento baseado em três mecanismos inovadores:

• A. Atribuição de Culpa Baseada em Trajetória (Trajectory-Grounded Blame Attribution):

  • Em vez de olhar apenas para o resultado final, o sistema analisa o rastro de execução (trajetória) para diagnosticar falhas.
  • Um "Blamer LLM" recebe o registro da tarefa, a trajetória completa e eventos diagnósticos estruturados.
  • Ele atribui pontuações de "culpa" a cada módulo, identificando qual componente foi o principal responsável pela falha ou subotimização. Isso localiza o problema com precisão.

• B. Mutação Direcionada Guiada por Feedback (Feedback-Guided Targeted Mutation):

  • Uma vez identificado o módulo culpado, um "Mutator LLM" gera um feedback em linguagem natural crítico e específico.
  • Esse feedback é usado para editar apenas a especificação (prompt/regras) do módulo culpado, mantendo os outros três módulos congelados.
  • Isso evita a regressão de capacidades não relacionadas e permite correções localizadas e interpretáveis.

• C. Seleção de População Consciente de Diversidade (Diversity-Aware Population Selection):

  • Para evitar a convergência prematura para uma estratégia estreita (onde o agente perde habilidades complementares), o EVOTOOL mantém uma população de variantes de políticas.
  • A seleção não é baseada apenas na média global de desempenho, mas em vitórias em nível de instância (instance-level wins). Um candidato é retido se for o melhor em pelo menos uma tarefa específica do conjunto de validação.
  • Isso preserva "especialistas" que podem ser ruins na média, mas excelentes em domínios específicos, garantindo robustez em distribuições de tarefas heterogêneas.

3. Principais Contribuições

1. Framework de Auto-Evolução Modular: Propõe o EVOTOOL, que otimiza políticas de ferramentas sem atualizar os pesos do modelo base (frozen weights), focando apenas na evolução das especificações dos módulos.
2. Mecanismos de Diagnóstico e Correção Localizada: Introduz a atribuição de culpa baseada em trajetória e mutação direcionada, resolvendo o dilema da atribuição de crédito em feedbacks atrasados.
3. Estratégia de Diversidade: Desenvolve uma seleção de população que equilibra exploração e exploração, evitando o colapso de modos (mode collapse) comum em algoritmos evolutivos tradicionais.
4. Desempenho Superior e Transferibilidade: Demonstra ganhos consistentes em múltiplos benchmarks e modelos, com alta eficiência de tokens e capacidade de transferir políticas aprendidas entre diferentes conjuntos de dados e modelos.

4. Resultados Experimentais

O EVOTOOL foi avaliado em quatro benchmarks principais: ToolBench, RestBench, τ-Bench (tarefas de longo horizonte e estado) e BFCL (chamada de função).

• Desempenho: O método superou consistentemente as melhores linhas de base (baselines) de ponta (State-of-the-Art) em mais de 5 pontos de média em ambos os modelos base testados:
  • GPT-4.1: Média geral de 70.6 (vs. ~63.8 do melhor baseline monolítico e ~57.5 do melhor baseline de aspecto único).
  • Qwen3-8B: Média geral de 57.0 (vs. ~51.4 do melhor baseline monolítico).
• Robustez em Tarefas Complexas: A vantagem foi mais pronunciada em tarefas de longo horizonte (τ-Bench), onde métodos de aspecto único falharam ao não capturar dependências entre módulos, enquanto o EVOTOOL alcançou 52.0 (vs. 38.8 do DRAFT).
• Eficiência: O EVOTOOL alcançou desempenho superior com menor custo de tokens (token efficiency) em comparação com métodos de otimização global, pois as mutações são restritas a componentes específicos.
• Transferibilidade: Políticas evoluídas em um modelo (ex: Qwen3-8B) transferiram-se eficazmente para outro (GPT-4.1), e políticas evoluídas em um domínio (ToolBench) funcionaram bem em outro (RestBench).

5. Significado e Conclusão

O trabalho do EVOTOOL representa um avanço significativo na otimização de agentes de IA. Ao decompor a política de uso de ferramentas e aplicar um mecanismo de "culpa" preciso, o framework resolve o problema fundamental de como aprender com feedbacks esparsos e atrasados sem destruir capacidades existentes.

A abordagem demonstra que a evolução modular e direcionada é superior tanto à otimização global (que é instável) quanto à otimização local isolada (que é incompleta). Isso abre caminho para agentes mais robustos, capazes de aprender e adaptar-se continuamente a novos ambientes e ferramentas sem a necessidade de re-treinamento pesado ou supervisão densa em cada passo. O código será disponibilizado publicamente após a aceitação do artigo.