💻 computer science

Towards Robust Tool Use in Agents via Experience-Driven Adaptive Guidance

O artigo apresenta o ExpG, um mecanismo de orientação adaptativa baseada em experiência que aumenta a robustez do agente no uso de ferramentas ao adquirir, destilar e reutilizar experiências estruturadas de execuções históricas, permitindo que modelos menores superem modelos maiores em diversas tarefas.

Autores originais: Can Wang, Haoran Chen, Li Yu, Ding Hao, Bohai Zhao, Zhaoyang Liu, Zhiying Tu

Publicado 2026-08-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Can Wang, Haoran Chen, Li Yu, Ding Hao, Bohai Zhao, Zhaoyang Liu, Zhiying Tu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você acabou de construir um assistente robô superinteligente, capaz de conversar, escrever histórias e até resolver problemas matemáticos. Você deu a ele um cérebro feito de um modelo de linguagem massivo, e ele é muito bom em conversar. Mas aqui está o detalhe: para realmente fazer coisas no mundo real — como verificar a previsão do tempo, reservar um voo ou corrigir um erro em um código — ele precisa usar "ferramentas". Pense nessas ferramentas como um canivete suíço ou uma caixa de ferramentas digital. O robô tem que saber qual ferramenta pegar, como segurá-la e quando usá-la.

O problema é que o mundo real é bagunçado. Às vezes, uma ferramenta funciona perfeitamente, mas outras vezes ela apresenta falhas, dá um erro estranho ou apenas diz "não posso fazer isso" sem explicar o porquê. Se o robô tentar usar uma ferramenta incorretamente, ele pode ficar preso em um ciclo de confusão, tentando a mesma coisa errada repetidamente. Por muito tempo, os cientistas pensaram que o principal problema era apenas tornar o cérebro do robô mais inteligente. Mas este artigo sugere que o verdadeiro gargalo não é o cérebro; é a capacidade do robô de lidar com a natureza bagunçada e imprevisível de usar ferramentas sem entrar em pânico.

É aqui que entra o artigo. Os pesquisadores, liderados por Can Wang e colegas, notaram que os robôs frequentemente falham não porque são "burros", mas porque carecem de experiência. Eles tratam cada vez que pegam uma ferramenta como se fosse a primeira vez, ignorando o que aconteceu da última vez. Para resolver isso, eles criaram um sistema chamado ExpG (Guia Adaptativo Baseado em Experiência).

Pense no ExpG como um treinador pessoal para o robô. Em vez de apenas deixar o robô adivinhar, este treinador observa o robô usar as ferramentas, aprende com cada sucesso e falha, e então escreve uma "folha de referência" para o robô usar na próxima vez.

Eis como o treinador funciona em três etapas simples:

O Olhar Atento (Aquisição de Experiência): O treinador observa o robô tentar usar uma ferramenta. Ele escolheu a ferramenta certa? Digitou as instruções corretamente? A ferramenta realmente funcionou ou travou? O treinador decompõe isso em um checklist. Se o robô usou uma "chave inglesa" para apertar um parafuso, mas o parafuso era do tamanho errado, o treinador anota: "Ei, a chave inglesa funcionou, mas o problema foi o parafuso". Ele transforma esses momentos bagunçados em lições claras e estruturadas.
O Filtro e o Resumidor (Destilação de Experiência): O treinador não guarda todas as notas; isso seria excesso de bagunça. Ele filtra as notas ruins (como quando o robô tentou algo que era claramente uma má ideia) e agrupa as boas. Ele busca padrões. Por exemplo, ele pode notar que a ferramenta "Martelo" sempre quebra se você tentar usá-la em massa mole. O treinador então escreve um guia simples: "Martelo: Bom para pregos. Ruim para massa. Sempre verifique o cabo primeiro". Isso transforma centenas de tentativas bagunçadas em um manual de regras limpo e fácil de ler.
A Folha de Referência (Reuso de Experiência): Na próxima vez que o robô precisar usar um martelo, o treinador entrega a ele o guia. O robô não precisa adivinhar ou tentar 10 vezes para descobrir. Ele apenas lê o guia: "Ah, certo, verificar o cabo!" e usa a ferramenta corretamente de primeira.

O artigo testou essa ideia em diferentes cérebros de robôs (de pequenos a gigantes) e descobriu que adicionar este treinador fez uma enorme diferença. Mesmo um robô menor e menos potente com o treinador conseguiu vencer um robô muito maior e mais inteligente que não tinha um. De fato, em algumas situações complicadas onde as ferramentas estavam quebradas ou confusas, os robôs treinados foram muito melhores em descobrir o que fazer.

Os pesquisadores descobriram que este sistema ajuda os robôs de seis maneiras específicas:

Eles se tornam mais conscientes de quando usar uma ferramenta.
Eles conseguem distinguir entre duas ferramentas que parecem semelhantes.
Eles aprendem a maneira exata de digitar as instruções para uma ferramenta.
Eles podem corrigir seus próprios erros se tentarem algo errado.
Eles entendem se uma ferramenta precisa de outra ferramenta para funcionar primeiro.
Eles aprendem a confiar (ou desconfiar) de uma ferramenta se ela for conhecida por ser pouco confiável.

O artigo sugere que, ao dar aos robôs uma maneira de aprender com seu próprio histórico — como um aluno revisando suas antigas provas para estudar para a próxima — podemos torná-los muito mais confiáveis. Não se trata de tornar o cérebro do robô maior; trata-se de dar a ele uma maneira melhor de lembrar o que funciona e o que não funciona. Os resultados mostram que esta abordagem é um caminho promissor para construir agentes que possam lidar com o mundo real, bagunçado e imprevisível, sem ficarem frustrados.

Resumo Técnico: Rumo ao Uso Robusto de Ferramentas em Agentes via Orientação Adaptativa Baseada em Experiência (ExpG)

1. Declaração do Problema

O gargalo de desempenho dos agentes de IA está mudando das capacidades inerentes dos Grandes Modelos de Linguagem (LLMs) para a robustez de seus processos de execução, particularmente no uso de ferramentas. Embora as ferramentas sirvam como a interface primária para os agentes interagirem com ambientes externos, os métodos existentes frequentemente falham em garantir um uso robusto de ferramentas em diversas condições de tempo de execução.

As abordagens atuais tipicamente dependem de suposições estáticas onde:

As ferramentas são sempre invocadas corretamente e retornam respostas esperadas.
As falhas de ferramentas fornecem sinais informativos que permitem a autorreflexão contínua.

No entanto, as condições do mundo real violam essas suposições. A dinâmica ambiental pode fazer com que a mesma ferramenta produza resultados diferentes dependendo do contexto, e as respostas das ferramentas são frequentemente ruidosas ou de granularidade grossa (por exemplo, uma calculadora com erro que retorna um resultado incorreto enquanto reporta "sucesso"). Sem uma compreensão clara dos limites de capacidade de uma ferramenta e dos padrões de uso robustos, os agentes lutam para generalizar, recorrendo frequentemente ao tentativa e erro ou seguindo camros de inferência incorretos ao enfrentar sinais ambíguos.

2. Metodologia: ExpG

Os autores propõem o ExpG (Orientação Adaptativa Baseada em Experiência), um mecanismo que constrói e refina a orientação adaptativa para ferramentas ao tratar as invocações de ferramentas como experiências analisáveis, interdependentes e aprendíveis. Diferente das abordagens estáticas de caixa preta, o ExpG mantém um pool de experiência em evolução inspirado na memória do agente, operando através de três fases sequenciais:

Fase 1: Aquisição de Experiência

O ExpG analisa trajetórias de execução históricas para atribuir o sucesso ou o fracasso de cada invocação de ferramenta.

Formalização: Uma experiência $E$ é definida como $\langle h, m, c \rangle$ , onde $h$ é um hash único, $m$ é metadados (informação da ferramenta, contexto, entrada, resposta, custos) e $c$ é o conteúdo de avaliação.
Avaliação: Um LLM_evaluator (atuando como juiz) avalia cada invocação através de $d$ dimensões (por exemplo, 10 aspectos cobrindo ambiente, comportamento do agente e confiabilidade da ferramenta). Ele produz um vetor de pontuação binária e uma explicação em linguagem natural.
Particionamento: As experiências para a mesma ferramenta são particionadas em classes de equivalência baseadas em seus vetores de pontuação. Isso agrupa as invocações por padrões distintos (por exemplo, "invocação perfeita" vs. "entrada correta, mas falha da ferramenta").

Fase 2: Destilação de Experiência

Esta fase transforma experiências brutas em orientação acionável.

Filtragem: Experiências inúteis são removidas. Isso inclui filtragem por hash (removendo redundância), tempo (descartando dados obsoletos) e eficácia (removendo experiências que consistentemente levam a pontuações subsequentes mais baixas).
Seleção: Com base no número de experiências válidas, as ferramentas são categorizadas:
- One-shot: Puladas (dados insuficientes).
- Few-shot: Todas as experiências retidas são utilizadas.
- Many-shot: Um algoritmo de seleção baseado em classe de equivalência é aplicado. Ele seleciona uma cota $Q$ de experiências representativas, garantindo diversidade (cobrindo diferentes padrões de invocação) enquanto preserva a distribuição original (enfatizando padrões frequentes).
Sumarização: Um LLM_summarizer analisa o conjunto filtrado para gerar orientação para cada ferramenta. Esta orientação inclui:
- Qualitativa: Função central, padrões de sucesso, problemas comuns e melhores práticas.
- Quantitativa: Taxa de sucesso média, pontuação, custo de tempo e custo de tokens.

Fase 3: Reuso de Experiência

A orientação destilada é aplicada a tarefas futuras para mudar os agentes de tentativa e erro cega para execução informada.

Dinâmica vs. Estável: A orientação é categorizada com base na consistência.
- Orientação Dinâmica: Usada como prompts de contexto leves para ferramentas com padrões de invocação variáveis.
- Orientação Estável: Usada como restrições de esquema estritas para ferramentas com padrões consistentes de falha/sucesso (por exemplo, uma ferramenta que falha consistentemente apesar de entradas corretas devido a problemas internos de confiabilidade).
Aplicação: A orientação é injetada como parte do prompt ou como restrições dentro do esquema da ferramenta, adaptando-se ao estado atual do agente e à confiabilidade da ferramenta.

3. Principais Contribuições

Caracterização Estruturada de Invocações de Ferramentas: O artigo quebra a visão estática da invocação de ferramentas ao introduzir uma caracterização estruturada que encapsula fatores de ambiente, agente e ferramenta. Isso permite a aquisição de experiências aprendíveis via particionamento de classe de equivalência.
Mecanismo ExpG: Um framework inovador para manter um pool de experiência em nível de ferramenta em evolução. Ao adquirir, destilar e reutilizar experiências, o ExpG constrói limites de capacidade e melhores práticas que podem ser continuamente refinados.
Validação Empírica: Experimentos extensos demonstram que o ExpG melhora consistentemente o desempenho em tarefas de seleção de ferramenta, chamada de ferramenta e geração de resposta. Notavelmente, ele permite que modelos menores (ex: Qwen3-8B) superem modelos maiores que não utilizam o ExpG.

4. Resultados Experimentais

Experimentos foram conduzidos em três benchmarks visando diferentes estágios do uso de ferramentas: MetaTool (seleção de ferramenta), API-Bank (chamada de ferramenta) e BFCL-V3 (geração de resposta).

Ganhos de Desempenho: O ExpG alcançou os melhores escores Avg@3 e Pass@3 em todos os datasets e modelos (GPT-5 nano, DeepSeek-V3, série Qwen3). Por exemplo, no Qwen3-8B, o ExpG melhorou a métrica total em 7,41% no Avg@3 e 6,92% no Pass@3 em relação à linha de base "No Method".
Robustez em Configurações Desafiadoras: O ExpG mostrou ganhos particularmente fortes em ambientes ruidosos (ex: parâmetros ausentes, ferramentas indefinidas, ferramentas distratoras). No BFCL-V3, ele melhorou o desempenho de tarefas de turno único em 13,09% e de múltiplos turnos em 10,33% em configurações problemáticas.
Eficiência: O método reduziu os passos médios de inferência em tarefas normais de múltiplos turnos (de 10,14 para 9,02), enquanto incentivou um comportamento mais deliberado em cenários desafiadores, levando a taxas de sucesso mais altas com menos interações desnecessárias.
Estudos de Ablação: Remover qualquer fase (Aquisição, Destilação ou Reuso) resultou em degradação de desempenho, confirmando a necessidade do pipeline completo. O método de seleção baseado em classe de equivalência mostrou-se eficaz para equilibrar o alinhamento de distribuição e a diversidade em comparação com a seleção uniforme ou balanceada por classe.

5. Significância e Alegações

O artigo afirma que o ExpG representa um passo inicial em direção a ferramentas treináveis, indo além da documentação estática de ferramentas para uma adaptação dinâmica baseada em experiência.

Mudança de Paradigma: Ele aborda a mudança de melhorias centradas no modelo para a robustez do processo de execução, oferecendo uma solução para o "gap entre desenvolvimento e produção", onde as ferramentas se comportam de maneira diferente em contextos do mundo real.
Autoevolução: O sistema permite que os agentes se autoevoluam através da destilação estruturada e reuso de experiências de ferramentas, reduzindo a dependência de modelos de alto nível para o domínio de ferramentas.
Praticidade: A abordagem é projetada para ser compatível com harnesses de agentes existentes, operando na granularidade fina da ferramenta para complementar métodos de memória ou habilidade de nível superior.

Os autores concluem que, ao capturar limites de capacidade e melhores práticas, o ExpG pavimenta o caminho para a construção de sistemas de agentes mais robustos e adaptáveis, capazes de lidar com ambientes imprevisíveis e feedbacks ruidosos.