🤖 AI

GOAT: A Training Framework for Goal-Oriented Agent with Tools

O artigo apresenta o GOAT, um novo framework de treinamento que permite o ajuste fino de agentes de LLM de código aberto para uso complexo de ferramentas sem anotação humana, sintetizando automaticamente dados de execução de API orientados a objetivos a partir da documentação, alcançando desempenho de ponta em benchmarks existentes e em um novo GOATBench proposto.

Autores originais: Hyunji Min, Sangwon Jung, Junyoung Sung, Dosung Lee, Leekyeung Han, Paul Hongsuck Seo

Publicado 2026-05-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hyunji Min, Sangwon Jung, Junyoung Sung, Dosung Lee, Leekyeung Han, Paul Hongsuck Seo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma bibliotecária muito inteligente e bem informada (a IA) que sabe ler livros e escrever histórias. No entanto, se você pedir a essa bibliotecária para ir ao fundo da biblioteca, encontrar uma caixa específica de mapas antigos, retirar uma página específica e, em seguida, usar essa página para encontrar uma receita específica em um livro de receitas, ela frequentemente se perde. Ela pode adivinhar a caixa errada, abrir o livro errado ou esquecer de levar a página do mapa para a cozinha.

Esse é o problema com os agentes de IA atuais quando tentam usar "ferramentas" (como APIs, que são conexões digitais a bancos de dados, serviços meteorológicos ou listas de filmes). Eles são ótimos em conversar, mas terríveis em planejar uma missão de múltiplos passos onde uma etapa depende inteiramente do resultado da anterior.

O artigo apresenta GOAT (Agente Orientado a Objetivo com Ferramentas), um novo método de treinamento projetado para transformar essa bibliotecária confusa em um detetive mestre. Eis como funciona, usando analogias simples:

O Problema: O "Jogo de Adivinhação"

Geralmente, para ensinar uma IA a usar ferramentas, os pesquisadores precisam contratar humanos para escrever milhares de exemplos como: "Primeiro, pergunte à API do tempo sobre a chuva. Depois, pegue essa resposta de 'chuva' e pergunte à API de roupas sobre um casaco de chuva."
Isso é caro e lento. Sem esses exemplos escritos por humanos, os modelos de IA apenas adivinham. Eles frequentemente falham em tarefas complexas que exigem encadear múltiplos passos.

A Solução: A Cozinha de "Engenharia Reversa"

Os autores do GOAT perceberam que não precisavam de humanos para escrever as instruções. Eles já tinham o "livro de receitas" (a documentação da API). Em vez de pedir à IA para adivinhar a receita a partir de um prato pronto, eles decidiram preparar o prato primeiro e, em seguida, descrever a receita.

Eles usam uma estratégia "Chamada-Primeiro":

Mapear a Cozinha: Primeiro, o sistema lê todos os manuais da API e desenha um mapa de como as ferramentas se conectam. (Exemplo: "A saída da ferramenta 'Tempo' se encaixa perfeitamente na entrada da ferramenta 'Guarda-chuva'").
Cozinhar a Refeição (A Etapa de Chamada-Primeiro): O sistema escolhe um caminho nesse mapa e executa realmente as ferramentas. Ele pede dados à ferramenta do tempo, obtém o resultado e, em seguida, usa imediatamente esse resultado para perguntar à ferramenta do guarda-chuva. Ele não adivinha; executa passos reais e obtém respostas reais.
Escrever a Receita (A Etapa de Abstração): Depois que as ferramentas realizaram o trabalho, a IA examina a cadeia final de eventos e escreve uma consulta de usuário que corresponde a ela. Ela essencialmente diz: "Ah, acabei de fazer todos esses passos para encontrar um casaco de chuva. Então, um usuário perguntando 'O que devo vestir se estiver chovendo?' é o que acabei de resolver."

Ao fazer isso ao contrário (Ação $\rightarrow$ Pergunta), a IA aprende a lógica correta de como as ferramentas se conectam sem precisar que um humano escreva as instruções. Ela aprende fazendo o trabalho primeiro e, em seguida, explicando o que fez.

O Resultado: Um Super-Ajuda

O artigo testou esses novos agentes treinados com GOAT em vários desafios:

RestBench & API-Bank: São como exames onde a IA precisa encontrar críticas de filmes ou recomendações musicais usando uma cadeia de ferramentas.
GOAT-Bench: Os autores criaram um novo exame, maior e específico para esse tipo de tarefa complexa e de múltiplos passos.

As descobertas foram claras:

Modelos de Código Aberto: Antes do GOAT, modelos de IA menores e de código aberto (que são gratuitos e disponíveis para todos) eram quase inúteis nessas tarefas complexas. Eles falhavam em quase 100% das vezes.
Após o GOAT: Uma vez treinados com esse novo método, esses mesmos modelos de código aberto tornaram-se incrivelmente bons nas tarefas. Em alguns casos, eles se saíram melhor do que modelos caros e de código fechado (como o GPT-4) que geralmente dominam esses testes.
Nenhum Humano Necessário: Todo o conjunto de dados de treinamento foi construído automaticamente pelo sistema usando os manuais da API. Nenhum humano precisou sentar e escrever as instruções passo a passo.

A Conclusão

O GOAT é uma maneira de ensinar agentes de IA a planejar e usar ferramentas, permitindo que eles pratiquem o trabalho real primeiro e, em seguida, os ensina a descrever o objetivo. Ele transforma modelos de IA de código aberto de "adivinhadores sem noção" em "planejadores confiáveis" sem exigir professores humanos caros. Os autores disponibilizaram seu código e seu novo conjunto de testes (GOAT-Bench) para que outros possam utilizá-los.

Resumo Técnico: GOAT: Um Framework de Treinamento para Agente Orientado a Objetivos com Ferramentas

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) evoluíram para agentes interativos capazes de invocar ferramentas externas (APIs). No entanto, persiste uma lacuna significativa no manuseio de consultas orientadas a objetivos. Diferentemente de tarefas mais simples envolvendo consultas de etapa única ou instruções explicitamente especificadas, tarefas orientadas a objetivos exigem que um agente decomponha um objetivo de alto nível em uma sequência de chamadas de API interdependentes. Isso demanda raciocínio complexo para decomposição de tarefas, planejamento de longo horizonte e a capacidade de inferir argumentos apropriados para funções de API com base nas saídas de chamadas anteriores.

As abordagens atuais para treinar agentes nessas tarefas são limitadas pela ausência de dados de treinamento de alta qualidade. A construção de conjuntos de dados que capturem dependências entre APIs tipicamente requer anotação humana custosa, o que não é escalável. Consequentemente, a maioria dos métodos existentes depende de avaliação zero-shot, onde se espera que os modelos realizem raciocínio complexo sem supervisão específica da tarefa. Embora modelos proprietários (por exemplo, GPT-4) mostrem alguma capacidade, modelos open-source menores frequentemente falham em executar efetivamente esses cenários complexos de uso de ferramentas.

Metodologia: O Framework GOAT

Para abordar o problema da escassez de dados, os autores propõem o GOAT (Agente Orientado a Objetivos com Ferramentas), um framework de treinamento totalmente automático que sintetiza dados de execução de API orientados a objetivos a partir de documentação de API existente, sem anotação humana. O framework opera sob a premissa de que a documentação de API está tipicamente disponível para domínios-alvo e pode ser aproveitada para construir dados de treinamento.

1. Construção Automática de Conjuntos de Dados

A inovação central do GOAT é um paradigma de geração primeiro-chamada, que contrasta com as estratégias "primeiro-instrução" usadas em trabalhos anteriores (onde um LLM gera uma consulta primeiro e depois tenta mapeá-la para chamadas de API). O GOAT inverte esse fluxo para evitar vieses de auto-reforço em direção a instâncias "fáceis".

O processo de construção de dados envolve três etapas principais:

Construção do Grafo de Dependência de API:
- Análise Sintática: Documentos de API são analisados para extrair especificações de entrada/saída.
- Inicialização do Grafo: Um multidigrafo totalmente conectado é inicializado, onde as arestas representam dependências potenciais (saída da API $A$ como entrada para a API $B$ ).
- Filtragem Progressiva: Para garantir confiabilidade, o grafo é refinado através de três etapas de filtragem:
  1. Similaridade de Embedding: Filtragem grosseira usando embeddings SBERT para descartar arestas semanticamente incompatíveis.
  2. Verificação por LLM: Um LLM avalia a plausibilidade semântica com base apenas nas descrições.
  3. Validação de Execução: A etapa mais rigorosa, onde o LLM gera argumentos, executa a API de origem e verifica se a saída pode preencher validamente os parâmetros da API de destino. Isso garante que apenas fluxos de trabalho executáveis sejam retidos.
Síntese de Dados Orientados a Objetivos:
- Amostragem: Subgrafos conectados (representando sequências válidas de API) são extraídos do grafo de dependência.
- Instanciação Primeiro-Chamada: O framework instancia e executa a sequência de API, gerando saídas concretas.
- Geração de Consulta e Resposta: Com base na sequência executada e nas saídas, o LLM gera uma consulta de usuário em linguagem natural que encapsula o objetivo de alto nível e uma resposta final que interpreta os resultados. Isso cria um conjunto de dados onde o sinal de supervisão (a sequência de chamadas de API) está fundamentado na realidade, e a consulta é uma abstração dessa realidade.

2. Treinamento do Agente

O framework ajusta finamente dois componentes no conjunto de dados sintetizado:

Agente LLM: Ajustado para instrução para planejar a sequência correta de chamadas, preencher argumentos (com valores de argumentos mascarados durante o treinamento para evitar overfitting a valores específicos) e gerar a resposta final em linguagem natural.
Recuperador: Um modelo de recuperação densa (baseado em SBERT) treinado em pares consulta-documento de API de verdade para mapear consultas de usuário para especificações de API relevantes.

Contribuições Principais

Framework GOAT: Um framework de treinamento totalmente automático e inovador que constrói conjuntos de dados de execução de API orientados a objetivos a partir de documentação de API sem anotação humana. Introduz uma estratégia de geração primeiro-chamada que fornece supervisão confiável para o aprendizado de raciocínio complexo, fundamentando dados em fluxos de trabalho de API executáveis.
Desempenho de Ponta: Experimentos extensivos demonstram que agentes treinados com GOAT alcançam desempenho de ponta em múltiplos benchmarks existentes de tarefas orientadas a objetivos usando modelos open-source, em alguns casos superando modelos fechados com fortes capacidades de raciocínio.
GOATBench: A introdução de um novo benchmark de avaliação em larga escala para tarefas orientadas a objetivos. Construído usando o pipeline GOAT com verificação humana leve, cobre domínios diversos (Entretenimento, Financeiro, Comida, Viagem) e inclui composições de API "vistas" e "não vistas" para testar generalização.

Resultados Experimentais

Os autores avaliaram o GOAT no RestBench, API-Bank e no novo GOATBench.

RestBench: Modelos open-source (Llama-2-13B, Vicuna-13B) ajustados finamente com GOAT mostraram melhorias substanciais sobre baselines zero-shot e métodos open-source anteriores (RestGPT). Em alguns casos, superaram modelos fechados como o GPT-4.
API-Bank: Modelos treinados com GOAT superaram significativamente baselines zero-shot e outras abordagens de dados sintéticos, alcançando taxas de sucesso e porcentagens de caminhos corretos mais altas.
GOATBench: Agentes treinados com GOAT demonstraram ganhos consistentes sobre modelos não ajustados finamente e modelos treinados com dados primeiro-instrução (por exemplo, do ToolLLM). O framework provou ser eficaz tanto em cenários de ferramenta única quanto inter-ferramentas (multi-API).
Estudos de Ablação:
- Primeiro-Chamada vs. Primeiro-Instrução: Modelos treinados com dados primeiro-chamada consistentemente alcançaram taxas de sucesso mais altas do que aqueles treinados com dados primeiro-instrução, validando a capacidade da estratégia de fornecer melhor supervisão para raciocínio complexo.
- Generalização: Modelos treinados no GOATBench mostraram desempenho aprimorado em APIs não vistas e generalização entre benchmarks (por exemplo, treinamento no GOATBench e teste no RestBench), embora os ganhos fossem mais pronunciados no domínio.

Significado e Alegações

O artigo afirma que o GOAT fornece um caminho prático e escalável para construir agentes robustos de LLM open-source capazes de raciocínio complexo e uso de ferramentas. Ao eliminar a dependência de anotação humana custosa e aproveitar o paradigma "primeiro-chamada", o GOAT permite adaptação eficiente específica de domínio de LLMs. Os resultados sugerem que modelos open-source, quando devidamente ajustados finamente com esses dados sintéticos, podem rivalizar ou exceder o desempenho de modelos proprietários no uso de ferramentas orientado a objetivos, abordando um gargalo crítico na implantação de sistemas de IA agêntica.

Os autores reconhecem limitações, notando que, embora o framework melhore o desempenho no domínio, a generalização para cenários inteiramente não vistos permanece limitada, e a qualidade dos dados gerados depende da qualidade da documentação de API de origem. No entanto, o trabalho estabelece uma nova linha de base para treinar agentes em uso de ferramentas interdependentes sem intervenção humana.