ToolOmni: Enabling Open-World Tool Use via Agentic learning with Proactive Retrieval and Grounded Execution

Resumo Técnico: ToolOmni

1. O Problema: Uso de Ferramentas em Cenários de Mundo Aberto

Os Modelos de Linguagem de Grande Escala (LLMs) têm aprimorado suas capacidades de resolução de problemas ao utilizar ferramentas externas. No entanto, em cenários de mundo aberto (caracterizados por repositórios massivos e em constante evolução de ferramentas, como APIs), as abordagens existentes enfrentam duas limitações críticas:

• Recuperação Passiva e Rígida: Métodos baseados em embedding estático ou pipelines de recuperação passiva falham em alinhar a intenção do usuário com a semântica das ferramentas em repositórios grandes, resultando em baixa precisão na seleção de ferramentas.
• Memorização Paramétrica: Métodos que tentam internalizar a documentação das ferramentas nos parâmetros do modelo (via fine-tuning) não conseguem generalizar para ferramentas não vistas ou se adaptam mal a atualizações dinâmicas, exigindo retreinamento caro.

O desafio central é criar um agente capaz de não apenas executar ferramentas, mas também proativamente buscar, selecionar e refinar a escolha de ferramentas em um ambiente dinâmico e vasto, sem depender de um conjunto fixo de ferramentas pré-memorizadas.

2. Metodologia: O Framework ToolOmni

O ToolOmni é um framework unificado de agente que integra recuperação proativa e execução fundamentada (grounded execution) em um loop de raciocínio contínuo. A abordagem é dividida em duas fases principais de treinamento:

A. Fase de Cold-Start (Aprendizado Supervisionado - SFT)

• Objetivo: Dotar o modelo de capacidades básicas de interação com ferramentas.
• Dados: Utiliza um conjunto de dados híbrido de alta qualidade derivado do ToolBench, contendo trajetórias de recuperação e execução.
• Processo: O modelo é treinado para gerar trajetórias de raciocínio e ações, utilizando Supervised Fine-Tuning (SFT) com perda de entropia cruzada. Uma etapa crucial é a filtragem automática de trajetórias para garantir qualidade.

B. Aprendizado de Ferramentas em Mundo Aberto (Otimização via RL)

• Algoritmo: Baseado em uma versão aprimorada do GRPO (Group Relative Policy Optimization), chamada de Algoritmo de Otimização de Política de Múltiplos Objetivos Desacoplados.
• Recuperação Proativa: Diferente da recuperação passiva, o agente gera iterativamente consultas de busca (<search>) e interage com o servidor de recuperação até coletar um conjunto de ferramentas suficiente para a tarefa.
• Execução Fundamentada: Após selecionar o subconjunto de ferramentas, o agente executa o raciocínio e a invocação de ferramentas (<reasoning> e chamadas de API) para resolver a query.
• Mecanismo de Recompensa Desacoplada:
  • O framework trata a recuperação e a execução como subtarefas distintas, mas interconectadas.
  • Recompensas Específicas: Calcula recompensas independentes para recuperação (precisão, recall, conversão) e execução (correção da resposta, validade do formato).
  • Vantagem Relativa: Normaliza as recompensas dentro de um grupo de amostras para cada subtarefa, evitando que a esparsidade das recompensas de execução desestabilize o aprendizado da recuperação.
  • Atualização Separada: Os gradientes para recuperação e execução são atualizados sequencialmente, não somados diretamente, prevenindo conflitos de gradiente.
• Filtragem de Trajetórias: A execução só é iniciada se a fase de recuperação tiver sucesso em recuperar todas as ferramentas "douradas" (golden tools), garantindo que o modelo de execução seja treinado apenas em contextos válidos.

3. Principais Contribuições

1. Framework Unificado ToolOmni: Um sistema end-to-end que integra a descoberta proativa de ferramentas com a execução fundamentada, superando a abordagem de pipeline desconectado.
2. Estratégia de Treinamento em Duas Etapas: Combina um cold-start supervisionado (SFT) para estabelecer fundamentos com um processo de RL (GRPO) para otimização sincronizada e exploração em ambientes abertos.
3. Algoritmo GRPO Desacoplado: Uma inovação algorítmica que otimiza simultaneamente a precisão da recuperação e a eficácia da execução através de recompensas e atualizações de gradiente separadas, permitindo supervisão mais granular.
4. Robustez e Generalização: O modelo demonstra capacidade de aprender mecanismos universais de uso de ferramentas, generalizando para ferramentas e domínios não vistos durante o treinamento.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark ToolBench, cobrindo níveis de dificuldade variados e cenários de generalização (instrução, ferramenta e categoria).

• Desempenho em Recuperação:

  • O ToolOmni alcançou o estado da arte (SOTA) na maioria das métricas, especialmente no cenário rigoroso de Multi-Domínio (recuperação de um repositório de +16.000 APIs).
  • Alcançou um NDCG médio de 78,29%, superando significativamente baselines fortes como ToolRetriever e ToolGen.
  • Destaque na precisão Top-1 e Top-3, demonstrando a capacidade de identificar as ferramentas corretas em meio a ruído massivo.

• Desempenho em Execução (End-to-End):

  • No cenário de execução completa (sem acesso às ferramentas "douradas" prévias), o ToolOmni obteve uma taxa de sucesso (SoPR) de 54,13%.
  • Isso representa um aumento de +10,8% em relação ao melhor baseline unificado (ToolGen) e supera pipelines baseados em GPT-3.5.
  • Na métrica de Win Rate (SoWR), o modelo superou o ToolLlama-v2 e o GPT-3.5, indicando respostas mais precisas e coerentes.

• Robustez e Generalização:

  • Generalização: O modelo manteve alto desempenho em ferramentas não vistas (Tool Gen.) e domínios totalmente novos (Category Gen.), superando o ChatGPT em +13,85% no cenário de generalização de categoria.
  • Resiliência a Ruído: Em testes com injeção de ferramentas adversárias (ruído), o ToolOmni mostrou capacidade de adaptação, recuperando a precisão mesmo com 15 ferramentas irrelevantes no contexto, ao contrário de outros modelos que degradam monotonicamente.

5. Significância e Conclusão

O trabalho ToolOmni representa um avanço significativo na área de agentes de IA para uso de ferramentas. Ao demonstrar que a recuperação proativa iterativa combinada com otimização de política desacoplada é superior a métodos passivos ou puramente baseados em memória paramétrica, o paper estabelece um novo paradigma para interações em ambientes de mundo aberto.

A principal implicação é que, para escalar o uso de ferramentas em LLMs, é necessário equipar os modelos com a capacidade de raciocinar iterativamente sobre a seleção e a execução, permitindo que eles naveguem em repositórios dinâmicos e complexos sem depender de retreinamento constante. O framework oferece uma solução robusta para o problema de "alucinação" e falha de recuperação, tornando os agentes mais autônomos e confiáveis em cenários reais.