Resumo Técnico: Simulação de Interações Complexas de Chamada de Ferramentas em Múltiplas Voltas em Ambientes de Execução Sem Estado

Declaração do Problema

Dados sintéticos são um recurso crítico para o ajuste fino de Modelos de Linguagem Grandes (LLMs) menores e mais econômicos para lidar com chamadas de ferramentas complexas em múltiplas voltas. No entanto, os frameworks existentes para gerar tais dados frequentemente assumem a disponibilidade de um ambiente de execução com estado. Nesses ambientes, a validade de uma interação é determinada por se o estado de execução corresponde a um objetivo pré-especificado.

Essa suposição falha em muitos cenários do mundo real, particularmente em configurações empresariais onde a segurança de dados proíbe acesso privilegiado a backends ao vivo, ou quando as especificações de ferramentas são sintetizadas a partir de múltiplas fontes sem um estado unificado. Além disso, muitos modelos de linguagem open-source de ponta são treinados em ferramentas sintéticas geradas por LLMs que só podem ser simuladas. Métodos atuais lutam para gerar interações em múltiplas voltas significativamente complexas com chamadas de ferramentas implícitas (onde a solicitação do usuário não especifica explicitamente cada ferramenta necessária) sem acesso a um backend real com estado.

Metodologia: DiGiT-TC

Os autores introduzem o DiGiT-TC (Geração e Transformação de Dados para Chamada de Ferramentas), um framework projetado para produzir conversas sintéticas de chamada de ferramentas em múltiplas voltas que imitam a complexidade da exploração com estado, apesar de operar em um ambiente sem estado. A inovação central é uma "inversão" no processo de geração: em vez de gerar uma solicitação do usuário e depois derivar chamadas de ferramentas, o DiGiT-TC primeiro gera uma sequência de chamadas de ferramentas e depois constrói uma solicitação de usuário correspondente.

O framework opera através das seguintes etapas:

1. Inicialização: Uma conversa é inicializada com uma lista de mensagens vazia, um conjunto amostrado de ferramentas e uma persona de usuário. A persona é aumentada com detalhes específicos (por exemplo, localização, profissão) relevantes para as ferramentas amostradas.
2. Destilação do Plano:
   • Um LLM gera uma sequência bruta de chamadas de ferramentas ($S$) com base na persona e nas ferramentas. Essas chamadas incluem referências entre ferramentas (por exemplo, usando notação pontual Pythonica como $1.output para passar dados entre chamadas).
   • A sequência é tratada como um Grafo Acíclico Direcionado (DAG). O framework destila isso em uma subsequência mais concisa selecionando o maior componente conectado, filtrando chamadas de ferramentas redundantes ou desconectadas.
3. Geração de Solicitação (Seleção de Chamada de Ferramenta Implícita):
   • A sequência destilada $S$ é particionada em dois conjuntos: Explícito ($E$) e Implícito ($I$).
   • Um algoritmo seleciona aleatoriamente um tamanho alvo para o conjunto implícito. Ele remove iterativamente elementos de $S$ que não são dependências de outros elementos, garantindo que o conjunto implícito restante contenha chamadas de ferramentas que são necessárias para o conjunto explícito, mas não mencionadas diretamente pelo usuário.
   • O LLM gera uma solicitação de usuário ($r$) que visa explicitamente a sequência $E$, evitando qualquer menção direta às ferramentas em $I$.
   • Validação: Para garantir que a solicitação do usuário não seja uma transcrição trivial da sequência de ferramentas, o framework calcula o coeficiente de correlação de Kendall $\tau_b$ entre a classificação dos argumentos nas chamadas de ferramentas e sua ordem de aparecimento na solicitação do usuário. Se a correlação for muito alta (indicando um mapeamento linear e explícito), o exemplo é filtrado.
4. Tradução Reversa:
   • Para mitigar ruído e garantir que a solicitação de usuário gerada realmente leve à sequência de ferramentas pretendida, o framework executa uma etapa de tradução reversa.
   • Um LLM é instruído a prever uma nova sequência de ferramentas ($S'$) baseada apenas na solicitação de usuário gerada ($r$) e nas ferramentas disponíveis.
   • O sistema valida se as "folhas" (saídas finais) da sequência original $S$ estão representadas em $S'$. Se a condição leaves(S) \ leaves(S') = ∅ falhar, o exemplo é descartado.
5. Terminação e Aumento:
   • Execução e Sumarização: As chamadas de ferramentas são simuladas (executadas via um LLM) para substituir valores de variáveis e gerar um resumo dos resultados.
   • Aumento de Erros: O framework introduz complexidade simulando dois tipos de erros:
     • Erros Humanos: Solicitações de usuário insolúveis ou incompletas que exigem esclarecimento.
     • Erros de Execução de Ferramenta: Chamadas de ferramentas incorretas simuladas seguidas por uma dica (gerada por um LLM) guiando o modelo em direção à solução correta.

Principais Contribuições

1. Geração Sem Estado de Chamadas Implícitas: O DiGiT-TC é o primeiro framework a gerar sistematicamente interações complexas em múltiplas voltas com chamadas de ferramentas implícitas sem exigir um backend de execução com estado.
2. Estratégia de Geração Seletiva: Ao inverter a ordem de geração (Chamadas de Ferramentas $\to$ Solicitação de Usuário), o método ganha controle granular sobre quais chamadas são explícitas e quais são implícitas.
3. Mitigação de Ruído via Tradução Reversa: A introdução de uma etapa de tradução reversa garante que as solicitações de usuário geradas sejam robustas e mapeiem fielmente para as sequências de ferramentas pretendidas, filtrando alucinações ou desalinhamentos.
4. Ecossistema Open-Source: Os autores tornam totalmente open-source o framework de geração de dados, os prompts e o conjunto de dados resultante (5.000 pontos de dados), todos produzidos usando o GPT-OSS-120B, um modelo professor de pesos abertos e amigável a licenças.

Resultados Experimentais

Os autores avaliaram o DiGiT-TC em três benchmarks padrão: BFCL (Berkeley Function Calling Leaderboard), $\tau$-bench e ACEBench.

• Ganhos de Desempenho: O ajuste fino de modelos base (por exemplo, Granite-4.1-3B, Llama3.1-8B-Inst) com dados do DiGiT-TC resultou em melhorias significativas de desempenho (variando de 6 a 25 pontos percentuais) sobre os modelos base.
• Comparação de Benchmark:
  • Na categoria BFCL Multi-Turn, o DiGiT-TC (usando Llama3.1-8B-Inst) alcançou 35,5% de precisão, superando outras abordagens de dados abertos como ToolWeave (25,0%) e Magnet (26,5%), e aproximando-se do desempenho de modelos treinados em dados de fronteira (por exemplo, ToolACE-MT em 40,3%).
  • O método demonstrou forte generalizabilidade em $\tau$-bench e ACEBench, superando consistentemente abordagens anteriores treinadas exclusivamente em dados open-source.
• Estudos de Ablação:
  • Remover Chamadas de Ferramentas Implícitas causou uma queda de 4% no desempenho, confirmando sua necessidade para raciocínio complexo.
  • Remover a Tradução Reversa causou uma queda de 3%, destacando seu papel na redução de ruído.
  • Usar um modelo professor menor (GPT-OSS-20B) resultou em uma queda de ~2%, sugerindo que, embora modelos maiores ajudem, o método permanece eficaz com modelos menores e acessíveis.

Significado e Alegações

O artigo afirma que o DiGiT-TC aborda uma lacuna crítica no desenvolvimento de IA agêntica: a capacidade de treinar modelos menores em dados complexos de chamada de ferramentas em múltiplas voltas sem os riscos de privacidade e custos associados ao acesso a backends reais com estado.

• Privacidade e Escalabilidade: Ao depender exclusivamente de especificações de ferramentas e modelos de pesos abertos, a abordagem evita os riscos de segurança de dados de interfacear com backends empresariais.
• Custo-Efetividade: Os autores observam que usar o GPT-OSS-120B é significativamente mais barato do que usar modelos de fronteira como o GPT-4o (aproximadamente $0,015 por exemplo versus custos significativamente mais altos para o GPT-4), tornando a geração de dados sintéticos de alta qualidade acessível a uma gama mais ampla de profissionais.
• Estado da Arte para Modelos Abertos: O trabalho estabelece um novo estado da arte para o desempenho de chamada de ferramentas em múltiplas voltas entre modelos treinados exclusivamente em dados produzidos por modelos professores open-source e de pesos abertos.

Os autores modestamente reconhecem que, para tarefas onde uma simulação completa do estado de um sistema está disponível, métodos que aproveitam esse estado podem ainda ser superiores. No entanto, o DiGiT-TC fornece um processo robusto e repetível para gerar dados de treinamento de alta qualidade na ausência de tais ambientes.