Dynamic Tool Dependency Retrieval for Efficient Function Calling

O artigo propõe o DTDR, um método de recuperação de ferramentas dinâmico e leve que condiciona a seleção ao contexto de execução em evolução, superando os métodos estáticos existentes e aumentando as taxas de sucesso na chamada de funções em até 104%.

O essencial

Imagine que você tem um assistente pessoal superinteligente (um modelo de linguagem, como o ChatGPT) que vive dentro do seu celular. O trabalho dele é resolver tarefas complexas para você, como "Organize minha viagem para o fim de semana".

Para fazer isso, o assistente precisa usar "ferramentas" (apps do seu celular, como Google Maps, Calendário, E-mail, etc.). O problema é que o seu celular tem centenas de apps, mas o assistente só consegue "ver" e usar alguns de cada vez. Se ele tentar carregar a lista de todos os 500 apps na memória de uma só vez, o celular fica lento, a bateria acaba e o assistente se confunde.

O Problema: O Assistente Perdido

Antes dessa pesquisa, os assistentes usavam dois métodos ruins para escolher as ferramentas certas:

1. A "Busca por Palavras-Chave" (Estática): O assistente olhava apenas para o que você pediu. Se você dissesse "Enviar e-mail", ele procurava apps com a palavra "e-mail". O problema? Ele não entendia o contexto. Se você já tinha aberto o e-mail e agora precisa "anexar um arquivo", ele ainda procurava o app de e-mail, ignorando que você já precisava do app de arquivos.
2. O "Mapa Fixo" (Dependência Estática): Alguns métodos tentavam seguir um mapa pré-desenhado de como os apps se conectam. Mas esse mapa era rígido. Se você precisasse fazer a mesma tarefa duas vezes seguidas (ex: pegar o endereço de duas pessoas diferentes), o mapa ficava confuso e fazia o assistente repetir passos desnecessários ou pular etapas importantes.

Resultado: O assistente escolhia ferramentas erradas, o celular travava e a tarefa falhava.

---

A Solução: DTDR (O "Detetive Dinâmico")

Os autores propõem um novo método chamado DTDR (Recuperação Dinâmica de Dependência de Ferramentas).

Pense no DTDR como um detetive muito esperto que trabalha ao lado do seu assistente. Em vez de apenas olhar para o pedido inicial, o detetive olha para duas coisas ao mesmo tempo:

1. O Pedido Original: "O que você quer fazer?"
2. O Histórico Recente: "O que você acabou de fazer?"

A Analogia da Cozinha

Imagine que você está cozinhando um jantar complexo.

• Método Antigo: Você pede "Faça um bolo". A cozinha (o celular) joga todos os ingredientes e utensílios na mesa de uma vez: farinha, ovos, liquidificador, faca de carne, panela de pressão, etc. É um caos! Você não sabe o que usar.
• Método DTDR: O detetive olha para a receita e para o que você já fez.
  • Passo 1: Você pediu "Misturar os ovos". O detetive traz apenas: tigela e batedeira.
  • Passo 2: Você misturou os ovos. Agora o detetive sabe que o próximo passo é "Adicionar farinha". Ele remove a batedeira da mesa e traz apenas a farinha e a peneira.
  • Passo 3: Se você precisa bater os ovos de novo (para outra receita), o detetive traz a batedeira de volta, mas só se for realmente necessário.

O DTDR faz isso dinamicamente. Ele não usa um mapa fixo; ele aprende com exemplos de como as tarefas são feitas e ajusta a lista de ferramentas disponíveis em tempo real, baseada no que está acontecendo agora.

---

Por que isso é revolucionário?

1. Leve e Rápido (Para o seu Celular):
   O método é "leve". Ele não precisa de um supercomputador para funcionar. Ele é pequeno o suficiente para rodar direto no seu celular, economizando bateria e memória. É como trocar um caminhão de mudanças por uma bicicleta elétrica ágil.

2. Precisão Cirúrgica:
   Ao mostrar ao assistente apenas as ferramentas relevantes para o momento exato, ele comete muito menos erros. O papel diz que a taxa de sucesso aumentou entre 23% e 104% em comparação com os métodos antigos. Isso significa que tarefas que antes falhavam, agora funcionam.

3. Aprendizado com a História:
   Se você costuma fazer "Chamar um táxi" e logo depois "Abrir o Google Maps", o DTDR aprende essa sequência. Na próxima vez que você chamar um táxi, ele já deixa o Google Maps pronto para uso, sem você precisar pedir.

Resumo em uma frase

O DTDR é como um gerente de cozinha inteligente que, em vez de jogar todos os utensílios na bancada, entrega ao cozinheiro (o assistente) apenas a faca e a tábua no momento de cortar, e apenas a panela na hora de cozinhar, garantindo que a tarefa seja feita rápido, sem desperdício e sem erros.

Isso permite que seus celulares tenham assistentes pessoais verdadeiramente úteis, que entendem o contexto e não deixam a bateria acabar tentando processar informações inúteis.

Resumo técnico

Título: Recuperação Dinâmica de Dependências de Ferramentas para Chamadas de Função Eficientes

1. O Problema

Agentes de linguagem (LLMs) equipados com capacidade de "chamada de função" (tool use) são essenciais para automatizar tarefas complexas, selecionando e invocando APIs externas. No entanto, a implantação desses agentes em dispositivos locais (on-device) enfrenta dois desafios principais:

1. Restrições de Eficiência: Limitações estritas de memória e latência impedem o uso de prompts longos contendo todas as ferramentas disponíveis.
2. Eficácia em Grandes Conjuntos de Ferramentas: Métodos de recuperação existentes frequentemente falham em capturar dependências de ferramentas de múltiplos passos e o contexto evolutivo da tarefa.

Os métodos atuais de recuperação baseiam-se em:

• Semelhança Semântica Estática: Comparam apenas a consulta do usuário com a descrição da ferramenta, ignorando o contexto histórico da execução.
• Grafos de Dependência Estáticos: Usam trajetórias de demonstração para prever a próxima ferramenta baseada apenas na chamada mais recente, o que pode introduzir viés (ex: chamar repetidamente a mesma função desnecessariamente) e falhar em adaptar-se a consultas específicas.

Essas limitações resultam na inclusão de ferramentas irrelevantes no prompt, o que confunde o agente, degrada a precisão e aumenta o custo computacional.

2. Metodologia Proposta: DTDR

Os autores propõem o Dynamic Tool Dependency Retrieval (DTDR), um método de recuperação leve que condiciona a seleção de ferramentas tanto na consulta inicial quanto no contexto de execução em evolução (histórico de chamadas de função).

O objetivo é recuperar um subgrafo mínimo e específico da tarefa, contendo apenas as ferramentas relevantes e suas dependências. O DTDR apresenta duas variantes principais:

• DTDR-C (Clustering-based): Um método não supervisionado.
  • Utiliza um modelo de embeddings pré-treinado para mapear consultas em clusters.
  • Para cada cluster, constrói um grafo de dependência de ferramentas ponderado baseado em dados de demonstração.
  • Durante a inferência, a consulta é mapeada para um cluster, e o grafo correspondente é percorrido com base no histórico de chamadas para prever as próximas ferramentas prováveis.
• DTDR-L (Linear-based): Um método supervisionado.
  • Utiliza uma camada linear simples treinada sobre embeddings de uma consulta concatenada com o histórico de chamadas de função.
  • O classificador aprende a prever a distribuição de probabilidade das próximas funções, permitindo a recuperação adaptativa baseada no estado atual da tarefa.

Estratégias de Codificação no Prompt (ICL):
O artigo também analisa como integrar as ferramentas recuperadas no prompt do LLM:

• Máscara Rígida (Hard Masking): Remove completamente as ferramentas não recuperadas do prompt, reduzindo drasticamente o tamanho do contexto.
• Máscara Suave (Soft Masking): Mantém todas as ferramentas, mas destaca as recuperadas.
• Pesos (Weighted): Inclui as probabilidades de recuperação no prompt para guiar o modelo.

3. Contribuições Principais

1. Método de Recuperação Leve e Consciente de Dependências: O DTDR é o único método proposto que satisfaz simultaneamente cinco critérios críticos para agentes on-device:
   • Consciente de Dependências de Ferramentas.
   • Livre de Descrição de Ferramentas (não depende de docs consistentes).
   • Consciente da Consulta (Query Aware).
   • Consciente do Histórico de Múltiplos Passos (Multi-Step History Aware).
   • Adequado para Modelos Pequenos (baixa footprint).
2. Avaliação Abrangente: Comparação sistemática contra baselines de ponta (baseados em texto, embeddings e grafos) em múltiplos datasets e backbones de LLM (de 0.6B a 14B parâmetros, incluindo GPT-4o).
3. Análise de Estratégias de Prompt: Identificação de que a Máscara Rígida Ponderada (Weighted Hard Masking) é a estratégia mais eficaz para a maioria dos cenários, equilibrando precisão e eficiência.

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro datasets: TinyAgent, TaskBench DailyLife, TaskBench HuggingFace e TaskBench Multimedia.

• Precisão de Recuperação: O DTDR superou significativamente os métodos estáticos.
  • O DTDR-L superou o recuperador aprendido estático em mais de 35% no TinyAgent.
  • O DTDR-C superou o recuperador de dependência estático em 50-100%.
• Precisão de Seleção de Função (FSA):
  • Em modelos pequenos (Qwen 3 0.6B), o DTDR-L alcançou 65.1% de precisão no TinyAgent, comparado a 25.6% do baseline estático.
  • O DTDR-L aplicado ao Qwen 3 4B superou o baseline "No ICL" aplicado ao Qwen 3 14B e ao GPT-4o em tarefas específicas, demonstrando que a recuperação dinâmica pode compensar a falta de capacidade do modelo.
• Taxa de Sucesso End-to-End:
  • Para datasets com dependências de ferramentas, o DTDR melhorou a taxa de sucesso final entre 23% e 104% em comparação com os melhores baselines de recuperação estática.
  • Em comparação com a ausência de recuperação (No ICL), a melhoria foi de 300% a 600%.
• Eficiência (Prompt Length):
  • O DTDR reduziu o comprimento do prompt em até 51% (e a parte variável em até 72%) ao remover ferramentas irrelevantes dinamicamente, acelerando a etapa de "prefill" (pré-carregamento) do LLM.

5. Significado e Conclusão

O trabalho demonstra que a recuperação dinâmica é fundamental para o sucesso de chamadas de função em agentes on-device. Ao considerar não apenas "o que o usuário pediu", mas também "o que já foi feito" e "como as ferramentas se conectam", o DTDR permite que modelos menores (edge devices) realizem tarefas complexas com a mesma ou maior eficácia que modelos grandes em nuvem, mas com custos computacionais drasticamente reduzidos.

A pesquisa sugere que métodos estáticos são insuficientes para tarefas de múltiplos passos e que a adaptação contínua baseada no histórico de execução é a chave para a robustez e eficiência em ambientes com recursos limitados. O código e os dados visam ser reproduzíveis, com pseudocódigo detalhado fornecido no apêndice.