💬 NLP

Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents

Este artigo propõe um novo método para gerar dados de treinamento sintéticos que otimiza a diversidade linguística e argumentativa sem depender de regras criadas manualmente, resultando em agentes de chamada de função que alcançam um desempenho superior fora da distribuição e um aumento de 7,4% na acurácia no benchmark BFCL em comparação com as linhas de base de última geração.

Autores originais: Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

Publicado 2026-01-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um assistente robô muito inteligente a usar uma caixa de ferramentas gigante cheia de milhares de ferramentas diferentes (como aplicativos de clima, rastreadores de mercado de ações ou agendadores de calendário). Para ensinar o robô, você precisa mostrar exemplos de pessoas pedindo ajuda e o robô escolhendo a ferramenta certa corretamente.

O problema, de acordo com este artigo, é que os "livros didáticos" (datasets) usados para treinar esses robôs são frequentemente muito repetitivos. São como uma aula de culinária onde todos os alunos são ensinados apenas a fazer uma pizza de queijo com pepperoni. Se um cliente pede uma "pizza vegana de massa grossa com manjericão extra", o robô fica confuso porque nunca viu esse pedido específico antes.

Aqui está como os autores resolveram isso, usando analogias simples:

1. O Problema: A "Câmara de Eco" dos Dados

Métodos anteriores de criação de dados de treinamento eram bons em garantir que o robô soubesse que muitas ferramentas diferentes existiam. No entanto, eles falharam em duas coisas importantes:

Diversidade Linguística: Eles só ensinaram o robô a responder quando as pessoas faziam perguntas exatamente da mesma maneira rígida e formal. Não o ensinaram a lidar com gírias, conversas casuais ou estruturas de frases estranhas.
Diversidade de Argumentos: Eles só ensinaram o robô sobre as opções mais populares. Por exemplo, se a ferramenta é sobre ações, os dados de treinamento sempre mencionavam apenas "Apple" (AAPL) e "Microsoft" (MSFT). O robô nunca aprendeu o que fazer se alguém perguntasse sobre uma empresa pequena e obscura.

2. A Solução: O "Chef de Diversidade"

Os autores construíram um novo método para gerar dados de treinamento sintéticos. Pense neste método como um "Chef de Diversidade" que não apenas segue um livro de receitas. Em vez disso, este chef tem uma regra especial: "Cada vez que eu preparo um prato novo, ele deve ter um sabor diferente dos últimos 100 pratos que fiz."

Sem Regras Rígidas: Ao contrário de outros métodos que dependem de uma lista fixa de "tipos de pessoas" (ex: "O Empresário", "O Estudante"), este chef não precisa de uma lista pré-escrita. Ele descobre automaticamente como variar os pedidos.
O Truque da "Contribuição Marginal": O chef olha para a pilha de pratos já feitos. Ao considerar um novo prato, ele pergunta: "Se eu adicionar este novo prato à pilha, ele torna toda a coleção mais interessante?" Se a resposta for sim, ele mantém o prato. Se o prato for apenas uma cópia de algo que já está lá, ele o joga fora.

3. O Que Eles Realmente Fizeram

Os pesquisadores usaram este "Chef de Diversidade" para criar um novo conjunto de exemplos de treinamento para agentes de chamada de função (function-calling agents). Eles focaram em dois ingredientes principais:

O Pedido (A Ordem): Eles geraram perguntas de usuários que variavam drasticamente na forma como eram formuladas (curtas, longas, formais, com gírias, confusas).
Os Argumentos (Os Ingredientes): Eles garantiram que os valores específicos usados nos pedidos fossem variados. Em vez de usar sempre "Nova York" para uma cidade, eles usaram "Nairóbi", "Reykjavík" e "Buenos Aires". Em vez de usar sempre "USD" para uma moeda, eles usaram "NOK", "RUB" e "XRP".

4. Os Resultados: Um Robô Melhor

Eles testaram os novos dados do seu "Chef de Diversidade" contra outros métodos de alto nível (como ToolAce e APIGen).

A Pontuação de Diversidade: Seus dados eram significativamente mais diversos. Não era apenas um pouco diferente; era um mundo inteiramente novo de variedade.
O Teste de "Fora da Distribuição" (Out-of-Distribution): Esta é a parte mais importante. Eles treinaram um robô com os dados dos autores e o testaram em novas perguntas que ele nunca tinha visto antes (perguntas de outros datasets).
- A Analogia: Imagine que você treinou um aluno apenas com problemas de matemática de 2020. Depois, você aplicou um teste com problemas de 2025.
- O Resultado: O robô treinado com os dados diversos dos autores teve um desempenho muito melhor nesses novos testes não vistos. Ele acertou cerca de 7,4% mais perguntas em um benchmark importante (BFCL) em comparação com robôs treinados pelos métodos antigos e menos diversos.

Resumo

O artigo afirma que, ao usar um processo automatizado e inteligente para garantir que os dados de treinamento sejam linguisticamente variados (diferentes formas de falar) e argumentativamente variados (diferentes valores específicos), você pode construir um agente de IA muito mais robusto. Este agente não apenas memoriza exemplos específicos; ele aprende a lidar com a realidade bagunçada e imprevisível de como os humanos realmente falam e o que eles realmente pedem.

O que eles NÃO alegaram:

Eles não alegaram que isso funciona para conversas de múltiplos turnos (chats longos de ida e volta); eles focaram estritamente em pedidos de turno único.
Eles não alegaram que isso funciona para idiomas que não sejam o inglês.
Eles não alegaram que isso é uma "cura milagrosa" para todos os problemas de IA, mas especificamente para a tarefa de ensinar agentes a chamar ferramentas corretamente.

Resumo Técnico: Diversidade Linguística e de Argumentos em Dados Sintéticos para Agentes de Chamada de Função

Declaração do Problema

O desenvolvimento de agentes de chamada de função (function-calling agents), que permitem que Grandes Modelos de Linguagem (LLMs) interajam com APIs e ferramentas externas, é atualmente dificultado pela escassez de dados de treinamento de alta qualidade e diversificados. Embora pesquisas anteriores tenham abordado a necessidade de diversidade nas próprias funções (cobrindo vários domínios), nas estruturas de invocação (turno único vs. múltiplos turnos) e nos tipos de resposta (chamada vs. não-chamada), duas dimensões críticas permanecem subexploradas:

Diversidade Linguística: A variação na forma, estilo e expressão semântica das solicitações do usuário. Os conjuntos de dados existentes frequentemente dependem de variações superficiais ou templates de prompts fixos, falhando em capturar o espectro completo de como os usuários podem expressar intenções idênticas.
Diversidade de Argumentos: A variação nos valores dos parâmetros (ex: nomes de cidades específicos, tickers de ações, datas). Os dados gerados tendem a se concentrar em valores "head" (ex: "Nova York", "AAPL"), deixando os modelos potencialmente despreparados para valores "tail" (cauda) menos comuns, o que limita a robustez em cenários fora da distribuição (OOD).

Metodologia

Os autores propõem um pipeline de geração de dados inovador que otimiza a diversidade sem depender de regras manuais, taxonomias predefinidas ou pools de personas estáticos. O núcleo de sua abordagem é um procedimento de geração diversa gananciosa (greedy) que seleciona itens iterativamente para maximizar uma métrica de contribuição de diversidade marginal.

Componentes Principais

Estrutura de Geração Diversa:
- O sistema opera em rodadas, gerando candidatos e selecionando os top $b$ candidatos com base em uma pontuação de diversidade $D(c; E)$ , definida como o aumento marginal em uma métrica de diversidade de nível de conjunto $\tilde{D}$ ao adicionar o candidato $c$ ao conjunto existente $E$ .
- O processo utiliza um LLM para gerar candidatos com base em instruções $I$ e exemplos existentes $E$ .
- Crucialmente, as instruções são atualizadas em rodadas subsequentes com base nas pontuações dos candidatos anteriores e de um processo de filtragem $F$ que elimina itens inválidos ou incorretos. Isso cria um ciclo de feedback que direciona a geração para regiões sub-representadas do espaço de dados.
Geração de Valores de Argumento:
- Pré-processamento: Parâmetros entre diferentes APIs são agrupados com base na similaridade semântica (usando embeddings) para identificar grupos (ex: "nome de cidade", "ticker de ação").
- Otimização: Para parâmetros numéricos e de string, o sistema emprega uma estratégia de "aumento virtual". O LLM gera um grande pool de candidatos (ex: 25), dos quais um subconjunto é selecionado para maximizar a Entropia de Cluster. Esta métrica mede a entropia da distribuição de valores através de clusters semânticos, incentivando a seleção de valores "tail" em vez de valores frequentes "head".
- Consistência: Para chamadas de API sequenciais, os parâmetros são gerados de trás para frente, partindo da última API, para garantir coesão lógica, enquanto chamadas paralelas garantem contexto compartilhado (ex: mesma localização) entre as APIs.
Geração de Query (Solicitação):
- Dado uma função alvo e valores de argumento, o sistema gera queries em linguagem natural.
- A diversidade é otimizada usando uma métrica composta derivada via Fusão de Ranking Recíproco (RRF). Esta funde rankings de múltiplas métricas independentes:
  - Léxica: Razão Tipo-Token (TTR), Razão de Compressão.
  - Sintática: Entropia da árvore de análise (parse tree), variância na extensão da query.
  - Semântica: Variedade de paráfrase (similaridade de embedding), Distância de Chamfer, Pontuação Vendi.
- Um juiz LLM valida se a query gerada justifica logicamente a chamada de API e os parâmetros específicos.
Seleção de Distratores:
- Para criar exemplos de treinamento realistas, o sistema recupera distratores de "hard negative" (APIs irrelevantes) que são semanticamente próximos da query, mas não são a resposta correta. Isso é feito via recuperação baseada em embeddings seguida por um filtro de plausibilidade baseado em LLM e um "método do cotovelo" (elbow method) para determinar o ponto de corte para pontuações de relevância.

Contribuições Principais

Um Novo Componente de Diversidade: Um mecanismo de propósito geral e livre de regras para gerar itens diversos ao otimizar métricas de diversidade marginal. Este componente é adaptável a novos domínios sem reconfiguração manual.
Técnica de Geração de Dados Sintéticos: A aplicação deste componente para dados de chamada de função, visando especificamente a variação linguística em queries e a diversidade de valores de argumentos em parâmetros.
Análise Abrangente: Uma avaliação minuciosa demonstrando que o aumento dessas dimensões específicas de diversidade melhora o desempenho do modelo, particularmente em cenários OOD.

Resultados

Os autores avaliaram seu método contra baselines de Estado da Arte (SoTA), especificamente ToolAce e APIGen, bem como o benchmark BFCL.

Avaliação Intrínseca (Qualidade dos Dados)

Diversidade de Argumentos: O método proposto alcançou pontuações significativamente maiores de Diversidade NCD e Entropia de Cluster em comparação ao ToolAce e APIGen. Por exemplo, em argumentos de moeda, enquanto os baselines eram dominados por "USD", o método proposto produziu uma distribuição equilibrada entre várias moedas.
Diversidade Linguística: O conjunto de dados gerado superou os baselines em quase todas as métricas linguísticas (Índice de Simpson, Distância de Edição de Árvore, Dispersão Semântica, Pontuação Vendi) com significância estatística. A única exceção foi a variância no comprimento da query, onde os baselines apresentaram outliers.
Corretude: A inspeção manual e o julgamento automatizado confirmaram que o aumento da diversidade não comprometeu a corretude dos dados; os exemplos gerados permaneceram realistas e válidos.

Avaliação Extrínseca (Desempenho do Modelo)

Os autores realizaram o fine-tuning do Llama-3.1-8B-Instruct usando seu dataset e o compararam com modelos treinados com dados do ToolAce e APIGen.

Desempenho Out-of-Distribution (OOD): Modelos treinados com o dataset proposto mostraram generalização superior quando testados em datasets para os quais não foram treinados.
- No conjunto de teste do APIGen, o modelo proposto superou o modelo treinado com ToolAce em 4.2 pontos de acurácia.
- No conjunto de teste do ToolAce, o modelo proposto superou o modelo treinado com APIGen em 3.8 pontos de acurácia.
Benchmark BFCL: Ao ser avaliado no Berkeley Function-Calling Leaderboard (subconjunto non-live), o modelo treinado com o dataset proposto alcançou 85.2% de acurácia, superando significativamente os equivalentes de ToolAce (77.8%) e APIGen (77.1%). Isso representa um aumento de ~7.4% na acurácia sobre os baselines.

Significância e Alegações

O artigo alega que a falta de diversidade linguística e de argumentos nos atuais datasets sintéticos é um gargalo para a robustez dos agentes de chamada de função. Ao otimizar diretamente essas dimensões usando uma abordagem baseada em métricas e de propósito geral, os autores demonstram que:

A Diversidade Impulsiona a Generalização: O aumento da diversidade nos dados de treinamento leva a melhorias mensuráveis no desempenho OOD, sugerindo que modelos treinados em dados diversos lidam melhor com frases de usuários não vistas e valores de parâmetros raros.
Automação sobre Curadoria Manual: O método proposto alcança maior diversidade sem a necessidade de escrita manual de regras ou definições de personas fixas, tornando-o escalável e adaptável a novos domínios.
Impacto Prático: A técnica fornece um caminho para gerar dados de treinamento de alta qualidade que diminuem a lacuna entre benchmarks sintéticos e o desempenho de agentes no mundo real, como evidenciado pelos ganhos significativos no benchmark BFCL.

Os autores mantêm-se modestos quanto às limitações, observando que sua análise atual é restrita ao inglês, que o processo de geração depende de LLMs fortes (e, portanto, caros) para filtragem, e que o estudo foca em interações de turno único, deixando a diversidade de múltiplos turnos como uma direção para trabalhos futuros.