💬 NLP

Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents

Cet article propose une nouvelle méthode de génération de données d'entraînement synthétiques qui optimise la diversité linguistique et argumentative sans recourir à des règles conçues à la main, permettant ainsi d'obtenir des agents d'appel de fonctions qui atteignent une performance hors distribution supérieure et une augmentation de l'exactitude de 7,4 % sur le benchmark BFCL par rapport aux bases de référence de l'état de l'art.

Auteurs originaux : Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un assistant robotique très intelligent comment utiliser une boîte à outils géante remplie de milliers d'outils différents (comme des applications météo, des outils de suivi boursier ou des planificateurs d'agendas). Pour enseigner au robot, vous devez lui montrer des exemples de personnes demandant de l'aide et le robot choisissant correctement le bon outil.

Le problème, selon cet article, est que les « manuels scolaires » (jeux de données) utilisés pour entraîner ces robots sont souvent trop répétitifs. C'est comme un cours de cuisine où chaque étudiant n'apprendrait qu'à faire une pizza au fromage et au pepperoni. Si un client demande une « pizza deep-dish végétalienne avec du basilic supplémentaire », le robot est confus car il n'a jamais vu cette demande spécifique auparavant.

Voici comment les auteurs ont résolu cela, en utilisant des analogies simples :

1. Le Problème : La « Chambre d'Écho » des Données

Les méthodes précédentes de création de données d'entraînement étaient bonnes pour s'assurer que le robot connaissait l'existence de nombreux outils différents. Cependant, elles échouaient sur deux points importants :

Diversité Linguistique : Elles n'enseignaient au robot comment répondre que lorsque les gens posaient des questions exactement de la même manière rigide et formelle. Elles ne lui apprenaient pas à gérer l'argot, le langage familier ou les structures de phrases étranges.
Diversité des Arguments : Elles ne l'enseignaient que les options les plus populaires. Par exemple, si l'outil concerne les actions, les données d'entraînement mentionnaient toujours « Apple » (AAPL) et « Microsoft » (MSFT). Le robot n'a jamais appris quoi faire si quelqu'un posait une question sur une petite entreprise obscure.

2. La Solution : Le « Chef de la Diversité »

Les auteurs ont conçu une nouvelle méthode pour générer des données d'entraînement synthétiques. Voyez cette méthode comme un « Chef de la Diversité » qui ne se contente pas de suivre un livre de recettes. Au lieu de cela, ce chef a une règle spéciale : « Chaque fois que je prépare un nouveau plat, il doit avoir un goût différent des 100 derniers plats que j'ai préparés. »

Pas de Règles Rigides : Contrairement aux autres méthodes qui reposent sur une liste fixe de « types de personnes » (par exemple, « L'Homme d'Affaires », « L'Étudiant »), ce chef n'a pas besoin d'une liste pré-écrite. Il comprend automatiquement comment varier les demandes.
L'Astuce de la « Contribution Marginale » : Le chef regarde la pile de plats déjà préparés. En envisageant un nouveau plat, il se demande : « Si j'ajoute ce nouveau plat à la pile, est-ce que cela rend l'ensemble de la collection plus intéressante ? » Si la réponse est oui, il garde le plat. Si le plat n'est qu'une copie de quelque chose qui s'y trouve déjà, il le jette.

3. Ce Qu'ils Ont Réellement Fait

Les chercheurs ont utilisé ce « Chef de la Diversité » pour créer un nouvel ensemble d'exemples d'entraînement pour les agents d'appel de fonctions (function-calling agents). Ils se sont concentrés sur deux ingrédients principaux :

La Requête (La Commande) : Ils ont généré des questions d'utilisateurs qui variaient énormément dans leur formulation (courtes, longues, formelles, familières, confuses).
Les Arguments (Les Ingrédients) : Ils ont veillé à ce que les valeurs spécifiques utilisées dans les requêtes soient variées. Au lieu de toujours utiliser « New York » pour une ville, ils ont utilisé « Nairobi », « Reykjavik » et « Buenos Aires ». Au lieu de toujours utiliser « USD » pour une devise, ils ont utilisé « NOK », « RUB » et « XRP ».

4. Les Résultats : Un Meilleur Robot

Ils ont testé les données de leur « Chef de la Diversité » par rapport à d'autres méthodes de haut niveau (comme ToolAce et APIGen).

Le Score de Diversité : Leurs données étaient nettement plus diverses. Ce n'était pas seulement un peu différent ; c'était un tout nouveau monde de variété.
Le Test « Hors-Distribution » (Out-of-Distribution) : C'est la partie la plus importante. Ils ont entraîné un robot sur leurs données et l'ont testé sur de nouvelles questions qu'il n'avait jamais vues auparavant (des questions provenant d'autres jeux de données).
- L'Analogie : Imaginez que vous ayez formé un étudiant uniquement sur des problèmes de mathématiques de 2020. Puis, vous lui donnez un examen avec des problèmes de 2025.
- Le Résultat : Le robot entraîné sur les données diverses des auteurs a bien mieux performé sur ces nouveaux tests inédits (des questions provenant d'autres jeux de données). Il a réussi environ 7,4 % de questions en plus sur un benchmark majeur (BFCL) par rapport aux robots entraînés avec les anciennes méthodes moins diversifiées.

Résumé

L'article affirme qu'en utilisant un processus automatisé et intelligent pour garantir que les données d'entraînement sont linguistiquement variées (différentes façons de parler) et argumentativement variées (différentes valeurs spécifiques), on peut construire un agent d'IA beaucoup plus robuste. Cet agent ne se contente pas de mémoriser des exemples spécifiques ; il apprend à gérer la réalité désordonnée et imprévisible de la façon dont les humains parlent réellement et de ce qu'ils demandent réellement.

Ce qu'ils n'ont PAS affirmé :

Ils n'ont pas affirmé que cela fonctionne pour les conversations multi-tours (longs échanges de questions-réponses) ; ils se sont concentrés strictement sur les requêtes à tour unique.
Ils n'ont pas affirmé que cela fonctionne pour d'autres langues que l'anglais.
Ils n'ont pas prétendu qu'il s'agissait d'un « remède miracle » pour tous les problèmes de l'IA, mais spécifiquement pour la tâche d'enseigner aux agents comment appeler des outils correctement.

Résumé technique : Diversité linguistique et des arguments dans les données synthétiques pour les agents d'appel de fonctions

Problématique

Le développement d'agents d'appel de fonctions (function-calling agents), qui permettent aux grands modèles de langage (LLM) d'interagir avec des API et des outils externes, est actuellement entravé par la rareté de données d'entraînement de haute qualité et diversifiées. Si les recherches antérieures ont abordé la nécessité de diversité dans les fonctions elles-mêmes (couvrant divers domaines), les structures d'invocation (simple vs multi-tours) et les types de réponses (appel vs absence d'appel), deux dimensions critiques restent sous-explorées :

Diversité linguistique : La variation de la forme, du style et de l'expression sémantique des requêtes de l'utilisateur. Les jeux de données existants reposent souvent sur des variations superficielles ou des modèles de prompts fixes, échouant à capturer tout le spectre de la manière dont les utilisateurs pourraient formuler des intentions identiques.
Diversité des arguments : La variation des valeurs de paramètres (ex: noms de villes spécifiques, tickers boursiers, dates). Les jeux de données générés ont tendance à se concentrer sur des valeurs "tête" (ex: "New York", "AAPL"), laissant potentiellement les modèles impréparés face à des valeurs "queue" (moins fréquentes), ce qui limite leur robustesse dans des scénarios hors distribution (OOD).

Méthodologie

Les auteurs proposent un nouveau pipeline de génération de données qui optimise la diversité sans recourir à des règles faites à la main, à des taxonomies prédéfinies ou à des réservoirs de personas statiques. Le cœur de leur approche est une procédure de génération diverse gourmande qui sélectionne de manière itérative des éléments pour maximiser une métrique de contribution de la diversité marginale.

Composants clés

Cadre de génération diversifiée :
- Le système fonctionne par cycles, générant des candidats et sélectionnant les $b$ meilleurs candidats basés sur un score de diversité $D(c; E)$ , défini comme l'augmentation marginale d'une métrique de diversité au niveau de l'ensemble $\tilde{D}$ lors de l'ajout d'un candidat $c$ à l'ensemble existant $E$ .
- Le processus utilise un LLM pour générer des candidats basés sur des instructions $I$ et des exemples existants $E$ .
- Crucialement, les instructions sont mises à jour lors des cycles suivants en fonction des scores des candidats précédents et d'un processus de filtrage $F$ qui élimine les éléments invalides ou incorrects. Cela crée une boucle de rétroaction qui oriente la génération vers les régions sous-représentées de l'espace de données.
Génération de valeurs d'arguments :
- Prétraitement : Les paramètres à travers différentes API sont regroupés par similarité sémantique (via des embeddings) pour identifier des groupes (ex: "nom de ville", "ticker boursier").
- Optimisation : Pour les paramètres numériques et textuels, le système emploie une stratégie d'« augmentation virtuelle ». Le LLM génère un large pool de candidats (ex: 25), parmi lesquels un sous-ensemble est sélectionné pour maximiser l'Entropie de Cluster. Cette métrique mesure l'entropie de la distribution des valeurs à travers les clusters sémantiques, encourageant la sélection de valeurs "queue" plutôt que de valeurs fréquentes "tête".
- Cohérence : Pour les appels API séquentiels, les paramètres sont générés à rebours à partir du dernier API pour assurer une cohésion logique, tandis que les appels parallèles assurent un contexte partagé (ex: même emplacement) entre les API.
Génération de requêtes (Requêtes) :
- Étant donné une fonction cible et des valeurs d'arguments, le système génère des requêtes en langage naturel.
- La diversité est optimisée à l'aide d'une métrique composite dérivée par Fusion de Rang Réciproque (RRF). Cette méthode fusionne les classements de plusieurs métriques indépendantes :
  - Lexicale : Ratio Type-Token (TTR), taux de compression.
  - Syntaxique : Entropie de l'arbre d'analyse (parse tree), variance de la longueur des requêtes.
  - Sémantique : Variété de paraphrase (similarité d'embedding), distance de Chamfer, score de Vendi.
- Un juge LLM valide que la requête générée justifie logiquement l'appel API spécifique et ses paramètres.
Sélection de distracteurs :
- Pour créer des exemples d'entraînement réalistes, le système récupère des distracteurs "négatifs difficiles" (API non pertinentes) qui sont sémantiquement proches de la requête mais ne sont pas la bonne réponse. Ceci est réalisé via une récupération basée sur les embeddings suivie d'un filtre de plausibilité par LLM et d'une "méthode du coude" pour déterminer le seuil de pertinence des scores.

Contributions clés

Un nouveau composant de diversité : Un mécanisme polyvalent et sans règles pour générer des éléments diversifiés en optimisant les métriques de diversité marginale. Ce composant est adaptable à de nouveaux domaines sans reconfiguration manuelle.
Technique de génération de données synthétiques : L'application de ce composant aux données d'appel de fonctions, ciblant spécifiquement la variation linguistique des requêtes et la diversité des valeurs d'arguments dans les paramètres.
Analyse exhaustive : Une évaluation approfondie démontrant que l'augmentation de ces dimensions de diversité spécifiques améliore les performances du modèle, particulièrement dans les contextes hors distribution (OOD).

Résultats

Les auteurs ont évalué leur méthode par rapport aux bases de référence de l'état de l'art (SoTA), spécifiquement ToolAce et APIGen, ainsi que le benchmark BFCL.

Évaluation intrinsèque (Qualité des données)

Diversité des arguments : La méthode proposée a obtenu des scores de diversité NCD et d'entropie de cluster nettement plus élevés que ToolAce et APIGen. Par exemple, pour les arguments de devises, alors que les bases de référence étaient dominées par le "USD", la méthode proposée a produit une distribution équilibrée entre diverses devises.
Diversité linguistique : Le jeu de données généré a surpassé les bases de référence sur presque toutes les métriques linguistiques (indice de Simpson, distance d'édition d'arbre, étendue sémantique, score de Vendi) avec une signification statistique. La seule exception était la variance de la longueur des requêtes, où les bases de référence présentaient des valeurs aberrantes.
Exactitude : L'inspection manuelle et le jugement automatisé ont confirmé que l'augmentation de la diversité n'a pas compromis l'exactitude des données ; les exemples générés sont restés réalistes et valides.

Évaluation extrinsèque (Performance du modèle)

Les auteurs ont affiné Llama-3.1-8B-Instruct en utilisant leur jeu de données et l'ont comparé à des modèles affinés sur les données de ToolAce et APIGen.

Performance Hors Distribution (OOD) : Les modèles entraînés avec le jeu de données proposé ont montré une meilleure généralisation lors de tests sur des jeux de données pour lesquels ils n'avaient pas été entraînés.
- Sur le jeu de test APIGen, le modèle proposé a surpassé le modèle entraîné sur ToolAce de 4,2 points de précision.
- Sur le jeu de test ToolAce, le modèle proposé a surpassé le modèle entraîné sur APIGen de 3,8 points de précision.
Benchmark BFCL : Lors de l'évaluation sur le classement Berkeley Function-Calling (sous-ensemble non vivant), le modèle entraîné avec le jeu de données proposé a atteint une précision de 85,2 %, surpassant significativement les homologues de ToolAce (77,8 %) et d'APIGen (77,1 %). Cela représente une augmentation d'environ 7,4 % de la précision par rapport aux bases de référence.

Signification et affirmations

L'article affirme que le manque de diversité linguistique et d'arguments dans les jeux de données synthétiques actuels est un goulot d'étranglement pour la robustesse des agents d'appel de fonctions. En optimisant directement ces dimensions via une approche pilotée par des métriques et polyvalente, les auteurs démontrent que :

La diversité favorise la généralisation : Une augmentation de la diversité dans les données d'entraînement conduit à des améliorations mesurables de la performance OOD, suggérant que les modèles entraînés sur des données diverses sont mieux armés pour gérer des formulations utilisateur inédites et des valeurs de paramètres rares.
Automatisation plutôt que curation manuelle : La méthode proposée atteint une diversité supérieure sans nécessole d'écriture de règles manuelles ou de définitions de personas fixes, ce qui la rend scalable et adaptable à de nouveaux domaines.
Impact pratique : Cette technique offre une voie pour générer des données d'entraînement de haute qualité qui comblent l'écart entre les benchmarks synthétiques et les performances réelles des agents, comme en témoignent les gains significatifs sur le benchmark BFCL.

Les auteurs restent modestes quant aux limites, notant que leur analyse actuelle est restreinte à l'anglais, que le processus de génération repose sur des LLM puissants (et donc coûteux) pour le filtrage, et que l'étude se concentre sur les interactions à tour unique, laissant la diversité multi-tour comme une direction pour les travaux futurs.