🤖 AI

SynthTools: A Framework for Scaling Synthetic Tools for Agent Development

L'article présente SynthTools, un cadre entièrement basé sur les LLM qui génère, valide et met à l'échelle automatiquement des environnements et des tâches d'outils synthétiques diversifiés, démontrant que l'entraînement d'agents sur ces données synthétiques améliore considérablement leurs performances d'utilisation d'outils sur des benchmarks réels.

Auteurs originaux : Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous voulez apprendre à un robot à utiliser une boîte à outils géante et complexe pour réparer une maison. Le problème, c'est que vous ne pouvez pas simplement remettre au robot une vraie boîte à outils avec de vrais outils (comme un vrai marteau ou une vraie perceuse) car :

Les vrais outils sont désordonnés : Ils se cassent, ils ont besoin de batteries, et parfois ils ne fonctionnent tout simplement pas quand vous essayez de les utiliser.
Il n'y en a pas assez : Vous ne pouvez pas créer un cours de formation pour chaque outil possible dans l'univers en utilisant uniquement des outils réels.
Il est difficile de créer des « problèmes d'entraînement » : Si vous dites au robot « Réparez la fuite », il ne sait peut-être pas quels outils utiliser ni dans quel ordre.

SynthTools est un nouveau cadre qui résout ce problème en construisant une gigantesque usine de simulation virtuelle parfaite entièrement à l'intérieur d'un ordinateur. Au lieu d'utiliser de vrais outils, il utilise une intelligence artificielle ultra-intelligente (un grand modèle de langage) pour inventer, tester et organiser des milliers de faux outils et de problèmes d'entraînement.

Voici comment fonctionne l'usine SynthTools, décomposée en trois étapes simples :

1. L'Architecte (Génération descendante)

Pensez-y comme au Concepteur Principal.
Au lieu de simplement griffonner une liste d'outils au hasard, l'IA commence par une grande idée, comme « Trading financier » ou « Commerce électronique ». Elle décompose ensuite cette grande idée en quartiers plus petits (sous-domaines), puis en emplois spécifiques (tâches), et invente enfin les outils spécifiques nécessaires à ces emplois.

L'Analogie : Imaginez concevoir un jeu vidéo. Vous ne jetez pas simplement des objets au hasard sur le sol. Vous décidez : « C'est un niveau hôpital », alors vous inventez un « Stéthoscope », une « Seringue » et un « Moniteur cardiaque » qui s'adaptent tous logiquement ensemble. SynthTools fait cela pour 100 « mondes » différents (comme la finance, la logistique, la santé), créant plus de 73 000 outils uniques.

2. L'Inspecteur de Contrôle Qualité (Simulation et Validation)

C'est le Contremaître Strict.
Le simple fait que l'IA ait inventé un outil ne signifie pas qu'il fonctionne. Le Contremaître soumet chaque outil à un test de stress.

Le Test : Le Contremaître essaie d'utiliser l'outil de différentes manières. « Que se passe-t-il si je vous donne le mauvais mot de passe ? » « Et si le vol est complet ? »
Le Résultat : Si l'outil donne une réponse confuse ou plante, le Contremaître le jette à la poubelle. S'il gère parfaitement l'erreur (par exemple, en disant « Désolé, plus de places disponibles » au lieu de planter), il reçoit un cachet d'approbation.
L'Échelle : Ils ont testé près de 80 000 outils. Le système est si bon pour repérer les mauvais outils qu'il filtre les faibles, ne laissant que les 73 883 outils fiables. C'est comme une usine qui n'expédie que les produits ayant réussi un test de précision à 97 %.

3. Le Créateur de Puzzles (Génération ascendante de tâches)

Maintenant qu'ils ont une pile d'outils approuvés, ils doivent créer des puzzles d'entraînement que le robot doit résoudre.

La Méthode : Au lieu de demander à l'IA de « Inventer un problème difficile », ils construisent le problème à partir de zéro. Ils prennent quelques outils approuvés (comme un outil « Demande de retour » et un outil « Envoi d'e-mail ») et les enchaînent.
Le Résultat : Ils créent une histoire étape par étape : « Un client veut retourner un t-shirt. Premièrement, vérifiez s'il est éligible. Deuxièmement, imprimez une étiquette. Troisièmement, envoyez-lui un e-mail. »
La Magie : Parce que l'IA a construit le puzzle en utilisant les outils qu'elle sait fonctionner, elle connaît aussi la solution exacte. C'est comme un professeur qui rédige un test de mathématiques et écrit la clé de réponse en même temps. Cela garantit que chaque tâche est soluble et vérifiable. Ils ont créé près de 80 000 de ces puzzles.

La Grande Expérience : Est-ce que ça marche ?

Les chercheurs ont pris un modèle d'IA standard (Qwen3) et lui ont donné une session de « mi-entraînement ». Imaginez cela comme envoyer l'IA dans une école de conduite en utilisant ces puzzles synthétiques.

L'Entraînement : L'IA a pratiqué la résolution de ces 80 000 problèmes faux mais réalistes.
Le Test : Ils ont ensuite testé l'IA sur de vrais benchmarks (en utilisant de vraies API et des tests réels d'appel de fonction).
Le Résultat : L'IA qui s'est entraînée dans l'usine synthétique est devenue nettement meilleure dans l'utilisation d'outils réels. C'est comme si s'entraîner sur un simulateur de conduite parfait rendait le conducteur meilleur pour gérer une vraie voiture par temps de pluie.

Résumé

SynthTools est un pipeline qui utilise l'IA pour construire une immense bibliothèque auto-vérifiée d'outils fictifs et de problèmes fictifs. Il résout le problème du « nous n'avons pas assez de données réelles pour entraîner les robots » en générant ses propres données d'entraînement de haute qualité, diversifiées et vérifiées. Le résultat est un cadre capable de passer à l'échelle de millions d'outils et de tâches, aidant les agents d'IA à apprendre à utiliser des outils plus efficacement, même dans le monde réel.

Résumé Technique : SynthTools

Énoncé du Problème

Les systèmes agentic nécessitent la capacité d'utiliser des outils externes pour résoudre des tâches complexes à long horizon. Cependant, les modèles actuels éprouvent des difficultés avec l'utilisation fiable d'outils, une limitation souvent attribuée à l'échelle et à la diversité des données d'entraînement. Les approches existantes pour créer des environnements d'utilisation d'outils se heurtent à des goulots d'étranglement significatifs :

APIs Réelles : Bien qu'authentiques, elles sont difficiles à mettre à l'échelle en raison des clés d'API, des limites de taux, des quotas d'utilisation et des changements fréquents d'interface.
Suites Curatées : Des collections conçues à la main (par exemple, ACEBench, $\tau^2$ -bench) sont limitées en nombre d'outils et en diversité de domaines, couvrant souvent seulement une poignée de domaines larges.
Génération Synthétique : Bien que scalable, de nombreuses pipelines synthétiques existantes reposent sur une simulation programmatique, ce qui restreint la complexité des outils à de simples opérations CRUD. À l'inverse, la simulation basée sur des LLM a été peu explorée et manque souvent d'exécution déterministe ou repose sur une documentation d'API réelle en évolution.

De plus, même avec de grands ensembles d'outils, générer des tâches réalistes et non triviales nécessitant un raisonnement coordonné à plusieurs étapes reste un goulot d'étranglement fondamental. Le prompting naïf produit souvent des scénarios superficiels qui ne demandent ni une planification à long horizon ni une prise de décision dans l'incertitude.

Méthodologie

Les auteurs présentent SynthTools, une pipeline entièrement basée sur des LLM conçue pour couvrir l'ensemble du cycle de vie de la création d'environnements d'utilisation d'outils : génération, simulation, validation et construction de tâches. Le cadre repose sur trois modules principaux :

1. Génération d'Environnement Top-Down

Au lieu de générer des listes plates d'APIs, SynthTools emploie une procédure d'évolution hiérarchique de domaine pour construire des outils ancrés dans le domaine :

Domaine $\to$ Sous-domaine : Un LLM partitionne des domaines de départ (par exemple, Finance, Santé) en sous-domaines cohérents, mettant en lumière les parties prenantes et les entités.
Sous-domaine $\to$ Tâche : Le modèle propose des familles de tâches avec des descriptions en langage naturel adaptées à la documentation.
Tâche $\to$ Outil : Des outils concrets sont instanciés pour chaque tâche. Le processus de génération encourage la composabilité en spécifiant les dépendances en amont et les afférences en aval.
Sortie : Chaque outil est défini par un nom, une description en langage naturel, un schéma de paramètres et un contrat d'E/S (préconditions, postconditions, modes d'erreur). Cette approche permet une complexité sur mesure, incluant des types d'objets complexes et des listes, dépassant la portée des simples opérations CRUD trouvées dans les environnements programmatiques.

2. Simulation et Validation de l'Environnement

Pour garantir la fiabilité, le cadre simule le comportement des outils et valide les résultats en utilisant un LLM en tant que Juge :

Simulation : Le simulateur décompose l'exécution en validation des paramètres (utilisant l'analyse AST pour la syntaxe et des LLM pour les contraintes sémantiques) et génération de réponse. Il intègre des métadonnées pour conditionner les réponses, assurant la cohérence (par exemple, retourner "aucune place disponible" si un vol est complet).
Validation : Un juge LLM évalue les spécifications d'outils et les réponses simulées. Il filtre les outils instables et prend en charge les nouvelles tentatives. Le système vise un faible taux de faux positifs, atteignant 97 % de précision dans l'identification des comportements incorrects.
Fiabilité : La pipeline atteint 94 % de précision dans la simulation des réponses d'outils et filtre les outils qui ne peuvent pas être émulsés de manière fiable.

3. Génération de Tâches et de Trajectoires Bottom-Up

En complément de la génération d'outils top-down, ce module construit des tâches à partir de l'ensemble d'outils validé :

Proposition de Chaîne d'Outils : Pour chaque environnement, un LLM propose des chaînes séquentielles d'utilisation d'outils qui servent de colonne vertébrale aux tâches candidates.
Génération de Mini-Tâches : Le système construit itérativement des mini-tâches. Pour chaque étape, il génère une description de tâche et un appel d'outil vérité-terrain, vérifie l'exécution de l'agent par rapport à la vérité-terrain, et met à jour l'état de l'environnement.
Construction de Trajectoire : En enchaînant ces mini-tâches interdépendantes, le système produit des tâches complexes et vérifiables avec des trajectoires de solution explicites.
Réglabilité : La difficulté est contrôlée en variant le nombre de mini-tâches, en ajustant le compromis entre explicitation et ambiguïté, et en ajoutant des outils non pertinents mais plausibles.

Contributions Clés

Cadre Scalable : SynthTools est une pipeline entièrement automatisée qui génère des environnements d'utilisation d'outils diversifiés, contrôlables et complexes sans dépendre d'APIs réelles ou d'une curation manuelle.
Publication de Jeu de Données : Les auteurs publient un jeu de données comprenant :
- 73 883 outils validés répartis sur 6 800 environnements.
- 100 domaines distincts (par exemple, Trading Financier, Logistique des Transports, E-commerce).
- 79 925 tâches vérifiables avec des trajectoires de vérité-terrain.
- Cela représente une augmentation de plus de 2 $\times$ en échelle par rapport aux collections précédentes en termes de domaines et d'outils par domaine.
Contrôle de Qualité : Le cadre inclut des étapes rigoureuses de simulation et de validation, garantissant une haute fiabilité (94 % de précision de simulation, 97 % de précision de validation) et une faible redondance (seulement 9 % des outils dépassent un seuil de similarité de $\tau=0,85$ ).
Étude de Cas de Midtraining : Les auteurs démontrent l'utilité du jeu de données en effectuant un midtraining des modèles Qwen3 (0,6B, 1,7B, 4B) sur les trajectoires générées.

Résultats

L'article évalue les modèles Qwen3 midtrained sur plusieurs benchmarks d'utilisation d'outils agentic :

Benchmarks : ACEBench, Berkeley Function Calling Leaderboard (BFCL) et API-Bank.
Gains de Performance : Pour toutes les tailles de modèles et tous les benchmarks, les modèles midtrained ont montré des améliorations de performance constantes par rapport à leurs homologues de base.
- Par exemple, sur le modèle 4B, la performance sur ACEBench (Normal) est passée de 0,583 à 0,651, et sur BFCL (Live) de 0,432 à 0,538.
Transférabilité : Les améliorations sur les benchmarks impliquant des APIs réelles (API-Bank, BFCL Live) suggèrent que les capacités d'utilisation d'outils entraînées sur des données synthétiques peuvent se transférer aux interactions de style API dans le monde réel.

Importance et Revendications

Les auteurs positionnent SynthTools comme une infrastructure nécessaire pour combler les lacunes de scalabilité et de diversité dans les paysages actuels d'entraînement des agents. Ils affirment que :

Les Données Synthétiques sont Viables : L'entraînement sur des trajectoires d'utilisation d'outils synthétiques de haute qualité peut efficacement combler l'écart de distribution entre le préentraînement générique et les tâches d'utilisation d'outils en aval.
La Scalabilité est Atteignable : Le cadre permet la génération d'écosystèmes d'outils à des échelles et des couvertures de domaines inaccessibles par les approches basées sur des APIs réelles ou curatées.
La Génération Structurée est Critique : L'article soutient que la génération de tâches efficace nécessite une construction structurée et bottom-up plutôt qu'un prompting naïf, qui produit souvent des scénarios superficiels ou non ancrés.

Ce travail suggère que les corpus d'interaction synthétique sont un ingrédient clé pour faire progresser les systèmes d'IA utilisant des outils, fournissant une ressource pratique pour l'entraînement et l'évaluation à grande échelle.