💬 NLP

SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations

Le papier présente SynAE, un cadre d'évaluation multi-axes conçu pour évaluer la validité, la fidélité et la diversité des jeux de données synthétiques destinés aux agents d'appel d'outils en analysant les instructions de tâche, les appels d'outils, les sorties et les performances en aval, démontrant qu'aucune métrique unique ne suffit à caractériser la qualité des données synthétiques.

Auteurs originaux : Shuaiqi Wang, Aadyaa Maddi, Zinan Lin, Giulia Fanti

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuaiqi Wang, Aadyaa Maddi, Zinan Lin, Giulia Fanti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un chef essayant de perfectionner une nouvelle recette. Habituellement, vous goûtez votre plat en utilisant de vrais ingrédients du marché. Mais parfois, vous ne pouvez pas utiliser le vrai marché (peut-être est-il trop cher, ou les ingrédients sont-ils secrets). Alors, vous décidez de cuisiner avec des ingrédients synthétiques – de faux légumes et de la viande artificielle fabriqués en laboratoire.

Le problème ? Vous ne savez pas si vos faux ingrédients auront vraiment le goût de la vraie chose, ou s'ils feront s'effondrer le plat.

Ce papier présente SynAE, un cadre de « dégustation » conçu spécifiquement pour vérifier la qualité de ces ingrédients synthétiques avant de les servir à vos clients (dans ce cas, des agents IA).

Voici comment fonctionne SynAE, décomposé en concepts simples :

1. Le Problème : L'angle mort des « Données Fictives »

Les agents IA (programmes intelligents capables d'utiliser des outils tels que des moteurs de recherche ou des calculatrices) doivent être testés. Habituellement, les développeurs les testent sur des données réelles (des enregistrements de vraies personnes demandant de l'aide). Mais les données réelles sont souvent privées, sensibles, ou tout simplement trop petites pour tout tester.

Les développeurs créent donc des données synthétiques – de fausses conversations et tâches générées par ordinateur pour imiter la vie réelle.

Le Risque : Le fait que les données fictives ressemblent aux données réelles ne signifie pas qu'elles agissent comme les données réelles. Elles peuvent sembler parfaites mais échouer lorsque l'IA tente de les utiliser.
Le Vide : Jusqu'à présent, il n'existait pas de « règle » standard pour mesurer exactement à quel point ces données fictives étaient bonnes ou mauvaises.

2. La Solution : SynAE (L'Inspecteur de Contrôle Qualité)

SynAE est un cadre qui compare le Jeu de Données Réel (la référence absolue) au Jeu de Données Synthétique (le faux). Il ne se contente pas de dire « Bien » ou « Mauvais » ; il mesure trois qualités spécifiques :

A. Validité : « Est-ce que ça marche vraiment ? »

L'Analogie : Imaginez une fausse recette qui dit « Ajoutez 5 tasses de sucre ». Si vous la suivez, votre gâteau brûle. C'est invalide.
Ce que vérifie SynAE : Il se demande : « Si une IA suit ces fausses instructions, termine-t-elle réellement la tâche ? » Il vérifie si les appels d'outils (comme cliquer sur un bouton) et les réponses finales ont du sens et résolvent le problème. Si les instructions sont confuses ou mènent à une impasse, SynAE les signale comme « Invalides ».

B. Fidélité : « Est-ce que ça ressemble à la vraie chose ? »

L'Analogie : Imaginez un fruit en cire. Il ressemble à une pomme, mais si vous le mordez, il est dur et sans goût. Il manque de « fidélité » (de ressemblance) par rapport à une vraie pomme.
Ce que vérifie SynAE : Il compare les données fictives aux données réelles pour voir à quel point elles sont similaires.
- Structure : Les fausses conversations ont-elles le même rythme d'échange que les vraies ?
- Motifs : Les faux agents utilisent-ils les outils dans le même ordre et avec la même fréquence que les agents réels ?
- Contenu : Les fausses questions et réponses sont-elles sémantiquement proches des vraies ?
- Si les données fictives sont trop différentes du monde réel, leur fidélité est faible.

C. Diversité : « Est-ce ennuyeux ou intéressant ? »

L'Analogie : Imaginez une playlist où la même chanson passe 100 fois. Ce n'est pas diversifié. Imaginez maintenant une playlist avec 100 genres différents. C'est diversifié.
Ce que vérifie SynAE : Il mesure si les données synthétiques couvrent une large variété de scénarios. Si les données fictives ne font que répéter les mêmes quelques types de questions encore et encore, leur diversité est faible. C'est mauvais car l'IA n'apprendra pas à gérer de nouvelles situations étranges.

3. Comment Ils L'Ont Testé

Les auteurs ne se sont pas contentés d'en parler ; ils ont construit un laboratoire de « test de résistance ». Ils ont pris des jeux de données réels et les ont intentionnellement corrompus de manières spécifiques pour voir si SynAE pouvait détecter les erreurs :

Le Test « Remplissage à Blanc » : Ils ont pris de vraies instructions et caché des mots au hasard, forçant une IA à deviner le reste. À mesure qu'ils cachaient plus de mots, les données se détérioraient. SynAE a correctement détecté que la fidélité avait chuté (cela ne ressemblait plus à la vraie chose) mais que la diversité avait augmenté (les suppositions étaient partout).
Le Test « Copier-Coller » : Ils ont pris quelques exemples réels et les ont copiés 100 fois. SynAE a correctement signalé que la diversité s'était effondrée (tout était identique) même si la fidélité restait élevée (cela ressemblait toujours à la vraie chose).
Le Test « Outil Cassé » : Ils ont gardé les instructions mais ont donné à l'IA les mauvais outils à utiliser. SynAE a détecté que la validité était absente car les tâches ne pouvaient pas être accomplies.

4. La Grande Découverte

La découverte la plus importante est qu'aucun chiffre unique ne raconte toute l'histoire.

Vous pouvez avoir des données très valides (elles fonctionnent) mais avec une faible diversité (c'est ennuyeux).
Vous pouvez avoir des données très diversifiées (c'est excitant) mais avec une faible fidélité (cela ne ressemble pas au monde réel).
Vous pouvez avoir des données qui semblent parfaites (haute fidélité) mais qui sont cassées (faible validité).

Conclusion

SynAE est comme un tableau de bord multi-axes pour les développeurs d'IA. Au lieu de simplement deviner si leurs données fictives sont bonnes, ils peuvent utiliser SynAE pour voir exactement où elles échouent. Sont-elles trop répétitives ? Sont-elles trop différentes de la réalité ? Sont-elles réellement cassées ?

Le papier conclut que avant de faire confiance aux données synthétiques pour tester vos agents IA, vous avez besoin de ce type de check-up détaillé et multidimensionnel pour vous assurer de ne pas entraîner votre IA sur un « fruit en cire » qui ressemble au vrai mais n'a aucune saveur.

Résumé technique : SynAE – Un cadre pour mesurer la qualité des données synthétiques pour l'évaluation des agents d'appel d'outils

1. Énoncé du problème

Les agents d'appel d'outils sont de plus en plus évalués à l'aide de jeux de données statiques de traces d'exécution (comprenant les entrées utilisateur, les réponses de l'agent, les appels d'outils et les sorties finales). Cependant, les praticiens rencontrent souvent des obstacles majeurs pour utiliser des données de production réelles à des fins de test, en raison de restrictions liées à la vie privée, de préoccupations de propriété intellectuelle ou de la rareté des données. Par conséquent, on observe une dépendance croissante aux jeux de données synthétiques pour remplacer ou compléter les données réelles aux fins d'évaluation.

Le problème central identifié est l'absence de méthodes systématiques pour quantifier la relation entre ces jeux de données synthétiques et les données réelles qu'ils visent à reproduire. La littérature actuelle sur le test d'agents avec des données synthétiques ne fournit presque aucune méthode quantitative pour évaluer la qualité de telles données, laissant les opérateurs avec une faible visibilité sur les lacunes d'évaluation. Les métriques d'évaluation existantes se concentrent généralement sur la capacité d'un agent à performer correctement sur un benchmark, plutôt que sur l'évaluation du benchmark lui-même en termes de validité, de fidélité et de diversité.

2. Méthodologie : Le cadre SynAE

Les auteurs présentent SynAE, un cadre d'évaluation complet conçu pour évaluer dans quelle mesure les trajectoires synthétiques reproduisent et complètent les caractéristiques des trajectoires de données réelles. SynAE fonctionne en prenant comme entrées un jeu de données de référence réel ( $D$ ), un jeu de données synthétique ( $D'$ ) et des configurations de métriques optionnelles (incluant des connaissances préalables et des agents LLM spécifiques).

Le cadre évalue les données synthétiques selon trois propriétés principales, mesurées à travers quatre aspects d'évaluation distincts :

Instructions et réponses de tâche
Appels d'outils
Sorties finales
Évaluation en aval

2.1 Piliers d'évaluation

SynAE divise ses métriques en trois piliers :

A. Validité
La validité évalue si les appels d'outils et les sorties synthétiques remplissent avec succès les instructions données.

Métrique : Taux de validité (VR).
Méthode : Par défaut, un LLM en tant que juge (Mistral-7B-Instruct) est utilisé pour déterminer si les appels d'outils ou les sorties accomplissent la tâche. Des vérificateurs basés sur des règles sont utilisés lorsqu'ils sont disponibles. Un échantillon est considéré comme valide uniquement si l'appel d'outil ou la sortie satisfait pleinement l'instruction (la correction partielle est rejetée).

B. Fidélité
La fidélité mesure la similarité entre les données synthétiques et réelles, ce qui est crucial lorsque les données synthétiques remplacent les données réelles en raison de contraintes de confidentialité.

Instructions et réponses :
- Dépendance des nœuds clés (KND) : Mesure les dépendances sémantiques entre les instructions et les réponses via des similarités cosinus d'incorporation (embeddings).
- Correspondance d'attributs (AM) : Calcule les distances distributionnelles (Wasserstein-2 pour les données numériques, Variation totale pour les données catégorielles) sur des attributs tels que le nombre de tours et les longueurs de jetons.
- Précision/Rappel KNN et FID : Mesurent la qualité sémantique et la couverture en utilisant des distances d'incorporation.
Appels d'outils :
- Correspondance d'utilisation d'outils (TUM) : Compare les distributions globales d'utilisation des outils.
- Correspondance du nombre d'appels d'outils (TCNM) : Compare les distributions des nombres d'appels d'outils par échantillon.
- Correspondance de planification d'outils k-étapes : Mesure la similarité dans les distributions conditionnelles de l'outil suivant étant donné les $k-1$ appels d'outils précédents.
Sorties : Utilise la Précision KNN, le Rappel KNN et le FID par rapport au jeu de données réel.
Évaluation en aval :
- Différence de difficulté de tâche (TDD) : Mesure la différence absolue de performance d'achèvement de tâche entre les tâches réelles et synthétiques sur plusieurs agents.
- Divergence de classement (RD) : Calcule la corrélation de rang de Spearman pour déterminer si les classements de performance des agents sont préservés.

C. Diversité
La diversité est cruciale lorsque les données synthétiques sont utilisées pour améliorer la couverture (par exemple, en ajoutant des valeurs aberrantes). Ces métriques sont sans référence (ne nécessitent pas de données réelles).

Score Vendi (Vendi) : Calcule la diversité basée sur l'entropie exponentielle des valeurs propres d'une matrice de similarité (similarité cosinus pour le texte, distance de Levenshtein pour les séquences d'appels d'outils).
Diversité des attributs (AD) : Mesure l'entropie des distributions d'attributs spécifiées par l'utilisateur (par exemple, types d'attractions, villes).

3. Configuration expérimentale

Les auteurs ont évalué SynAE sur trois récents benchmarks d'agents traités comme des jeux de données « réels » :

T1 : Recommandation d'attractions multi-tours (225 échantillons).
BFCL : Appel de fonctions multi-tours dans des domaines tels que les opérations sur fichiers et les voyages (200 échantillons).
ACP : Domaines de planification incluant le transport et les actions de robots (260 échantillons).

Méthodes de génération de données synthétiques :
Pour tester la sensibilité de SynAE, les auteurs ont construit des jeux de données synthétiques en utilisant :

Modifications contrôlées :
- Remplissage de trous : Masquage aléatoire de jetons dans les instructions pour dégrader la fidélité.
- Suréchantillonnage : Duplication d'échantillons pour réduire la diversité.
- Génération en contexte : Variation du nombre et de l'aléatoire des exemples en contexte.
- Invalidation : Remplacement d'appels d'outils/sorties valides par des incorrects pour dégrader la validité.
Standard de l'industrie : NVIDIA NeMo Data Designer utilisant divers modèles backend (GPT-4o-mini, Llama3.1, Nemotron, Mistral) et températures.

4. Résultats clés

Détection fine : SynAE capture avec succès les variations fines de validité, de fidélité et de diversité. Par exemple, augmenter la probabilité de masquage dans le « Remplissage de trous » a dégradé les métriques de fidélité (Précision KNN) tout en augmentant la diversité (Score Vendi). À l'inverse, le « Suréchantillonnage » a réduit la diversité et la couverture (Rappel KNN) tout en préservant une certaine fidélité.
Sensibilité à l'invalidation : Le cadre a détecté une diminution monotone du Taux de validité à mesure que le ratio d'échantillons invalides augmentait, confirmant sa capacité à repérer les données inutilisables.
Compromis : Les expériences ont révélé qu'aucune catégorie de métrique unique ne caractérise pleinement les données synthétiques. Par exemple, augmenter le nombre d'exemples en contexte ( $k$ ) n'a pas uniformément amélioré toutes les métriques de fidélité ; cela a amélioré la Précision KNN dans certains cas mais a réduit le Rappel KNN.
Impact en aval : Le cadre a démontré que les jeux de données synthétiques avec une haute fidélité dans les instructions peuvent échouer dans l'évaluation en aval si les modèles de planification d'outils divergent, soulignant la nécessité d'une évaluation multi-axes.
Étude de cas de raffinement itératif : Dans un flux de travail simulé, SynAE a aidé un praticien à diagnostiquer un jeu de données biaisé (faible diversité), à tenter une correction via le « Reétiquetage » (qui a amélioré la diversité mais brisé la validité), et enfin à obtenir un résultat équilibré en utilisant NVIDIA NeMo avec un backend haute capacité (GPT-4o-mini), qui a préservé la validité et la fidélité tout en améliorant la diversité.

5. Signification et revendications

L'article revendique qu'aucune métrique unique ne suffit pour caractériser pleinement la qualité des données synthétiques pour le test d'agents. La signification de SynAE réside dans sa capacité à fournir une évaluation multi-axes qui :

Quantifie l'écart entre les données synthétiques et réelles à travers les dimensions sémantiques, structurelles et statistiques.
Détecte des modes d'échec spécifiques (par exemple, noms d'outils hallucinés, manque de diversité, ou modèles de planification dégradés) que les approches à métrique unique pourraient manquer.
Soutient le raffinement itératif, permettant aux praticiens de diagnostiquer les goulots d'étranglement et d'ajuster les stratégies de génération (par exemple, sélection de modèle, température ou techniques d'augmentation) sur la base de retours quantitatifs.

Les auteurs positionnent SynAE comme un composant plug-in pour les flux de travail agentic, permettant aux opérateurs d'évaluer automatiquement la qualité des jeux de données de benchmark synthétiques avant le déploiement. Ils reconnaissent les limites, notant que l'accent actuel est mis sur les paramètres d'appel d'outils multi-tours, et que l'extension du cadre aux environnements interactifs ou à la coordination multi-agents est une direction pour les travaux futurs.