💬 NLP

SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations

Het artikel introduceert SynAE, een meerdimensionaal evaluatiekader dat is ontworpen om de validiteit, betrouwbaarheid en diversiteit van synthetische datasets voor tool-roepende agenten te beoordelen door taakinstructies, tool-aanroepen, outputs en downstream-prestaties te analyseren, en toont aan dat geen enkele metriek volstaat om de kwaliteit van synthetische data te karakteriseren.

Oorspronkelijke auteurs: Shuaiqi Wang, Aadyaa Maddi, Zinan Lin, Giulia Fanti

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuaiqi Wang, Aadyaa Maddi, Zinan Lin, Giulia Fanti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert een nieuw recept te perfectioneren. Meestal proef je je gerecht met echte ingrediënten van de markt. Maar soms kun je de echte markt niet gebruiken (misschien is het te duur, of zijn de ingrediënten geheim). Dus besluit je om te koken met synthetische ingrediënten—nepgroenten en kunstmatig vlees gemaakt in een laboratorium.

Het probleem? Je weet niet of je nep-ingrediënten echt zullen smaken als het echte ding, of dat ze ervoor zullen zorgen dat het gerecht uit elkaar valt.

Dit paper introduceert SynAE, een "proefnemer"-framework dat specifiek is ontworpen om de kwaliteit van deze synthetische ingrediënten te controleren voordat je ze serveert aan je klanten (in dit geval AI-agenten).

Hier is hoe SynAE werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Het "Nepdata" Blinde Vlekje

AI-agenten (slimme programma's die hulpmiddelen zoals zoekmachines of rekenmachines kunnen gebruiken) moeten worden getest. Meestal testen ontwikkelaars ze op echte data (registraties van echte mensen die om hulp vragen). Maar echte data is vaak privé, gevoelig, of gewoon te klein om alles te testen.

Dus creëren ontwikkelaars synthetische data—nepgesprekken en taken gegenereerd door computers om het echte leven na te bootsen.

Het Risico: Alleen omdat de nepdata eruit ziet als echte data, betekent het niet dat het zich ook zo gedraagt als echte data. Het kan perfect lijken maar falen wanneer de AI het probeert te gebruiken.
Het GAT: Tot nu toe was er geen standaard "liniaal" om precies te meten hoe goed of slecht deze nepdata was.

2. De Oplossing: SynAE (De Kwaliteitscontrole-Inspecteur)

SynAE is een framework dat de Echte Dataset (de gouden standaard) vergelijkt met de Synthetische Dataset (de nepversie). Het zegt niet zomaar "Goed" of "Slecht"; het meet drie specifieke kwaliteiten:

A. Validiteit: "Werkt het eigenlijk?"

De Analogie: Stel je een neprecept voor dat zegt "Voeg 5 koppen suiker toe." Als je het volgt, verbrandt je taart. Dat is ongeldig.
Wat SynAE controleert: Het vraagt: "Als een AI deze nepinstructies volgt, voltooit het dan daadwerkelijk de taak?" Het controleert of de tool-aanroepen (zoals op een knop klikken) en de uiteindelijke antwoorden logisch zijn en het probleem oplossen. Als de instructies verwarrend zijn of leiden tot een doodlopende weg, markeert SynAE het als "Ongeldig".

B. Fideliteit: "Voelt het als het echte ding?"

De Analogie: Stel je een wasfruit voor. Het lijkt op een appel, maar als je erin bijt, is het hard en smaakloos. Het mist de "fideliteit" (trouw) van een echte appel.
Wat SynAE controleert: Het vergelijkt de nepdata met de echte data om te zien hoe vergelijkbaar ze zijn.
- Structuur: Hebben de nepgesprekken hetzelfde heen-en-weer ritme als echte gesprekken?
- Patronen: Gebruiken de nep-agenten hulpmiddelen in dezelfde volgorde en frequentie als echte agenten?
- Inhoud: Zijn de nepvragen en -antwoorden semantisch dicht bij de echte?
- Als de nepdata te verschillend is van de echte wereld, heeft het een lage fideliteit.

C. Diversiteit: "Is het saai of interessant?"

De Analogie: Stel je een afspeellijst voor waar hetzelfde nummer 100 keer wordt afgespeeld. Dat is niet divers. Stel je nu een afspeellijst voor met 100 verschillende genres. Dat is divers.
Wat SynAE controleert: Het meet of de synthetische data een breed scala aan scenario's dekt. Als de nepdata steeds dezelfde paar soorten vragen herhaalt, heeft het een lage diversiteit. Dit is slecht omdat de AI niet leert hoe het om nieuwe, rare situaties moet gaan.

3. Hoe Ze Het Testten

De auteurs spraken er niet alleen over; ze bouwden een "stress-test" laboratorium. Ze namen echte datasets en braken ze opzettelijk op specifieke manieren om te zien of SynAE de fouten kon opsporen:

De "Leeg Invullen" Test: Ze namen echte instructies en verborgen willekeurige woorden, waardoor een AI de rest moest raden. Naarmate ze meer woorden verborgen, werd de data slechter. SynAE detecteerde correct dat de fideliteit daalde (het leek niet meer op het echte ding) maar dat de diversiteit toenam (de gissingen waren overal).
De "Kopieer-Plak" Test: Ze namen een paar echte voorbeelden en kopieerden ze 100 keer. SynAE markeerde correct dat de diversiteit instortte (het was allemaal hetzelfde) zelfs al bleef de fideliteit hoog (het leek er nog steeds op).
De "Gebroken Hulpmiddel" Test: Ze hielden de instructies aan maar gaven de AI de verkeerde hulpmiddelen om te gebruiken. SynAE ontdekte dat de validiteit weg was omdat de taken niet voltooid konden worden.

4. De Grote Ontdekking

De belangrijkste bevinding is dat geen enkel getal het hele verhaal vertelt.

Je kunt data hebben die zeer valid is (het werkt) maar een lage diversiteit heeft (het is saai).
Je kunt data hebben die zeer divers is (het is spannend) maar een lage fideliteit heeft (het lijkt niet op de echte wereld).
Je kunt data hebben die er perfect uitziet (hoge fideliteit) maar gebroken is (lage validiteit).

Conclusie

SynAE is als een dashboard met meerdere assen voor AI-ontwikkelaars. In plaats van alleen maar te raden of hun nepdata goed is, kunnen ze SynAE gebruiken om precies te zien waar het faalt. Is het te repetitief? Is het te verschillend van de realiteit? Is het eigenlijk kapot?

Het paper concludeert dat voordat je synthetische data vertrouwt om je AI-agenten te testen, je dit soort gedetailleerde, multidimensionale controle nodig hebt om ervoor te zorgen dat je je AI niet traint op een "wasfruit" dat er echt uitziet maar geen smaak heeft.

Technische Samenvatting: SynAE – Een Kader voor het Meten van de Kwaliteit van Synthetische Data voor Evaluatie van Tool-Calling Agents

1. Probleemstelling

Tool-calling agents worden steeds vaker geëvalueerd aan de hand van statische datasets van uitvoeringstraces (bestaande uit gebruikersinvoer, agentantwoorden, tool-aanroepen en uiteindelijke outputs). Echter, praktijkmensen staan vaak voor aanzienlijke hindernissen bij het gebruik van echte productiedata voor testen, vanwege privacybeperkingingen, eigendomszorgen of data-schaarste. Bijgevolg is er een groeiende afhankelijkheid van synthetische datasets om echte data te vervangen of aan te vullen voor evaluatiedoeleinden.

Het kernprobleem dat is geïdentificeerd, is het gebrek aan systematische methoden om de relatie tussen deze synthetische datasets en de echte data die ze nabootsen, te kwantificeren. De huidige literatuur over het testen van agents met synthetische data biedt bijna geen kwantitatieve methoden voor het evalueren van de kwaliteit van dergelijke data, waardoor operators weinig zicht hebben op evaluatiekloven. Bestaande evaluatiemetrics richten zich doorgaans op of een agent correct presteert op een benchmark, in plaats van de benchmark zelf te evalueren op validiteit, fideliteit en diversiteit.

2. Methodologie: Het SynAE-kader

De auteurs introduceren SynAE, een uitgebreid evaluatiekader dat is ontworpen om te beoordelen hoe goed synthetische trajecten de kenmerken van echte datatrajecten nabootsen en versterken. SynAE werkt door een echte baseline-dataset ( $D$ ), een synthetische dataset ( $D'$ ) en optionele metricconfiguraties (inclusief voorkennis en specifieke LLM-agents) als invoer te nemen.

Het kader evalueert synthetische data op drie primaire eigenschappen, gemeten via vier distincte evaluatieaspecten:

Taakinstructies en Antwoorden
Tool-aanroepen
Uiteindelijke Outputs
Downstream Evaluatie

2.1 Evaluatiepilaren

SynAE verdeelt zijn metrics in drie pilaren:

A. Validiteit
Validiteit beoordeelt of synthetische tool-aanroepen en outputs de gegeven instructies succesvol vervullen.

Metric: Validiteitspercentage (VR).
Methode: Standaard wordt een LLM-as-a-judge (Mistral-7B-Instruct) gebruikt om te bepalen of tool-aanroepen of outputs de taak volbrengen. Waar beschikbaar worden regelgebaseerde checkers gebruikt. Een steekproef wordt alleen als geldig beschouwd als de tool-aanroep of output de instructie volledig voldoet (gedeeltelijke correctheid wordt afgewezen).

B. Fideliteit
Fideliteit meet de gelijkenis tussen synthetische en echte data, wat cruciaal is wanneer synthetische data echte data vervangt vanwege privacybeperkingen.

Instructies & Antwoorden:
- Key Node Dependency (KND): Meet semantische afhankelijkheden tussen instructies en antwoorden via inbeddingscosijn-ähnelijkheden.
- Attribute Match (AM): Berekent distributie-afstanden (Wasserstein-2 voor numerieke, Total Variation voor categorische) over attributen zoals aantal beurten en tokenlengtes.
- KNN-Precision/Recall & FID: Meten semantische kwaliteit en dekking met behulp van inbeddingsafstanden.
Tool-aanroepen:
- Tool Usage Match (TUM): Vergelijkt algehele tool-gebruiksverdelingen.
- Tool Call Number Match (TCNM): Vergelijkt verdelingen van het aantal tool-aanroepen per steekproef.
- k-Step Tool Planning Match: Meet gelijkenis in conditionele verdelingen van de volgende tool gegeven de vorige $k-1$ tool-aanroepen.
Outputs: Gebruikt KNN-Precision, KNN-Recall en FID ten opzichte van de echte dataset.
Downstream Evaluatie:
- Task Difficulty Difference (TDD): Meet het absolute verschil in taakvoltooiingsprestaties tussen echte en synthetische taken over meerdere agents.
- Ranking Divergence (RD): Berekent Spearman-rangcorrelatie om te bepalen of agentprestatierangschikkingen behouden blijven.

C. Diversiteit
Diversiteit is cruciaal wanneer synthetische data wordt gebruikt om de dekking te verbeteren (bijvoorbeeld door outliers toe te voegen). Deze metrics zijn referentievrij (vereisen geen echte data).

Vendi Score (Vendi): Berekent diversiteit op basis van de exponentiële entropie van eigenwaarden van een similariteitsmatrix (cosijn-ähnelijkheid voor tekst, Levenshtein-afstand voor tool-aanroepsequenties).
Attribute Diversity (AD): Meet de entropie van door de gebruiker gespecificeerde attributendistributies (bijvoorbeeld attractietypes, steden).

3. Experimentele Opstelling

De auteurs evalueerden SynAE op drie recente agentbenchmarks die als "echte" datasets werden behandeld:

T1: Multi-turn aanbeveling van attracties (225 steekproeven).
BFCL: Multi-turn functietoepassing over domeinen zoals bestandsbewerkingen en reizen (200 steekproeven).
ACP: Planningsdomeinen inclusief vervoer en robotacties (260 steekproeven).

Methoden voor Synthetische Data Generatie:
Om de gevoeligheid van SynAE te testen, construeerden de auteurs synthetische datasets met behulp van:

Gestuurde Wijzigingen:
- Blank Filling: Willekeurig maskeren van tokens in instructies om fideliteit te degraderen.
- Oversampling: Dupliceren van steekproeven om diversiteit te verminderen.
- In-Context Generatie: Variëren van het aantal en de willekeurigheid van in-context voorbeelden.
- Invalidatie: Vervangen van geldige tool-aanroepen/outputs door onjuiste om validiteit te degraderen.
Industriestandaard: NVIDIA NeMo Data Designer met diverse backendmodellen (GPT-4o-mini, Llama3.1, Nemotron, Mistral) en temperaturen.

4. Belangrijkste Resultaten

Fijnmazige Detectie: SynAE slaagt erin fijnmazige variaties in validiteit, fideliteit en diversiteit te vangen. Bijvoorbeeld, het verhogen van de maskeringsskans bij "Blank Filling" degradeerde fideliteitsmetrics (KNN-Precision) terwijl het de diversiteit (Vendi Score) verhoogde. Omgekeerd verminderde "Oversampling" de diversiteit en dekking (KNN-Recall) terwijl het enige fideliteit behield.
Gevoeligheid voor Invalidatie: Het kader detecteerde een monotoon afname in het Validiteitspercentage naarmate het aandeel ongeldige steekproeven toenam, wat zijn vermogen bevestigt om onbruikbare data op te sporen.
Trade-offs: Experimenten onthulden dat geen enkele metrickategorie synthetische data volledig karakteriseert. Bijvoorbeeld, het verhogen van het aantal in-context voorbeelden ( $k$ ) verbeterde niet uniform alle fideliteitsmetrics; het verbeterde KNN-Precision in sommige gevallen maar verlaagde KNN-Recall.
Downstream Impact: Het kader toonde aan dat synthetische datasets met hoge fideliteit in instructies toch kunnen falen in downstream evaluatie als tool-planningspatronen afwijken, wat de noodzaak benadrukt van een multi-assen evaluatie.
Iteratieve Verfijning Case Study: In een gesimuleerde workflow hielp SynAE een praktijkmens bij het diagnosticeren van een scheve dataset (lage diversiteit), een poging tot correctie via "Relabeling" (wat de diversiteit verbeterde maar de validiteit verbrak), en uiteindelijk een gebalanceerd resultaat bereikte met NVIDIA NeMo en een backend met hoge capaciteit (GPT-4o-mini), wat validiteit en fideliteit behield terwijl het de diversiteit verbeterde.

5. Betekenis en Claims

Het artikel beweert dat geen enkele metric voldoende is om de kwaliteit van synthetische data voor agenttesten volledig te karakteriseren. De betekenis van SynAE ligt in zijn vermogen om een multi-assen evaluatie te bieden die:

De kloof kwantificeert tussen synthetische en echte data over semantische, structurele en statistische dimensies.
Specifieke faalmodi detecteert (bijvoorbeeld gehallucineerde toolnamen, gebrek aan diversiteit of gedegradeerde planningspatronen) die single-metric benaderingen zouden kunnen missen.
Iteratieve verfijning ondersteunt, waardoor praktijkmensen knelpunten kunnen diagnosticeren en generatiestrategieën kunnen aanpassen (bijvoorbeeld modelselectie, temperatuur of augmentatietechnieken) op basis van kwantitatieve feedback.

De auteurs positioneren SynAE als een plug-in component voor agentwerkstromen, waardoor operators automatisch de kwaliteit van synthetische benchmarkdatasets kunnen evalueren voordat ze worden ingezet. Ze erkennen beperkingen, waarbij de huidige focus ligt op multi-turn tool-calling settings, en het uitbreiden van het kader naar interactieve omgevingen of multi-agent coördinatie een richting is voor toekomstig werk.