💬 NLP

Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents

Dit artikel stelt een nieuwe methode voor voor het genereren van synthetische trainingsdata die de linguïstische en argumentatieve diversiteit optimaliseert zonder afhankelijk te zijn van handmatig ontworale regels, wat resulteert in function-calling agents die een superieure out-of-distribution prestatie leveren en een nauwkeurigheidstoename van 7,4% op de BFCL-benchmark behalen ten opzichte van de huidige state-of-the-art baselines.

Oorspronkelijke auteurs: Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent leert hoe hij een gigantische gereedschapskist moet gebruiken met duizenden verschillende tools (zoals weer-apps, aandelenmarkttrackers of agenda-schedulers). Om de robot te leren, moet je voorbeelden laten zien van mensen die om hulp vragen en de robot die de juiste tool correct uitkiest.

Het probleem is, volgens dit paper, dat de "leerboeken" (datasets) die worden gebruikt om deze robots te trainen, vaak te repetitief zijn. Het is alsof je een kookles volgt waarbij elke student alleen wordt geleerd om een kaaspizza met pepperoni te maken. Als een klant vraagt om een "veganistische deep-dish met extra basilicum", raakt de robot in de war omdat hij zo'n specifieke aanvraag nog nooit heeft gezien.

Zo hebben de auteurs dit opgelost, met behulp van eenvoudige analogieën:

1. Het Problek: De "Echo Chamber" van Data

Eerdere methoden om trainingsdata te creëren waren goed in het zorgen dat de robot wist dat er veel verschillende tools bestonden. Ze faalden echter op twee belangrijke punten:

Linguïstische Diversiteit: Ze leerden de robot alleen hoe hij moest antwoorden wanneer mensen vragen stelden op precies dezelfde stijve, formele manier. Ze leerden hem niet hoe hij moest omgaan met straattaal, informele gesprekken of vreemde zinsstructuren.
Argument Diversiteit: Ze leerden de robot alleen over de meest populaire opties. Bijvoorbeeld, als de tool over aandelen gaat, noemde de trainingsdata alleen maar "Apple" (AAPL) en "Microsoft" (MSFT). De robot leerde nooit wat hij moest doen als iemand vroeg naar een klein, obscuur bedrijfje.

2. De Oplossing: De "Diversiteitschef"

De auteurs bouwten een nieuwe methode om synthetische trainingsdata te genereren. Denk aan deze methode als een "Diversiteitschef" die niet alleen een receptenboek volgt. In plaats daarvan heeft deze chef een speciale regel: "Elke keer dat ik een nieuw gerecht maak, moet het anders smaken dan de laatste 100 gerechten die ik heb gemaakt."

Geen Rigide Regels: In tegen tegenstelling tot andere methoden die vertrouwen op een vaste lijst van "typen mensen" (bijv. "De zakenman," "De student"), heeft deze chef geen vooraf geschreven lijst nodig. Hij begrijpt automatisch hoe hij de verzoeken kan variëren.
De "Marginale Bijdrage" Truc: De chef kijkt naar de stapel gerechten die al gemaakt zijn. Wanneer hij een nieuw gerecht overweegt, vraagt hij zich af: "Als ik dit nieuwe gerecht aan de stapel toevoeg, maakt het de hele collectie dan interessanter?" Als het antwoord ja is, houdt hij het gerecht. Als het gerecht slechts een kopie is van iets dat er al is, gooit hij het weg.

3. Wat ze Eigenlijk Hebben Gedaan

De onderzoekers gebruikten deze "Diversiteitschef" om een nieuwe set trainingsvoorbeelden te maken voor function-calling agents. Ze richtten zich op twee hoofdingrediënten:

De Aanvraag (De Bestelling): Ze genereerden gebruikersvragen die enorm varieerden in de manier waarop ze geformuleerd waren (kort, lang, formeel, straattaal, verwarrend).
De Argumenten (De Ingrediënten): Ze zorgden ervoor dat de specifieke waarden die in de verzoeken werden gebruikt, varieerden. In plaats van altijd "New York" te gebruiken voor een stad, gebruikten ze "Nairobi," "Reykjavik" en "Buenos Aires. In plaats van altijd "USD" te gebruiken voor valuta, gebruikten ze "NOK," "RUB" en "XRP."

4. De Resultaten: Een Betere Robot

Ze testten de data van hun nieuwe "Diversiteitschef" tegen andere top-tier methoden (zoals ToolAce en APIGen).

De Diversiteitsscore: Hun data was aanzienlijk diverser. Het was niet zomaar een beetje anders; het was een hele nieuwe wereld van variatie.
De "Out-of-Distribution" Test: Dit is het belangrijkste deel. Ze trainden een robot op hun data en testten hem op nieuwe vragen die hij nog nooit had gezien (vragen van andere datasets).
- De Analogie: Stel je voor dat je een student alleen hebt getraind op wiskundeproblemen uit 2020. Daarna heb je hem een toets gegeven met problemen uit 2025.
- De Uitkomst: De robot die getraind was op de diverse data van de auteurs, presteerde veel beter op deze nieuwe, ongeziene tests. Hij beantwoordde ongeveer 7,4% meer vragen goed op een belangrijke benchmark (BFCL) vergeleken met robots die getraind waren op de oudere, minder diverse methoden.

Samenvatting

Het paper beweert dat door een slim, geautomatiseerd proces te gebruiken om ervoor te zorgen dat trainingsdata linguïstisch gevarieerd is (verschillende manieren van spreken) en argumentatief gevarieerd is (verschillende specifieke waarden), je een veel robuustere AI-agent kunt bouwen. Deze agent memoriseert niet alleen specifieke voorbeelden; hij leert om te gaan met de rommelige, onvoorspelbare realiteit van hoe echte mensen daadwerkelijk praten en wat ze daadwerkelijk vragen.

Wat ze NIET hebben beweerd:

Ze beweerden niet dat dit werkt voor gesprekken met meerdere beurten (lange heen-en-weer gesprekken); ze richtten zich strikt op verzoeken met één beurt (single-turn).
Ze beweerden niet dat dit werkt voor talen andere dan het Engels.
Ze beweerden niet dat dit een "wondermiddel" is voor alle AI-problemen, maar specifiek voor de taak om agents te leren hoe ze correct tools aanroepen.

Technische Samenvatting: Linguïstische en Argumentdiversiteit in Synthetische Data voor Function-Calling Agents

Probleemstelling

De ontwikkeling van function-calling agents, die Large Language Models (LLMs) in staat stellen om te interageren met externe API's en tools, wordt momenteel belemmerd door een tekort aan hoogwaardige, diverse trainingsdata. Hoewel eerder onderzoek de noodzaak van diversiteit in de functies zelf heeft geadresseerd (dekking van diverse domeinen), de aanroepstructuren (single vs. multi-turn) en de responstypes (call vs. no-call), blijven twee cruciale dimensies onderbelicht:

Linguïstische Diversiteit: De variatie in de vorm, stijl en semantische expressie van gebruikersverzoeken. Bestaande datasets vertrouwen vaak op oppervlakkige variaties of vaste prompt-templates, waardoor ze niet het volledige spectrum kunnen vatten van hoe gebruikers identieke intenties kunnen verwoorden.
Argumentdiversiteit: De variatie in parametervolumes (bijv. specifieke plaatsnamen, aandelentickers, datums). Gegenereerde datasets neigen te concentreren op "head"-waarden (bijv. "New York", "AAPL"), waardoor modellen mogelijk onvoorbereid zijn op minder voorkomende of "tail"-waarden, wat de robuustheid in out-of-distribution (OOD) scenario's beperkt.

Methodologie

De auteurs stellen een nieuwe datapijplijn voor die optimaliseert voor diversiteit zonder te vertroueren op handmatige regels, vooraf gedefinieerde taxonomieën of statische persona-pools. De kern van hun aanpak is een greedy diverse generatieprocedure die items selecteert om een marginale diversiteitsbijdrage-metriek te maximaliseren.

Kerncomponenten

Diverse Generatie Framework:
- Het systeem werkt in rondes, waarbij kandidaten worden gegenereerd en de top $b$ kandidaten worden geselecteerd op basis van een diversiteitsscore $D(c; E)$ , gedefinieerd als de marginale toename in een set-niveau diversiteitsmetriek $\tilde{D}$ wanneer kandidaat $c$ wordt toegevoegd aan de bestaande set $E$ .
- Het proces gebruikt een LLM om kandidaten te genereren op basis van instructies $I$ en bestaande voorbeelden $E$ .
- Cruciaal is dat de instructies in opeenvolgende rondes worden bijgewerkt op basis van de scores van voorgaande kandidaten en een filterproces $F$ dat ongeldige of incorrecte items elimineert. Dit creëert een feedbackloop die de generatie stuurt naar ondervertegenwoordigde regio's in de dataruimte.
Argumentwaarde Generatie:
- Preprocessing: Parameters over verschillende API's worden geclusterd op basis van semantische gelijkenis (met behulp van embeddings) om groepen te identificeren (bijv. "plaatsnaam", "aandelenticker").
- Optimalisatie: Voor numerieke en string-parameters hanteert het systeem een "virtuele augmentatiestrategie". De LLM genereert een grote pool van kandidaten (bijv. 25), waaruit een subset wordt geselecteerd om de Cluster Entropy te maximaliseren. Deze metriek meet de entropie van de distributie van waarden over semantische clusters, wat de selectie van tail-waarden stimuleert in plaats van frequente head-waarden.
- Consistentie: Voor sequentiële API-aanroepen worden parameters achterwaarts gegenereerd vanaf de laatste API om logische samenhang te garanderen, terwijl parallelle aanroepen een gedeelde context (bijv. dezelfde locatie) over de API's heen waarborgen.
Query (Verzoek) Generatie:
- Gegeven een doelfunctie en argumentwaarden, genereert het systeem natuurlijke taalqueries.
- Diversiteit wordt geoptimaliseerd met behulp van een samengestelde metriek afgeleid via Reciprocal Rank Fusion (RRF). Deze fuseert rangschikkingen van meerdere onafhankelijke metrieken:
  - Lexicaal: Type-Token Ratio (TTR), compressieratio.
  - Syntactisch: Parse tree entropie, variantie in querylengte.
  - Semantisch: Parafraasvariëteit (embedding similarity), Chamfer distance, Vendi score.
- Een LLM-judge valideert of de gegenereerde query de specifieke API-aanroep en parameters logisch rechtvaardigt.
Distractor Selectie:
- Om realistische trainingsvoorbeelden te creëren, worden "harde negatieve" distractoren (irrelevante API's) opgehaald die semantisch dicht bij de query liggen maar niet het juiste antwoord zijn. Dit wordt bereikt via embedding-gebaseerde retrieval gevolgd door een LLM-gebaseerd plausibiliteitsfilter en een "elbow method" om de cutoff voor relevantiescores te bepalen.

Belangrijkste Bijdragen

Een Nieuwe Diversiteitscomponent: Een algemeen bruikbare, regelvrije mechanisme voor het genereren van diverse items door marginale diversiteitsmetrieken te optimaliseren. Deze component is aanpasbaar aan nieuwe domeinen zonder handmatige herconfiguratie.
Synthetische Datageneratietechniek: De toepassing van deze component op function-calling data, specif으로 gericht op linguïstische variatie in queries en argumentwaarde-diversiteit in parameters.
Uitgebreide Analyse: Een grondige evaluatie die aantoont dat het verhogen van deze specifieke diversiteitsdimensies de modelprestaties verbetert, met name in OOD-omgevingen.

Resultaten

De auteurs evalueerden hun methode tegen State-of-the-Art (SoTA) baselines, specifiek ToolAce en APIGen, evenals de BFCL benchmark.

Intrinsieke Evaluatie (Datakwaliteit)

Argumentdiversiteit: De voorgestelde methode behaalde aanzienlijk hogere NCD Diversiteit en Cluster Entropy scores vergeleken met ToolAce en APIGen. Bijvoorbeeld, bij valuta-argumenten, waar baselines gedomineerd werden door "USD", produceerde de voorgestelde methode een gebalanceerde distributie over diverse valuta's.
Linguïstische Diversiteit: De gegenereerde dataset presteerde beter dan de baselines op bijna alle linguïstische metrieken (Simpson's Index, Tree Edit Distance, Semantic Spread, Vendi Score) met statistische significantie. De enige uitzondering was de variatie in querylengte, waar baselines uitschieters vertoonden.
Correctheid: Handmatige inspectie en geautomatiseerde beoordeling bevestigden dat de toegenomen diversiteit de datacorrectheid niet in gevaar bracht; de gegenereerde voorbeelden bleven realistisch en geldig.

Extrinsieke Evaluatie (Modelprestaties)

De auteurs hebben Llama-3.1-8B-Instruct gefinetuned met hun dataset en vergeleken met modellen die zijn gefinetuned op ToolAce en APIGen data.

Out-of-Distribution (OOD) Prestaties: Modellen getraind op de voorgestelde dataset vertoonden superieure generalisatie wanneer ze werden getest op datasets waarop ze niet waren getraind.
- Op de APIGen testset presteerde het voorgestelde model 4,2 accuratestepunten beter dan het op ToolAce getrainde model.
- Op de ToolAce testset presteerde het voorgestelde model 3,8 accuratestepunten beter dan het op APIGen getrainde model.
BFCL Benchmark: Bij evaluatie op de Berkeley Function-Calling Leaderboard (niet-live subset), behaalde het model getraind op de voorgestelde dataset een accuratesse van 85,2%, wat aanzienlijk beter is dan de ToolAce (77,8%) en APIG-gen (77,1%) tegenhangers. Dit vertegenwoordigt een toename van ~7,4% in accuratesse ten opzichte van de baselines.

Betekenis en Claims

Het artikel stelt dat het gebrek aan linguïsche en argumentdiversiteit in huidige synthetische datasets een bottleneck is voor de robuustheid van function-calling agents. Door direct voor deze dimensies te optimaliseren met een algemeen bruikbare, metriek-gestuurde aanpak, demonstreren de auteurs dat:

Diversiteit de Generalisatie drijft: Verhoogde diversiteit in trainingsdata leidt tot meetbare verbeteringen in OOD-prestaties, wat suggereert dat modellen getraind op diverse data beter in staat zijn om ongeziene gebruikersformuleringen en zeldzame parametervalen te verwerken.
Automatisering boven Handmatige Curatie: De voorgestelde methode bereikt superieure diversiteit zonder de noodzaak van handmatige regelvorming of vaste persona-definities, wat het schaalbaar en aanpasbaar maakt voor nieuwe domeinen.
Praktische Impact: De techniek biedt een pad naar het genereren van hoogwaardige trainingsdata die de kloof tussen synthetische benchmarks en real-world agent-prestaties overbrugt, zoals bewezen door de significante winsten op de BFCL-benchmark.

De auteurs blijven bescheiden over beperkingen en merken op dat hun huidige analyse beperkt is tot het Engels, het generatieproces afhankelijk is van sterke (en dus kostbare) LLM's voor filtering, en de studie zich richt op single-turn interacties, wat multi-turn diversiteit een richting voor toekomstig werk laat.