🤖 AI

SynthTools: A Framework for Scaling Synthetic Tools for Agent Development

Het artikel introduceert SynthTools, een volledig op LLM's gebaseerd kader dat automatisch diverse synthetische tool-omgevingen en taken genereert, valideert en schaalbaar maakt, en aantoont dat het trainen van agenten op deze synthetische data hun prestaties bij het gebruik van tools op realistische benchmarks aanzienlijk verbetert.

Oorspronkelijke auteurs: Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Gepubliceerd 2026-05-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe je een gigantische, complexe gereedschapskist gebruikt om een huis te repareren. Het probleem is dat je de robot geen echte gereedschapskist met echte gereedschappen (zoals een echte hamer of een echte boormachine) kunt geven, omdat:

Echte gereedschappen zijn rommelig: Ze gaan kapot, ze hebben batterijen nodig en soms werken ze gewoon niet als je ze probeert te gebruiken.
Er zijn er niet genoeg van: Je kunt geen trainingscursus bouwen voor elke mogelijke gereedschap in het universum met alleen maar echte exemplaren.
Het is moeilijk om "oefenproblemen" te bedenken: Als je de robot zegt, "Repareer het lek", weet hij misschien niet welke gereedschappen hij moet gebruiken of in welke volgorde.

SynthTools is een nieuw kader dat dit oplost door een gigantische, perfecte, virtuele simulatiefabriek volledig binnen een computer te bouwen. In plaats van echte gereedschappen te gebruiken, gebruikt het een superslimme AI (een Large Language Model) om duizenden nep-gereedschappen en oefenproblemen te bedenken, te testen en te organiseren.

Hier is hoe de SynthTools-fabriek werkt, opgesplitst in drie eenvoudige stappen:

1. De Architect (Top-Down Generatie)

Denk hierbij aan de Hoofdontwerper.
In plaats van zomaar willekeurig een lijst met gereedschappen neer te krabbelen, begint de AI met een groot idee, zoals "Financiële Handel" of "E-commerce". Hij breekt dat grote idee vervolgens op in kleinere wijken (sub-domeinen), dan in specifieke banen (taken), en bedenkt tot slot de specifieke gereedschappen die nodig zijn voor die banen.

De Analogie: Stel je voor dat je een videospel ontwerpt. Je gooit niet zomaar willekeurige voorwerpen op de grond. Je besluit: "Dit is een ziekenhuisniveau", dus je bedenkt een "Stethoscoop", een "Spuit" en een "Hartmonitor" die allemaal logisch bij elkaar passen. SynthTools doet dit voor 100 verschillende "werelden" (zoals financiën, logistiek, gezondheidszorg), waarbij meer dan 73.000 unieke gereedschappen worden gecreëerd.

2. De Kwaliteitscontrole-inspecteur (Simulatie en Validatie)

Dit is de Strenge Werkvoorzitter.
Alleen omdat de AI een gereedschap heeft bedacht, betekent niet dat het werkt. De Werkvoorzitter legt elk enkel gereedschap door een stress-test.

De Test: De Werkvoorzitter probeert het gereedschap op verschillende manieren te gebruiken. "Wat gebeurt er als ik je het verkeerde wachtwoord geef?" "Wat als de vlucht volgeboekt is?"
Het Resultaat: Als het gereedschap een verwarrend antwoord geeft of crasht, gooit de Werkvoorzitter het in de prullenbak. Als het de fout perfect afhandelt (bijvoorbeeld door te zeggen "Sorry, er zijn geen stoelen meer" in plaats van te crashen), krijgt het een goedkeuringsstempel.
De Schaal: Ze testten bijna 80.000 gereedschappen. Het systeem is zo goed in het opsporen van slechte gereedschappen dat het de zwakke eruit filtert, waardoor alleen de betrouwbare 73.883 gereedschappen overblijven. Het is als een fabriek die alleen producten verzendt die een test met 97% nauwkeurigheid hebben doorstaan.

3. De Puzzelmaker (Bottom-Up Taakgeneratie)

Nu ze een stapel goedgekeurde gereedschappen hebben, moeten ze oefenpuzzels maken voor de robot om op te lossen.

De Methode: In plaats van de AI te vragen "Bedenk een moeilijk probleem", bouwen ze het probleem van de grond af op. Ze nemen een paar goedgekeurde gereedschappen (zoals een "Retourverzoek"-gereedschap en een "E-mailverzend"-gereedschap) en koppelen ze aan elkaar.
Het Resultaat: Ze creëren een stap-voor-stap verhaal: "Een klant wil een shirt retourneren. Eerst, controleer of hij in aanmerking komt. Tweede, druk een label af. Derde, e-mail ze."
De Magie: Omdat de AI de puzzel met behulp van de gereedschappen heeft gebouwd waarvan hij weet dat ze werken, kent hij ook het exacte antwoord. Het is als een leraar die een wiskundetoets schrijft en tegelijkertijd het antwoordensleutel schrijft. Dit zorgt ervoor dat elke taak oplosbaar en verifieerbaar is. Ze creëerden bijna 80.000 van deze puzzels.

Het Grote Experiment: Werkt het?

De onderzoekers namen een standaard AI-model (Qwen3) en gaven het een "mid-training" sessie. Denk hierbij aan het sturen van de AI naar een rijles met deze synthetische puzzels.

De Training: De AI oefende het oplossen van deze 80.000 nep maar realistische problemen.
De Test: Vervolgens testten ze de AI op echte benchmarks (met echte wereld-API's en daadwerkelijke functie-aanroep-tests).
De Uitkomst: De AI die oefende in de synthetische fabriek werd aanzienlijk beter in het gebruik van echte gereedschappen. Het is alsof oefenen op een perfecte rij-simulator de bestuurder beter maakt in het hanteren van een echte auto op een regenachtige dag.

Samenvatting

SynthTools is een pijplijn die AI gebruikt om een enorme, zelfcontrolerende bibliotheek van nep-gereedschappen en nep-problemen te bouwen. Het lost het probleem op van "we hebben niet genoeg echte data om robots te trainen" door zijn eigen hoogwaardige, diverse en geverifieerde trainingsdata te genereren. Het resultaat is een kader dat kan opschalen tot miljoenen gereedschappen en taken, waardoor AI-agenten leren hoe ze gereedschappen effectiever kunnen gebruiken, zelfs in de echte wereld.

Technische Samenvatting: SynthTools

Probleemstelling

Agente systemen vereisen de mogelijkheid om externe hulpmiddelen te gebruiken voor het oplossen van complexe taken met een lange horizon. Echter, huidige modellen worstelen met betrouwbare hulpmiddelgebruik, een beperking die vaak wordt toegeschreven aan de schaal en diversiteit van trainingsdata. Bestaande benaderingen voor het creëren van hulpmiddelgebruik-omgevingen staan voor aanzienlijke knelpunten:

Real API's: Hoewel authentiek, zijn ze moeilijk te schalen vanwege API-sleutels, snelheidsbeperkingen, gebruiksquota's en frequente interface-wijzigingen.
Gecureerde Suites: Met de hand vervaardigde collecties (bijv. ACEBench, $\tau^2$ -bench) zijn beperkt in het aantal hulpmiddelen en domeindiversiteit, en bestrijken vaak slechts een handvol brede domeinen.
Synthetische Generatie: Hoewel schaalbaar, vertrouwen veel bestaande synthetische pijplijnen op programmatieke simulatie, wat de complexiteit van hulpmiddelen beperkt tot eenvoudige CRUD-bewerkingen. Omgekeerd is LLM-gebaseerde simulatie onderbelicht en mist vaak deterministische uitvoering of is afhankelijk van evoluerende documentatie van real API's.

Bovendien blijft, zelfs met grote sets hulpmiddelen, het genereren van realistische, niet-triviale taken die gecoördineerd redeneren over meerdere stappen vereisen, een fundamenteel knelpunt. Naïef prompten levert vaak oppervlakkige scenario's op die geen langetermijnplanning of besluitvorming onder onzekerheid vereisen.

Methodologie

De auteurs introduceren SynthTools, een volledig LLM-gebaseerde pijplijn ontworpen om de volledige levenscyclus van het creëren van hulpmiddelgebruik-omgevingen te bestrijken: generatie, simulatie, validatie en taakconstructie. Het raamwerk is gebaseerd op drie kernmodules:

1. Top-Down Omgevinggeneratie

In plaats van platte lijsten van API's te genereren, hanteert SynthTools een hiërarchische domeinevolutieprocedure om domeingebonden hulpmiddelen te construeren:

Veld $\to$ Subdomein: Een LLM partitioneert zaadvelden (bijv. Financiën, Gezondheidszorg) in coherente subdomeinen, waarbij belanghebbenden en entiteiten aan het licht komen.
Subdomein $\to$ Taak: Het model stelt families van taken voor met natuurlijke taalbeschrijvingen die geschikt zijn voor documentatie.
Taak $\to$ Hulpmiddel: Concrete hulpmiddelen worden geïnstancierd voor elke taak. Het generatieproces moedigt compositie aan door upstream-afhankelijkheden en downstream-aanbiedingen te specificeren.
Output: Elk hulpmiddel wordt gedefinieerd door een naam, een beschrijving in natuurlijke taal, een parameterschema en een I/O-contract (voorwaarden, postcondities, foutmodi). Deze benadering maakt op maat gemaakte complexiteit mogelijk, inclusief complexe objecttypen en lijsten, die verder gaan dan de reikwijdte van eenvoudige CRUD-bewerkingen in programmatieke omgevingen.

2. Omgevingssimulatie en Validatie

Om betrouwbaarheid te waarborgen, simuleert het raamwerk het gedrag van hulpmiddelen en valideert de resultaten met een LLM als rechter:

Simulatie: De simulator decomposeert uitvoering in parametervalidatie (met AST-parsing voor syntaxis en LLM's voor semantische beperkingen) en responsgeneratie. Het integreert metadata om responsen te conditioneren, waardoor consistentie wordt gewaarborgd (bijv. "geen stoel beschikbaar" retourneren als een vlucht vol zit).
Validatie: Een LLM-rechter evalueert hulpmiddelspecificaties en gesimuleerde responsen. Het filtert onstabiele hulpmiddelen uit en ondersteunt opnieuw proberen. Het systeem streeft naar een lage rate van vals-positieven, met een nauwkeurigheid van 97% bij het identificeren van onjuist gedrag.
Betrouwbaarheid: De pijplijn bereikt 94% nauwkeurigheid bij het simuleren van hulpmiddelresponsen en filtert hulpmiddelen uit die niet betrouwbaar kunnen worden geëmuleerd.

3. Bottom-Up Taak- en Trajectgeneratie

Aanvullend op de top-down hulpmiddelgeneratie construeert deze module taken vanuit de gevalideerde hulpmiddelenset:

Hulpmiddelketen-voorstel: Voor elke omgeving stelt een LLM sequentiële hulpmiddelgebruik-ketens voor die dienen als ruggengraat voor kandidaat-taken.
Mini-taakgeneratie: Het systeem construeert iteratief mini-taken. Voor elke stap genereert het een taakbeschrijving en een grond-waarheid hulpmiddeloproep, verifieert het de uitvoering van de agent tegen de grond-waarheid, en update het de omgevingstoestand.
Trajectconstructie: Door deze onderling afhankelijke mini-taken te koppelen, produceert het systeem complexe, verifieerbare taken met expliciete oplossingstrajecten.
Aanpasbaarheid: De moeilijkheidsgraad wordt gecontroleerd door het aantal mini-taken te variëren, de afweging tussen explicietheid en ambiguïteit aan te passen, en irrelevante maar plausibele hulpmiddelen toe te voegen.

Belangrijkste Bijdragen

Schaalbaar Raamwerk: SynthTools is een volledig geautomatiseerde pijplijn die diverse, controleerbare en complexe hulpmiddelgebruik-omgevingen genereert zonder afhankelijkheid van real API's of handmatige curatie.
Datasetpublicatie: De auteurs publiceren een dataset bestaande uit:
- 73.883 gevalideerde hulpmiddelen verspreid over 6.800 omgevingen.
- 100 distincte velden (bijv. Financiële Handel, Vervoerslogistiek, E-commerce).
- 79.925 verifieerbare taken met grond-waarheid trajecten.
- Dit vertegenwoordigt een toename in schaal van meer dan 2 $\times$ ten opzichte van eerdere collecties wat betreft domeinen en hulpmiddelen per domein.
Kwaliteitscontrole: Het raamwerk omvat rigoureuze simulatie- en validatiestappen, wat zorgt voor hoge betrouwbaarheid (94% simulatienauwkeurigheid, 97% validatienauwkeurigheid) en lage redundantie (slechts 9% van de hulpmiddelen overschrijdt een similariteitsdrempel van $\tau=0,85$ ).
Case Study Middentraining: De auteurs demonstreren de bruikbaarheid van de dataset door Qwen3-modellen (0,6B, 1,7B, 4B) te middentrainen op de gegenereerde trajecten.

Resultaten

Het artikel evalueert de middengetrainde Qwen3-modellen op meerdere agente hulpmiddelgebruik-benchmarks:

Benchmarks: ACEBench, Berkeley Function Calling Leaderboard (BFCL) en API-Bank.
Prestatiewinst: Over alle modelgroottes en benchmarks heen vertoonden de middengetrainde modellen consistente prestatieverbeteringen ten opzichte van hun basisversies.
- Bijvoorbeeld, op het 4B-model verbeterde de prestatie op ACEBench (Normaal) van 0,583 naar 0,651, en op BFCL (Live) van 0,432 naar 0,538.
Transferabiliteit: Verbeteringen op benchmarks die betrekking hebben op real API's (API-Bank, BFCL Live) suggereren dat hulpmiddelgebruikcapaciteiten getraind op synthetische data kunnen worden overgebracht naar interacties in de stijl van real API's.

Betekenis en Claims

De auteurs positioneren SynthTools als noodzakelijke infrastructuur om de schaal- en diversiteitskloven in het huidige landschap van agente training aan te pakken. Zij beweren dat:

Synthetische Data Haalbaar is: Training op hoogwaardige, synthetische hulpmiddelgebruik-trajecten de distributiekloof tussen generieke pretraining en downstream hulpmiddelgebruikstaken effectief kan overbruggen.
Schaalbaarheid Bereikbaar is: Het raamwerk maakt het genereren van hulpmiddelenecosystemen mogelijk op schalen en domeinoverdekkingen die niet haalbaar zijn met real-API of gecureerde benaderingen.
Gestructureerde Generatie Cruciaal is: Het artikel betoogt dat effectieve taakgeneratie gestructureerde, bottom-up constructie vereist in plaats van naïef prompten, wat vaak oppervlakkige of ongegronde scenario's oplevert.

Het werk suggereert dat synthetische interactiecorpora een sleutelelement zijn voor de vooruitgang van AI-systemen die hulpmiddelen gebruiken, en biedt een praktische resource voor schaaltraining en evaluatie.