DIVE: Scaling Diversity in Agentic Task Synthesis for Generalizable Tool Use

Het paper introduceert DIVE, een bewijsgedreven methode die de volgorde van taaksynthese omkeert door eerst diverse real-world tool-uitvoeringen te genereren en daarop gebaseerde taken af te leiden, wat leidt tot een aanzienlijke verbetering in de generalisatie van tool-gebruikende LLM's op onbekende taken en toolsets.

De kern

DIVE: Hoe we AI-agenten leren om niet alleen te lezen, maar ook te doen

Stel je voor dat je een jonge kok (de AI) wilt leren koken. De meeste methoden in de wereld van kunstmatige intelligentie zijn als volgt: je geeft de kok een receptenboek vol met theoretische recepten. "Als je aardappels wilt schillen, gebruik dan mes A." Maar in de echte wereld zijn er duizenden verschillende messen, schillen en kookpotten, en soms moet je een aardappel eerst wassen, dan schillen, en daarna in blokjes snijden.

Het probleem met de huidige AI's is dat ze vaak alleen maar recepten hebben geleerd voor één specifieke situatie. Als je ze vraagt om iets te doen met een ander type mes of in een andere keuken, raken ze in de war. Ze zijn te stijf.

De onderzoekers van dit paper (DIVE) zeggen: "Nee, laten we de kok niet eerst een recept geven. Laten we eerst koken."

Hier is hoe hun nieuwe methode, DIVE, werkt, vertaald naar alledaagse taal:

1. Het oude probleem: "Eerst het recept, dan de keuken"

Tot nu toe maakten AI's oefenopdrachten door eerst een vraag te bedenken (bijv. "Zoek de beste pizza in Amsterdam") en toen te proberen of de AI dat kon oplossen.

• Het risico: Vaak bleek achteraf dat de AI het niet kon, omdat de tools (zoals zoekmachines of databases) niet werkten zoals verwacht. Het was alsof je een recept schrijft voor een ingrediënt dat je niet in de winkel kunt vinden.
• Het gevolg: De AI oefent met veel vragen die onoplosbaar zijn of met slechts één soort "mes" (bijv. alleen zoeken op internet). Ze worden goed in dat ene ding, maar faalt als je ze iets anders vraagt.

2. De DIVE-oplossing: "Eerst koken, dan het recept schrijven"

DIVE draait het proces om. In plaats van een vraag te bedenken en te hopen dat het werkt, doen ze het volgende:

• Stap 1: De "Kook-uitdaging" (Tools uitvoeren): Ze laten de AI eerst echt werken met een enorme verzameling van echte, verschillende tools. Denk aan 373 verschillende "messen en potten": van het opzoeken van medicijnen, het analyseren van beurscijfers, tot het zoeken in academische papers.
• Stap 2: De "Kooksporen" verzamelen: De AI gebruikt deze tools en laat zien wat er gebeurt. "Ik heb deze medicijnnaam opgezocht, dit is de dosis, en nu heb ik gecheckt of het veilig is." Dit zijn de bewijzen (evidence).
• Stap 3: Het recept achteruit afleiden: Pas na het koken schrijven ze de vraag op die bij dit resultaat hoort. "Hoeveel milliliter van dit medicijn moet een patiënt nemen?" Omdat het antwoord al bestaat (uit de echte kooksporen), weten ze zeker dat de vraag oplosbaar is.

De analogie:
Stel je voor dat je een detective bent.

• Oude methode: Je bedenkt een moordzaak ("Wie heeft de vaas gebroken?") en hoopt dat je getuigen (tools) iets weten. Vaak weten ze niets, en is het verhaal onzin.
• DIVE-methode: Je laat de detective eerst alle getuigen horen en alle sporen verzamelen. Pas als je ziet dat de getuigen zeggen "Het was de tuinman met de bloempot", schrijf je dan pas de vraag op: "Wie heeft de vaas gebroken?". Je weet nu zeker dat het antwoord bestaat en dat de detective het kan vinden.

3. Waarom is dit zo krachtig?

De onderzoekers ontdekten iets verrassends: Kwaliteit en diversiteit zijn belangrijker dan hoeveelheid.

• De "Veel-is-beter"-mythe: Veel mensen denken dat je een AI slimmer maakt door hem 100.000 keer hetzelfde soort vraag te laten beantwoorden (bijv. alleen maar zoeken op internet).
• De DIVE-waarheid: Het is beter om de AI 12.000 keer te laten oefenen met heel verschillende tools en situaties (medicijnen, financiën, code, biologie) dan om 48.000 keer hetzelfde te doen.
• Het resultaat: De AI leert niet alleen wat hij moet doen, maar hoe hij moet denken in een nieuwe situatie. Het is alsof je een kok leert om met elk type mes om te gaan, in plaats van alleen met één specifiek mes.

4. De resultaten in het kort

Toen ze deze methode toepasten op een AI-model (Qwen3-8B), gebeurde er iets magisch:

• De AI werd 22% slimmer in het oplossen van nieuwe, onbekende problemen.
• Ze presteerde beter dan modellen die veel groter waren (maar minder gevarieerd hadden geoefend).
• Zelfs met 4 keer minder data dan andere methoden, was hun AI beter.

Conclusie

DIVE is als het geven van een "multitool" aan een leerling in plaats van alleen een hamer. Door eerst te laten zien wat er mogelijk is met echte tools, en pas daarna de vragen te bedenken, leren ze AI's om flexibel, creatief en betrouwbaar te zijn in de echte wereld. Ze leren niet alleen te antwoorden, maar echt te handelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DIVE: Scaling Diversity in Agentic Task Synthesis for Generalizable Tool Use", vertaald en samengevat in het Nederlands.

1. Het Probleem: Beperkte Generalisatie door Gebrek aan Diversiteit

Recente ontwikkelingen in het post-trainen van Large Language Models (LLMs) voor agentische taken (het gebruik van tools) vertrouwen sterk op synthetische data. Echter, deze modellen vertonen vaak kwetsbaarheid (brittleness) wanneer ze geconfronteerd worden met verschuivingen in taken of toolsets (Out-of-Distribution of OOD).

De auteurs identificeren de hoofdoorzaak als onvoldoende diversiteit in de gegenereerde trainingsdata. Bestaande methoden schalen vaak alleen de hoeveelheid data of de moeilijkheidsgraad, maar blijven beperkt tot:

• Vaste toolsets (bijv. alleen websearch).
• Rigidere patronen (bijv. zoek-en-blader lussen).
• Template-variatie in plaats van echte structurele diversiteit.

Dit leidt tot modellen die goed presteren op bekende taken, maar falen bij nieuwe domeinen (zoals medische diagnose of financiële analyse) of gespecialiseerde tools. Een fundamentele spanning bestaat er tussen het vergroten van de diversiteit en het waarborgen van verifieerbaarheid en uitvoerbaarheid: als je te veel diversiteit introduceert, worden gegenereerde taken vaak onoplosbaar of niet verifieerbaar, wat essentieel is voor training (bijv. voor beloningsschalen in Reinforcement Learning).

2. Methodologie: DIVE (Evidence-Driven Synthesis)

Om dit op te lossen, stellen de auteurs DIVE voor: een bewijsgedreven recept dat de volgorde van synthese omkeert. In plaats van eerst een vraag te genereren en te proberen deze op te lossen, voeren ze eerst de tools uit en leiden ze de taken af uit de resulterende sporen (traces).

De DIVE-workflow:

1. Voorbereiding van Diverse Resources:

   • Tool Pool: Een verzameling van 373 geverifieerde tools uit vijf domeinen (Algemeen, Financiën, Biologie, Geneeskunde, Academie). Deze omvatten zowel Retrieval-tools (data ophalen) als Processing-tools (berekeningen/analyse).
   • Seed Pool: ~20.000 specifieke entiteiten (bijv. "Erlotinib" in plaats van "medicijn") om topic-collapse te voorkomen.
   • Exemplar Pool: Query-only voorbeelden uit heterogene taakfamilies om structurele priors te bieden.

2. Evidence-Driven Task Synthesis (De Kern):

   • Configuratie Sampling: Er wordt willekeurig een toolset, een seed en voorbeelden geselecteerd.
   • Evidence Collection (Eerst uitvoeren): Een agent voert real-time de geselecteerde tools uit om een logisch samenhangende reeks bewijzen (tool outputs) te verzamelen. Dit garandeert dat de data uitvoerbaar is.
   • Task Derivation (Afleiden): Op basis van de verzamelde bewijzen leidt een LLM een vraag-antwoordpaar af. Omdat het antwoord direct uit de tool-output komt, is het verifieerbaar.
   • Iteratief Proces: Dit proces wordt herhaald (K iteraties), waarbij elke stap de bewijsverzameling uitbreidt en complexere, multi-stap tool-gebruikspatronen induceert.

3. Agent Training:

   • SFT (Supervised Fine-Tuning): Training op 48.000 gegenereerde taken met een "teacher" model dat trajecten genereert die worden gefilterd op correctheid.
   • RL (Reinforcement Learning): Verdere optimalisatie op 3.200 "frontier" taken (taken waar het model net niet perfect is) om robuustheid te vergroten.

3. Belangrijkste Bijdragen

• Inversie van Synthese: Het omkeren van de volgorde (Eerst uitvoeren, dan afleiden) lost het probleem van verifieerbaarheid op bij het schalen van diversiteit.
• Gestructureerde Diversiteit: DIVE schalen niet alleen de hoeveelheid data, maar ook de tool-pool dekking (aantal domeinen) en toolset-variatie (combinaties per taak).
• Empirisch Bewijs voor Diversiteit vs. Hoeveelheid: Het paper toont aan dat het schalen van diversiteit effectiever is voor OOD-generalisatie dan het simpelweg vergroten van de datasetgrootte met minder diverse data.

4. Resultaten

De auteurs trainden Qwen3-8B met DIVE-data en evalueerden het op 9 benchmarks, variërend van in-distribution tot complexe OOD-scenario's.

• Algemene Prestaties: DIVE-8B (RL) verbeterde met +22 punten in gemiddelde prestaties over 9 OOD-benchmarks ten opzichte van de basis, en overtrof de sterkste 8B-baseline met +68%.
• Generalisatie: Het model presteerde sterk op gespecialiseerde benchmarks (zoals MedAgentBench en Finance Agent Benchmark) zonder specifiek daarvoor getraind te zijn, en concurreerde met veel grotere modellen (zoals Gemini-3-Pro en Claude-4-Sonnet) op dieptere search-taken.
• Diversiteit vs. Hoeveelheid (Scaling Analysis):
  • Een model getraind op 12k data met hoge diversiteit (4 domeinen) presteerde beter op OOD-taken dan een model getraind op 48k data met lage diversiteit (1 domein).
  • Diversiteitsschaling bleek consistent superieur, zelfs met 4x minder data.
• Structuur: Analyse toont aan dat DIVE-data veel rijkere tool-gebruikspatronen bevat (bijv. Retrieval + Processing combinaties) vergeleken met traditionele methoden die zich beperken tot "Retrieval-only".

5. Betekenis en Impact

DIVE biedt een nieuwe blauwdruk voor het trainen van robuuste AI-agenten. De belangrijkste inzichten zijn:

1. Kwaliteit boven kwantiteit: Voor generalisatie is de diversiteit van de trainingsomgeving (verschillende tools en domeinen) cruciaaler dan de pure schaal van de dataset.
2. Grounding by Construction: Door taken af te leiden uit echte tool-uitvoeringen, worden hallucinaties en onoplosbare taken inherent uitgesloten, wat de trainingstabiliteit verhoogt.
3. Schalbaarheid: De methode is autonoom en schaalbaar, waardoor het mogelijk wordt om agenten te trainen op een breed scala aan real-world tools zonder handmatige pipeline-aanpassingen voor elk nieuw domein.

Kortom, DIVE bewijst dat het systematisch vergroten van de structurele diversiteit in synthetische data de sleutel is tot het creëren van algemene, veerkrachtige tool-using agents.