DIVE: Scaling Diversity in Agentic Task Synthesis for Generalizable Tool Use

Die Arbeit stellt DIVE vor, einen evidenzbasierten Ansatz, der durch die Umkehrung des Syntheseprozesses – beginnend mit der Ausführung realer Tools zur Ableitung von Aufgaben – die strukturelle Vielfalt in der Datengenerierung für Agenten-LLMs maximiert und so eine überlegene Generalisierungsfähigkeit bei Out-of-Distribution-Szenarien erreicht, die selbst mit deutlich weniger Daten als reine Mengenskaling übertrifft.

Das Wesentliche

Stell dir vor, du möchtest einen jungen Assistenten (eine KI) darin schulen, komplexe Aufgaben zu erledigen, indem er verschiedene Werkzeuge benutzt – wie einen Suchmaschinen-Experten, einen Finanzanalysten oder einen medizinischen Berater.

Das Problem bisher war: Die Trainingsaufgaben für diese KIs waren oft zu einseitig. Man hat dem Assistenten immer nur die gleichen Aufgaben gegeben, etwa „Suche im Internet nach dem Wetter". Das ist wie ein Koch, der nur Spaghetti kochen gelernt hat. Wenn man ihn dann bittet, ein Steak zu braten oder einen Kuchen zu backen, scheitert er kläglich, weil er nie gelernt hat, wie man mit anderen Zutaten (Werkzeugen) umgeht.

Die Forscher von DIVE haben eine Lösung gefunden, die sie wie einen genialen Kochkurs für KIs aufgebaut haben. Hier ist die Erklärung in einfachen Worten:

1. Das alte Problem: Der „Falsche Weg"

Bisher haben Forscher versucht, Aufgaben zu erfinden und dann zu prüfen, ob die KI sie lösen kann.

• Das Bild: Stell dir vor, du erfindest eine Rezeptur für einen Kuchen („Nimm 3 Eier und backe ihn bei 200 Grad"), aber du hast gar keine Eier und keinen Ofen. Du weißt nicht, ob der Kuchen wirklich gelingt, bis du es versucht hast. Oft scheitert das Rezept dann, weil es in der Realität unmöglich ist.
• Das Ergebnis: Die KI lernt nur starre Muster und kann sich nicht auf neue Situationen einstellen.

2. Die DIVE-Lösung: „Zuerst die Zutaten, dann das Rezept"

DIVE dreht den Prozess um. Statt erst eine Aufgabe zu erfinden, schauen sie sich zuerst an, was die Werkzeuge wirklich können.

• Der Vergleich: Stell dir vor, ein Koch geht zuerst auf den Markt und kauft frische, echte Zutaten (echte Daten aus der Medizin, Finanzen, Biologie etc.). Er kocht damit etwas Leckeres und notiert sich genau, was passiert ist. Danach erfindet er eine Frage dazu: „Wie viel Gramm Mehl brauchte ich für diesen Kuchen?"
• Der Vorteil: Da die Zutaten (die Daten) echt sind, ist die Frage (die Aufgabe) garantiert lösbar. Man kann nicht etwas erfinden, das unmöglich ist, weil man es ja schon erfolgreich ausgeführt hat.

3. Wie DIVE die Vielfalt (Diversity) schafft

Das Ziel war nicht nur, mehr Aufgaben zu sammeln, sondern verschiedenartige Aufgaben.

• Die Werkzeugkiste: Die Forscher haben eine riesige Kiste mit 373 echten Werkzeugen gefüllt (von „Suche Aktienkurse" bis „Analysiere DNA").
• Der Zufall: Bei jedem Trainingsschritt mischen sie zufällig verschiedene Werkzeuge zusammen. Mal ist es ein Finanz-Tool plus ein Such-Tool, mal ein medizinisches Tool plus ein Rechen-Tool.
• Der Effekt: Der KI-Assistent lernt nicht nur, Spaghetti zu kochen, sondern lernt, wie man mit jeder Kombination von Zutaten umgeht. Er lernt, flexibel zu denken.

4. Das Ergebnis: Ein wahrer Alleskönner

Als sie eine KI (Qwen3-8B) mit dieser Methode trainierten, geschah etwas Überraschendes:

• Sie brauchten sogar weniger Daten als andere Methoden, um bessere Ergebnisse zu erzielen.
• Die KI wurde nicht nur besser in dem, was sie schon kannte, sondern konnte Aufgaben lösen, für die sie nie explizit trainiert wurde (z. B. von Finanzfragen auf medizinische Diagnosen wechseln).
• Die Metapher: Ein anderer Assistent, der nur 1000 Mal das Gleiche geübt hat, ist ein Spezialist, der bei einer kleinen Änderung panisch wird. Der DIVE-Assistent ist wie ein erfahrener Abenteurer, der weiß, wie man mit jedem Werkzeug auf der Welt umgeht, egal ob er einen Hammer, ein Messer oder ein Fernglas in der Hand hält.

Zusammenfassung

DIVE ist wie ein genialer Trainer, der sagt: „Wir üben nicht, indem wir theoretische Fragen stellen. Wir gehen raus, machen echte Dinge mit echten Werkzeugen, notieren, was funktioniert hat, und erfinden dann Fragen dazu."

Dadurch wird die KI nicht nur stärker, sondern auch robuster. Sie kann sich auf neue, unbekannte Situationen einstellen, weil sie gelernt hat, wie man Werkzeuge kreativ kombiniert, statt nur starre Abläufe abzuspulen. Es ist der Unterschied zwischen einem Roboter, der nur einen Tanz tanzen kann, und einem Tänzer, der auf jede Musik improvisieren kann.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „DIVE: Scaling Diversity in Agentic Task Synthesis for Generalizable Tool Use" auf Deutsch:

1. Problemstellung

Aktuelle Ansätze zum Nachtrainieren (Post-Training) von Large Language Models (LLMs) für den Einsatz von Agenten-Tools basieren häufig auf synthetisierten Aufgaben. Ein zentrales Problem dabei ist die mangelnde Generalisierungsfähigkeit dieser Modelle, wenn sich die Aufgabenstellung oder die verfügbaren Tool-Sets ändern (Out-of-Distribution, OOD).

Die Autoren identifizieren die Ursache für diese Brüchigkeit in der unzureichenden Vielfalt (Diversity) der synthetisierten Trainingsdaten. Bestehende Methoden skalieren Daten meist nur quantitativ oder in Bezug auf Schwierigkeit, bleiben aber oft in engen Aufgabenfamilien und festen Tool-Sets gefangen (z. B. nur Web-Suche). Dies führt dazu, dass Agenten starre Routinen lernen und bei neuen Tool-Kombinationen oder spezialisierten Domänen (wie Medizin oder Finanzen) versagen.

Die Herausforderung besteht darin, die Vielfalt zu skalieren, während gleichzeitig die Ausführbarkeit (Executability) und Überprüfbarkeit (Verifiability) der generierten Aufgaben gewährleistet bleiben. Herkömmliche Methoden leiden unter einem Dilemma:

• Pipeline-basierte Extraktion: Zu teuer und schwer skalierbar.
• Simulation von Tools: Unzuverlässig und oft nicht verifizierbar.
• Query-First-Ansatz (erst Frage, dann Tool): Hohe Rate an unlösbaren oder nicht verifizierbaren Aufgaben.

2. Methodik: DIVE (Evidence-Driven Synthesis)

Das Paper stellt DIVE vor, einen evidenzbasierten Syntheseansatz, der die Reihenfolge der Generierung umkehrt: Zuerst werden reale Tools ausgeführt, daraus werden Aufgaben abgeleitet.

Kernkomponenten:

1. Ressourcen-Vorbereitung (Diverse Synthesis Resource Preparation):

   • Tool-Pool: Ein Pool von 373 validierten Tools aus fünf Domänen (Allgemein, Finanzen, Biologie, Medizin, Akademie). Diese werden in Retrieval (Informationsbeschaffung) und Processing (Datenverarbeitung) unterteilt.
   • Seed-Pool: ~20.000 semantische Anker (Entitäten) aus Quellen wie Wikipedia, PubMed und Börsendaten, um thematische Vielfalt zu gewährleisten.
   • Exemplar-Pool: Eine Sammlung von reinen Abfrage-Beispielen (ohne Ausführungstraces), die als strukturelle Priors für die Formulierung von Aufgaben dienen.

2. Evidenz-getriebene Aufgaben-Synthese (Evidence-Driven Task Synthesis):
   Der Prozess läuft in einem iterativen Loop ab:

   • Konfiguration: Zufällige Auswahl eines Seeds, eines Tool-Sets (15–50 Tools) und von Exemplaren.
   • Evidenz-Sammlung (Evidence Collection): Ein Agent-LLM führt die ausgewählten realen Tools aus, um einen Trace (Reihenfolge von Aufrufen und Ergebnissen) zu generieren. Dies garantiert, dass die gesammelte Datenbasis (Evidenz) tatsächlich ausführbar und verifizierbar ist.
   • Aufgaben-Ableitung (Task Derivation): Basierend auf den gesammelten Traces wird eine spezifische Frage-Antwort-Paarung (Query-Answer) abgeleitet, die strikt durch die Evidenz begründet ist.
   • Iteration: Dieser Prozess wird mehrfach wiederholt, wobei die Evidenz wächst und die Aufgaben komplexer werden, was zu heterogenen Multi-Step-Mustern führt.

3. Training:
   Die synthetisierten Daten (48.000 SFT-Beispiele + 3.200 RL-Beispiele) werden verwendet, um ein Qwen3-8B-Modell zu trainieren.

   • SFT (Supervised Fine-Tuning): Cold-Start mit validierten Trajektorien.
   • RL (Reinforcement Learning): Optimierung der Robustheit durch GRPO, wobei Aufgaben gefiltert werden, die für das Modell lernbar sind (Frontier-Task-Ansatz).

3. Schlüsselbeiträge

• Identifikation des Engpasses: Nachweis, dass die Skalierung der Vielfalt (Diversity) entscheidender für die OOD-Generalisierung ist als die reine Skalierung der Datenmenge (Quantity).
• Innovativer Synthese-Ansatz: Einführung von DIVE, das durch Umkehrung der Synthesereihenfolge (Execution First) inhärente Verifizierbarkeit und Ausführbarkeit garantiert.
• Strukturelle Vielfalt: DIVE erzeugt nicht nur verschiedene Tools, sondern auch heterogene Nutzungsmuster (z. B. Retrieval-then-Processing vs. reine Suche), die über einfache Template-Ersetzungen hinausgehen.
• Skalierungsanalyse: Systematischer Nachweis, dass die Erweiterung des Tool-Pools über Domänen hinweg (Pool Expansion) zu besseren Generalisierungsergebnissen führt als die bloße Vergrößerung des Datensatzes innerhalb eines festen Tool-Sets.

4. Ergebnisse

Das Modell DIVE-8B wurde auf 9 verschiedenen Benchmarks evaluiert, die In-Distribution (L1) und verschiedene Out-of-Distribution-Szenarien (L2: allgemeine Tools, L3: spezialisierte Tools) abdecken.

• Leistungssteigerung: DIVE-8B (RL) verbessert sich im Durchschnitt um +22 Punkte über alle 9 OOD-Benchmarks hinweg im Vergleich zum Baseline-Modell.
• Vergleich mit SOTA: Es übertrifft die stärkste 8B-Baseline (EnvScaler-8B) um +68% und erreicht auf spezialisierten Benchmarks (z. B. Finanzen, Medizin) Ergebnisse, die mit deutlich größeren Modellen (wie Gemini-3-Pro oder Claude-4-Sonnet) konkurrieren können.
• Robustheit: Während spezialisierte Modelle (z. B. WebExplorer-8B) bei neuen Tool-Sets oft negative Transfer-Effekte zeigen, generalisiert DIVE-8B robust über Domänen hinweg.
• Skalierungsergebnis: Ein Experiment zeigte, dass eine 4-fach geringere Datenmenge (12k vs. 48k), wenn sie eine hohe Tool-Vielfalt aufweist, bessere OOD-Ergebnisse erzielt als eine 4-fach größere Menge an Daten mit geringer Vielfalt (nur 2 Tools).

5. Bedeutung und Fazit

DIVE adressiert ein fundamentales Problem im Bereich der agentic AI: Die Lücke zwischen spezialisierten, gut trainierten Agenten und wirklich generalistischen Agenten, die in dynamischen Umgebungen mit unbekannten Tool-Sets agieren können.

• Paradigmenwechsel: Der Ansatz beweist, dass „Grounding by Construction" (Begründung durch Konstruktion) durch die Nutzung realer Tool-Traces vor der Aufgabenformulierung der Schlüssel zu skalierbaren und verlässlichen Trainingsdaten ist.
• Effizienz: Die Studie zeigt, dass die Qualität der strukturellen Vielfalt in den Trainingsdaten wichtiger ist als die reine Datenmenge.
• Zukunft: DIVE legt den Grundstein für die Entwicklung von Agenten, die nicht nur auf festgelegten Pipelines operieren, sondern sich flexibel an reale, sich wandelnde Werkzeugumgebungen anpassen können.

Zusammenfassend demonstriert DIVE, dass durch die systematische Skalierung der Vielfalt in der Aufgaben-Synthese unter Beibehaltung der Verifizierbarkeit eine signifikante Verbesserung der Generalisierungsfähigkeit von Tool-using LLMs erreicht werden kann.