🤖 AI

SynthTools: A Framework for Scaling Synthetic Tools for Agent Development

Die Arbeit stellt SynthTools vor, ein vollständig auf LLMs basierendes Framework, das automatisch vielfältige synthetische Werkzeugumgebungen und -aufgaben generiert, validiert und skaliert, und zeigt, dass das Training von Agenten auf diesen synthetischen Daten ihre Leistung bei der Werkzeugnutzung auf realen Benchmarks erheblich verbessert.

Ursprüngliche Autoren: Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, wie man eine riesige, komplexe Werkzeugkiste benutzt, um ein Haus zu reparieren. Das Problem ist, dass Sie dem Roboter keine echte Werkzeugkiste mit echten Werkzeugen (wie einem echten Hammer oder einer echten Bohrmaschine) übergeben können, weil:

Echte Werkzeuge sind unzuverlässig: Sie brechen, sie brauchen Batterien, und manchmal funktionieren sie einfach nicht, wenn Sie versuchen, sie zu benutzen.
Es gibt nicht genug davon: Sie können keinen Trainingskurs für jedes mögliche Werkzeug im Universum erstellen, indem Sie nur echte verwenden.
Es ist schwierig, „Übungsaufgaben" zu erfinden: Wenn Sie dem Roboter sagen: „Reparieren Sie das Leck", weiß er vielleicht nicht, welche Werkzeuge er verwenden soll oder in welcher Reihenfolge.

SynthTools ist ein neues Framework, das dieses Problem löst, indem es eine riesige, perfekte, virtuelle Simulationsfabrik vollständig innerhalb eines Computers aufbaut. Anstatt echte Werkzeuge zu verwenden, nutzt es eine superintelligente KI (ein Large Language Model), um Tausende von gefälschten Werkzeugen und Übungsaufgaben zu erfinden, zu testen und zu organisieren.

So funktioniert die SynthTools-Fabrik, aufgeschlüsselt in drei einfache Schritte:

1. Der Architekt (Top-Down-Generierung)

Stellen Sie sich dies als den Hauptdesigner vor.
Anstatt einfach zufällig eine Liste von Werkzeugen hinzukritzeln, beginnt die KI mit einer großen Idee, wie „Finanzhandel" oder „E-Commerce". Sie zerlegt diese große Idee dann in kleinere Viertel (Teilbereiche), weiter in spezifische Jobs (Aufgaben) und erfindet schließlich die spezifischen Werkzeuge, die für diese Jobs benötigt werden.

Die Analogie: Stellen Sie sich vor, Sie entwerfen ein Videospiel. Sie werfen nicht einfach zufällige Gegenstände auf den Boden. Sie entscheiden: „Dies ist ein Krankenhaus-Level", also erfinden Sie ein „Stethoskop", eine „Spritze" und ein „Herzmonitor", die alle logisch zusammenpassen. SynthTools macht dies für 100 verschiedene „Welten" (wie Finanzen, Logistik, Gesundheitswesen) und erstellt über 73.000 einzigartige Werkzeuge.

2. Der Qualitätskontrolleur (Simulation und Validierung)

Dies ist der strenge Vorarbeiter.
Nur weil die KI ein Werkzeug erfunden hat, bedeutet das nicht, dass es funktioniert. Der Vorarbeiter setzt jedes einzelne Werkzeug einem Belastungstest aus.

Der Test: Der Vorarbeiter versucht, das Werkzeug auf verschiedene Arten zu verwenden. „Was passiert, wenn ich Ihnen das falsche Passwort gebe?" „Was ist, wenn der Flug vollständig ausgebucht ist?"
Das Ergebnis: Wenn das Werkzeug eine verwirrende Antwort gibt oder abstürzt, wirft der Vorarbeiter es in den Müll. Wenn es den Fehler perfekt handhabt (z. B. indem es sagt „Entschuldigung, keine Plätze mehr" statt abzustürzen), erhält es einen Stempel der Genehmigung.
Das Ausmaß: Sie testeten fast 80.000 Werkzeuge. Das System ist so gut darin, schlechte Werkzeuge zu erkennen, dass es die schwachen aussortiert und nur die zuverlässigen 73.883 Werkzeuge übrig lässt. Es ist wie eine Fabrik, die nur Produkte versendet, die einen 97%-Genauigkeitstest bestanden haben.

3. Der Puzzle-Macher (Bottom-Up-Aufgabengenerierung)

Jetzt, wo sie einen Haufen genehmigter Werkzeuge haben, müssen sie Übungspuzzles für den Roboter erstellen, die er lösen soll.

Die Methode: Anstatt die KI zu bitten, sich ein schwieriges Problem auszudenken, bauen sie das Problem von Grund auf neu auf. Sie nehmen ein paar genehmigte Werkzeuge (wie ein „Rücksendeanfrage"-Werkzeug und ein „E-Mail-Sender"-Werkzeug) und verketten sie.
Das Ergebnis: Sie erstellen eine schrittweise Geschichte: „Ein Kunde möchte ein Hemd zurückgeben. Zuerst prüfen, ob er berechtigt ist. Zweitens ein Etikett drucken. Drittens ihm eine E-Mail senden."
Die Magie: Da die KI das Puzzle mit den Werkzeugen erstellt hat, von denen sie weiß, dass sie funktionieren, kennt sie auch die exakte Lösung. Es ist wie ein Lehrer, der einen Mathe-Test schreibt und gleichzeitig den Lösungsschlüssel dazu verfasst. Dies stellt sicher, dass jede Aufgabe lösbar und überprüfbar ist. Sie erstellten fast 80.000 dieser Puzzles.

Das große Experiment: Funktioniert es?

Die Forscher nahen ein Standard-KI-Modell (Qwen3) und gaben ihm eine „Mid-Training"-Sitzung. Stellen Sie sich dies vor, als würde man die KI auf eine Fahrschule schicken, die diese synthetischen Puzzles verwendet.

Das Training: Die KI übte das Lösen dieser 80.000 gefälschten, aber realistischen Probleme.
Der Test: Anschließend testeten sie die KI an echten Benchmarks (unter Verwendung echter APIs und tatsächlicher Funktionsaufruf-Tests).
Das Ergebnis: Die KI, die in der synthetischen Fabrik geübt hatte, wurde deutlich besser im Umgang mit echten Werkzeugen. Es ist so, als würde das Üben auf einem perfekten Fahrsimulator den Fahrer besser darin machen, ein echtes Auto an einem regnerischen Tag zu beherrschen.

Zusammenfassung

SynthTools ist eine Pipeline, die KI nutzt, um eine riesige, selbstprüfende Bibliothek aus gefälschten Werkzeugen und gefälschten Problemen zu erstellen. Es löst das Problem „Wir haben nicht genug echte Daten, um Roboter zu trainieren", indem es seine eigenen hochwertigen, vielfältigen und verifizierten Trainingsdaten generiert. Das Ergebnis ist ein Framework, das auf Millionen von Werkzeugen und Aufgaben skalieren kann und KI-Agenten hilft, den Umgang mit Werkzeugen effektiver zu lernen, sogar in der realen Welt.

Technischer Überblick: SynthTools

Problemstellung

Agente Systeme benötigen die Fähigkeit, externe Werkzeuge einzusetzen, um komplexe Aufgaben mit langem Zeithorizont zu lösen. Aktuelle Modelle kämpfen jedoch mit einem zuverlässigen Werkzeuggebrauch, eine Einschränkung, die häufig auf die Größe und Vielfalt der Trainingsdaten zurückgeführt wird. Bestehende Ansätze zur Erstellung von Werkzeugnutzungs-Umgebungen stoßen auf erhebliche Engpässe:

Echte APIs: Obwohl authentisch, sind sie aufgrund von API-Schlüsseln, Ratenbegrenzungen, Nutzungskontingenten und häufigen Schnittstellenänderungen schwer zu skalieren.
Kuratierte Sammlungen: Handgefertigte Kollektionen (z. B. ACEBench, $\tau^2$ -bench) sind in der Anzahl der Werkzeuge und der Domänenvielfalt begrenzt und decken oft nur eine Handvoll breiter Domänen ab.
Synthetische Generierung: Obwohl skalierbar, verlassen sich viele bestehende synthetische Pipelines auf programmatische Simulation, was die Werkzeugkomplexität auf einfache CRUD-Operationen beschränkt. Umgekehrt wurde die LLM-basierte Simulation wenig erforscht und fehlt oft an deterministischer Ausführung oder stützt sich auf sich entwickelnde echte API-Dokumentation.

Darüber hinaus bleibt selbst bei großen Werkzeugsets die Generierung realistischer, nicht-trivialer Aufgaben, die koordinierte mehrstufige Schlussfolgerungen erfordern, ein grundlegender Engpass. Naives Prompting führt häufig zu oberflächlichen Szenarien, die keine Planung über lange Zeiträume oder Entscheidungsfindung unter Unsicherheit erfordern.

Methodik

Die Autoren stellen SynthTools vor, eine vollständig LLM-basierte Pipeline, die den gesamten Lebenszyklus der Erstellung von Werkzeugnutzungs-Umgebungen abdeckt: Generierung, Simulation, Validierung und Aufgabenkonstruktion. Das Framework basiert auf drei Kernmodulen:

1. Top-Down-Generierung der Umgebung

Anstatt flache Listen von APIs zu generieren, setzt SynthTools ein hierarchisches Domänen-Evolutionsverfahren ein, um domänengrundlegende Werkzeuge zu konstruieren:

Feld $\to$ Subdomäne: Ein LLM unterteilt Seed-Felder (z. B. Finanzen, Gesundheitswesen) in kohärente Subdomänen und macht Stakeholder und Entitäten sichtbar.
Subdomäne $\to$ Aufgabe: Das Modell schlägt Familien von Aufgaben mit natürlichen Sprachbeschreibungen vor, die für die Dokumentation geeignet sind.
Aufgabe $\to$ Werkzeug: Konkrete Werkzeuge werden für jede Aufgabe instanziiert. Der Generierungsprozess fördert die Kompositionsfähigkeit durch die Angabe von Upstream-Abhängigkeiten und Downstream-Möglichkeiten.
Ausgabe: Jedes Werkzeug wird durch einen Namen, eine natürliche Sprachbeschreibung, ein Parameterschema und einen I/O-Vertrag (Vorbedingungen, Nachbedingungen, Fehlermodi) definiert. Dieser Ansatz ermöglicht maßgeschneiderte Komplexität, einschließlich komplexer Objekttypen und Listen, die den Umfang einfacher CRUD-Operationen in programmatischen Umgebungen überschreiten.

2. Umgebungssimulation und Validierung

Um Zuverlässigkeit zu gewährleisten, simuliert das Framework das Werkzeugverhalten und validiert die Ergebnisse mithilfe eines LLM-as-a-Judge:

Simulation: Der Simulator zerlegt die Ausführung in Parametervalidierung (unter Verwendung von AST-Parsing für Syntax und LLMs für semantische Einschränkungen) und Antwortgenerierung. Er integriert Metadaten, um Antworten zu konditionieren und Konsistenz sicherzustellen (z. B. Rückgabe von „kein Sitzplatz verfügbar", wenn ein Flug voll ist).
Validierung: Ein LLM-Richter bewertet Werkzeug specifications und simulierte Antworten. Er filtert instabile Werkzeuge heraus und unterstützt Wiederholungsversuche. Das System zielt auf eine niedrige False-Positive-Rate ab und erreicht 97 % Genauigkeit bei der Identifizierung falscher Verhaltensweisen.
Zuverlässigkeit: Die Pipeline erreicht 94 % Genauigkeit bei der Simulation von Werkzeugantworten und filtert Werkzeuge heraus, die nicht zuverlässig emuliert werden können.

3. Bottom-Up-Aufgaben- und Trajektorien-Generierung

Ergänzend zur Top-Down-Werkzeuggenerierung konstruiert dieses Modul Aufgaben aus dem validierten Werkzeugset:

Werkzeugkette-Vorschlag: Für jede Umgebung schlägt ein LLM sequenzielle Werkzeugnutzungs-Ketten vor, die als Rückgrat für Kandidaten-Aufgaben dienen.
Mini-Aufgaben-Generierung: Das System konstruiert iterativ Mini-Aufgaben. Für jeden Schritt generiert es eine Aufgabenbeschreibung und einen Ground-Truth-Werkzeugaufruf, überprüft die Ausführung des Agents gegen die Ground Truth und aktualisiert den Umgebungszustand.
Trajektorien-Konstruktion: Durch Verknüpfung dieser voneinander abhängigen Mini-Aufgaben erzeugt das System komplexe, überprüfbare Aufgaben mit expliziten Lösungs-Trajektorien.
Einstellbarkeit: Die Schwierigkeit wird durch Variation der Anzahl der Mini-Aufgaben, Anpassung des Trade-offs zwischen Explizitheit und Mehrdeutigkeit sowie Hinzufügen irrelevanter, aber plausibler Werkzeuge gesteuert.

Hauptbeiträge

Skalierbares Framework: SynthTools ist eine vollständig automatisierte Pipeline, die diverse, kontrollierbare und komplexe Werkzeugnutzungs-Umgebungen generiert, ohne auf echte APIs oder manuelle Kuratierung angewiesen zu sein.
Veröffentlichung des Datensatzes: Die Autoren veröffentlichen einen Datensatz, der Folgendes umfasst:
- 73.883 validierte Werkzeuge über 6.800 Umgebungen.
- 100 verschiedene Felder (z. B. Finanzhandel, Transportlogistik, E-Commerce).
- 79.925 überprüfbare Aufgaben mit Ground-Truth-Trajektorien.
- Dies stellt eine >2-fache Steigerung des Umfangs gegenüber früheren Sammlungen in Bezug auf Domänen und Werkzeuge pro Domäne dar.
Qualitätskontrolle: Das Framework umfasst strenge Simulations- und Validierungsschritte und gewährleistet hohe Zuverlässigkeit (94 % Simulationsgenauigkeit, 97 % Validierungsgenauigkeit) und geringe Redundanz (nur 9 % der Werkzeuge überschreiten einen Ähnlichkeitsschwellenwert von $\tau=0,85$ ).
Fallstudie zur Midtraining: Die Autoren demonstrieren die Nützlichkeit des Datensatzes durch Midtraining von Qwen3-Modellen (0,6B, 1,7B, 4B) auf den generierten Trajektorien.

Ergebnisse

Die Arbeit bewertet die midtrainierten Qwen3-Modelle an mehreren agentischen Werkzeugnutzungs-Benchmarks:

Benchmarks: ACEBench, Berkeley Function Calling Leaderboard (BFCL) und API-Bank.
Leistungssteigerungen: Über alle Modellgrößen und Benchmarks hinweg zeigten die midtrainierten Modelle konsistente Leistungsverbesserungen gegenüber ihren Basis-Entsprechungen.
- Beispielsweise verbesserte sich die Leistung des 4B-Modells auf ACEBench (Normal) von 0,583 auf 0,651 und auf BFCL (Live) von 0,432 auf 0,538.
Übertragbarkeit: Verbesserungen bei Benchmarks, die echte APIs beinhalten (API-Bank, BFCL Live), deuten darauf hin, dass auf synthetischen Daten trainierte Werkzeugnutzungs-Fähigkeiten auf reale API-artige Interaktionen übertragen werden können.

Bedeutung und Behauptungen

Die Autoren positionieren SynthTools als notwendige Infrastruktur, um die Skalierbarkeits- und Diversitätslücken im aktuellen Landschaftsbild des agentischen Trainings zu adressieren. Sie behaupten, dass:

Synthetische Daten tragfähig sind: Das Training auf hochwertigen, synthetischen Werkzeugnutzungs-Trajektorien die Verteilungslücke zwischen generischem Pretraining und nachgelagerten Werkzeugnutzungs-Aufgaben effektiv überbrücken kann.
Skalierbarkeit erreichbar ist: Das Framework die Generierung von Werkzeug-Ökosystemen in Größenordnungen und Domänenabdeckungen ermöglicht, die mit real-API- oder kuratierten Ansätzen nicht erreichbar sind.
Strukturierte Generierung entscheidend ist: Die Arbeit argumentiert, dass eine effektive Aufgabengenerierung eine strukturierte, Bottom-up-Konstruktion erfordert und nicht naives Prompting, das häufig zu oberflächlichen oder nicht fundierten Szenarien führt.

Die Arbeit legt nahe, dass synthetische Interaktionskorpora ein Schlüsselbestandteil für die Weiterentwicklung von KI-Systemen zur Werkzeugnutzung sind und eine praktische Ressource für das Training und die Evaluation im großen Maßstab bieten.