💬 NLP

Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents

Dieses Paper schlägt eine neuartige Methode zur Generierung synthetischer Trainingsdaten vor, die die linguistische und argumentative Diversität optimiert, ohne auf handgefertigte Regeln zurückzugreifen, was zu Function-Calling-Agenten führt, die eine überlegene Out-of-Distribution-Performance sowie eine Steigerung der Genauigkeit um 7,4 % auf dem BFCL-Benchmark im Vergleich zu State-of-the-Art-Baselines erzielen.

Ursprüngliche Autoren: Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

Veröffentlicht 2026-01-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr intelligenten Roboter-Assistenten bei, wie er einen riesigen Werkzeugkasten mit tausenden verschiedenen Werkzeugen (wie Wetter-Apps, Aktienmarkt-Trackern oder Kalenderplanern) benutzt. Um den Roboter zu lehren, müssen Sie ihm Beispiele zeigen, in denen Menschen um Hilfe bitten und der Roboter das richtige Werkzeug korrekt auswählt.

Das Problem ist laut dieser Arbeit, dass die „Lehrbücher“ (Datensätze), mit denen diese Roboter trainiert werden, oft zu repetitiv sind. Es ist wie in einem Kochkurs, in dem jeder Schüler nur beigebracht bekommt, wie man eine Käsepizza mit Peperoni macht. Wenn ein Kunde nach einer „veganen Deep-Dish-Pizza mit extra Basilikum“ fragt, wird der Roboter verwirrt sein, weil er so eine spezifische Anfrage noch nie gesehen hat.

So haben die Autoren dies behoben, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Echokammer“ der Daten

Frühere Methoden zur Erstellung von Trainingsdaten waren gut darin, sicherzustellen, dass der Roboter wusste, dass viele verschiedene Werkzeuge existieren. Sie scheiterten jedoch an zwei wichtigen Punkten:

Linguistische Diversität: Sie haben den Roboter nur darauf trainiert, zu antworten, wenn Menschen auf exakt dieselbe steife, formale Art fragten. Sie haben ihm nicht beigebracht, wie er mit Slang, lockerer Chat-Sprache oder seltsamen Satzstrukturen umgeht.
Argument-Diversität: Sie haben den Roboter nur über die populärsten Optionen gelehrt. Wenn das Werkzeug beispielsweise über Aktien handelt, erwähnte das Trainingsmaterial immer nur „Apple“ (AAPL) und „Microsoft“ (MSFT). Der Roboter lernte nie, was zu tun ist, wenn jemand nach einem winzigen, obskuren Unternehmen fragt.

2. Die Lösung: Der „Diversitäts-Chefkoch“

Die Autoren entwickelten eine neue Methode, um synthetische Trainingsdaten zu generieren. Stellen Sie sich diese Methode als einen „Diversitäts-Chefkoch“ vor, der nicht einfach nur einem Rezeptbuch folgt. Stattdessen hat dieser Chefkoch eine besondere Regel: „Jedes Mal, wenn ich ein neues Gericht zubereite, muss es anders schmecken als die letzten 100 Gerichte, die ich gemacht habe.“

Keine starren Regeln: Im Gegensatz zu anderen Methoden, die auf einer festen Liste von „Typen von Menschen“ basieren (z. B. „Der Geschäftsmann“, „Der Student“), benötigt dieser Chefkoch keine vorgefertigte Liste. Er findet automatisch heraus, wie er die Anfragen variieren kann.
Der „Marginal Contribution“-Trick: Der Chefkoch betrachtet den Stapel der bereits zubereiteten Gerichte. Wenn er ein neues Gericht in Betracht zieht, fragt er sich: „Wenn ich dieses neue Gericht zum Stapel hinzufüge, macht es die gesamte Sammlung interessanter?“ Wenn die Antwort ja lautet, behält er das Gericht. Wenn das Gericht nur eine Kopie von etwas ist, das bereits vorhanden ist, wirft er es weg.

3. Was sie tatsächlich getan haben

Die Forscher nutzten diesen „Diversitäts-Chefkoch“, um einen neuen Satz von Trainingsbeispielen für Function-Calling-Agenten zu erstellen. Sie konzentrierten sich auf zwei Hauptzutaten:

Die Anfrage (Die Bestellung): Sie generierten Nutzerfragen, die sich in ihrer Formulierung massiv unterschieden (kurz, lang, formal, slangig, verwirrend).
Die Argumente (Die Zutaten): Sie stellten sicher, dass die spezifischen Werte, die in den Anfragen verwendet wurden, vielfältig waren. Anstatt für eine Stadt immer „New York“ zu verwenden, nutzten sie „Nairobi“, „Reykjavik“ und „Buenos Aires“. Anstatt für eine Währung immer „USD“ zu verwenden, nutzten sie „NOK“, „RUB“ und „XRP“.

4. Die Ergebnisse: Ein besserer Roboter

Sie testeten ihre neuen „Diversitäts-Chefkoch“-Daten gegen andere Top-Methoden (wie ToolAce und APIGen).

Der Diversitäts-Score: Ihre Daten waren signifikant vielfältiger. Es war nicht nur ein bisschen anders; es war eine völlig neue Welt der Vielfalt.
Der „Out-of-Distribution“-Test: Dies ist der wichtigste Teil. Sie trainierten einen Roboter mit ihren diversen Daten und testeten ihn auf neuen Fragen, die er noch nie gesehen hatte (Fragen aus anderen Datensätzen).
- Die Analogie: Stellen Sie sich vor, Sie hätten einen Schüler nur mit Matheaufgaben aus dem Jahr 2020 trainiert. Dann haben Sie ihm dann einen Test mit Aufgaben aus dem Jahr 2025 gegeben.
- Das Ergebnis: Der Roboter, der mit den diversen Daten der Autoren trainiert wurde, schnitt bei diesen neuen, ungesehenen Tests viel besser ab. Er beantwortete etwa 7,4 % mehr Fragen richtig in einem wichtigen Benchmark (BFCL) im Vergleich zu Robotern, die mit den älteren, weniger diversen Methoden trainiert wurden.

Zusammenfassung

Die Arbeit behauptet, dass durch einen smarten, automatisierten Prozess, der sicherstellt, dass die Trainingsdaten linguistisch variiert (verschiedene Arten zu sprechen) und argumentativ variiert (verschiedene spezifische Werte) sind, man einen viel robusteren KI-Agenten bauen kann. Dieser Agent memoriert nicht nur spezifische Beispiele, sondern lernt, mit der chaotischen, unvorhersehbaren Realität umzugehen, wie Menschen tatsächlich sprechen und wonach sie tatsächlich fragen.

Was sie NICHT behauptet haben:

Sie haben nicht behauptet, dass dies für Multi-Turn-Konversationen (lange Back-and-Forth-Chats) funktioniert; sie konzentrierten sich strikt auf Single-Turn-Anfragen.
Sie haben nicht behauptet, dass dies für andere Sprachen als Englisch funktioniert.
Sie haben nicht behauptet, dass dies ein „Allheilmittel“ für alle KI-Probleme ist, sondern spezifisch für die Aufgabe, Agenten das korrekte Aufrufen von Werkzeugen beizubringen.

Technisches Resümee: Linguistische und argumentative Diversität in synthetischen Daten für Function-Calling-Agenten

Problemstellung

Die Entwicklung von Function-Calling-Agenten, die es Large Language Models (LLMs) ermöglichen, mit externen APIs und Werkzeugen zu interagieren, wird derzeit durch einen Mangel an hochwertigen, diversen Trainingsdaten behindert. Während die bisherige Forschung bereits die Notwendigkeit von Diversität in den Funktionen selbst (Abdeckung verschiedener Domänen), den Aufruflstrukturen (Single- vs. Multi-Turn) und den Responstypen (Call vs. No-Call) adressiert hat, bleiben zwei kritische Dimensionen unteruntersucht:

Linguistische Diversität: Die Variation in der Form, dem Stil und dem semantischen Ausdruck von Nutzeranfragen. Bestehende Datensätze verlassen sich oft auf oberflächliche Variationen oder feste Prompt-Templates, wodurch das volle Spektrum dessen, wie Nutzer identische Intentionen formulieren könnten, nicht erfasst wird.
Argument-Diversität: Die Variation der Parameterwerte (z. B. spezifische Städtenamen, Aktien-Ticker, Daten). Generierte Datensätze neigen dazu, sich auf „Head“-Werte zu konzentrieren (z. B. „New York“, „AAPL“), was Modelle potenziell unvorbereitet auf weniger häufige oder „Tail“-Werte lässt, was deren Robustheit in Out-of-Distribution (OOD)-Szenarien einschränkt.

Methodik

Die Autoren schlagen eine neuartige Datengenerierungspipeline vor, die auf Diversität optimiert, ohne auf handgefertigte Regeln, vordefinierte Taxonomien oder statische Persona-Pools zurückzugreifen. Der Kern ihres Ansatzes ist ein gieriges, diverses Generierungsverfahren (greedy diverse generation procedure), das Elemente iterativ auswählt, um eine marginale Diversitätsmetrik zu maximieren.

Kernkomponenten

Diverse Generierungsrahmen:
- Das System arbeitet in Runden, generiert Kandidaten-Elemente und wählt die Top- $b$ Kandidaten basierend auf einem Diversitäts-Score $D(c; E)$ aus, der den marginalen Zuwachs einer Mengen-Level-Diversitätsmetrik $\tilde{D}$ definiert, wenn der Kandidat $c$ zur bestehenden Menge $E$ hinzugefügt wird.
- Der Prozess nutzt ein LLM, um Kandidaten basierend auf Instruktionen $I$ und bestehenden Beispielen $E$ zu generieren.
- Entscheidend ist, dass die Instruktionen in nachfolgenden Runden basierend auf den Scores vorheriger Kandidaten und einem Filterprozess $F$ , der ungültige oder fehlerhafte Elemente eliminiert, aktualisiert werden. Dies schafft eine Feedbackschleife, die die Generierung in unterrepräsentierte Regionen des Datenraums steuert.
Generierung von Argumentwerten:
- Vorverarbeitung: Parameter über verschiedene APIs hinweg werden basierend auf semantischer Ähnlichkeit (mittels Embeddings) geclustert, um Gruppen zu identifizieren (z. B. „Stadtname“, „Aktien-Ticker“).
- Optimierung: Für numerische und String-Parameter verwendet das System eine Strategie der „virtuellen Augmentierung“. Das LLM generiert einen großen Pool an Kandidaten (z. B. 25), aus dem eine Teilmenge ausgewählt wird, um die Cluster-Entropie zu maximieren. Diese Metrik misst die Entropie der Verteilung der Werte über semantische Cluster hinweg und fördert die Auswahl von Tail-Werten anstelle von häufigen Head-Werten.
- Konsistenz: Für sequentielle API-Aufrufe werden Parameter rückwärts vom letzten API-Aufruf her generiert, um logische Kohärenz zu gewährleisten, während parallele Aufrufe einen gemeinsamen Kontext (z. B. denselben Ort) über die APIs hinweg sicherstellen.
Abfragegenerierung (Request Generation):
- Gegeben sind eine Zielfunktion und Argumentwerte, generiert das System natürliche Sprachabfragen.
- Die Diversität wird mittels einer zusammengesetzten Metrik optimiert, die über Reciprocal Rank Fusion (RRF) abgeleitet wird. Diese fusioniert Rankings aus mehreren unabhängigen Metriken:
  - Lexikalisch: Type-Token-Ratio (TTR), Kompressionsrate.
  - Syntaktisch: Parse-Baum-Entropie, Varianz in der Abfragelänge.
  - Semantisch: Paraphrasen-Varietät (Embedding-Ähnlichkeit), Chamfer-Distanz, Vendi-Score.
- Ein LLM-Judge validiert, ob die generierte Abfrage den spezifischen API-Aufruf und die Parameter logisch rechtfertigt.
Distraktor-Selektion:
- Um realistische Trainingsbeispiele zu erstellen, sucht das System nach „Hard-Negative“-Distraktoren (irrelevante APIs), die semantisch nah an der Abfrage liegen, aber nicht die korrekte Antwort darstellen. Dies erfolgt über Embedding-basierte Retrieval-Verfahren, gefolgt von einem LLM-basierten Plausibilitätsfilter und einer „Elbow-Methode“, um den Cutoff für Relevanz-Scores zu bestimmen.

Zentrale Beiträge

Eine neuartige Diversitäts-Komponente: Ein allgemeiner, regelfreier Mechanismus zur Generierung diverser Elemente durch Optimierung marginaler Diversitätsmetriken. Diese Komponente ist ohne manuelle Rekonfiguration auf neue Domänen adaptierbar.
Synthetische Datengenerierungstechnik: Die Anwendung dieser Komponente auf Function-Calling-Daten, insbesondere mit Fokus auf die linguistische Variation in Abfragen und die Argument-Wert-Diversität in Parametern.
Umfassende Analyse: Eine gründliche Evaluierung, die zeigt, dass die Erhöhung dieser spezifischen Diversitätsdimensionen die Modellleistung, insbesondere in OOD-Szenarien, verbessert.

Ergebnisse

Die Autoren evaluierten ihre Methode gegen State-of-the-Art (SoTA) Baselines, spezifisch ToolAce und APIGen, sowie gegen den BFCL-Benchmark.

Intrinsische Evaluierung (Datenqualität)

Argument-Diversität: Die vorgeschlagene Methode erreichte signifikant höhere NCD-Diversitäts- und Cluster-Entropie-Scores im Vergleich zu ToolAce und APIGen. Beispielsweise produzierte die vorgeschlagene Methode bei Währungsargumenten eine ausgewogene Verteilung über verschiedene Währungen, während die Baselines von „USD“ dominiert wurden.
Linguistische Diversität: Der generierte Datensatz übertraf die Baselines in fast allen linguistischen Metriken (Simpson's Index, Tree Edit Distance, Semantic Spread, Vendi Score) mit statistischer Signifikanz. Die einzige Ausnahme war die Varianz der Abfragelänge, bei der die Baselines Ausreißer aufwiesen.
Korrektheit: Manuelle Inspektion und automatisierte Beurteilung bestätigten, dass die erhöhte Diversität die Datengenauigkeit nicht beeinträchtigte; die generierten Beispiele blieben realistisch und valide.

Extrinsische Evaluierung (Modellleistung)

Die Autoren feinabstimmten Llama-3.1-8B-Instruct mit ihrem Datensatz und verglichen es mit Modellen, die auf ToolAce- und APIGen-Daten feinabgestimmt wurden.

Out-of-Distribution (OOD) Performance: Modelle, die mit dem vorgeschlagenen Datensatz trainiert wurden, zeigten eine überlegene Generalisierung bei Tests auf Datensätzen, für die sie nicht trainiert wurden.
- Auf dem APIGen Testset übertraf das vorgeschlagene Modell das ToolAce-trainierte Modell um 4,2 Prozentpunkte an Genauigkeit.
- Auf dem ToolAce Testset übertraf das vorgeschlagene Modell das APIGen-trainierte Modell um 3,8 Prozentpunkte an Genauigkeit.
BFCL Benchmark: Bei der Evaluierung auf dem Berkeley Function-Calling Leaderboard (nicht-live Subset) erreichte das mit dem vorgeschlagenen Datensatz trainierte Modell eine Genauigkeit von 85,2 %, was die ToolAce- (77,8 %) und APIGen-Pendants (77,1 %) signifikant übertrifft. Dies entspricht einer Steigerung von ~7,4 % gegenüber den Baselines.

Bedeutung und Behauptungen

Das Paper behauptet, dass der Mangel an linguistischer und argumentativer Diversität in aktuellen synthetischen Datensätzen ein Flaschenhals für die Robustheit von Function-Calling-Agenten ist. Durch die direkte Optimierung dieser Dimensionen mittels eines allgemeinen, metrikgesteuerten Ansatzes demonstrieren die Autoren, dass:

Diversität die Generalisierung vorantreibt: Erhöhte Diversität in den Trainingsdaten führt zu messbaren Verbesserungen der OOD-Performance, was darauf hindeutet, dass Modelle, die auf diversen Daten trainiert werden, besser mit ungesehenen Nutzerformulierungen und seltenen Parameterwerten umgehen können.
Automatisierung statt manueller Kuration: Die vorgeschlagene Methode erreicht eine überlegene Diversität ohne die Notwendigkeit manueller Regelformulierung oder fester Persona-Definitionen, was sie skalierbar und adaptierbar für neue Domänen macht.
Praktische Auswirkungen: Die Technik bietet einen Weg zur Generierung hochwertiger Trainingsdaten, die die Lücke zwischen synthetischen Benchmarks und realer Agent-Performance schließen, wie die signifikanten Gewinne im BFCL-Benchmark belegen.

Die Autoren bleiben bescheiden hinsichtlich der Limitationen und merken an, dass ihre aktuelle Analyse auf Englisch beschränkt ist, der Generierungsprozess starke (und damit teure) LLMs zur Filterung benötigt und die Studie sich auf Single-Turn-Interaktionen konzentriert, was Multi-Turn-Diversität zu einer Richtung für zukünftige Arbeiten macht.