EigenData: A Self-Evolving Multi-Agent Platform for Function-Calling Data Synthesis, Auditing, and Repair

Die Arbeit stellt EigenData vor, eine selbstentwickelnde Multi-Agenten-Plattform, die den gesamten Lebenszyklus von Daten für Funktionsaufrufe automatisiert und durch die Korrektur des BFCL-V3-Tests sowie die Einführung einer ergebnisorientierten Evaluierung die Übereinstimmung zwischen Modellrankings und menschlichen Bewertungen der funktionalen Korrektheit signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie wollen einen hochintelligenten Roboter-Assistenten bauen, der für Sie Flugtickets bucht, Hotelzimmer reserviert oder E-Mails schreibt. Damit dieser Assistent wirklich gut wird, muss er mit perfekten Trainingsdaten lernen. Das Problem ist: Diese Daten zu erstellen, zu prüfen und zu reparieren, ist wie der Versuch, eine riesige Bibliothek mit Millionen von Büchern zu schreiben, zu korrigieren und zu sortieren – und zwar von Hand. Das dauert ewig und ist voller Fehler.

Hier kommt EigenData ins Spiel. Man kann sich EigenData wie eine autonome, sich selbst verbessernde Fabrik vorstellen, die nicht nur Bücher schreibt, sondern auch die Bibliothek selbst baut, die Regale prüft und die Bücher korrigiert.

Hier ist die einfache Erklärung, wie das funktioniert, unterteilt in die drei wichtigsten Bereiche:

1. Die drei Spezialisten (Die "Agenten")

Stellen Sie sich EigenData als ein Team aus drei verschiedenen Handwerkern vor, die unter einem strengen Chef (dem EigenCore) arbeiten:

• Der Datenbank-Architekt (DatabaseAgent):

  • Die Analogie: Stellen Sie sich einen Architekten vor, der ein riesiges Lagerhaus baut. Bevor der Roboter etwas tun kann, muss es einen Ort geben, an dem Informationen gespeichert sind (z. B. welche Flugzeuge verfügbar sind, welche Hotels noch Zimmer haben).
  • Was er macht: Er baut diese "Lagerhallen" (Datenbanken) digital auf. Er sorgt dafür, dass die Regeln logisch sind (z. B. kann man kein Zimmer buchen, das es gar nicht gibt) und füllt sie mit realistischen Daten.

• Der Programmierer-Handwerker (CodingAgent):

  • Die Analogie: Das ist der Elektriker und Mechaniker, der die Schalter und Hebel installiert, die den Roboter steuern.
  • Was er macht: Er schreibt den Code, der die "Schalter" (Funktionen) bedient. Das Besondere: Er ist extrem pedantisch. Er schreibt den Code, baut sofort Tests, prüft, ob alles funktioniert, und repariert Fehler, bevor er weitermacht. Er sorgt dafür, dass der Roboter nicht auf einen defekten Schalter drückt.

• Der Dialog-Regisseur (DataAgent):

  • Die Analogie: Das ist der Drehbuchautor und Regisseur, der Szenen für den Roboter schreibt.
  • Was er macht: Er erzeugt Tausende von Gesprächen zwischen einem Kunden und dem Roboter. Er stellt sicher, dass die Gespräche realistisch sind, dass der Roboter die richtigen Werkzeuge benutzt und dass am Ende das Problem gelöst ist. Er optimiert seine eigenen Anweisungen (Prompts), damit die Dialoge immer besser werden.

2. Wie die Fabrik arbeitet (Der "Selbst-Verbesserungs-Zyklus")

Das Geniale an EigenData ist, dass diese drei Handwerker nicht einfach hintereinander arbeiten, sondern miteinander reden.

• Das Feedback-System: Wenn der Regisseur (DataAgent) merkt, dass der Roboter in einem Gespräch scheitert, weil ein Schalter (Code) defekt ist, schickt er eine Nachricht an den Handwerker (CodingAgent): "Hey, dieser Schalter funktioniert nicht richtig!" Der Handwerker repariert ihn sofort.
• Der Chef (EigenCore): Dieser Koordinator sorgt dafür, dass alle auf dem gleichen Stand sind. Wenn die Datenbank geändert wird, passt er den Code und die Dialoge automatisch an. Er verhindert, dass die Handwerker aneinander vorbeireden.

3. Der große Test: Die Reparatur von BFCL

In dem Papier zeigen die Autoren, wie mächtig dieses System ist, indem sie eine bekannte Prüfung für Roboter-Assistenten namens BFCL (eine Art "Abitur" für KI) untersucht haben.

• Das Problem: Die ursprüngliche Prüfung war voller Fehler. Es gab wie in einem schlechten Schulbuch:

  • Falsche Fragen (die Datenbank sagte "Ticket-ID ist eine Zahl", aber die Lösung brauchte einen "Text").
  • Defekte Schalter (der Code funktionierte nicht so, wie er sollte).
  • Falsche Lösungen (die Musterlösung im Buch war selbst falsch!).
  • Ergebnis: Viele gute Roboter wurden als "schlecht" eingestuft, weil die Prüfung kaputt war.

• Die EigenData-Lösung: Das Team ließ EigenData die Prüfung durchlaufen.

  1. Auditieren: Die Agenten fanden systematisch alle Fehler (71,5 % der Fälle hatten Probleme!).
  2. Reparieren: Sie korrigierten die Datenbank, den Code und die Musterlösungen.
  3. Neu bewerten: Als sie die KI-Modelle mit der reparierten Prüfung testeten, passten die Ergebnisse plötzlich viel besser zur menschlichen Einschätzung. Modelle, die vorher schlecht abschnitten, weil die Prüfung unfair war, wurden nun als gut erkannt.

Warum ist das wichtig?

Stellen Sie sich vor, Sie würden einen Sportler trainieren, aber das Ziel ist falsch markiert. Wenn er das Ziel trifft, sagen Sie "Falsch!", weil er nicht genau dort war, wo das Schild stand, obwohl er das richtige Tor getroffen hat.

EigenData ist wie ein Trainer, der:

1. Das Spielfeld (Datenbank) perfekt anlegt.
2. Die Tore (Funktionen) so baut, dass sie funktionieren.
3. Die Schiedsrichterregeln (Daten) korrigiert.
4. Und dann sicherstellt, dass der Gewinner wirklich der beste Spieler ist und nicht nur derjenige, der die kaputten Regeln am besten ausgenutzt hat.

Fazit: EigenData ist eine Plattform, die KI-Daten nicht mehr mühsam von Menschen erstellen lässt, sondern eine sich selbst organisierende Maschine baut, die Daten erzeugt, prüft, Fehler findet und repariert – und so sicherstellt, dass unsere KI-Assistenten wirklich lernen, was sie können sollen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „EigenData: A Self-Evolving Multi-Agent Platform for Function-Calling Data Synthesis, Auditing, and Repair" auf Deutsch:

1. Problemstellung

Funktionsaufruf-Agenten (Function-Calling Agents), also Large Language Models (LLMs), die Tools und APIs nutzen können, benötigen hochwertige, domänenspezifische Trainingsdaten. Diese Daten müssen über ausführbare Umgebungen, zugrunde liegende Datenbanken und diverse Multi-Turn-Trajektorien verfügen.

Aktuelle Herausforderungen sind:

• Abhängigkeit von manueller Annotation: Hochwertige Daten werden oft von Menschen erstellt, was langsam, teuer und bei komplexen Szenarien schwer skalierbar ist.
• Qualitätsmängel in synthetischen Daten: Bestehende Pipelines zur automatischen Datengenerierung sind oft starr und fehleranfällig. Häufige Probleme sind inkonsistente Schemata, mehrdeutige Benutzerabsichten und schwache Evaluierungsmetriken (die oft nur auf der Übereinstimmung von Funktionsaufrufen basieren, nicht auf dem tatsächlichen Erfolg der Aufgabe).
• Fehler in Benchmarks: Etablierte Benchmarks wie der Berkeley Function-Calling Leaderboard (BFCL) enthalten systematische Fehler in Schemata, Implementierungen und Referenz-Trajektorien, die zu irreführenden Modell-Rankings führen.

2. Methodik: Die EigenData-Plattform

EigenData ist eine integrierte, selbstentwickelnde Plattform, die den gesamten Datenlebenszyklus automatisiert. Sie basiert auf einer Multi-Agenten-Architektur, die von einem übergeordneten Orchestrierungsmodul (EigenCore) gesteuert wird.

Kernkomponenten

EigenCore koordiniert drei spezialisierte Subsysteme:

1. DatabaseAgent (Datenbankkonstruktion):

   • Erstellt realistische, domänenspezifische Datenbanken (z. B. relationale Tabellen, JSON-Stores) als Ground-Truth-Zustand.
   • Nutzt Strategien wie constraint-aware Sampling (Einhaltung von Constraints), Verteilungsmodellierung (realistische Werteverteilungen) und Edge-Case-Injektion (z. B. ausgebuchte Flüge).
   • Führt eine Konsistenzverifikation durch, um sicherzustellen, dass die Datenbanken die geplanten Tool-Szenarien unterstützen.

2. CodingAgent (Umgebungs- und Tool-Generierung):

   • Generiert ausführbaren Code (z. B. Python-Module, REST-APIs, MCP-Server), der die Tools implementiert.
   • Iterativer Test-Debug-Loop: Der Agent nutzt einen zweistufigen Prozess:
     • Unit-Testing: Generierung und Ausführung von Tests pro Funktion. Bei Fehlern übernimmt ein JudgeAgent die Fehlerursachenanalyse (Code vs. Test).
     • Workflow-Testing: Integrationstests für abhängige Funktionsgruppen.
   • Dieser Loop läuft iterativ, bis alle Tests bestehen, und stellt sicher, dass jede Komponente funktional korrekt ist, bevor sie in die Datenpipeline gelangt.

3. DataAgent (Trajektorien-Synthese):

   • Generiert hochwertige Multi-Turn-Konversationen für Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL).
   • Zwei-Phasen-Prozess:
     • Phase 1 (Selbstoptimierung): Optimierung von Prompts und Agentenverhalten an einer kleinen Pilot-Stichprobe durch iterative Feedback-Schleifen mit einem JudgeAgent.
     • Phase 2 (Skalierung): Generierung des gesamten Datensatzes mit kontinuierlicher Qualitätsüberwachung.
   • Spezialisierte Worker-Agenten: Umfassen u.a. UserSimulatorAgent (simuliert den Nutzer), TrajectoryAgent (steuert den Assistenten), VerificationAgent (prüft Konsistenz) und ModifyAgent (korrigiert Fehler gezielt).

Besondere Fähigkeiten

• Selbstkorrektur und Reparatur: EigenData kann nicht nur neue Daten generieren, sondern auch bestehende Benchmarks auditieren und reparieren. Fehler werden kategorisiert und gezielt den entsprechenden Subsystemen zur Behebung zugewiesen.
• Outcome-Aware Evaluation: Statt nur die Übereinstimmung von Funktionsaufrufen zu prüfen, bewertet EigenData den Erfolg basierend auf dem korrekten Endzustand der Datenbank (State-Correctness).

3. Fallstudie: Audit und Reparatur von BFCL-V3

Die Autoren wandten EigenData auf den Berkeley Function-Calling Leaderboard (BFCL-V3) an, um dessen Qualität zu prüfen und zu verbessern.

• Fehleranalyse: Das System identifizierte systematische Fehler in 71,5 % der 200 untersuchten Multi-Turn-Einträge:
  • Schema-Fehler (19,5 %): Inkonsistenzen zwischen Schema-Definition und Ground-Truth (z. B. falsche Datentypen).
  • Implementierungsfehler (45,5 %): Bugs im Code der Tools (z. B. falsche Logik bei "Auto"-Modi, State-Management-Fehler).
  • Trajektorien-/Evaluierungsfehler (41,0 %): Falsche Referenzantworten oder zu starre Evaluierungskriterien, die korrekte, aber alternative Lösungswege bestrafen.
• Reparatur: EigenData korrigierte diese Fehler durch:
  • Schema-Verfeinerung (Schema Polish).
  • Code-Fixes durch den CodingAgent.
  • Gezielte Reparatur von Trajektorien (nur fehlerhafte Segmente werden neu generiert).
• Neue Evaluierung: Einführung eines Protokolls, das den Erfolg anhand des Datenbankzustands misst, nicht nur anhand der Trajektorien-Übereinstimmung.

4. Ergebnisse

Die Evaluierung der reparierten Benchmark mit fünf führenden Modellen ergab:

• Verbesserte Korrelation mit menschlichem Urteil: Die Modell-Rankings auf der reparierten Benchmark korrelieren deutlich stärker mit menschlichen Bewertungen der funktionalen Korrektheit als die Original-Benchmark.
• Korrektur von Rang-Verzerrungen:
  • Modelle wie GPT-5.2 wurden im Original stark unterbewertet (28,12 % vs. 65,0 % menschliche Pass-Rate), da sie durch Benchmark-Fehler bestraft wurden.
  • Modelle wie GLM-4.6 profitierten im Original von Benchmark-Mustern (68,00 % vs. 54,8 % menschliche Pass-Rate) und wurden nun korrekter eingestuft.
• Robustheit: Die neue "All Three"-Metrik (Kombination aus Konfigurations-Übereinstimmung, Schlüsselfunktionen und LLM-as-Judge) zeigt, dass Modelle oft nur einzelne Aspekte beherrschen, aber bei der Kombination scheitern. Dies unterstreicht die Notwendigkeit multidimensionaler Evaluierung.

5. Bedeutung und Beiträge

• Infrastruktur-Paradigmenwechsel: EigenData stellt einen End-to-End-Ansatz vor, der nicht nur Daten generiert, sondern die gesamte Umgebung (Datenbank, Code, Trajektorien) konsistent aufbaut und wartet.
• Automatisierte Qualitätskontrolle: Durch die Integration von Judge-Agenten und iterativen Debug-Loops werden Fehlerquellen, die bei manueller Annotation oder starren Pipelines oft übersehen werden, systematisch eliminiert.
• Praktische Anwendbarkeit: Die Plattform ist domänenagnostisch und kann durch einfache Bereitstellung von Domänendokumentation auf neue Szenarien angewendet werden. Ein CLI-Tool macht die Funktionen für die Praxis zugänglich.
• Validierung von Benchmarks: Die Studie zeigt kritisch auf, dass aktuelle Benchmarks oft durch Implementierungsfehler und inkonsistente Schemata verzerrt sind, und demonstriert, wie eine selbstkorrigierende Infrastruktur diese Verzerrungen beheben kann, um verlässlichere Vergleiche von LLM-Fähigkeiten zu ermöglichen.

Zusammenfassend bietet EigenData einen robusten Rahmen, um die Lücke zwischen der Komplexität realer Agenten-Anwendungen und der Qualität verfügbarer Trainings- und Evaluierungsdaten zu schließen.