Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents

Die Arbeit stellt das Agent Data Protocol (ADP) vor, eine leichtgewichtige Interlingua, die heterogene Agentendatensätze vereinheitlicht und durch standardisierte Feinabstimmung ohne domänenspezifische Anpassungen zu signifikanten Leistungssteigerungen bei LLM-Agenten führt.

Das Wesentliche

Stellen Sie sich vor, Sie wollen ein hochintelligentes Roboter-Team aufbauen, das Aufgaben wie Programmieren, Surfen im Internet oder Reparieren von Software erledigen kann. Um diesen Roboter schlau zu machen, müssen Sie ihm Beispiele zeigen: „So löst man ein Problem", „So klickt man hier", „So schreibt man diesen Code".

Das Problem ist: Die Welt ist voll von solchen Beispielen, aber sie sind alle in völlig unterschiedlichen Sprachen und Formaten geschrieben.

• Ein Forscher hat seine Daten wie ein Kochbuch aufgeschrieben.
• Ein anderer hat sie wie ein Tagebuch notiert.
• Ein Dritter hat sie in Excel-Tabellen gepackt.
• Ein Vierter hat sie als Videoaufnahmen gespeichert.

Wenn Sie jetzt versuchen, Ihren Roboter mit diesen Daten zu trainieren, müssen Sie für jedes Format einen eigenen Dolmetscher bauen. Das ist extrem mühsam, teuer und langsam. Es ist, als müssten Sie für jeden neuen Koch, der Ihnen ein Rezept gibt, erst eine neue Übersetzungssoftware programmieren, bevor Sie überhaupt kochen können.

Die Lösung: Das „Agent Data Protocol" (ADP)

Die Autoren dieses Papers haben eine geniale Idee gehabt: Sie haben eine universelle Lingua Franca (eine gemeinsame Zwischensprache) für Roboter-Daten erfunden. Nennen wir das die „Roboter-Sprache".

Hier ist, wie das funktioniert, einfach erklärt:

1. Der große Umzug (Die Normalisierung)

Statt dass jeder Forscher sein eigenes Format erfinden muss, wandeln sie alle ihre chaotischen Daten in diese eine „Roboter-Sprache" um.

• Die Analogie: Stellen Sie sich vor, alle diese unterschiedlichen Kochbücher, Tagebücher und Excel-Tabellen werden in eine einzige, standardisierte „Zutatenliste" umgeschrieben.
• In dieser Liste steht immer genau das Gleiche:
  • Was hat der Roboter getan? (z. B. „Code geschrieben", „Klick auf Website", „Nachricht gesendet").
  • Was hat der Roboter gesehen? (z. B. „Fehlermeldung", „Webseite geladen", „Benutzereingabe").

Sobald die Daten in dieser „Zutatenliste" (dem ADP-Format) sind, ist es egal, woher sie ursprünglich kamen. Sie passen alle perfekt zusammen.

2. Der universelle Adapter (Die Flexibilität)

Jetzt kommt der zweite Teil des Genies. Wenn Sie einen neuen Roboter bauen wollen (z. B. einen, der nur für Software-Entwicklung da ist, oder einen, der nur im Internet surfen soll), müssen Sie nicht mehr die Rohdaten neu übersetzen.

• Die Analogie: Sie haben nur noch einen einzigen Adapter, der die „Zutatenliste" (ADP) in das spezifische Format Ihres neuen Roboters verwandelt.
• Ohne ADP: Sie müssten für 100 Datenquellen und 100 Roboter-Typen 10.000 verschiedene Adapter bauen (100 x 100). Ein Albtraum!
• Mit ADP: Sie bauen nur 100 Adapter für die Datenquellen (um sie in die Zwischensprache zu bringen) und 100 Adapter für die Roboter (um sie aus der Zwischensprache zu lesen). Das sind nur 200 Adapter. Das ist wie ein Schweizer Taschenmesser: Ein Werkzeug passt auf alle Schrauben.

3. Das Ergebnis: Ein Super-Roboter

Was passiert, wenn man einen Roboter mit diesen gemischten, standardisierten Daten trainiert?

• Der „Allrounder-Effekt": Der Roboter lernt nicht nur, wie man kocht (Programmieren), sondern auch, wie man einkauft (Surfen) und wie man repariert (Software-Wartung).
• Die Überraschung: Der Roboter wird durch das Lernen aus vielen verschiedenen Welten sogar besser in einer spezifischen Welt. Wenn er gelernt hat, wie man im Internet navigiert, hilft ihm das Verständnis für Struktur auch beim Programmieren.
• Die Zahlen: In den Tests wurden die Roboter im Durchschnitt 20 % besser. Manche wurden sogar so gut, dass sie mit den besten kommerziellen Robotern der Welt mithalten können, obwohl sie nur mit offenen, kostenlosen Daten trainiert wurden.

Warum ist das wichtig?

Früher war es so, dass jeder Forscher sein eigenes, isoliertes Labor hatte. Niemand konnte die Daten des anderen nutzen, weil die Formate nicht passten.
Mit dem Agent Data Protocol öffnen sie die Türen.

• Forscher können Daten einfach austauschen.
• Man kann riesige Mengen an Daten sammeln, ohne sich um Format-Probleme zu kümmern.
• Es wird viel schneller und billiger, bessere KI-Agenten zu bauen.

Zusammenfassung in einem Satz:
Die Autoren haben eine universelle Übersetzungssprache für Roboter-Daten erfunden, die es ermöglicht, tausende verschiedene Trainingsbeispiele zu mischen, um viel schlauere und vielseitigere KI-Agenten zu erschaffen, ohne dabei in einem Chaos aus Dateiformaten zu ertrinken.

Technische Zusammenfassung

1. Problemstellung

Die Forschung im Bereich des überwachten Feinabstimmens (Supervised Fine-Tuning, SFT) von KI-Agenten auf großen Datensätzen ist derzeit relativ selten, obwohl die potenziellen Datenquellen vorhanden sind. Das Hauptproblem liegt nicht im Mangel an Daten, sondern in deren Fragmentierung.

• Heterogenität: Bestehende Agenten-Datensätze (z. B. für Web-Browsing, Coding, Software Engineering oder Tool-Use) verwenden inkonsistente Formate, Aktionsräume und Beobachtungsstrukturen.
• Inkompatibilität: Die Kombination verschiedener Datensätze erfordert erheblichen Ingenieursaufwand pro Datensatz und pro Agenten-Framework.
• Fehlende Standardisierung: Es gibt keine gemeinsame „Verkehrssprache" (Interlingua), die es ermöglicht, Daten aus unterschiedlichen Quellen nahtlos in einheitliche Trainingspipelines zu integrieren. Dies behindert die Skalierbarkeit und Reproduzierbarkeit von Agenten-Training.

2. Methodik: Das Agent Data Protocol (ADP)

Um diese Herausforderungen zu lösen, stellen die Autoren das Agent Data Protocol (ADP) vor. ADP ist eine leichtgewichtige, ausdrucksstarke Repräsentationssprache, die als Standardformat für Agenten-Daten dient.

Kernarchitektur:

• Schema: ADP wird als Pydantic-Schema implementiert. Jede Agenten-Trajektorie wird als Trajectory-Objekt dargestellt, das eine ID und eine abwechselnde Sequenz von Actions und Observations enthält.
• Aktions-Typen (Actions):
  • API Actions: Strukturierte Funktionsaufrufe für Tool-Nutzung (mit Funktion, Argumenten und optionaler Begründung).
  • Code Actions: Code-Generierung und -Ausführung (mit Sprache und Inhalt).
  • Message Actions: Natürlichsprachliche Kommunikation zwischen Agent und Nutzer.
• Beobachtungs-Typen (Observations):
  • Text Observations: Textinformationen von Nutzern oder der Umgebung (z. B. Code-Ausgaben).
  • Web Observations: Repräsentation von Webseiten (HTML, Accessibility-Tree, URL, Screenshot).
• Konvertierungspipeline:
  1. Raw → ADP: Heterogene Rohdaten (z. B. aus SWE-Gym, Mind2Web) werden in das standardisierte ADP-Format umgewandelt.
  2. ADP → SFT: Das standardisierte ADP-Format wird in spezifische Trainingsformate für verschiedene Agenten-Frameworks (z. B. OpenHands, SWE-Agent, AgentLab) konvertiert.
  3. Qualitätssicherung: Automatisierte Validierung stellt sicher, dass Tool-Aufrufe korrekt formatiert sind und die Konversationen logisch abgeschlossen sind.

Vorteil des Ansatzes:
Statt einer quadratischen Komplexität ($O(D \times A)$), bei der für jeden Datensatz ($D$) und jedes Agenten-Framework ($A$) ein eigener Konverter benötigt wird, reduziert ADP den Aufwand auf eine lineare Komplexität ($O(D + A)$). Jeder Datensatz wird einmal zu ADP konvertiert, und jedes Framework benötigt nur einen einzigen Konverter von ADP zu SFT.

3. Schlüsselbeiträge

• ADP-Schema: Einführung eines einheitlichen, ausdrucksstarken Schemas, das eine breite Palette von Agenten-Aufgaben (API-Nutzung, Coding, Browsing, SWE) abdeckt, ohne Informationen zu verlieren.
• ADP-Dataset V1: Erstellung und Veröffentlichung des größten öffentlich verfügbaren Datensatzes für Agenten-Training mit 1,3 Millionen Trainings-Trajektorien, die aus 13 bestehenden Datensätzen (z. B. AgentInstruct, SWE-Gym, Mind2Web, Orca AgentInstruct) vereinheitlicht wurden.
• Open-Source-Release: Alle Konverter, Schemata und der Datensatz sind öffentlich verfügbar, um die Community zu ermutigen, neue Daten beizutragen und die Reproduzierbarkeit zu fördern.
• Systematische Analyse: Durch die Vereinheitlichung der Daten ermöglicht ADP erstmals einen direkten, quantitativen Vergleich verschiedener Datensätze und deren Eigenschaften (z. B. Verteilung von Aktionen, Länge der Trajektorien, Vorhandensein von „Function Thoughts").

4. Ergebnisse

Die Autoren führten SFT-Experimente mit Qwen2.5-Coder-Modellen (7B, 14B, 32B Parameter) durch und evaluierten diese auf vier Standard-Benchmarks: SWE-Bench Verified, WebArena, AgentBench und GAIA.

• Leistungssteigerung: Das Training mit dem vereinheitlichten ADP-Datensatz führte im Durchschnitt zu einer Leistungssteigerung von ca. 20 % gegenüber den Basis-Modellen.
  • Beispiel SWE-Bench: Ein Qwen-2.5-7B-Modell verbesserte sich von 0,4 % auf 20,2 % (mit SWE-Agent). Ein 14B-Modell erreichte 34,4 %, was dem Leistungsniveau von Claude 3.5 Sonnet entspricht.
  • Beispiel WebArena: Steigerung von 4,5 % (Base) auf 21,0 % (ADP) für das 7B-Modell.
• Cross-Task Transfer: Modelle, die auf dem gemischten ADP-Datensatz trainiert wurden, zeigten eine bessere Generalisierung über verschiedene Domänen hinweg als Modelle, die nur auf domänenspezifischen Daten trainiert wurden. Dies verhindert negatives Transfer-Lernen (Catastrophic Forgetting) und verbessert die Leistung auch in den Zielaufgaben.
• Skalierbarkeit: Die Leistungsverbesserungen waren über alle Modellgrößen (7B bis 32B) hinweg monoton steigend.
• Effizienz: Die Analyse der Codezeilen (LOC) zeigte, dass ADP den Aufwand für die Anpassung neuer Datensätze an neue Agenten-Frameworks drastisch reduziert (von hunderten von tausenden Zeilen Code auf durchschnittlich ~77 Zeilen pro Framework-Konverter).

5. Bedeutung und Ausblick

Das Paper demonstriert, dass die Standardisierung von Datenformaten ein entscheidender Hebel für den Fortschritt im Bereich LLM-Agenten ist.

• Demokratisierung des Trainings: ADP senkt die Einstiegshürde für die Forschung, da keine komplexen, datenspezifischen Konverter mehr geschrieben werden müssen, um verschiedene Datenquellen zu nutzen.
• Skalierbarkeit: Es ermöglicht die Erstellung riesiger, diverser Trainingskorpora, die für das Training robuster, generalisierbarer Agenten notwendig sind.
• Zukünftige Richtungen: Die Autoren sehen Potenzial in der Erweiterung von ADP auf multimodale Daten (Bilder, Screenshots), der Anwendung des Protokolls auf Evaluierungsstandards und der weiteren Automatisierung der Datenqualitätssicherung.

Zusammenfassend stellt ADP einen Paradigmenwechsel dar: Weg von isolierten, inkompatiblen Datensätzen hin zu einem modularen, skalierbaren Ökosystem für das Training von KI-Agenten.