🤖 AI

Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories

Agentic-DPO ist eine leichtgewichtige, Offline-Policy-Optimierungsmethode, die Experten-Trajektorien in zustandsbedingte Aktionspräferenzen transformiert, um LLM-Agenten zu befähigen, über einfache Imitation hinaus optimales Entscheidungsverhalten zu erlernen, wobei eine Leistungsfähigkeit erreicht wird, die mit Online-Reinforcement-Learning vergleichbar ist, ohne dass dafür Environment-Rollouts oder Belohnungsmodelle erforderlich sind.

Ursprüngliche Autoren: Yixiong Chen, Alan Yuille

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yixiong Chen, Alan Yuille

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter-Butler bei, wie man ein unordentliches Zimmer aufräumt. Die alte Methode, genannt Supervised Fine-Tuning (SFT), ist so, als würden Sie dem Roboter ein Video eines Menschen beim Aufräumen zeigen und sagen: „Kopiere exakt das, was du siehst.“ Der Roboter lernt die Abfolge der Bewegungen: Socke aufheben, in den Wäschekorb legen, Staubwedel greifen. Aber hier liegt der Haken: Der Roboter lernt eigentlich nicht, warum diese Bewegungen gewählt wurden. Wenn die Socke eigentlich ein Stück Müll war, würde der Roboter sie trotzdem aufheben, weil er nur das Video kopiert und nicht über den Fehler nachdenkt, den er gemacht haben könnte.

Das Paper stellt eine neue, leichtere Methode namens Agentic-DPO vor, um dies zu beheben. Anstatt nur zu kopieren, verwandelt es die Trainingsdaten in ein „Wähle dein eigenes Abenteuer“-Spiel, bei dem der Roboter lernt, seine eigenen potenziellen Patzer zu erkennen.

Die Kernidee: „Nicht nur kopieren, sondern vergleichen“

Die Autoren schlagen vor, dass wir anstatt einen Expertenpfad als eine einzige Textzeile zu behandeln, die man auswendig lernen muss, jeden einzelnen Schritt als Entscheidungspunkt betrachten sollten. In jedem Moment könnte der Roboter entweder die richtige Expertenbewegung wählen oder eine „plausible Fehlentscheidung“ treffen.

Agentic-DPO funktioniert so:

Das Setup: Man zeigt dem Roboter einen spezifischen Moment aus der Historie des Experten (den „Zustand“).
Der Test: Man fragt den Roboter: „Was würdest du jetzt tun?“
Der Vergleich: Wenn der Roboter eine andere Aktion vorschlägt als der Experte, erstellt man ein Paar: „Expertenbewegung (Gut)“ vs. „Roboter-Vermutung (Schlecht)“.
Die Lektion: Man lehrt den Roboter, die Expertenbewegung gegenüber seiner eigenen wahrscheinlichen Fehlentscheidung zu bevorzugen.

Dies ist ein riesiger Wandel. Das Paper argumentiert, dass bisherige Methoden entweder nur kopierten (SFT) oder versuchten, durch tatsächliches Spielen des Spiels in einer realen Umgebung zu lernen (Reinforcement Learning), was langsam, teuer und komplex in der Bewertung ist. Agentic-DPO schlägt vor, dass man die Vorteile des Lernens aus Fehlern erzielt, ohne tatsächlich das Spiel spielen oder einen menschlichen Richter engagieren zu müssen, der jede Bewegung bewertet.

Der „Zaubertrick“: Die Regeln klar halten

Es gibt ein kniffliges Problem beim Unterrichten von Robotern: Sie könnten verwirrt werden davon, wie etwas geschrieben ist, anstatt davon, was es bedeutet. Wenn man zum Beispiel einem Roboter sagt: „Rufe das Werkzeug auf“, könnte dies als call_tool() oder {"tool": "call"} geschrieben werden. Wenn der Roboter nur lernt, das Textformat des Experten zu bevorzugen, scheitert er, wenn sich das Format ändert.

Um dies zu lösen, führen die Autoren eine clevere Technik namens Policy-Preserving Augmentation (PPA) ein. Stellen Sie sich vor, Sie bringen einem Schüler eine Matheaufgabe bei. Sie zeigen ihm dieselbe Aufgabe auf Englisch, dann auf Spanisch und dann im Comic-Stil, aber die Lösung (die Mathematik) bleibt exakt dieselbe. PPA macht dies für den Roboter: Es schreibt die Aktion des Experten in viele verschiedene „Dialekte“ oder Formate um, während die Kernentscheidung identisch bleibt. Dies zwingt den Roboter, die Logik der Entscheidung zu lernen, nicht nur die spezifischen Wörter.

Was die Zahlen sagen

Die Autoren testeten diese Idee auf drei verschiedenen „Spielplätzen“, auf denen Roboter mit Werkzeugen, Benutzern und Websites interagieren müssen:

StableToolBench: Ein Ort zum Testen der Werkzeugnutzung.
τ-bench (tau-bench): Eine Einzelhandelssimulation, in der der Roboter mit einem Kunden chattet.
Mind2Web: Eine Aufgabe, bei der der Roboter echte Websites navigiert.

Die Ergebnisse zeigen, dass Agentic-DPO das Standard-„Kopieren“ (SFT) über verschiedene Robotergrößen hinweg konsequent schlägt:

Bei der τ-bench Retail-Aufgabe sprang ein 9-Milliarden-Parameter-Modell von 21,7 % Erfolg mit standardmäßigem Kopieren auf 41,4 % mit Agentic-DPO.
Bei StableToolBench verbesserte sich ein kleineres 2-Milliarden-Parameter-Modell von 57,1 % auf 90,9 %.
Bei Mind2Web stieg die durchschnittliche Erfolgsrate der Schritte von 45,6 % auf 64,4 %.

Interessanterweise stellt das Paper fest, dass Agentic-DPO genauso gut abschnitt wie eine viel teurere Methode namens GRPO (die erfordert, dass der Roboter das Spiel tausende Male spielt, um zu lernen), wobei Agentic-DPO dies erreichte, ohne jemals während der Trainingsschritte mit der realen Umgebung interagiert zu haben.

Was diese Methode nicht tut

Es ist wichtig zu wissen, was diese Methode nicht zu lösen beansprucht. Das Paper schließt explizit die Idee aus, dass diese Methode neue Situationen entdecken kann, die der Experte nie gesehen hat. Da sie nur aus den Zuständen lernt, die in den bestehenden Videos des Experten vorhanden sind, kann sie keinen Raum erkunden, den der Experte nie betreten hat. Es handelt sich um einen Kompromiss: Man erhält eine günstigere, schnellere Trainingsmethode, die bei bekannten Entscheidungspunkten hervorragend funktioniert, aber man verliert die Fähigkeit, völlig neue Lösungen zu finden, die ein Abweichen vom vorgegebenen Pfad erfordern würden.

Das Fazﺎit

Die Autoren schlagen vor, dass wir durch die Umwandlung von Experten-Demonstrationen in eine Serie von „Richtig vs. Falsch“-Entscheidungen bei jedem einzelnen Schritt und durch den Einsatz des „Format-Misch-Tricks“ (PPA), um den Roboter auf die Logik zu fokussieren, intelligentere Agenten viel kostengünstiger trainieren können. Es ist wie die Aufwertung eines Roboters vom willenlosen Papagei zum Studenten, der tatsächlich darüber nachdenkt, warum er falsch liegen könnte – und das alles, ohne Millionen an Computerleistung für endlose Simulationen zu verschwenden.

Technisches Resümee: Agentic-DPO

1. Problemstellung

Large Language Model (LLM) Agents werden häufig mittels Supervised Fine-Tuning (SFT) auf Experten-Trajektorien trainiert. Während SFT einfach und kostengünstig ist, behandelt es Multi-Turn-Agentenverhalten als gewöhnliche Textimitation. Dieser Ansatz erbt die Einschränkungen des Behavior Cloning: Das Modell lernt, die Sequenz der Experten-Token zu imitieren, versäumt es jedoch, die korrekte Aktion zu wählen, wenn es bei einem spezifischen Zustand mit plausiblen Fehlern konfrontiert wird.

Bestehende Methoden zur Adressierung dieses Problems, wie etwa Preference Learning oder Reinforcement Learning (RL), erfordern oft kostspielige Environment-Rollouts, Reward-Modelle oder eine vollständige Exploration durch den Studenten-Agenten. Darüber hinaus ist die naive Anwendung von Preference Learning auf Agenten-Aktionen problematisch, da Aktions-Strings die latente Entscheidungslogik mit der schemaspezifischen Darstellung (z. B. JSON vs. ReAct-Format) vermischen. Wenn dies nicht kontrolliert wird, optimiert das Modell möglicherweise für den Darstellungsstil statt für die zugrunde liegende Entscheidung.

Die zentrale Herausforderung besteht darin, Experten-Trajektorien in zustandsbedingte Aktionspräferenzen umzuwandeln, die den Agenten lehren, seine eigenen wahrscheinlichen Fehler zu vermeiden, ohne den Rechenaufwand von Online-RL oder die Notwendigkeit externer Reward-Modelle.

2. Methodik: Agentic-DPO

Die Autoren schlagen Agentic-DPO vor, eine leichtgewichtige, Offline-Methode zur Optimierung der Agenten-Policy. Sie transformiert Experten-Trajektorien in eine Präferenz-Supervision, indem sie die Experten-Aktion mit einer „plausiblen falschen Aktion“ kontrastiert, die aus der aktuellen Studenten-Policy im selben Zustand gesampelt wurde.

Kernmechanismus

Zustandsbedingte Konstruktion der Präferenz:
- Für jeden Experten-Schritt $(s_t, u^+_t)$ in einer Trajektorie behandelt die Methode die Experten-Aktion als die „bevorzugte“ Wahl.
- Es wird eine einstufige Aktion aus der aktuellen Studenten-Policy ( $\pi_{\theta_{student}}$ ) im selben Zustand $s_t$ gesampelt.
- Die gesampelte Aktion des Studenten wird in eine latente Entscheidung parstiert. Wenn sie der Experten-Aktion entspricht (gleiches Tool/gleiche Argumente), wird sie verworfen. Wenn es sich um eine andere gültige Entscheidung handelt, dient sie als die „abgelehnte“ (negative) Probe ( $u^-_t$ ).
- Dies erzeugt ein Präferenz-Triple $(s_t, u^+_t, u^-_t)$ , bei dem das Modell darauf trainiert wird, die Experten-Aktion gegenüber dem spezifischen Fehler zu bevorzugen, den der Student wahrscheinlich machen würde.
Verlustfunktion:
- Die Methode verwendet eine DPO-ähnliche Verlustfunktion, die nur über die generierten Aktions-Token optimiert wird.
- Um unterschiedliche Aktionslängen über verschiedene Tools oder GUI-Interaktionen hinweg zu handhaben, wird ein längengestützter Präferenzkoeffizient $\beta_{eff}$ verwendet, um zu verhindern, dass lange Aktionen allein aufgrund der Token-Anzahl den Gradienten dominieren.

Stabilisierungsstrategien

Um Stabilität zu gewährleisten und zu verhindern, dass das Modell die oberflächliche Formatierung statt der Entscheidungslogik optimiert, führt Agentic-DPO zwei Schlüsselkomponenten ein:

SFT-Anker:
- Das Training beginnt mit einem SFT-Warm-up, um sicherzustellen, dass der Student die gültigen Aktionsformate versteht.
- Während des DPO-Trainings wird eine eingefrorene Referenz-Policy ( $\pi_{ref}$ ) aus der SFT-Phase verwendet.
- Der Gesamtverlust kombiniert den kontrastiven DPO-Term mit einem SFT-Term ( $L_{train} = L_{ADPO} + \lambda L_{SFT}$ ). Dieser Anker verhindert, dass der Präferenzverlust die Wahrscheinlichkeit der Experten-Aktion zu aggressiv unterdrückt und hält die Policy nahe an der gültigen Syntax.
Policy-Preserving Augmentation (PPA):
- PPA rendert dieselbe latente Trajektorie unter mehreren Schema-Ansichten (z. B. Änderung von Tool-Namen, Wechsel zwischen ReAct und JSON-Formaten oder Injektion von Recovery-Kontexten).
- Durch das Sampling verschiedener Ansichten $\phi$ für dasselbe latente Präferenzpaar während des Trainings werden die mit den schemaspezifischen Formen zusammenhängenden Gradienten gemittelt, wodurch sichergestellt wird, dass das Modell die latente Entscheidungs-Margin ( $G_\theta$ ) optimiert.

Trainingsverfahren

Das Training erfolgt in „Refresh-Runden“. In jeder Runde wird die aktuelle Studenten-Policy verwendet, um neue negative Aktionen für eine Teilmenge der Experten-Daten zu sampeln. Dies ermöglicht es den negativen Proben, sich mit der Verbesserung des Studenten weiterzuentwicken, was ein dynamisches „Hard-Negative“-Signal liefert, ohne eine Interaktion mit der Umgebung zu erfordern.

3. Wichtigste Beiträge

Agentic-DPO: Eine leichtgewichtige Offline-Methode zur Optimierung der Policy, die zustandsbedingte Aktionspräferenzen konstruiert, indem sie Experten-Aktionen mit einstufigen Studenten-Negativen kontrastiert, wodurch die Notwendigkeit von Online-Environment-Rollouts oder Reward-Modellen entfällt.
Policy-Preserving Augmentation (PPA): Eine Technik, die latente Trajektorien unter mehreren Schemata rendert, um die von Schemata dominierten Präferenz-Gradienten zu reduzieren und so die Aktions-basierte DPO zu stabilisieren.
Empirische Validierung: Nachweis, dass Agentic-DPO die Performance von Agenten über diverse Benchmarks hinweg (Tool-Nutzung, langfristige Nutzerinteraktion, Web-GUI-Grounding) und Modellskalen verbessert und dabei Standard-SFT sowie Online-RL-Methoden zu einem Bruchteil der Kosten übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten Agentic-DPO auf drei Benchmarks: StableToolBench (Tool-Nutzung), $\tau$ -bench retail (langfristige, nutzer-interleaved Interaktion) und Mind2Web (Web-GUI-Grounding), unter Verwendung von Qwen3.5 Modellen (2B, 4B, 9B) und Gemma3-4B.

Leistungssteigerungen: Agentic-DPO übertraf SFT und andere Baselines (PPA+SFT, DFT, ETO, GRPO) konsistent über alle Modellskalen hinweg.
- Auf $\tau$ -bench retail steigerte Agentic-DPO die Genauigkeit eines 9B-Modells von 21,7 % (SFT) auf 41,4 %, was der Performance von Online-GRPO (40,0 %) entspricht, jedoch ohne Online-RL-Rollouts.
- Auf StableToolBench verbesserte es ein 2B-Modell von 57,1 % (SFT) auf 90,9 % und übertraf damit starke Baselines.
- Auf Mind2Web erreichte es eine durchschnittliche Schritt-Erfolgsrate von 64,4 % auf Hold-out-Splits.
Effizienz: Agentic-DPO ist signifikant günstiger als Online-RL. Auf $\tau$ -bench kostet es 1,6-mal mehr Rechenzeit pro Schritt im Vergleich zu SFT, während GRPO aufgrund von Multi-Turn-Rollouts 13,6-mal mehr benötigt.
Ablationsstudien:
- Das Entfernen des SFT-Warm-ups führte zum Kollaps der Performance auf 0,0 % (Parser-Ablehnung).
- Das Entfernen des SFT-Ankers während des Trainings führte zu höherer Varianz und geringerer Genauigkeit.
- Das Entfernen von PPA behielt eine hohe kanonische Genauigkeit bei, vergrößerte jedoch signifikant die Lücke zwischen kanonischer und perturbierter (Out-of-Distribution) Performance, was zeigt, dass PPA entscheidend für die Robustheit ist.
Skalierung: Die Methode zeigt abnehmende Erträge bei der Anzahl der gesampelten Negativen ( $K$ ) jenseits von 2–4, was darauf hindeutet, dass der primäre Nutzen darin liegt, einen plausiblen lokalen Fehler zu finden, statt eine vollständige Rollout-Distribution zu approximieren. Sie ist zudem hochgradig dateneffizient und funktioniert gut mit nur 25 % der Experten-Daten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Experten-Trajektorien eine kostengünstige agentische Policy-Optimierung unterstützen können, wenn deren Zustands-Aktions-Struktur direkt genutzt wird. Durch die Umwandlung von Demonstration in zustandsbasierte Aktionspräferenzen schließt Agentic-DPO die Lücke zwischen einfacher Imitation (SFT) und teurem Online-Reinforcement-Learning.

Die Autoren betonen, dass Agentic-DPO ein „studenten-bewusstes“ Trainingssignal liefert – es lehrt das Modell, seine eigenen wahrscheinlichen Fehler zu vermeiden – ohne die dominanten Kosten von RL (wiederholte vollständige Trajektorien-Rollouts in der Umgebung und Training von Reward-Modellen). Obwohl es sich um eine Offline-Methode handelt, die auf Zustände beschränkt ist, die in den Experten-Daten vorhanden sind (im Gegensatz zu Online-RL, das neue Zustände explorieren kann), legen die Ergebnisse nahe, dass es ein äußerst effektiver und praktischer Ansatz zur Verbesserung der Entscheidungsfindung von Agenten über verschiedene Interaktionsparadigmen hinweg ist.