💬 NLP

OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation

OPD-Evolver führt ein Slow-Fast-Co-Evolution-Framework ein, das On-Policy-Selbstdistillation nutzt, um ganzheitliche Agenten-Evolver zu kultivieren, die in der Lage sind, Gedächtnis effektiv auszuwählen, zu nutzen und zu pflegen, wodurch sie bestehende Gedächtnissysteme und trainingsbasierte Methoden übertreffen und es gleichzeitig kleineren Modellen ermöglichen, mit wesentlich größeren Gegenstücken zu konkurrieren.

Ursprüngliche Autoren: Guibin Zhang, Xun Xu, Yanwei Yue, Zikun Su, Wangchunshu Zhou, Xiaobin Hu, Shuicheng Yan

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guibin Zhang, Xun Xu, Yanwei Yue, Zikun Su, Wangchunshu Zhou, Xiaobin Hu, Shuicheng Yan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Vom „Notizbuch“ zum „Mentor“

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man Hausarbeit erledigt.

Der alte Weg (Memory Agents): Sie geben dem Roboter ein riesiges Notizbuch. Jedes Mal, wenn er ein Zimmer nicht sauber bekommt, schreibt er auf: „Ich habe versagt.“ Jedes Mal, wenn er Erfolg hat, schreibt er: „Ich war erfolgreich.“ Später, wenn er vor einem neuen Raum steht, blättert er im Notizbuch und schaut nach, was früher passiert ist.
- Das Problem: Der Roboter hat ein Notizbuch voller Notizen, aber er weiß nicht, welche Notizen tatsächlich nützlich sind. Er liest vielleicht eine Notiz über das „Reinigen der Küche“, während er gerade versucht, „einen undichten Wasserhahn zu reparieren“. Er weiß auch nicht, wie er gute Notizen für die Zukunft schreibt; er schreibt vielleicht nur Kauderwelsch, das ihn später verwirrt.
Der neue Weg (OPD-Evolver): Dieses Paper stellt einen Roboter vor, der nicht nur ein Notizbuch besitzt, sondern einen Mentor in seinem Kopf hat. Dieser Roboter lernt, wie man lernt. Er findet heraus, welche Notizen er behalten sollte, wie er sie nutzt, um zu handeln, wie er beim nächsten Mal bessere Notizen schreibt und wie er die schlechten wegwirft.

Die Autoren nennen dies einen „Agent Evolver“. Es ist nicht nur ein Roboter, der sich erinnert; es ist ein Robboter, der immer klüger darin wird, seine eigenen Erfahrungen zu verwalten.

Die vier Superkräfte

Das Paper argumentiert, dass ein wahrhaft „selbstentwickelnder“ Agent vier spezifische Fähigkeiten benötigt, die zusammenarbeiten. Betrachten Sie dies als die vier Beine eines Tisches:

Erfahrungsauswahl (Der Filter):
- Analogie: Stellen Sie sich vor, Sie suchen in einer Bibliothek mit Millionen von Büchern nach einem Rezept. Ein schlechter Agent greift zu einem Buch über „Wie man einen Kuchen backt“, obwohl Sie nach „Wie man ein Auto repariert“ gefragt haben. Ein guter Agent (OPD-Evolver) weiß genau, welches Buch er aus dem Regal ziehen muss.
- Was es tut: Es wählt die nützlichsten Erinnerungen aus einem verrauschten, chaotischen Haufen vergangener Erfahrungen aus.
Erfahrungsgestützte Ausführung (Der Macher):
- Analogie: Sobald Sie das richtige Rezeptbuch haben, müssen Sie auch tatsächlich kochen. Ein schlechter Agent liest das Buch, vergisst aber, den Ofen einzuschalten. Ein guter Agent nutzt das Buch, um seine Hände perfekt zu führen.
- Was es tut: Es nimmt die ausgewählten Erinnerungen und nutzt sie, um die richtigen Handlungen in der realen Welt auszuführen.
Erfahrungsschreiben (Der Journalist):
- Analogie: Nach dem Kochen schreibt ein schlechter Agent in das Notizbuch: „Es war okay.“ Ein guter Agent schreibt: „Der Ofen war zu heiß; nächstes Mal die Temperatur um 20 Grad senken.“
- Was es tut: Es verwandelt neue Erfahrungen (Erfolge oder Misserfolge) in klares, wiederverwendbares Wissen, das andere (oder es selbst) später nutzen können.
Erfahrungsmanagement (Der Bibliothekar):
- Analogie: Im Laufe der Zeit füllt sich eine Bibliothek mit alten, staubigen oder falschen Büchern. Ein schlechter Agent behält einfach alles für immer. Ein guter Agent wirft die veralteten Bücher weg und organisiert die neuen so, dass sie leicht zu finden sind.
- Was es tut: Es bewertet Erinnerungen, aktualisiert sie, führt Duplikate zusammen und löscht die nutzlosen, um die „Bibliothek“ gesund zu halten.

Wie es funktioniert: Die „schnellen“ und „langsamen“ Schleifen

Das Paper verwendet eine clevere Trainingsmethode namens OPD-Evolver (On-Policy Distillation). Stellen Sie sich dies als einen zweistufigen Tanz zwischen einem Schüler und einem Lehrer vor.

1. Die schnelle Schleife (Der Schüler in der realen Welt)

Was passiert: Der Agent führt Aufgaben aus (wie das Lösen von Matheaufgaben oder das Navigieren in einem Videospiel). Er interagiert mit seinem Gedächtnis, versucht das Problem zu lösen und erhält ein Ergebnis (Erfolg oder Misserfolg).
Der Haken: In diesem Moment rät der Agent nur. Er weiß noch nicht ganz genau, warum er erfolgreich war oder warum nicht. Er „lebt“ die Erfahrung einfach nur.

2. Die langsame Schleife (Der Lehrer im Rückblickraum)

Was passiert: Nachdem die Aufgabe abgeschlossen ist, blickt das System zurück auf das Geschehene. Es hat eine „privilegierte“ Sichtweise – es weiß genau, welche Erinnerungen geholfen haben und welche geschadet haben.
Die Magie: Der „Lehrer“ (der über den vollen Durchblick verfügt) lehrt den „Schüler“ (den Agenten), indem er sagt:
- „Du hast die falsche Erinnerung für diese Aufgabe ausgewählt. Wähle nächstes Mal diese hier.“
- „Du hast eine schlechte Notiz geschrieben. Schreibe nächstes Mal stattdessen dies.“
- „Du hast eine nutzlose Notiz behalten. Lösche sie.“
Das Ergebnis: Der Agent lernt aus seinen eigenen Fehlern und Erfolgen der Vergangenheit und destilliert diese Weisheit in sein Gehirn, damit er beim nächsten Mal besser abschneidet, ohne dass der Lehrer ihm an die Hand nehmen muss.

Die Ergebnisse: Kleines Gehirn, große Siege

Die Forscher testeten dies bei verschiedenen Herausforderungen, vom Coding (SQL) bis hin zur Navigation in Videospielen (MiniHack).

Die Giganten schlagen: Sie verwendeten ein relativ kleines Modell (9 Milliarden Parameter) und trainierten es mit dieser Methode. Überraschenderweise besiegte dieser kleine, trainierte Agent viele viel größere „Giganten“ (wie jene mit 397 Milliarden Parametern) bei vielen Aufgaben.
Besser als nur „Erinnern“: Es übertraf andere Systeme, die sich lediglich auf das Speichern von Erinnerungen oder einfache Trainingsmethoden verlassen.
Das Fazwort: Es geht nicht darum, ein größeres Gehirn zu haben; es geht darum, ein Gehirn zu haben, das weiß, wie man sein eigenes Wissen kuratiert, nutzt und verbessert.

Zusammenfassung in einem Satz

OPD-Evolver ist ein System, das KI-Agenten nicht nur lehrt, ihre Vergangenheit zu speichern, sondern Meister darin zu werden, die richtigen Lektionen zu auswählen, nach ihnen zu handeln, bessere Notizen zu schreiben und ihre eigene mentale Bibliothek zu reinigen, wodurch ein kleiner Roboter viel größere Modelle überlisten kann.

Technisches Resümee: OPD-Evolver

Problemdefinition

Die Arbeit adressiert eine kritische Lücke in der Entwicklung selbst-evolvierender Agenten. Während das Gedächtnis (Memory) zu einer Standard-Substanz geworden ist, um Trajektorien zu speichern, Reflexionen abzurufen und Fähigkeiten zu akkumulieren, fehlt es existierenden Systemen oft an der ganzheitlichen Kompetenz, den gesamten Erfahrungsprozess effektiv zu steuern. Aktuelle Agenten können Erfahrungen zwar speichern oder sie in Prompts exponieren, scheitern jedoch häufig daran, diese Erfahrungen in eine nachhaltige Verhaltensverbesserung umzuwandeln.

Die Autoren identifizieren, dass bestehende Methoden typischerweise nur isolierte Fragmente des Evolutionsprozesses optimieren (z. B. Retrieval, Kontext-Injektion oder Parameter-Destillation), anstatt der gekoppelten Fähigkeiten, die für echte Selbst-Evolution erforderlich sind. Konkret definieren sie einen „qualifizierten Agenten-Evolvierer“ als einen Agenten, der gleichzeitig vier gekoppelte Fähigkeiten beherrschen muss:

Erfahrungsauswahl (Experience Selection): Identifizierung nützlicher Erinnerungen aus einem wachsenden, verrauschten Repository.
Erfahrungsgestützte Ausführung (Experience-Grounded Execution): Umwandlung ausgewählter Erfahrungen in effektive Multi-Turn-Aktionen.
Erfahrungsschreiben (Experience Writing): Extraktion wiederverwendbarer Erkenntnisse aus neuen Trajektorien und Feedback.
Erfahrungsverwaltung (Experience Management): Bewerten, Konsolidieren, Aktualisieren und Aussondern von Erinnerungen im Zeitverlauf.

Die Kernherausforderung besteht darin, dass Aufgabenbelohnungen (Task Rewards) zwar direkte Aufsicht für die Ausführung bieten, aber nicht für die Auswahl, das Schreiben oder die langfristige Verwaltung des Gedächtnisses. Zudem bleibt die Ausbildung dieser gekoppelten Fähigkeiten innerhalb einer einzigen Policy ohne gegenseitige Interferenz weitgehend unerforscht.

Methodik: OPD-Evolver

Um diese Herausforderungen zu bewältigen, schlagen die Autoren OPD-Evolver vor, ein Slow-Fast-Koevolutions-Framework, das ganzheitliche Agenten-Evolvierer durch On-Policy Self-Distillation kultiviert.

1. Fast Evolution Loop (Online-Interaktion)

Der Fast-Loop operiert während der Testzeit-Interaktion, ohne die Modellparameter ( $\theta$ ) zu verändern. Er ermöglicht es dem Agenten, durch Online-Interaktion mit Umgebungen und einer vierstufigen Gedächtnishierarchie zu evolvieren:

Trajektorien (Trajectories): Episodische Belege.
Tipps (Tips): Lokale Warnungen oder Heuristiken.
Fähigkeiten (Skills): Abstrahierte, wiederverwendbare Verfahren.
Werkzeuge (Tools): Ausführbare Befehle oder Code-Templates.

In diesem Loop führt der Agent folgende Schritte aus:

Retrieval & Selektion: Ruft Top- $K$ -Kandidaten aus jeder Ebene via Embedding-Ähnlichkeit ab und nutzt einen gelernten Selektor, um diese in einen kompakten Kontext ( $S_t$ ) zu komprimieren.
Ausführung: Agiert basierend auf der Aufgabe, der Historie und dem ausgewählten Kontext.
Schreiben & Wartung: Nach einer Episode entscheidet der Agent, welche Erinnerungen in welche Ebenen geschrieben werden sollen, und führt periodisch die Repository-Wartung (Nachschlagen, Zusammenführen, Löschen) durch, um das wachsende Repository zu verwalten.

2. Slow Evolution Loop (On-Policy Distillation)

Der Slow-Loop trainiert die intrinsischen Evolutionsfähigkeiten des Agenten, indem er „privilegierten Weitblick“ (Privileged Hindsight) aus dem Interaktionsstrom des Fast-Loops destilliert. Da das einzige vertrauenswürdige externe Signal das terminale Aufgabenergebnis ( $R_t$ ) ist, nutzt das Framework eine ergebnis-kalibrierte Gedächtnis-Attribution (Outcome-Calibrated Memory Attribution), um dieses skalare Feedback auf die vier gekoppelten Entscheidungen zu propagieren.

Ergebnis-kalibrierte Attribution: Das System schätzt den Wert jeder Erinnerung ( $m$ ), indem es die Leistung von Aufgaben vergleicht, bei denen $m$ ausgewählt wurde, gegenüber Aufgaben, bei denen $m$ zwar abgerufen, aber nicht ausgewählt wurde. Dies generiert ein dichtes, Hindsight-basiertes Aufsichtssignal ( $V(m)$ ), das angibt, was hätte ausgewählt, genutzt, geschrieben oder bewahrt werden sollen.
Vereinheitlichte Hindsight Self-Distillation: Ein „privilegierter Lehrer“ (dieselbe Policy mit Stop-Gradient-Parametern) beobachtet die vollständigen Hindsight-Evidenzen (Kandidatenwerte, erfolgreiche Trajektorien, zukünftiger Nutzen geschriebener Erinnerungen und Repository-Diagnosen). Die „Student“-Policy wird dann darauf trainiert, das Verhalten des Lehrers auf denselben Rollout-Zuständen nachzuahmen, jedoch ohne Zugriff auf die privilegierten Hindsight-Informationen.
Loss-Funktion: Das Training minimiert die Token-Level KL-Divergenz zwischen den On-Policy-Outputs des Studenten und den Outputs des Lehrers, die unter Berücksichtigung der privilegierten Hindsight-Informationen stehen, wodurch Selektion, Ausführung, Schreiben und Verwaltung gemeinsam geformt werden.

Zentrale Beiträge

Zielformulierung: Die Arbeit definiert formal den „qualifizierten Agenten-Evolvierer“ durch vier gekoppelte Kompetenzen (Selektion, Ausführung, Schreiben, Verwaltung) und argumentiert, dass diese nicht sicher getrennt werden können.
Praktische Lösung: Sie führt OPD-Evolver ein, ein Framework, das verzögerte Aufgabenergebnisse und privilegierten Weitblick in Aufsicht für alle vier Lebenszyklus-Stadien via On-Policy Self-Distillation umwandelt.
Experimentelle Validierung: Die Autoren zeigen, dass OPD-Evolver-4B und OPD-Evolver-9B zeitgenössische Gedächtnissysteme (z. B. ReasoningBank, MemEvolve) und trainingsbasierte Methoden (z. B. Skill0, GRPO) über verschiedene Benchmarks hinweg übertreffen. Bemerkenswert ist, dass das 9B-Modell in spezifischen Teilbereichen signifikant größere Gegenstücke (z. B. QWEN3.5-397B, STEP-3.5-196B) herausfordert.

Experimentelle Ergebnisse

Die Evaluierung umfasst fünf Benchmarks: LifelongAgentBench (DB, OS), MemoryArena (Math, Physics), AMA-Bench (CI, SU, SA), InterCode (Bash, CTF, SQL) und MiniHack.

Leistungssteigerungen: OPD-Evolver-9B erzielte die besten Ergebnisse in 9/10 Teilbereichen im Vergleich zu Gedächtnis-Baselines mit demselben Backbone. Es übertraf die stärkste Gedächtnis-Baseline (ReasoningBank) um bis zu 11,5 % und trainingsbasierte Methoden (Skill0) um ~5,8 %.
Skalierungseffizienz: OPD-Evolver-9B übertraf die Leistung des 196-Milliarden-Parameter-Modells STEP-3.5-FLASH in 9/10 Teilbereichen und übertraf das 397-Milliarden-Parameter-Modell QWEN3.5-397B in 6/10 Teilbereichen, was zeigt, dass eine Evolution auf Lebenszyklus-Ebene kompakte Agenten wettbewerbsfähig mit Giganten machen kann.
Ablationsstudien: Das Entfernen einer Komponente (Slow-Evolution, Gedächtnis-Attribution, Selektion, Writing-Distillation oder Wartung) führte zu einer Leistungsverschlechterung. Das Entfernen der Gedächtnis-Attribution verursachte den größten Abfall, was die Bedeutung der ergebnis-kalibrierten Aufsicht unterstreicht.
Internalisierung: Die Analyse zeigte, dass die Slow-Loop-Distillation hochwertige Erfahrungen internalisiert, was es dem Agenten ermöglicht, Aufgaben mit weniger Schritten und höheren Erfolgsraten auszuführen, selbst wenn zum Testzeitpunkt kein externes Gedächtnis-Retrieval stattfindet.

Bedeutung und Ansprüche

Die Arbeit beansprucht einen Paradigmenwechsel: weg vom Bau von Agenten, die Erfahrung lediglich speichern, hin zur Kultivierung von Agenten, die Erfahrung kontinuierlich in ihre eigene Kapazität zur Evolution transformieren können. Durch die Vereinigung des ErfahrungslLebenszyklus in einer einzigen Policy, die mittels On-Policy-Distillation trainiert wird, ermöglicht OPD-Evolver Agenten, transferierbare Kompetenzen auf Lebenszyklus-Ebene zu erlernen. Die Autoren legen nahe, dass dieser Ansatz über eine einfache Gedächtniserweiterung hinausgeht und hin zu echten, qualifizierten Agenten-Evolvierern führt, die in der Lage sind, sich über heterogene Domänen hinweg selbst zu verbessern.