🤖 AI

What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents

Dieser Beitrag stellt SERL vor, ein selektives Lernframework mit umgewichtetem Umgebungsfeedback, das Multi-Turn-LLM-Agenten durch die strategische Verdichtung spezifischer, handlungsrelevanter Umgebungsfeedbacks zur Bewältigung von Herausforderungen bei der Kreditvergabe über lange Zeiträume verbessert und auf den Benchmarks ALFWorld und WebShop State-of-the-Art-Ergebnisse erzielt.

Ursprüngliche Autoren: Xiaozhe Li, Tianyi Lyu, Yang Li, Yichuan Ma, Peiji Li, Linyang Li, Qipeng Guo, Dahua Lin, Kai Chen

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaozhe Li, Tianyi Lyu, Yang Li, Yichuan Ma, Peiji Li, Linyang Li, Qipeng Guo, Dahua Lin, Kai Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter Butler, der ein unordentliches Haus aufräumen soll. Der Roboter muss eine lange Liste von Dingen erledigen: zur Küche gehen, nach einer Schüssel suchen, sie aufnehmen, waschen, trocknen und auf ein Regal stellen.

Das Problem: Das Problem des „einen großen Notens"
Beim traditionellen Training erhält der Roboter am Ende des Tages eine einzige Note.

Wenn die Schüssel sauber im Regal landet, bekommt der Roboter eine A+.
Wenn die Schüssel zerbricht, bekommt der Roboter eine F.

Das Problem ist, dass der Roboter nicht weiß, welche spezifische Aktion die Note verdient hat. Hat er die A+ bekommen, weil er die Schüssel richtig aufgehoben hat? Oder weil er zum Waschbecken gegangen ist? Oder hatte er einfach nur Glück?
Bei einer langen Liste von 20 Schritten waren vielleicht nur 3 Schritte tatsächlich entscheidend (Aufheben, Waschen, Abstellen). Die anderen 17 Schritte waren nur Herumlaufen oder Kühlschrank-Überprüfen. Wenn Sie dem Roboter eine A+ für den ganzen Tag geben, könnte er denken: „Toll! Ich sollte weiter im Kreis laufen, denn das hat mir die Note eingebracht!" Dies wird als Kreditzuweisungsproblem bezeichnet.

Die alte Lösung: Der „übermäßig aufmerksame" Lehrer
Einige Forscher versuchten, dies zu beheben, indem sie einen superklugen Lehrer engagierten, der den Roboter beobachtet. Der Lehrer sieht alles: die Aktionen des Roboters, das unmittelbare Ergebnis (z. B. „Schüssel ist nass") und sogar die Zukunft (z. B. „Die Schüssel steht jetzt im Regal").
Der Lehrer sagt dem Roboter dann: „Tu genau das, was ich sehe."

Der Fehler: Der Lehrer sieht Dinge, die der Roboter nicht sehen kann, während er die Entscheidung trifft. Zum Beispiel weiß der Lehrer, dass die Schüssel zerbrechen wird, wenn man sie fallen lässt, aber der Roboter weiß das noch nicht. Wenn der Roboter den Lehrer blind kopiert, lernt er, sich auf „magisches Wissen" zu verlassen, das er eigentlich nicht hat. Wenn der Roboter später versucht, die Aufgabe allein zu erledigen, scheitert er, weil er durch das Betrachten des Lösungsschlüssels „gecheatet" hat.

Die neue Lösung: SERL (Selektives Umgebungs-Reweight-Lernen)
Dieser Artikel stellt SERL vor, einen intelligenteren Weg, diesen Lehrer zu nutzen. Betrachten Sie SERL als einen Trainer, der einen sehr spezifischen Satz von Regeln anwendet:

Der Trainer setzt die Richtung (Die Belohnung):
Die endgültige Note (A+ oder F) ist das einzige Ding, das entscheidet, in welche Richtung sich der Roboter bewegen soll. Wenn die Aufgabe erfolgreich war, weiß der Roboter, dass er weitermachen soll, wie er es getan hat. Wenn er gescheitert ist, weiß er, dass er aufhören soll. Dies stellt sicher, dass der Roboter immer versucht, das eigentliche Problem zu lösen, und nicht nur den Lehrer nachahmt.
Der Lehrer regelt die Lautstärke (Die Destillation):
Der Lehrer sagt dem Roboter nicht, was er tun soll. Stattdessen wirkt der Lehrer wie ein Lautstärkeregler.
- Wenn der Roboter eine Bewegung macht, die der Lehrer als zu einem guten Ergebnis führend erkennt (basierend auf sofortigem Feedback wie „Schüssel ist nass"), dreht der Lehrer die Lautstärke bei dieser spezifischen Aktion HERAUF. „Ja! Tu das nochmal!"
- Wenn der Roboter eine Bewegung macht, die zu einem Chaos führt, dreht der Lehrer die Lautstärke HERUNTER. „Nein, tu das nicht."
- Entscheidend ist, dass der Lehrer die „Denk"-Schritte des Roboters (wie „Hmm, wo ist die Schüssel?") ignoriert und die Lautstärke nur bei den Aktions-Schritten (wie „Schüssel aufnehmen") regelt.
Der „Selektive" Teil:
Der Artikel hat ergeben, dass der Lehrer nicht die gesamte Zukunft sehen muss, um hilfreich zu sein. Tatsächlich verwirrt zu viel zukünftige Information den Roboter.
- Bestes Feedback: Das nützlichste Signal ist das unmittelbare Ergebnis der Aktion (z. B. „Sie haben die Schüssel aufgehoben, und sie ist nicht heruntergefallen").
- Platzierung: Sie müssen den Roboter nicht nach jedem einzelnen Wort korrigieren, das er tippt. Sie müssen ihn nur korrigieren, wenn er eine bedeutende Veränderung in der Welt vornimmt (wie den Wechsel vom Wohnzimmer in die Küche). Dies wird als Anker-Ebene-Feedback bezeichnet.

Die Analogie des Videospiels
Stellen Sie sich vor, Sie spielen ein Videospiel, bei dem Sie erst ganz am Ende einen „Game Over"- oder „Level Complete"-Bildschirm erhalten.

Standard-RL: Sie versuchen zu erraten, welcher Tastendruck den Tag gerettet hat.
Alte Destillation: Ein Freund steht hinter Ihnen, sieht das ganze Level und flüstert: „Drücke jetzt X!" Aber Sie können nicht sehen, was er sieht, also werden Sie verwirrt.
SERL: Sie erhalten immer noch nur den „Level Complete"-Bildschirm am Ende, um Ihnen zu sagen, ob Sie gewonnen haben. Aber ein Trainer beobachtet Ihren Bildschirm. Wenn Sie eine Taste drücken und sofort eine Tür aufgeht, ruft der Trainer: „Gute Arbeit!" (Lautstärke hoch). Wenn Sie eine Taste drücken und in eine Grube fallen, sagt der Trainer: „Schlechter Zug" (Lautstärke runter). Der Trainer sagt Ihnen nicht, was Sie als Nächstes drücken sollen; er sagt Ihnen nur, wie wichtig die Taste war, die Sie gerade gedrückt haben.

Die Ergebnisse
Die Forscher testeten dies an zwei komplexen Aufgaben:

ALFWorld: Ein virtuelles Haus, in dem der Roboter Objekte finden und bewegen muss.
WebShop: Ein virtueller Online-Shop, in dem der Roboter nach bestimmten Artikeln suchen und diese kaufen muss.

SERL schlug alle anderen Methoden. Es lernte schneller und war erfolgreicher, weil es nicht auf „magisches Wissen" vom Lehrer angewiesen war. Es nutzte die unmittelbaren Reaktionen des Lehrers, um die wichtigsten Züge hervorzuheben, und ließ das Signal für den endgültigen Erfolg/Misserfolg die Gesamtstrategie leiten.

Die große Erkenntnis
Um einen KI-Agenten zu lehren, lange, komplexe Aufgaben zu erledigen, brauchen Sie keinen Lehrer, der die Zukunft sieht. Sie brauchen nur einen Lehrer, der dem Agenten sofort sagen kann: „Dieser spezifische Zug, den Sie gerade gemacht haben, war das Richtige (oder Falsche) zu tun", und das Endergebnis den übergeordneten Zweck entscheiden lässt. Weniger „privilegierte" Informationen und mehr „verankertes" Feedback funktionieren besser.

Technische Zusammenfassung: Was und wann zu destillieren ist: Selektive Hindsight-Destillation für Multi-Turn-Agenten

1. Problemstellung

Reinforcement Learning (RL) ist ein primäres Paradigma zum Trainieren von Large Language Model (LLM)-Agenten in langfristigen, interaktiven Umgebungen (z. B. Web-Navigation, embodied tasks). Ein kritischer Engpass besteht jedoch in der Zuordnung von Verdiensten (Credit Assignment): Spärliche, auf Trajektorien-Ebene liegende Erfolgssignale (z. B. eine einzelne Belohnung „Aufgabe abgeschlossen") müssen über Dutzende von Aktionen verteilt werden, von denen viele routinemäßige Navigations- oder Formatierungsschritte ohne kausale Auswirkung auf das Ergebnis sind.

Bestehende Methoden stoßen auf zwei Hauptgrenzen:

Grobe Zuordnung von Verdiensten: Gruppenrelative Methoden wie GRPO übertragen einen einzigen Vorteil auf Trajektorien-Ebene auf jedes Token und behandeln entscheidende Entscheidungen und inerte Interface-Token identisch.
Privilegierte Informationsleckage bei der Destillation: Während on-policy Selbstdestillation (OPD) eine dichte Token-Level-Überwachung durch ein „Lehrer"-Modell bieten kann, das Umgebungsfeedback (Hindsight) beobachtet, birgt die unselektierte Imitation das Risiko, Informationen zu offenbaren, die dem Schüler zum Entscheidungszeitpunkt nicht zur Verfügung stehen (z. B. zukünftige Beobachtungen, Fehlermeldungen). Dies kann stilistische Präferenzen verstärken, die nichts mit dem Aufgabenerfolg zu tun haben, und das Training destabilisieren.

Die Kernherausforderung besteht darin, zu bestimmen, welche Feedbackquellen nützlich sind, wo (mit welcher Granularität) sie angewendet werden sollten und wie sie integriert werden können, ohne den kausalen Zusammenhang zwischen der Entscheidung des Agenten und der finalen Belohnung zu beeinträchtigen.

2. Methodik: SERL

Die Autoren schlagen SERL (Selective Environment-Reweighted Learning) vor, ein Framework, das die Richtung des Updates von der Stärke und Platzierung des Updates entkoppelt.

Grundprinzip

Aufgabenbelohnung: Bestimmt die Richtung des Policy-Updates (ob ein Verhalten verstärkt oder unterdrückt werden soll).
Umgebungsfeedback: Passt nur die Platzierung (welche Tokens) und die Stärke (wie stark) dieses Updates an.

Schlüsselkomponenten

A. Hindsight-Platzierung (Quelle und Granularität)

SERL erkundet systematisch den Designraum von Feedbackquellen und Einfügepunkten:

Feedbackquellen: Sofortiges Feedback ( $r_t$ ), nächste Beobachtung ( $s_{t+1}$ ), zukünftige Trajektorie ( $\tau_{>t}$ ), erfolgreiche Trajektorien ( $\tau_+$ ) und Kombinationen.
Granularitäten:
- Schritt-Ebene: Wendet Feedback auf jeden Übergang an.
- Anker-Ebene: Gruppiert semantisch ähnliche Zustände zu „Ankern" und wendet Feedback nur bei bedeutungsvollen Zustandsänderungen an, um Redundanz und Rauschen zu reduzieren.

B. Asymmetrischer Lehrer-Schüler-Mechanismus

SERL verwendet eine Stop-Gradient-Lehrer-Policy ( $\pi_T$ ), die auf platziertem Hindsight $\Phi(t)$ konditioniert ist, während der Schüler ( $\pi_\theta$ ) nur den Kontext zum Entscheidungszeitpunkt sieht.

Log-Wahrscheinlichkeits-Lücke: Das System berechnet die Lücke zwischen den Log-Wahrscheinlichkeiten des Lehrers und des Schülers für ein Token: $\Delta_{t,i} = \log \pi_T - \log \pi_\theta$ .
Vorzeichenbewusste Neugewichtung: Diese Lücke wird in ein begrenztes Gewicht $w_{t,i}$ $w_{t, i}$ umgewandelt, das den GRPO-Vorteil modifiziert. Entscheidend ist, dass das Vorzeichen des ursprünglichen GRPO-Vorteils ( $A_t$ $A_{t}$ ) bestimmt, wie die Lücke interpretiert wird:
- Wenn $A_t > 0$ (erfolgreiche Trajektorie), erhalten Tokens, die vom Lehrer bevorzugt werden, größere positive Updates.
- Wenn $A_t < 0$ (gescheiterte Trajektorie), werden vom Lehrer abgelehnte Tokens stärker bestraft.
Maskierung von Aktionstokens: Die Neugewichtung ist auf ausführbare Aktionstokens beschränkt. Reasoning- und Formatierungstokens behalten ihre ursprünglichen GRPO-Gewichte, wodurch verhindert wird, dass der Lehrer nicht-entscheidende Teile der Generierung beeinflusst.
Abkling-Schedule: Die Stärke der Hindsight-Neugewichtung ( $\alpha_k$ ) wird während des Trainings abgeklungen. Frühe Phasen nutzen dichtes Hindsight für die Zuordnung von Verdiensten während der Exploration; spätere Phasen geben die Kontrolle an das belohnungsgetriebene Ziel zurück, um eine anhaltende privilegierte Verzerrung zu verhindern.

C. Zielfunktion

Das finale Ziel kombiniert den neu gewichteten RL-Verlust ( $\mathcal{L}_{rw}$ ) mit einem leichten, nur auf Aktionen beschränkten Destillationsterm ( $\mathcal{L}_{act}$ ):
$\mathcal{L}_{SERL} = \mathcal{L}_{rw} + \lambda \mathcal{L}_{act}$
Dies stellt sicher, dass privilegiertes Hindsight niemals die Richtung des vollständigen Antwort-Updates diktiert, sondern als begrenzte, auf Aktionen bezogene Verdienstanpassung dient.

3. Hauptbeiträge

Systematische Studie des Feedback-Designs: Die erste umfassende Analyse von Umgebungsfeedback für RL von LLM-Agenten mit langem Horizont, die fünf Feedbackquellen und zwei Einfügegranularitäten über ALFWorld und WebShop hinweg bewertet.
SERL-Framework: Ein GRPO-kompatibles Ziel, das privilegiertes Hindsight in eine begrenzte, auf Aktionen bezogene Neugewichtung des Policy-Gradienten umwandelt und dabei die Optimierungrichtung beibehält, die an die Aufgabenbelohnung gekoppelt ist.
Empirische Erkenntnisse: Der Nachweis, dass effektives Feedback nicht einfach der „reichste" Kontext ist. Fundierte, auf Aktionen bezogene Signale an semantisch bedeutungsvollen Einfügepunkten (Anker-Ebene) schneiden konsistent besser ab als die unselektierte Verwendung längerer oder privilegierterer Kontexte.

4. Experimentelle Ergebnisse

Experimente wurden an ALFWorld (embodied decision-making) und WebShop (Online-Shopping-Navigation) durchgeführt, wobei Qwen2.5-7B-Instruct als Basismodell verwendet wurde.

Leistung: SERL erreichte eine durchschnittliche Erfolgsrate von 90,0 % auf ALFWorld und 80,1 % auf WebShop.
Vergleiche:
- Übertraf starke RL-Baselines (z. B. GRPO, HGPO) mit signifikanten Margen (z. B. +14,7 Punkte bei der durchschnittlichen Erfolgsrate auf ALFWorld gegenüber GRPO).
- Übertraf RL-Destillation-Hybride (z. B. SDPO, RLSD), die oft unter inkonsistenten Gewinnen oder Instabilität bei langfristigen Aufgaben litten.
Ablationsstudien:
- Quelle: Die Kombination aus erfolgreichen Trajektorien + sofortigem Feedback erzielte die besten Ergebnisse, was darauf hindeutet, dass Referenzverhalten in der tatsächlichen Transition des aktuellen Rollouts fundiert sein muss.
- Granularität: Die Platzierung auf Anker-Ebene schnitt bei Multi-Source-Feedback im Allgemeinen besser ab als die Platzierung auf Schritt-Ebene, da sie redundante Updates unterdrückte und gleichzeitig kausale Signale bewahrte.
- Abklingen: Das Abklingen des Lehrersignals war entscheidend; die gleichmäßige Verwendung von Hindsight während des gesamten Trainings führte zu suboptimaler Leistung aufgrund von privilegiertem Informationsleckage in späteren Phasen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass der primäre Engpass im Agenten-RL nicht lediglich die Varianzreduktion bei der Gradientenschätzung ist, sondern die Fehlausrichtung der Zuordnung von Verdiensten in langen Trajektorien.

Fundiert vs. Reich: Die Studie hinterfragt die Annahme, dass mehr Kontext (z. B. vollständige zukünftige Trajektorien) immer besser ist. Stattdessen argumentiert sie, dass fundierte, auf Aktionen bezogene Signale an semantisch bedeutungsvollen Punkten überlegen sind, da sie die kausale Ausrichtung mit den spezifischen Entscheidungen des Agenten bewahren.
Gesteuerte Destillation: SERL zeigt, dass Destillation in RL integriert werden kann, ohne Instabilität zu verursachen, wenn das Lehrersignal asymmetrisch verwendet wird – als Koeffizient für die Größenanpassung und nicht als direktes Ziel für die Imitation.
Designprinzipien: Die Arbeit etabliert, dass effektives Agenten-RL die Ausrichtung von drei Designentscheidungen erfordert: die Quelle des Feedbacks, die Platzierung (Granularität) dieses Feedbacks und die Stärke seines Einflusses auf das Policy-Update.

Indem sie das „Was und Wann" der Destillation adressiert, bietet SERL einen stabilen Weg zum Training von Multi-Turn-Agenten, die dichtes Umgebungsfeedback effektiv nutzen können, ohne den Fallstricken privilegierten Informationsleckages zu erliegen.