🤖 machine learning

Agentic Reinforcement Learning with Self-Distilled Reward Shaping

Dieses Paper führt Agentic Reinforcement Learning mit Self-Distilled Reward Shaping (ADRS) ein, ein Framework, das die Performance von Sprachagenten bei langfristigen Aufgaben durch die Generierung von ertragsassoziierter Token-Level-Kreditierung mittels selbst-destillierter, privilegierter Skill-Signale verbessert, welche gemeinsam durch Lehrer-Konfidenz und realisierte Erträge kalibriert und gesteuert werden.

Ursprüngliche Autoren: Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

Veröffentlicht 2026-08-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, durch ein riesiges, unordentliches Haus zu navigieren, um einen bestimmten Gegenstand zu finden, wie zum Beispiel eine warme Tasse Tee. Sie können dem Roboter nicht einfach nur sagen: „Gut gemacht!“, erst nachdem er den Tee schließlich gefunden hat. Wenn Sie bis dahin warten, wird der Roboter nicht wissen, welche spezifischen Schritte hilfreich waren – hat er die richtige Tür geöffnet? Hat er die richtige Tasse aufgehoben? Oder ist er einfach zehn Minuten lang herumgewandert und hatte am Ende nur Glück? Dies ist das Kernproblem des Bestärkenden Lernens (Reinforcement Learning): Wie gibt man den kleinen, zwischenzeitlichen Entscheidungen die Anerkennung, die zu einem großen Erfolg führen, besonders wenn die Belohnung selten und weit entfernt ist?

Um dies zu lösen, verwenden Wissenschaftler oft einen Trick namens Selbst-Destillation (Self-Distillation). Stellen Sie sich das wie einen Schüler vor, der eine Prüfung ablegt und unmittelbar danach derselbe Schüler ist, der als strenger Lehrer seine eigenen Antworten bewertet. Die „Lehrer“-Version besitzt ein spezielles Referenzblatt (genannt „privilegierte Informationen“), das der „Schüler“ während der Prüfung nicht hatte. Indem wir vergleichen, was der Schüler getan hat mit dem, was der Lehrer mit dem Referenzblatt getan hätte, können wir herausfinden, welche Züge klug waren und welche nur Glück. Es gibt jedoch einen Haken: Nur weil der Lehrer denkt, dass eine Antwort „gut“ ist, bedeutet das nicht, dass sie tatsächlich zum richtigen Ergebnis geführt hat. Der Lehrer könnte zwar sicher, aber falsch liegen, oder unsicher über eine Bewegung sein, die zum Erfolg führt.

Dies führt zu einer neuen Studie von Forschern der University of Science and Technology of China und der Alibaba Group. Sie gingen dem Problem auf den Grund, wie man diese „Lehrer-Zuversicht“ nimmt und sie in einen zuverlässigen Leitfaden für den nächsten Schritt des Roboters verwandelt, ohne dass der Roboter das Referenzblatt während des eigentlichen Spiels jemals benutzt. Sie nennen ihre neue Methode ADRS (Agentic Reinforcement Learning with Self-Distilled Reward Shaping).

Die Forscher fanden heraus, dass es nicht funktioniert, einfach die Punktzahl des Lehrers zu kopieren, da die Zuversicht des Lehrers irreführend sein kann. Manchmal ist sich der Lehrer einer Bewegung sehr sicher, die zu einem Scheitern führt, oder er ist unsicher über eine Bewegung, die zum Erfolg führt. Um dies zu beheben, fungiert ADRS wie ein intelligenter Filter. Zuerst normalisiert es die Punktzahlen des Lehrers, damit sie über verschiedene Teile der Aufgabe hinweg fair vergleichbar sind. Dann prüft es, ob die Zuversicht des Lehrers tatsächlich mit dem Endergebnis übereinstimmt (hat die selbstbewusste Bewegung zu einem Sieg geführt?). Wenn die Zuversicht und das Ergebnis übereinstimmen, verstärkt der Filter die Punktzahl dieses Zuges; wenn sie nicht übereinstimmen, dämpft er das Signal ab. Schließlich injiziert es dieses verfeinerte Signal direkt in den Lernprozess des Roboters, bevor der Roboter entscheidet, was er als Nächsten tun soll.

Die Ergebnisse deuten darauf hin, dass diese Methode sehr effektiv ist. Als sie bei drei verschiedenen anspruchsvollen Aufgaben getestet wurde – der Navigation durch ein virtuelles Haus, dem Einkaufen auf einer simulierten Website und der Suche nach Antworten im Internet – half ADRS den KI-Agenten konsequent dabei, besser zu werden, insbesondere bei langen, komplizierten Aufgaben. Beispielsweise half die Methode bei der Aufgabe der Hausnavigation einem spezifischen KI-Modell, eine Erfolgsquote von 94,5 % zu erreichen, womit sie frühere Bestleistungen deutlich übertraf. Die Studie zeigte auch, dass die KI diese Fähigkeiten mit weniger Trainingsdaten als üblich erlernte und auch dann gut funktionieren konnte, wenn die Aufgaben etwas anders oder schwieriger wurden. Entscheidend war, dass die Forscher demonstrierten, dass die KI das „Referenzblatt“ während des eigentlichen Spiels nicht benötigte; sie benötigte es nur während der Trainingsphase, um zu lernen, wie sie selbstständig bessere Entscheidungen trifft. Dies deutet darauf hin, dass, indem wir die Art und Weise, wie wir der Meinung eines „Lehrers“ basierend auf realen Ergebnissen vertrauen, sorgfältig kalibrieren, KI-Agenten viel zuverlässiger und effizienter darin machen können, komplee, mehrstufige Probleme zu lösen.

Technisches Resümee: Agentic Reinforcement Learning mit Self-Distilled Reward Shaping (ADRS)

Problemstellung

Agentic Reinforcement Learning (RL) ermöglicht es Large Language Model (LLM) Agenten, durch Interaktion mit Umgebungen zu lernen. Standardmäßiges agentisches RL verlässt sich jedoch typischerweise auf spärliche, auf Trajektorien-Ebene basierende terminale Belohnungen. Während diese Belohnungen angeben, ob eine Trajektorie erfolgreich war, versäumen sie es zu identifizieren, welche zwischenzeitlichen Entscheidungen (Abfragen oder Aktionen) die Anerkennung verdienen. Diese Spärlichkeit erschwert die zeitliche Kreditzuweisung (Temporal Credit Assignment) auf Token-Ebene, selbst für kreitikerfreie, gruppenrelative Methoden wie GRPO und GiGPO.

Obwohl natürliche Sprachfertigkeiten (z. B. Subziele, Aktionsregeln) dichtere Führung bieten können, haben bestehende Methoden Schwierigkeiten, diese Informationen effektiv zu integrieren. Insbesondere stehen aktuelle Ansätze vor drei technischen Herausforderungen beim Umgang mit „privilegierten“ Informationen (Fertigkeiten, die nur während des Trainings verfügbar sind):

Score-Kalibrierung: Rohe Log-Wahrscheinlichkeiten von Lehrern variieren in Offset und Skalierung über Interaktionsschritte hinweg aufgrund von Kontextlänge und Antwortzusammensetzung, was sie unvergleichbar macht.
Zuverlässigkeitsschätzung: Eine hohe Konfidenz des Lehrers korreliert nicht zwangsläufig mit höheren realisierten Erträgen; ein Lehrer kann linguistisch kanonische Entscheidungen bevorzugen, die jedoch nicht zum Ziel der Aufgabe führen.
Kredit-Integration: Bestehende Methoden behandeln privilegierte Supervision oft als separates Hilfsziel, was die Token-Ebene-Updates möglicherweise mit der nativen Reward-zu-Advantage-Konstruktion des RL-Backbones inkonsistent macht.

Methodik: ADRS-Framework

Die Autoren schlagen Agentic Reinforcement Learning with Self-Distilled Reward Shaping (ADRS) vor, ein Framework, das prozedurale Fertigkeiten, die passend zur Aufgabe sind, in ertragsassoziierte Token-Ebene-Belohnungen umwandelt, ohne dass diese Fertigkeiten während des Rollouts oder der Inferenz erforderlich sind. ADRS operiert als Kreditkonstruktionsschicht zwischen der Trajektoriensammlung und der Akteur-Optimierung und adressiert die drei Herausforderungen über drei gekoppelte Module:

1. Within-Step Relative Privileged Scoring (Score-Kalibrierung)

Um die Unvergleichbarkeit roher Scores über Schritte hinweg zu adressieren, bewertet ADRS die vom Studenten generierten Token unter Verwendung eines eingefrorenen Policy-Snapshots unter einem privilegierten Kontext (aufgabenangepasste Fertigkeiten) neu. Es wendet anschließend eine innerhalb-des-Schritts zentrierte und skalierte Normalisierung an:

Es berechnet die mittlere Log-Wahrscheinlichkeit ( $b_s$ ) der privilegierten Scores innerhalb eines spezifischen Interaktionsschritts.
Es berechnet die signierte Abweichung ( $q_{s,j}$ ) jedes Tokens von diesem Mittelwert.
Es normalisiert durch die Standardabweichung ( $\sigma_q$ ) der Abweichungen innerhalb des Schritts.
Dies ergibt einen zentrierten, skalengesteuerten Score ( $\hat{q}_{s,j}$ ), der die relative Token-Präferenz innerhalb eines Entscheidungsschritts darstellt und so den schrittabhängigen Drift unterdrückt, während die Rohwerte für die anschließende Zuverlässigkeitsschätzung erhalten bleiben.

2. Return-Associated TVA Reliability Gating (Zuverlässigkeitsschätzung)

Um sicherzustellen, dass das privilegierte Signal mit dem tatsächlichen Aufgabenerfolg übereinstimmt, führt ADRS ein Teacher Value Advantage (TVA) Gate ein. Dieses Gate moduliert das normalisierte Signal basierend auf der Assoziation zwischen privilegierter Konfidenz und realisierten Erträgen innerhalb einer Vergleichsgruppe (z. B. Trajektorien für denselben Prompt in GRPO oder Ankerzustände in GiGPO).

Die Methode berechnet ein weiches High-Confidence-Gewicht ( $\alpha_u$ ) für jede Einheit (Trajektorie oder Schritt) basierend auf ihrer durchschnittlichen privilegierten Log-Wahrscheinlichkeit.
Sie kontrastiert die Erträge von High-Confidence-Einheiten ( $\mu^+_g$ ) mit Low-Confidence-Einheiten ( $\mu^-_g$ ).
Die Differenz ( $d_g$ ) dient als skalarer Gate ( $m_u$ ). Wenn höhere Konfidenz mit höheren Erträgen korreliert, verstärkt das Gate das Signal; wenn nicht, unterdrückt es das Signal.
Proposition 1 etabliert, dass das Vorzeichen des TVA-Gates der empirischen Kovarianz zwischen privilegierter Konfidenz und Ertrag innerhalb der Gruppe entspricht.

3. Teacher-Guided Per-Token Advantage Modulation (Kredit-Integration)

Anstatt einen separaten Hilfs-Loss zu verwenden, integriert ADRS das gesteuerte Signal in den nativen Reward-zu-Advantage-Pfad vor der Advantage-Konstruktion.

Teacher Reward: Der gesteuerte, normalisierte Score wird in eine Token-Ebene-Belohnung umgewelt ( $r^T_{s,j} = \eta m_{s,j} \hat{q}_{s,j}$ ).
Shaped Reward: Diese wird zur Basis-Umweltbelohnung addiert ( $\tilde{r}_{s,j} = r^{base}_{s,j} + r^T_{s,j}$ ).
Advantage-Konstruktion: Die geformte Belohnung wird durch den Standard-Advantage-Operator (z. B. GRPO oder GiGPO) geleitet.
Dualer Pfad: Da der schrittzentrierte Teacher-Reward in der Summe Null ergibt (Proposition 2), bleibt die Trajektorien-Summe unverändert, wodurch die durch die Umgebung definierte Ergebnisrichtung bewahrt wird. Jedoch wird der Vorteil auf Token-Ebene umverteilt ( $A^{ADRS} = A^{traj} + \eta Z^T$ ), was es der Policy ermöglicht zu lernen, welche spezifischen Token innerhalb einer erfolgreichen Trajektorie am kritischsten waren.

Zentrale Beiträge

ADRS-Framework: Eine Methode des Self-Distilled Reward Shaping, die ausschließlich während des Trainings verfügbare prozedurale Fertigkeiten in ertragsassoziierte Token-Belohnungen transformiert. Es kombiniert einzigartig die innerhalb-des-Schritts Score-Kalibrierung und das TVA-Gating, während Rollouts und Inferenz frei von diesen Fertigkeiten bleiben.
Native Integration: Die Autoren formulieren das gesteuerte Signal als Pre-Advantage Reward Shaping, wodurch das privilegierte Signal direkt in die native RL-Kreditkonstruktion integriert wird, anstatt als separates Hilfsziel zu fungieren. Sie charakterisieren dessen Kompatibilität mit GRPO/GiGPO sowie seine lokale erstordnungsmäßige Äquivalenz zu gesampelten Token-Hilfs-Updates.
Empirische Validierung: Umfangreiche Experimente über drei interaktive Benchmarks (ALFWorld, Search-based QA, WebShop) zeigen konsistente Leistungssteigerungen.

Experimentelle Ergebnisse

Das Paper evaluiert ADRS auf Qwen2.5 (3B, 7B) und Qwen3 (1.7B) Modellen über drei Benchmarks:

State-of-the-Art Performance: ADRS erreicht neue State-of-the-Art-Ergebnisse auf allen drei Benchmarks. Beispielsweise erreicht es mit Qwen2.5-3B eine Erfolgsquote von 94,5 % auf ALFWorld (eine Verbesserung von 10,1 Prozentpunkten gegenüber dem stärksten Baseline-Modell) und 45,0 % Makro-Durchschnitt auf Search-based QA.
Langfristige Aufgaben (Long-Horizon Tasks): ADRS zeigt besondere Stärke bei langfristigen prozeduralen Aufgaben (ALFWorld), indem es die Leistungssteigerungen über einen längeren Trainingszeitraum (300 Schritte) und über verschiedene RL-Backbones (GRPO und GiGPO) hinweg aufrechterhält.
Dateneffizienz: ADRS übertrifft vollständige GRPO-Baselines unter Verwendung von nur 60 % der verfügbaren Trainingsdaten.
Generalisierung: Die Methode transferiert effektiv auf ungesehene Task-Splits in ALFWorld und verbessert die Erfolgsraten in den meisten Kategorien.
Mechanismus-Analyse: Die diagnostische Analyse zeigt, dass ADRS den Update-Kontrast auf aufgabenrelevante Aktions- und Objekt-Token konzentriert und diese von generischen Stil-Token trennt, was die Effektivität in langfristigen Interaktionen erklärt.

Bedeutung und Behauptungen

Das Paper behauptet, dass ADRS die fundamentale Herausforderung erfolgreich adressiert, die Kreditzuweisung für zwischenzeitliche Entscheidungen im agentischen RL vorzunehmen. Durch die Umwandlung von ausschließlich während des Trainings verfügbarem privilegiertem Wissen in ein Signal, das kalibriert (über Schritte hinweg vergleichbar), zuverlässig (mit Erträgen assoziiert) und integriert (nativ zum RL-Ziel) ist, ermöglicht ADRS es Agenten, effektiver aus spärlichem Feedback zu lernen.

Die Autoren betonen, dass ADRS während der Inferenz keine privilegierten Informationen benötigt, was es zu einem praktischen Framework für den Einsatz von fertigkeitsfreien Agenten macht, die von fertigkeitsgestütztem Training profitiert haben. Die Ergebnisse legen nahe, dass ausschließlich während des Trainings verfügbares prozedurales Wissen effektiv in Token-Ebene-Kredite umgewandelt und direkt in die native Reward-zu-Advantage-Konstruktion integriert werden kann, was einen robusten Weg zur Verbesserung von Multi-Turn-Language-Agenten bietet.