Co-Evolution of Policy and Internal Reward for Language Agents

1. Problemstellung

Sprachagenten (LLM-Agenten), die in langfristigen interaktiven Umgebungen (z. B. Web-Navigation, wissenschaftliche Experimente) agieren, stehen vor dem fundamentalen Problem des spärlichen und verzögerten Rewards.

• Das Dilemma: Feedback erfolgt oft nur am Ende einer langen Trajektorie (z. B. Erfolg/Misserfolg der Aufgabe). Daraus lässt sich nicht ableiten, welche Zwischenschritte hilfreich waren und welche redundant oder schädlich waren.
• Folgen: Dies erschwert sowohl die Entscheidungsfindung zur Laufzeit (Inference) als auch das Training der Policy (Policy Improvement).
• Bestehende Ansätze:
  • Post-hoc Credit Assignment: Nachträgliche Umverteilung von Credits nach dem Sammeln von Trajektorien (oft ineffizient).
  • Externe Reward-Modelle: Erstellen separater Modelle zur Bewertung von Zwischenschritten, was Rechenkosten erhöht und zu einer Diskrepanz zwischen der Policy-Verteilung und dem Reward-Modell führen kann.
  • Gemeinsames Problem: Diese Signale werden meist erst nach dem Rollout für das Training genutzt, nicht aber zur Steuerung der nächsten Aktion während des Rollouts.

2. Methodik: Self-Guide

Die Autoren schlagen Self-Guide vor, ein Framework, das eine selbsterzeugte interne Belohnung (Internal Reward) nutzt, die sowohl zur Laufzeit als auch während des Trainings dient.

Kernkonzept

Der Agent generiert in jedem Schritt $t$ ein kurzes, verbales Selbstführungs-Signal ($z_t$), bevor er eine Aktion $a_t$ ausführt.

1. Inference-Time (Laufzeit): Das Signal $z_t$ dient als Kontext, um die nächste Aktion zu steuern. Der Agent bewertet seinen aktuellen Pfad („Mache ich Fortschritte?", „Bin ich vom Kurs abgekommen?") und handelt basierend auf dieser Bewertung.
2. Training-Time (Training): Dasselbe Signal $z_t$ wird in einen skalaren internen Reward ($r^{sg}_t$) umgewandelt (z. B. +0.1 für positiv, 0 für neutral, -0.1 für negativ). Dieser wird mit dem spärlichen Umgebungs-Reward ($R_{env}$) kombiniert, um einen dichteren Trainings-Signal zu erzeugen.

Der Co-Evolutions-Zyklus

Es entsteht ein sich selbst verstärkender Kreislauf:

• Eine bessere Policy erzeugt bessere Selbstführungs-Signale.
• Bessere Signale liefern präzisere interne Rewards.
• Diese Rewards verbessern wiederum die Policy.

Stufenweiser Vertrauensplan (Stage-Wise Trust Schedule)

Da das selbstgenerierte Signal zu Beginn des Trainings noch unreif und unzuverlässig ist, wird ein trapezförmiger Plan $\lambda(u)$ eingeführt, um die Nutzung des internen Rewards zu steuern:

• Phase I (Warm-up): Nur Selbstführung zur Laufzeit ($\lambda = 0$). Der Agent lernt, Signale zu generieren und zu nutzen, ohne dass diese als Reward für das Training zählen.
• Phase II (Aktivierung): $\lambda$ wird linear von 0 auf 1 erhöht. Der interne Reward wird schrittweise aktiviert, um den Agenten an das dichtere Signal zu gewöhnen.
• Phase III (Vollbetrieb): Der interne Reward wirkt mit voller Stärke ($\lambda = 1$). Policy und Reward ko-evolvieren maximal.
• Phase IV (Auslaufen/Annealing): $\lambda$ wird gegen Ende des Trainings wieder auf 0 reduziert. Dies ist kritisch, da der interne Reward nicht „potential-basiert" ist und das Training sonst von der wahren Umgebungszielsetzung (True Environment Objective) abweichen könnte.

3. Wichtige Beiträge

1. Self-Guide Framework: Ein einheitlicher Ansatz, der Selbstführung (Inference) und interne Belohnung (Training) in einem einzigen Loop vereint, ohne externe Reward-Modelle zu benötigen.
2. Stufenweiser Vertrauensplan: Eine Methode, um die Instabilität zu vermeiden, die durch die Nutzung unreifer, selbstgenerierter Rewards am Anfang des Trainings entstehen würde.
3. Empirische Validierung: Nachweis, dass die Ko-Evolution von Policy und internem Reward effektiver ist als reine Umgebungs-Rewards oder statische Selbstführung.

4. Ergebnisse

Die Methode wurde auf drei Benchmarks getestet: ALFWorld, ScienceWorld und WebShop, unter Verwendung verschiedener Qwen-Modelle (1.7B, 4B, 7B).

• Inference-Time-Gewinne: Selbst ohne RL-Training (nur mit dem Selbstführungs-Signal im Prompt) verbessert sich die Leistung signifikant, insbesondere in strukturierten Umgebungen wie ALFWorld (z. B. +10,9% Erfolg bei Qwen3-1.7B). In komplexeren Umgebungen wie WebShop sind die Gewinne ohne Training geringer, was die Notwendigkeit des Trainings unterstreicht.
• Training-Time-Gewinne: Die Kombination aus GRPO (Group Relative Policy Optimization) und Self-Guide übertrifft den reinen GRPO-Baselines konsistent.
  • Bei Qwen3-4B wurde eine durchschnittliche Verbesserung von ca. 8% gegenüber reinem GRPO erzielt.
  • Die vollständige Methode (Selbstführung + gestaffelter Reward) erzielte die besten Ergebnisse, was zeigt, dass der interne Reward ein komplementäres Signal liefert.
• Fehleranalyse: Self-Guide reduziert signifikant Fehler wie „Looping" (sich wiederholende Aktionen) und „Redundant Exploration".
• Ablationsstudien:
  • Ein sofortiges Einführen des Rewards (ohne Warm-up) führt zu schlechteren Ergebnissen als gar kein Reward.
  • Ein Offline-Distillation-Ansatz (Trainieren eines Leitmodells auf statischen Daten) funktioniert nicht zuverlässig; die Online-Ko-Evolution ist essenziell, um die Verteilung der Rollouts abzubilden.

5. Bedeutung und Fazit

Das Paper zeigt, dass Sprachagenten nicht nur durch das Sammeln mehrerer Erfahrungen lernen können, sondern auch durch das Lernen, ihre eigene interne Belohnung zu generieren und zu verfeinern.

• Paradigmenwechsel: Statt auf externe Evaluatoren zu warten, nutzen Agenten ihre eigene „Intuition" (verbalisiert als $z_t$) zur sofortigen Korrektur und zum Training.
• Stabilität: Der vorgeschlagene Vertrauensplan löst das „Chicken-and-Egg"-Problem (man braucht gute Rewards, um gute Policies zu lernen, aber gute Rewards kommen von guten Policies) durch eine sorgfältige zeitliche Steuerung.
• Allgemeingültigkeit: Die Methode ist nicht an GRPO gebunden und wurde auch mit DAPO erfolgreich getestet, was ihre Anwendbarkeit auf verschiedene RL-Algorithmen für Agenten unterstreicht.

Zusammenfassend bietet Self-Guide einen robusten Weg, um das Problem spärlicher Belohnungen in langfristigen Agentenaufgaben zu überwinden, indem es die Lücke zwischen Entscheidungsfindung und Lernsignal schließt.