Technische Zusammenfassung: Meilenstein-gesteuertes Policy-Learning für Langzeit-Sprachagenten (BEACON)

Problemstellung

Das Training von Sprachagenten zur Ausführung von Langzeitaufgaben – die Dutzende sequenzieller Entscheidungen erfordern – mittels Reinforcement Learning (RL) stößt auf zwei fundamentale Einschränkungen, die Methoden der Trajektorienoptimierung wie GRPO inhärent sind:

1. Fehlzuschreibung von Krediten: Aktuelle Methoden weisen Kredit ausschließlich basierend auf den Endergebnissen zu. Folglich werden korrekte frühe Aktionen bestraft, wenn nachfolgende Aktionen zum Scheitern führen. Dies erzeugt widersprüchliche Gradientensignale für identische Zustands-Aktions-Paare, abhängig von der nachgelagerten Stochastik, was zu Gradientenkonflikten und einem Zusammenbruch des Lernens führt, sobald sich die Aufgabenhorizonte ausdehnen.
2. Ineffiziente Probenutzung: Mit zunehmender Länge der Aufgabenhorizonte werden erfolgreiche Trajektorien selten. Entscheidend ist, dass Trajektorien, die signifikante Teilziele erreichen, aber das Endziel verfehlen, dieselbe Null-Belohnung erhalten wie vollständige Fehlschläge. Dies verwertbare Lernsignale von „teilweisen Erfolgen" und führt dazu, dass ein hoher Anteil der Proben keinen nützlichen Gradienten liefert.

Bestehende Versuche, die Kreditvergabe zu verdichten, wie etwa Process Reward Models (PRMs) oder Monte-Carlo-Wertabschätzungen, führen zu prohibitiven Annotationskosten, Rechenoverhead oder beruhen auf Zustands-Wiederholungsmustern, die in Langzeitszenarien an Bedeutung verlieren.

Methodik: BEACON-Rahmenwerk

Die Autoren schlagen BEACON (Benchmarking Environment for Action-Oriented Navigation) vor, ein Rahmenwerk, das die kompositionelle Struktur von Langzeitaufgaben nutzt, um die Kreditvergabe über Phasen hinweg zu entkoppeln. Die Grundannahme ist die Milestone-Markov-Eigenschaft: Sobald ein semantisches Teilziel (Meilenstein) erreicht ist, hängt die Verteilung der zukünftigen Trajektorien primär von den verbleibenden Teilzielen ab und nicht von der gesamten Ausführungs historie.

BEACON arbeitet durch drei integrierte Mechanismen:

1. Trajektorienpartitionierung an Meilenstein-Grenzen

Anstatt eine Trajektorie als flache Sequenz zu behandeln, unterteilt BEACON sie in Segmente basierend auf beobachtbaren Zustandsübergängen, die den Abschluss von Teilzielen anzeigen (z. B. Aufnehmen eines Objekts, Erreichen einer Webseite). Ein Meilenstein-Detektor $\Phi$ identifiziert diese Übergänge aus Umgebungsfeedback, ohne dass erlernte Modelle oder manuelle Annotationen erforderlich sind.

• Ergebnis: Trajektorien werden in Segmente $Seg_k$ unterteilt, die durch Meilensteine $M_k$ begrenzt sind.

2. Temporale Reward-Formung

Um die Ineffizienz der Probenutzung zu adressieren, weist BEACON innerhalb der Segmente geformte Belohnungen zu, um Teilfortschritte zu honorieren.

• Mechanismus: Für Aktionen in einem Segment, das erfolgreich einen Meilenstein erreicht, wird eine positive Belohnung mit zeitlichem Abklingen ($\gamma^{t_k - t}$) zugewiesen. Aktionen in Segmenten, die keinen Meilenstein erreichen, erhalten eine Null-Belohnung.
• Wirkung: Dies wandelt spärliche Endsignale in dichte Rückmeldungen um und stellt sicher, dass Agenten aus Trajektorien lernen, die Teilziele abschließen, selbst wenn die Endaufgabe fehlschlägt.

3. Dual-Skalen-Vorteilsschätzung

Um die Fehlzuschreibung von Krediten zu lösen, schätzt BEACON Vorteile auf zwei Skalen:

• Trajektorien-Level-Vorteil ($A_{traj}$): Global berechnet basierend auf Endergebnissen (ähnlich wie bei GRPO), um die Ausrichtung auf den Gesamterfolg der Aufgabe zu wahren.
• Segment-Level-Vorteil ($A_{seg}$): Lokal berechnet durch den Vergleich des Returns eines Segments nur mit anderen Trajektorien, die denselben Meilenstein erreicht haben.
• Varianz-Isolation: Durch die Beschränkung der Vergleichsgruppen auf Trajektorien, die dieselbe Meilenstein-Historie teilen, isoliert $A_{seg}$ die Qualität lokaler Aktionen von der Varianz, die durch nachfolgende Segmente eingeführt wird. Dies verhindert, dass frühe korrekte Aktionen durch spätere Fehlschläge bestraft werden.
• Kombination: Der finale Vorteil ist eine gewichtete Summe: $\hat{A} = A_{traj} + \lambda \cdot A_{seg}$.

Hauptbeiträge

1. Diagnose von Einschränkungen: Die Arbeit identifiziert und quantifiziert empirisch die Fehlzuschreibung von Krediten (über 40 % der Gradienten-Updates enthalten in langen Aufgaben widersprüchliche Signale) und die Ineffizienz der Probenutzung (teilweise Erfolge, die eine Null-Belohnung erhalten) als die Wurzelursachen für den Leistungszusammenbruch im Langzeit-RL.
2. BEACON-Rahmenwerk: Einführung eines Meilenstein-gesteuerten Policy-Learning-Rahmenwerks, das Trajektorien partitioniert, temporale Reward-Formung anwendet und eine Dual-Skalen-Vorteilsschätzung nutzt, um die Qualität lokaler Aktionen von nachgelagerter Varianz zu entkoppeln.
3. Theoretische Garantie: Ein Beweis, der zeigt, dass unter der Milestone-Markov-Eigenschaft Segment-Level-Vorteile die Qualität lokaler Aktionen von nachgelagerter Varianz isolieren und damit direkt die Fehlzuschreibung von Krediten adressieren.
4. Empirische Validierung: Umfassende Evaluierung über drei diverse Benchmarks (ALFWorld, WebShop, ScienceWorld), die zeigt, dass BEACON im Gegensatz zu bestehenden Baselines effektiv mit dem Aufgabenhorizont skaliert.

Experimentelle Ergebnisse

Die Experimente wurden mit den Modellen Qwen2.5-1.5B und Qwen2.5-7B auf ALFWorld, WebShop und ScienceWorld durchgeführt.

• Leistung bei Langzeitaufgaben: Auf ALFWorld erreicht BEACON eine Erfolgsrate von 92,9 % bei langen Aufgaben, was die von GRPO erreichten 53,5 % fast verdoppelt. Im Gegensatz dazu verschlechtert sich GRPO drastisch von 76,7 % bei kurzen Aufgaben auf 53,5 % bei langen Aufgaben.
• Proben-Effizienz: BEACON verbessert die effektive Probenutzung von 23,7 % (GRPO) auf 82,0 % und extrahiert erfolgreich Lernsignale aus teilweisen Erfolgen, die andere Methoden verwerfen.
• Qualität der Gradienten: Das Zero-Advantage-Verhältnis (Proben, die einen nahezu null Vorteil erhalten) sinkt von ~55 % (GRPO) auf ~10 % (BEACON), und das Verhältnis widersprüchlicher Aktionen wird signifikant reduziert.
• Vergleich mit SFT: BEACON übertrifft das supervised fine-tuning (SFT) auf Orakel-Trajektorien (91,4 % vs. 43 %), was bestätigt, dass die Gewinne aus der Policy-Optimierung resultieren, die Strategien entdeckt, die dem Orakel überlegen sind, und nicht aus einfacher Imitation.
• Robustheit: BEACON behält eine robuste Leistung über kurze, mittlere und lange Horizonte hinweg bei, wohingegen Baselines wie GRPO und GiGPO eine signifikante Verschlechterung zeigen, wenn die Aufgabenlänge zunimmt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass eine meilenstein-verankerte Kreditvergabe ein effektives Paradigma für das Training von Langzeit-Sprachagenten darstellt. Durch die Ausnutzung der inhärenten kompositionellen Struktur agenter Aufgaben überwindet BEACON den systematischen Leistungszusammenbruch, der mit zunehmenden Entscheidungssequenzen verbunden ist.

Die Autoren betonen, dass ihre Methode keine teuren Process Reward Models oder zusätzliche erlernte Kritiker erfordert. Stattdessen nutzt sie beobachtbare Zustandsübergänge, um eine präzise Kreditvergabe zu ermöglichen, wodurch Agenten effizient aus teilweisen Erfolgen lernen und Gradientenkonflikte lösen können. Die Ergebnisse deuten darauf hin, dass strukturelle Priors (Meilensteine) entscheidend für das Skalieren von RL in Sprachagenten sind und einen Weg zu leistungsfähigeren autonomen Systemen für komplexe, mehrstufige Aufgaben wie Web-Navigation, Embodied Control und wissenschaftliche Experimente eröffnen.