Technische Zusammenfassung: Reflective Prompted Policy Optimization (R2PO)

Problemstellung

Bestehende Policy-Optimierer auf Basis von Large Language Models (LLMs) fungieren als Black-Box-Sucher, die ausschließlich auf skalare Belohnungsrückmeldungen angewiesen sind. Obwohl diese Methoden neue Policy-Parameter basierend auf historischen Belohnungswerten vorschlagen können, fehlt ihnen die diagnostische Einsicht, warum eine Policy gescheitert ist. Ein Optimierer sieht einen Score von 0,45, kann jedoch nicht unterscheiden zwischen einer Policy, die konsistent unterdurchschnittlich performt, einer, die in einer Schleife stecken bleibt, oder einer, die bei 19 von 20 Rollouts erfolgreich ist, aber im 20. katastrophal versagt. Diese Einschränkung zwingt LLM-basierte Optimierer, sich auf Trial-and-Error-Tuning statt auf gezielte Korrektur zu verlassen, was häufig zu instabilem Training und ineffizienter Konvergenz führt.

Methodik: R2PO-Rahmenwerk

Die Autoren schlagen Reflective Prompted Policy Optimization (R2PO) vor, ein zweistufiges LLM-Rahmenwerk, das skalare Belohnungen durch verhaltensbasierte Evidenz auf Trajektorienebene ergänzt. R2PO operiert über kompakte Policy-Klassen (lineare Policies für kontinuierliche Steuerung und tabellarische Policies für diskrete Aufgaben) und besteht aus folgenden Komponenten:

1. Search-LLM (Globaler Optimierer): Diese Stufe funktioniert ähnlich wie frühere LLM-Optimierer (z. B. ProPS). Gegeben eine Historie bewerteter Policies und ihrer skalaren mittleren Belohnungen schlägt der Search-LLM einen initialen Kandidaten-Parametervektor ($\theta_{init}$) vor.
2. Umgebungsevaluation: Die Kandidaten-Policy wird in der Umgebung für $K$ unabhängige Rollouts ausgeführt, wodurch eine Menge von Trajektorien $T$ generiert wird, die Zustände, Aktionen und Belohnungen enthalten.
3. Critic-LLM (Lokaler Revidierer): Diese Stufe führt die Kerninnovation ein. Anstatt nur die skalare mittlere Belohnung zu erhalten, inspiziert der Critic-LLM ein „kalibriertes Trajektorien-Evidenzpaket", das aus den $K$ Rollouts abgeleitet wird. Er analysiert, was schiefgelaufen ist, und schlägt eine gezielte Parameterrevision ($\theta_{rev}$) vor.
4. Selektionsmechanismus: Sowohl der ursprüngliche Kandidat ($\theta_{init}$) als auch der revidierte Kandidat ($\theta_{rev}$) werden erneut bewertet. Das System behält denjenigen, der die höhere mittlere Belohnung erzielt, und filtert destruktive Änderungen oder LLM-Halluzinationen heraus.

Kalibriertes Trajektorien-Evidenzpaket

Um zu verhindern, dass sich der Critic-LLM an Ausreißern überanpasst, konstruiert R2PO das Evidenzpaket aus drei spezifischen Komponenten:

• Median-Trajektorie: Ein einzelnes Rollout, dessen Return dem Median der $K$ Returns am nächsten kommt und damit typisches Verhalten repräsentiert, nicht Best- oder Worst-Case-Ausreißer.
• Aggregierte Rollout-Statistiken: Ein strukturierter Bericht, der Mittelwert, Minimum und Maximum der Belohnungen, Episodenlängen sowie Erfolgs-/Misserfolgsraten über alle $K$ Rollouts zusammenfasst. Dies vermittelt die Häufigkeit von Misserfolgen, ohne einen spezifischen fehlgeschlagenen Verlauf in den Vordergrund zu stellen.
• Revisionsregel: Eine explizite Anweisung an den Critic-LLM, von großen Änderungen abzusehen, wenn der initiale mittlere Belohnungswert einen Schwellenwert ($\tau_c$) überschreitet und die Statistiken kein konsistentes Fehlermuster anzeigen. Dies verhindert eine „Überkorrektur" bereits starker Policies.

Wichtige Erkenntnisse und Analyse

1. Salienz-Bias

Die Arbeit identifiziert einen dominanten Fehlermodus, der als Salienz-Bias bezeichnet wird. Wenn mehrere Trajektorien präsentiert werden (z. B. beste, schlechteste und mediane), neigt der Critic-LLM dazu, sich auf die Worst-Case-Trajektorie als repräsentativ zu fixieren, selbst wenn die Mehrheit der Rollouts erfolgreiches Verhalten anzeigt. In einer Variante mit drei Trajektorien in der CartPole-Umgebung war dieser Bias für 76,6 % der Performance-Rückgänge verantwortlich. Das LLM diagnostizierte ein Problem basierend auf einem einzigen unglücklichen Misserfolg und schlug Änderungen vor, die die Performance der Policy in den anderen 19 erfolgreichen Rollouts zerstörten.

2. Ablationsstudien

Systematische Ablationen über zehn Umgebungen hinweg zeigen, dass der Erfolg von R2PO auf der Kombination von drei Faktoren beruht, von denen keiner allein ausreicht:

• Zweistufige Architektur: Die Trennung der globalen Vorschlagsphase von der lokalen, verhaltensbasierten Revisionsphase ist essenziell. Ein einzelner reichhaltiger Prompt (CriticOnly) oder eine sequenzielle Suche nur mit skalaren Werten (ActorSecondPass) erreichen nicht die Performance von R2PO.
• Verhaltensbasierte Revision: Die Verwendung tatsächlicher Rollout-Evidenz (Median-Trajektorie + Statistiken) übertrifft Feedback nur mit skalaren Werten signifikant.
• Selektionsmechanismus: Ein „Keep-Best"-Selektionsschritt ist kritisch. Ohne diesen (AlwaysCritic) führt die hohe Varianz der verlaufskonditionierten Änderungen zu häufigen Rückgängen.

3. Empirische Ergebnisse

Unter Verwendung eines relativ kleinen, open-weight 20-Milliarden-Parameter-Modells (gpt-oss:20b) wurde R2PO in zehn Umgebungen (einschließlich CartPole, InvertedPendulum, Pong und benutzerdefinierten Maze/Nim-Aufgaben) gegen starke Baselines (ProPS, ProPS+ und die bestperformenden Stable-Baselines3-Algorithmen wie PPO, SAC, TRPO) evaluiert.

• Performance: R2PO erzielte in 9 von 10 Umgebungen die höchste mittlere Belohnung und erzielte im 10. (MountainCarContinuous) ein Gleichstand. Es erreichte die maximal mögliche Belohnung bei CartPole (500), InvertedPendulum (1000), Pong (3,0) und Nim (1,0).
• Effizienz: R2PO erreichte nahezu optimale Performance deutlich früher als die Baselines (z. B. nahezu maximale CartPole-Belohnung innerhalb von ~500 Episoden, im Vergleich zu ~4.000 für ProPS+ und SB3).
• Stabilität: R2PO behielt gefundene starke Policies bei und wies eine viel kleinere Lücke zwischen mittlerer und bester Belohnung auf als frühere LLM-Methoden, die oft hohe Varianz und isolierte Spitzen zeigten.
• Ressourceneffizienz: Selbst im Vergleich zu ProPS-Ergebnissen, die mit dem doppelten Interaktionsbudget (8.000 Episoden) und einem größeren proprietären Modell (GPT-4o) erzielt wurden, entsprach oder übertraf R2PO (trainiert auf 4.000 Episoden mit einem 20B open-weight Modell) die Baselines in 9 von 10 Umgebungen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Behandlung von Trajektorien als First-Class-In-Context-Evidenz anstelle ihrer Reduktion auf skalare Returns grundlegend verändert, wie LLMs Policy-Räume durchsuchen können. Die wichtigsten Beiträge sind:

1. Diagnostische Präzision: R2PO ermöglicht es LLMs, schneller zu lernen und Fehler präziser zu diagnostizieren, indem sie verhaltensbasierte Evidenz nutzen und über Trial-and-Error-Tuning hinausgehen.
2. Minderung von LLM-Bias: Das Rahmenwerk mildert erfolgreich den „Salienz-Bias" erfolgreich ab, der im LLM-Reasoning über mehrere Evidenzquellen inhärent ist, indem es aggregierte Statistiken und Median-Trajektorien anstelle von rohen Worst-Case-Verläufen verwendet.
3. Zugänglichkeit: Die Ergebnisse zeigen, dass diese Vorteile nicht auf große, proprietäre Modelle beschränkt sind; ein 20B open-weight Modell reicht aus, um Deep-RL-Baselines und frühere LLM-basierte Methoden zu übertreffen, wenn die Architektur korrekt gestaltet ist.

Die Autoren weisen auf Einschränkungen hin, insbesondere dass die Methode derzeit auf kompakte Policy-Klassen (linear und tabellarisch) fokussiert ist und eine grobe manuelle Kalibrierung des Revisions-Schwellenwerts $\tau_c$ erfordert. Als zukünftige Arbeit wird vorgeschlagen, R2PO auf hochdimensionale neuronale Policies zu erweitern und adaptive Kalibrierungsmechanismen zu entwickeln.