🤖 AI

EXPO: Stable Reinforcement Learning with Expressive Policies

Das Papier schlägt EXPO vor, einen stichproben-effizienten Online-Reinforcement-Learning-Algorithmus, der ein stabiles Training ausdrucksstarker Policies durch Entkopplung der Wertmaximierung in eine leichte Gaußsche Editier-Policy erreicht, die Aktionen von einer stabilen, durch Imitationslernen erworbenen ausdrucksstarken Basis-Policy optimiert, was zu einer 2- bis 3-fachen Verbesserung der Stichprobeneffizienz gegenüber früheren Methoden führt.

Ursprüngliche Autoren: Perry Dong, Qiyang Li, Dorsa Sadigh, Chelsea Finn

Veröffentlicht 2026-05-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Perry Dong, Qiyang Li, Dorsa Sadigh, Chelsea Finn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem hochtalentierten, aber sehr starren Roboter-Koch beizubringen, wie man eine perfekte Mahlzeit zubereitet.

Das Problem: Der „perfekte" Koch, der nicht aus Fehlern lernen kann
In der Robotik haben Forscher „ausdrucksstarke" Strategien (das Gehirn des Kochs) mit fortschrittlichen Methoden wie Diffusionsmodellen entwickelt. Denken Sie an diese als unglaublich detaillierte Rezeptbücher, die komplexe, nuancierte Bewegungen generieren können. Sie sind hervorragend darin, das nachzuahmen, was sie zuvor gesehen haben (Imitationslernen).

Wenn Sie jedoch versuchen, diesem Koch beizubringen, durch Versuch und Irrtum (Bestärkendes Lernen) besser zu werden, geht etwas kaputt.

Die Analogie: Stellen Sie sich das Gehirn des Kochs als einen langen, gewundenen Tunnel mit 100 Schritten vor, um vom „Denken" zum „Bewegen" zu gelangen. Wenn Sie dem Koch sagen: „Diese Bewegung war schlecht, versuche es noch einmal", muss diese Nachricht den gesamten Weg zurück durch 100 Schritte antreten, um das Rezept zu ändern. Bis die Nachricht dort ankommt, ist sie verzerrt, und der Koch wird verwirrt oder hört auf zu lernen. Dies ist das Problem des „instabilen Gradienten", das in der Arbeit erwähnt wird.

Die Lösung: EXPO (Der intelligente Sous-Chef)
Die Autoren schlagen eine neue Methode namens EXPO (Expressive Policy Optimization) vor. Anstatt zu versuchen, das komplexe, 100-stufige Gehirn direkt durch Belohnungen lernen zu lassen, führen sie ein Zwei-Teile-Team ein:

Der Basis-Koch (Der Experte): Dies ist der ursprüngliche, komplexe, vortrainierte Roboter. Er ist darauf trainiert, einfach die „guten" Bewegungen nachzuahmen, die er in einem Datensatz vergangener Demonstrationen gesehen hat. Er bleibt stabil und zuverlässig, versucht aber nicht direkt, „Belohnungen zu maximieren".
Der Sous-Chef (Der Editor): Dies ist ein winziger, einfacher und schneller Assistent (eine Gauß-Strategie). Seine einzige Aufgabe ist es, zu beobachten, was der Basis-Koch gerade tun wird, und eine kleine, schnelle Anpassung an der Aktion vorzunehmen, um sie etwas besser zu machen.

Wie es funktioniert: Die „Probier"-Strategie
Hier ist die Magie von EXPO, aufgeschlüsselt in alltägliche Schritte:

Schritt 1: Der Vorschlag. Der Basis-Koch schlägt eine Bewegung basierend auf seiner Ausbildung vor.
Schritt 2: Die Bearbeitung. Der Sous-Chef nimmt diesen Vorschlag und fügt eine winzige Anpassung hinzu (wie eine Prise Salz oder das leichte Drehen eines Knopfes). Er tut dies, um eine höhere „Belohnungspunktzahl" (besseren Geschmack) zu erzielen.
Schritt 3: Der Probier-Test (Auswahl in Echtzeit). Bevor sich der Roboter tatsächlich bewegt, simuliert das System ein paar verschiedene Versionen:
- Version A: Die ursprüngliche Bewegung des Basis-Kochs.
- Version B: Die angepasste Bewegung des Sous-Chefs.
- Version C: Vielleicht ein paar weitere Anpassungen.
Schritt 4: Den Gewinner wählen. Das System prüft eine „Punktekarte" (die Q-Wert-Funktion), um zu sehen, welche Version die höchste Belohnung erzielen würde. Es wählt den Gewinner aus und führt diese Bewegung aus.

Warum dies ein Wendepunkt ist

Stabilität: Der komplexe Basis-Koch muss seine interne „Rezeptur" niemals basierend auf Belohnungen ändern. Er macht einfach weiter, was er gut kann. Der einfache Sous-Chef übernimmt das Lernen, was viel einfacher ist und weniger anfällig für Abstürze.
Geschwindigkeit: Da das System sofort die beste Bewegung aus ein paar Optionen auswählt (wie bei einem Probier-Test), lernt es viel schneller als Methoden, die versuchen, das komplexe Gehirn schrittweise langsam anzupassen.
Exploration: Dem Sous-Chef wird erlaubt, ein wenig kreativ zu sein (durch Hinzufügen von „Rauschen" oder Zufälligkeit), um neue Dinge auszuprobieren, was dem Roboter hilft, neue Strategien zu erkunden, ohne das Grundlegende zu vergessen.

Die Ergebnisse
Die Arbeit testete dies an 12 schwierigen Roboteraufgaben, wie etwa dem Navigieren durch Labyrinthe mit einem Spinnen-Roboter oder dem Fädeln einer Nadel mit einem Roboterarm.

Die Behauptung: EXPO lernte 2- bis 3-mal schneller (in Bezug auf die Dateneffizienz) als frühere Methoden.
Die Kernaussage: Es funktionierte gut, selbst wenn es mit einem vortrainierten Roboter begann, der die spezifische Aufgabe noch nie gesehen hatte. Es „feinabgestimmt" den Roboter nicht nur; es ermöglichte dem Roboter, seine Leistung erheblich zu verbessern, ohne verwirrt oder instabil zu werden.

Zusammenfassung
EXPO ist wie die Einstellung eines weltklasse Meisterschefs (die Basis-Strategie), der hervorragend darin ist, Rezepten zu folgen, und die Paarung mit einem schnell denkenden Sous-Chef (die Bearbeitungs-Strategie), der winzige, kluge Anpassungen am Gericht vornimmt, damit es besser schmeckt. Anstatt zu versuchen, das gesamte Gehirn des Meisterschefs für jeden neuen Geschmack neu zu trainieren, lassen Sie einfach den Sous-Chef das Tellergericht anpassen, und Sie servieren die beste Version. Dies lässt die ganze Küche reibungsloser, schneller und zuverlässiger laufen.

1. Problemstellung

Das Paper adressiert die Herausforderung des Fine-Tunings ausdrucksstarker Policy-Klassen (wie Diffusion Policies und Flow-Matching Policies) mittels Online Reinforcement Learning (RL) unter Verwendung eines Offline-Datensatzes.

Der Kernkonflikt: Während ausdrucksstarke Policies durch Imitationslernen (IL) hervorragend in der Lage sind, komplexe, multimodale Verhaltensverteilungen zu erfassen, sind sie schwierig direkt mit RL zu optimieren. Im Gegensatz zu einfachen Gaußschen Policies werden ausdrucksstarke Policies durch lange Denoising-Ketten parametrisiert. Das Rückwärtsleiten von Wertgradienten durch diese Ketten, um die Policy-Parameter zu aktualisieren, ist rechenintensiv und instabil und führt häufig zum Zusammenbruch des Trainings oder zu einer schlechten Konvergenz.
Die Lücke: Bestehende Online-RL-Methoden sind für einfache Gaußsche Policies konzipiert und können die Kapazität vortrainierter ausdrucksstarker Modelle nicht nutzen. Umgekehrt kämpfen Methoden, die versuchen, ausdrucksstarke Policies zu fine-tunen, oft mit Stabilitätsproblemen oder erfordern komplexe Modifikationen des Denoising-Prozesses.
Ziel: Entwicklung eines sample-effizienten, stabilen Online-RL-Algorithmus, der vortrainierte ausdrucksstarke Policies mit Offline-Daten fine-tunen kann, ohne die Parameter der ausdrucksstarken Policy direkt gegen die Wertfunktion zu optimieren.

2. Methodik: EXPO (Expressive Policy Optimization)

Die Autoren schlagen EXPO vor, ein Framework, das die ausdrucksstarke Policy von der direkten Wertmaximierung entkoppelt. Anstatt Gradienten durch die ausdrucksstarke Policy zurückzuführen, konstruiert EXPO eine „on-the-fly" (OTF) Policy, die Q-Werte unter Verwendung zweier unterschiedlicher Komponenten maximiert:

A. Zwei-Komponenten-Policy-Architektur

Basis-Ausdrucksstarke Policy ( $\pi_{base}$ ):
- Rolle: Generiert initiale Aktionskandidaten basierend auf der Verhaltensverteilung.
- Training: Trainiert mit einem stabilen Imitationslernen (IL)-Ziel (z. B. Denoising Diffusion Probabilistic Models). Sie wird niemals explizit trainiert, den Q-Wert zu maximieren, wodurch ihre Stabilität und ihre Fähigkeit erhalten bleiben, komplexe Modi zu erfassen.
Leichte Editier-Policy ( $\pi_{edit}$ ):
- Rolle: Eine kleine, Gaußsche Policy, die eine Aktion $a$ , die aus $\pi_{base}$ gesampelt wurde, nimmt und eine residuale Änderung $\hat{a}$ ausgibt, um eine verfeinerte Aktion $\tilde{a} = a + \hat{a}$ zu erzeugen.
- Training: Trainiert mit Standard-RL-Policy-Gradienten (Maximierung von $Q(s, a + \hat{a})$ ) mit Entropie-Regularisierung.
- Einschränkung: Die Änderung ist eingeschränkt (skaliert durch einen Hyperparameter $\beta$ ), um nahe an der ursprünglichen Aktion zu bleiben, wodurch sichergestellt wird, dass die Editier-Policy ein lokales Optimierungsproblem und kein globales löst. Dies ermöglicht ein effizientes und stabiles Training.

B. On-the-Fly (OTF) Policy-Extraktion

Die tatsächliche Policy, die für das Sampling und das Temporal-Difference (TD)-Backup verwendet wird, ist kein einzelnes neuronales Netz, sondern ein dynamischer Auswahlprozess:

Sampling: Für einen gegebenen Zustand $s$ sampelt das System $N$ Aktionen aus $\pi_{base}$ .
Editieren: Jede gesampelte Aktion wird durch $\pi_{edit}$ verfeinert.
Auswahl: Das System bewertet den Q-Wert sowohl für die ursprünglichen Aktionen ( $a_i$ ) als auch für die editierten Aktionen ( $\tilde{a}_i$ ).
Maximierung: Die Aktion mit dem höchsten Q-Wert unter allen Kandidaten wird zur Ausführung ausgewählt und als Ziel für das TD-Backup verwendet.

C. Entropie-Backup für datenlimitierte Regime

In Szenarien mit kleinen Offline-Datensätzen führen die Autoren ein Entropie-Backup ein. Da ausdrucksstarke Policies (wie Diffusion) keine geschlossene Entropieformel besitzen, konstruieren sie eine weiche Sampling-Verteilung über die $N$ Basis- plus editierten Aktionskandidaten, gewichtet mit ihren Q-Werten. Dies ermöglicht die Einbeziehung eines Entropie-Bonus in den RL-Verlust, um Exploration zu fördern, ohne analytische Entropieberechnungen zu benötigen.

3. Hauptbeiträge

Stabile Strategie zur Wertmaximierung: Das Paper stellt einen neuartigen Ansatz vor, um die direkte Gradientenrückführung durch ausdrucksstarke Denoising-Ketten zu vermeiden. Indem die Wertmaximierung auf eine leichte Editier-Policy und einen Auswahlmechanismus ausgelagert wird, erreicht EXPO Stabilität, wo direkte Optimierung scheitert.
Sample-Effizienz: EXPO erzielt eine 2- bis 3-fache Verbesserung der Sample-Effizienz im Vergleich zu früheren State-of-the-Art-Methoden sowohl in Online-RL- als auch in Offline-zu-Online-Fine-Tuning-Szenarien.
Policy-Agnostizismus: Das Framework ist agnostisch bezüglich der spezifischen Parametrisierung der Basis-Policy (funktioniert mit Diffusion, Flow-Matching usw.) und erfordert keine vortrainierte Wertfunktion, was es auf jede vortrainierte Roboter-Policy anwendbar macht.
On-the-Fly TD-Backup: Die Autoren zeigen, dass die Verwendung der wertmaximierenden Aktion für das TD-Ziel (nicht nur für das Sampling) für die Lerngeschwindigkeit entscheidend ist und effektiv die Lücke zwischen SARSA-ähnlichen und Q-Learning-ähnlichen Updates im Kontext ausdrucksstarker Policies schließt.

4. Experimentelle Ergebnisse

Die Methode wurde an 12 herausfordernden kontinuierlichen Kontrollaufgaben über 4 Domänen hinweg evaluiert (AntMaze, Adroit, Robomimic, MimicGen), die alle spärliche Belohnungen aufweisen.

Online RL (Kein Pre-Training): EXPO übertraf die Baselines (einschließlich RLPD, IDQL und QSM) in puncto Sample-Effizienz deutlich und konvergierte oft schneller, selbst ohne den Offline-Datensatz für Pre-Training zu nutzen.
Offline-zu-Online Fine-Tuning:
- EXPO fine-tunte erfolgreich vortrainierte Policies, ohne den Leistungsabfall, der bei anderen Methoden häufig beobachtet wird (z. B. kollabierte DAC, IDQL stagnierte).
- Es behielt eine hohe Leistung bei feinabgestimmten Manipulationsaufgaben (z. B. Nadeln einfädeln, Blöcke stapeln), bei denen andere Methoden Schwierigkeiten hatten, über die initiale Imitationslern-Leistung hinaus zu verbessern.
Ablationsstudien:
- OTF TD-Backup: Das Entfernen der wertmaximierenden Auswahl für das TD-Ziel (Nutzung nur des Samplings) reduzierte die Leistung drastisch und bestätigte die Bedeutung der Q-Wert-Ausrichtung im Backup.
- Aktions-Editierungen: Das Entfernen der Editier-Policy führte zu schlechter Leistung, insbesondere bei Aufgaben, die Exploration über die enge Verhaltensverteilung hinaus erfordern.
- Qualität der Offline-Daten: Die Leistung korrelierte stark mit der Qualität des Offline-Datensatzes. Dennoch ermöglichte die Variante mit Entropie-Backup EXPO, auch mit sehr schlechten Offline-Daten erfolgreich zu sein (wo Imitationslernen allein <10 % Erfolg erreichte).

5. Bedeutung

EXPO stellt einen bedeutenden Schritt vorwärts in Robotik und RL dar, indem es die Engpass-Problematik des „Fine-Tunings ausdrucksstarker Policies" löst.

Praktische Auswirkungen: Es ermöglicht den Einsatz großer, vortrainierter generativer Modelle (die hervorragend darin sind, menschliche Daten nachzuahmen) in realen Umgebungen, in denen sie sich durch Online-Interaktion anpassen und verbessern müssen.
Theoretische Einsicht: Es hinterfragt die Notwendigkeit der Rückführung durch komplexe generative Ketten für RL und zeigt, dass eine Strategie „lokale Editierung + globale Auswahl" stabiler und effizienter ist.
Zukunftsrichtung: Die Arbeit ebnet den Weg für das Fine-Tuning jeder vortrainierten generativen Policy (Diffusion, Flow usw.) in Online-Szenarien und könnte die Adoption von Foundation-Modellen in der Robotik beschleunigen.

Einschränkungen: Die Methode erfordert das Sampling mehrerer Aktionen für jede Batch-Aktualisierung, was rechenintensiv ist. Darüber hinaus geht sie von einem vernünftigen Prior (Offline-Datensatz oder vortrainierte Policy) aus; sie ist nicht für das Lernen von Grund auf ohne Vorwissen konzipiert.