Adapting Generalist Robot Policies with Semantic Reinforcement Learning

Technische Zusammenfassung: Anpassung von generalistischen Roboter-Policies mittels Semantischem Reinforcement Learning

Problemstellung
Vision-Language-Action (VLA)-Modelle haben die Fähigkeit demonstriert, durch groß angelegtes Pretraining vielfältige Skill-Repertoires zu erlernen, was sie zu leistungsstarken Priors für das Roboterverhalten macht. Die Nutzung dieser generalistischen Policies zur Lösung neuartiger, komplexer oder langfristiger Aufgaben (long-horizon tasks) bleibt jedoch eine erhebliche Herausforderung. Bestehende Deployment-Strategien, wie etwa Zero-Shot-Prompting, scheitern oft, da das VLA nicht in der Lage ist, komplexe semantische Aufgaben korrekt in ausführbare atomare Verhaltensweisen zu zerlegen oder diese Verhaltensweisen in den spezifischen physischen Kontext des Roboters zu verankern.

Bestehende Ansätze zur Verbesserung von VLAs mittels Reinforcement Learning (RL) operieren typischerweise direkt über den niedrigdimensionalen Roboter-Aktionsraum (z. B. Gelenkpositionen oder Endeffektor-Deltas). Diese Methoden setzen voraus, dass die Aktionsverteilung der Basis-Policy bereits nahe an einer performanten Policy liegt. Diese Annahme bricht bei Out-of-Distribution (OOD)-Aufgaben zusammen, bei denen das initiale Verhalten der Basis-Policy fehlerhaft ist oder in Failure-Modes kollabiert. Folglich haben RL-Methoden im Aktionsraum Schwierigkeiten, effektiv zu explorieren oder signifikante Fehler zu korrigieren, was ihre Fähigkeit einschränkt, VLAs an neue, komplexe Szenarien anzupassen.

Methodik: Semantic Action Reinforcement Learning (SARL)
Die Autoren schlagen Semantic Action Reinforcement Learning (SARL) vor, ein Framework, das den RL-Optimierungsraum von niedrigen Roboter-Aktionen hin zum semantischen Raum von Sprach-Prompts verschiebt. Die zentrale Erkenntre ist, dass für hinreichend expressive generalistische Policies Sprach-Prompts als effektiver alternativer Aktionsraum dienen. Durch die Modulation dieser Prompts werden Skills hervorgerufen, die bereits im Pretraining-Repertoire der Policy vorhanden sind, was die Komposition existierender Skills ermöglicht, um Aufgaben zu lösen, die über die Zero-Shot-Fähigkeiten hinausgehen.

Die Methodik umfasst die folgenden Schlüsselkomponenten:

1. Semantische MDP-Formulierung: SARL behandelt den Sprach-Prompt eines VLA als eine „semantische Aktion“ ($\ell \in A_{sem}$). Anstatt eine Policy $\pi: S \to A_{robot}$ zu lernen, lernt das System eine Policy $\pi_{sem}: S \to A_{sem}$, die Sprachbefehle auswählt. Das VLA fungiert dabei als Transformationsfunktion, die die ausgewählte semantische Aktion $\ell$ in eine Roboter-Aktion $a \sim \pi_{vla}(\cdot | s, \ell)$ umwandelt.
2. Online-RL-Loop: SARL verwendet einen Online-RL-Loop, um eine semantische Q-Funktion ($Q_{sem}$) zu lernen. Diese Funktion schätzt die Effektivität spezifischer Sprach-Prompts hinsichtlich des Fortschritts in Richtung einer Aufgabenbelohnung. Die Policy wählt Prompts basierend auf der Softmax-Verteilung dieser Q-Werte aus, was es dem System ermöglicht, das VLA adaptiv zu steuern, um es zum Aufgabenerfolg zu führen.
3. Kandidatengenerierung und Caching: Um die Suche über den unendlichen Raum möglicher Sprach-Prompts handhabbar zu machen, nutzt SARL ein Vision-Language-Model (VLM), um in jedem Schritt basierend auf der aktuellen Beobachtung und der Aufgabe eine Menge an Kandidaten-Semantik-Aktionen ($A_{sem}^t$) zu generieren. Um die Suchmenge weiter einzuschränken und effizientes Lernen zu ermöglichen, speichert das System eine endliche Menge an Prompts im Cache. Das VLM wird dann darauf beschränkt, Kandidaten aus diesem Cache auszuwählen, was eine One-Hot-Kodierung des Aktionsraums und effizientes Q-Learning ermöglicht.
4. Grounding (Verankerung): Entscheidend ist, dass SARL lernt, diese semantischen Aktionen in realer Erfahrung zu verankern. Durch Interaktion mit der Umgebung lernt das System, welche spezifischen Sprachbefehle tatsächlich erfolgreiche physische Verhaltensweisen induzieren, und unterscheidet dabei zwischen semantisch plausiblen, aber physisch ineffektiven Instruktionen und solchen, die zum Erfolg führen.

Wesentliche Beiträge

• Semantischer Aktionsraum: Die Arbeit führt das Konzept ein, Sprach-Prompts als primären Aktionsraum für RL zu behandeln, wodurch das Lernproblem von der niedrigen Steuerung hin zum semantischen Steering gehoben wird. Dies ermöglicht eine strukturierte, semantisch bedeutsame Exploration, die die in VLAs kodierten Verhaltens-Priors nutzt.
• SARL-Algorithmus: Die Autoren präsentieren SARL, einen Algorithmus, der VLA-Prompts durch Online-Interaktion optimiert. Er kombodet die semantischen Priors von VLMs für die Generierung von Kandidaten mit den Grounding-Fähigkeiten von RL, um die Auswahl von Prompts basierend auf physischen Ergebnissen zu verfeinern.
• Dekomposition und Grounding: Die Arbeit zeigt auf, dass erfolgreiche Anpassung nicht nur die Dekomposition komplexer Ziele in Subtasks erfordert (was VLMs leisten können), sondern auch das Erlernen der geerdeten Abbildung zwischen semantischen Instruktionen und den dadurch induzierten physischen Verhaltensweisen (was RL bereitstellt).

Ergebnisse
Die Autoren evaluieren SARL über simulierte Benchmarks (Libero-10) und reale Settings unter Verwendung eines WidowX-Roboters. Die Experimente konzentrieren sich auf komplexe, langfristige Aufgaben, die für eine Zero-Shot-VLA-Deployment unmöglich und für bestehende RL-Methoden herausfordernd sind.

• Performance: SARL übertrifft bestehende Baselines, einschließlich Diffusion Steering via RL (DSRL), Residual RL und In-Context Learning (ICL) VLM-Ansätzen, signifikant. In realen Aufgaben verbessert SARL die Erfolgsrate einer Basis-VLA von nahezu 0 % auf etwa 80 % innerhalb von 60–100 Online-Episoden.
• Vergleich mit Aktionsraum-RL: Im Gegensatz zu DSRL und Residual RL, die durch die initiale Aktionsverteilung der Basis-Policy eingeschränkt sind und oft bei Aufgaben scheitern, bei denen die Basis-Policy signifikant falsch agiert, navigiert SARL erfolgreich durch diese Failure-Modes, indem es verschiedene semantische Prompts exploriert.
• Vergleich mit VLM-Baselines: Während ICL-VLM-Baselines Aufgaben zwar dekomponieren können, wählen sie häufig Instruktionen aus, die zwar semantisch sinnvoll, aber physisch ineffektiv sind (z. B. Verwendung falscher Verben oder Objektreferenzen). SARL übertrifft diese Baselines, indem es lernt, Prompts auszuwählen, die in den tatsächlichen Fähigkeiten des Roboters und der spezifischen Umgebung verankert sind.

Bedeutung und Behauptungen
Das Paper behauptet, dass SARL grundlegend neue Fähigkeiten für die Anpassung generalistischer Roboter-Policies freischaltet. Durch die Optimierung über den semantischen Aktionsraum ermöglicht SARL es Robotern, komplexe, langfristige Aufgaben zu lösen, die für folgende Ansätze unmöglich sind:

1. Bestehende RL-Ansätze, die auf der Ebene der Roboter-Aktion operieren.
2. Zero-Shot-VLA-Deployment.
3. VLAs, die mittels High-Level-Sprachsteuerung durch VLMs ohne Online-RL eingesetzt werden.

Die Autoren betonen, dass die Effizienz von SARL aus seiner Fähigkeit resultiert, vortrainierte Skills wiederzuverwenden, anstatt neue von Grund auf neu zu lernen, wodurch der Suchraum auf aufgabenspezifische Verhaltensweisen eingeschränkt wird. Darüber hinaus hebt die Methode die kritische Bedeutung hervor, semantische Instruktionen in physischen Verhaltensweisen zu verankern – eine Fähigkeit, die rein sprachbasierten oder rein aktionsbasierten Ansätzen fehlt. Die Arbeit legt nahe, dass zukünftige generalistische Roboter-Policies sogar mit noch stärkeren Sprachfolge-Fähigkeiten ausgestattet werden könnten und dass SARL als Standard-Toolkit für autonome Anpassung in offenen Umgebungen dienen kann.