Adapting Generalist Robot Policies with Semantic Reinforcement Learning

Technische Samenvatting: Het aanpassen van generieke robotbeleid met Semantische Reinforcement Learning

Probleemstelling
Vision-language-action (VLA) modellen hebben aangetoond het vermogen te hebben om diverse vaardigheidsrepertoires te leren uit grootschalige pretraining, wat ze krachtige priors maakt voor robotgedrag. Het blijft echter een aanzienlijke uitdaging om deze generieke beleidsregels te benutten voor het oplossen van nieuwe, complexe of langdurige taken. Bestaande implementatiestrategieën, zoals zero-shot prompting, falen vaak omdat de VLA complexe taaksemantiek niet correct kan deconstrueren in uitvoerbare atomaire gedragingen of deze gedragingen kan koppelen aan de specifieke fysieke context van de robot.

Bestaande benaderingen om VLA's te verbeteren via Reinforcement Learning (RL) opereren doorgaans direct op de laag-niveau robotactieruimte (bijv. gewrichtsposities of end-effector delta's). Deze methoden gaan er vaak van uit dat de initiële actieverdeling van het basisbeleid al dicht bij een performant beleid ligt. Deze aanname valt uiteen bij out-of-distribution (OOD) taken waar het initiële gedrag van het basisbeleid incorrect is of instort in faalmodi. Gevolgelijk worstelen RL-methoden in de actieruimte met effectieve exploratie of het herstellen van significante fouten, wat hun vermogen om VLA's aan te passen aan nieuwe, complexe scenario's beperkt.

Methodologie: Semantic Action Reinforcement Learning (SARL)
De auteurs stellen Semantic Action Reinforcement Learning (SARL) voor, een framework dat de RL-optimalisatieruimte verschuift van laag-niveau robotacties naar de semantische ruimte van taalprompts. De kerninzicht is dat voor voldoende expressieve generieke beleidsregels, taalprompts fungeren als een effectieve alternatieve actieruimte. Het moduleren van deze prompts roept vaardigheden op die al aanwezig zijn in het pretraining-repertoire van de policy, waardoor de compositie van bestaande vaardigheden mogelijk wordt om taken op te lossen die verder gaan dan zero-shot capaciteiten.

De methodologie omvat de volgende sleutelcomponenten:

1. Semantische MDP-formulering: SARL behandelt de taalprompt van een VLA als een "semantische actie" ($\ell \in A_{sem}$). In plaats van een beleid $\pi: S \to A_{robot}$ te leren, leert het systeem een beleid $\pi_{sem}: S \to A_{sem}$ dat taalcommando's selecteert. De VLA fungeert als een transformatiefunctie die de geselecteerde semantische actie $\ell$ omzet in een robotactie $a \sim \pi_{vla}(\cdot | s, \ell)$.
2. Online RL-loop: SARL maakt gebruik van een online RL-loop om een semantische Q-functie ($Q_{sem}$) te leren. Deze functie schat de effectiviteit van specifieke taalprompts in het maken van progressie richting een taakbeloning. Het beleid selecteert prompts op basis van de softmax-distributie van deze Q-waarden, waardoor het systeem de VLA adaptief kan aansturen om naar taaksucces te navigeren.
3. Kandidaatgeneratie en Caching: Om de zoektocht over de oneindige ruimte van mogelijke taalprompts hanteerbaar te maken, gebruikt SARL een Vision-Language Model (VLM) om op elk tijdstip een set kandidaat-semantische acties ($A_{sem}^t$) te genereren op basis van de huidige observatie en de taak. Om de zoekruimte verder te beperken en efficiënt leren mogelijk te maken, cachet het systeem een eindige set prompts. De VLM wordt vervolgens beperkt tot het selecteren van kandidaten uit deze cache, wat de one-hot codering van de actieruimte en efficiënte Q-learning mogelijk maakt.
4. Grounding (Verankering): Cruciaal is dat SARL leert om deze semantische acties te verankeren in de werkelijke ervaring. Door interactie met de omgeving leert het systeem welke specifieke taalcommando's daadwerkelijk leiden tot succesvol fysiek gedrag, waarbij onderscheid wordt gemaakt tussen semantisch plausibele maar fysiek ineffectieve instructies en instructies die wel tot succes leiden.

Belangrijkste Bijdragen

• Semantische Actieruimte: Het artikel introduceert het concept om taalprompts te behandelen als de primaire actieruimte voor RL, waarbij het leren van laag-niveau controle naar semantische sturing wordt getild. Dit maakt gestructureerde, semantisch betekenisvolle exploratie mogelijk die gebruikmaakt van de gedrags-priors die in VLA's zijn gecodeerd.
• SARL Algoritme: De auteurs presenteren SARL, een algoritme dat leert om VLA-prompts te optimaliseren via online interactie. Het combineert de semantische priors van VLMs voor kandidaatgeneratie met de grounding-capaciteiten van RL om de promptselectie te verfijnen op basis van fysieke uitkomsten.
• Decompositie en Grounding: Het werk demonstreert dat succesvolle adaptatie niet alleen vereist dat complexe doelen worden gedeconstrueerd in subtaken (wat VLMs kunnen doen), maar ook dat de gegronde mapping tussen semantische instructies en de fysieke gedragingen die zij induceren wordt geleerd (wat RL biedt).

Resultaten
De auteurs evalueren SARL over gesimuleerde benchmarks (Libero-10) en real-world settings met behulp van een WidowX-robot. De experimenten richten zich op complexe, langdurige taken die onhaalbaar zijn voor zero-shot VLA-implementatie en uitdagend zijn voor bestaande RL-methoden.

• Prestaties: SARL presteert aanzienlijk beter dan bestaande baselines, inclusief Diffusion Steering via RL (DSRL), Residual RL en In-Context Learning (ICL) VLM-benaderingen. In real-world taken verbetert SARL het succespercentage van een basis-VLA van bijna 0% naar ongeveer 80% binnen 60–100 online episodes.
• Vergelijking met Actieruimte-RL: In tegen tegenstelling tot DSRL en Residual RL, die worden beperkt door de initiële actieverdeling van de basis-policy en vaak falen op taken waar de basis-policy significant incorrect is, navigeert SARL succesvol door deze faalmodi door verschillende semantische prompts te verkennen.
• Vergelijking met VLM-baselines: Hoewel ICL VLM-baselines taken kunnen deconstrueren, selecteren zij frequent instructies die semantisch betekenisvol zijn maar fysiek ineffectief (bijv. het gebruik van onjuiste werkwoorden of objectreferenties). SARL presteert beter dan deze baselines door te leren prompts te selecteren die gegrond zijn in de werkelijke capaciteiten van de robot en de specifieke omgeving.

Significantie en Claims
Het artikel claimt dat SARL fundamenteel nieuwe mogelijkheden ontsluit voor het aanpassen van generieke robotbeleidsregels. Door te optimaliseren over de semantische actieruimte, stelt SARL robots in staat om complexe, langdurige taken op te lossen die onhaalbaar zijn voor:

1. Bestaande RL-benaderingen die opereren op het niveau van de robotactie.
2. Zero-shot VLA-implementatie.
3. VLA's die worden ingezet met high-level taalsturing via VLMs zonder online RL.

De auteurs benadrukken dat de efficiëntie van SARL voortkomt uit het vermogen om vooraf getrainde vaardigheden te hergebruiken in plaats van nieuwe vaardigheden vanaf nul te leren, waardoor de zoekruimte wordt beperkt tot taak-relevante gedragingen. Bovendien onderstreept de methode het cruciale belang van het verankeren van semantische instructies in fysieke gedragingen, een capaciteit die zowel puur taalgebaseerde als puur actiegebaseerde benaderingen missen. Het werk suggereert dat toekomstige generieke robotbeleidsregels zelfs sterker taalvolgend gedrag kunnen worden ontworpen, en dat SARL als een standaard toolkit kan dienen voor autonome adaptatie in open-ended omgevingen.