Technische Samenvatting: Verbeteren van Robotische Generalistische Policies via Flow Reversal Steering

Probleemstelling

Generalistische robotische policies, met name Vision-Language-Action (VLA) modellen getraind op grote, diverse datasets, bezitten een rijke prior over "redelijke" gedragingen. Echter, wanneer zij geconfronteerd worden met nieuwe taken die afwijken van hun trainingsdata — waarbij langdurige gedragingen (long-horizon) of specifieke aanpassingen vereist zijn — falen deze policies vaak. Standaard herstelmaatregelen (recourse) omvat het hertrainen met nieuwe demonstratiedata, wat kostbaar en traag is.

Bestaande sturingsmethoden proberen deze policies te sturen met behulp van semantische kennis van mensen of Vision-Language Models (VLMs). Er bestaat echter een kritieke bottleneck: hoewel VLMs hoog niveau semantische doelen kunnen afleiden (bijv. "beweeg naar rechts"), hebben zij moeite met het genereren van precieze, laag niveau behendige acties. Omgekeerd mappen flow matching policies (een veelvoorkomende architectuur voor generalisten) ruis naar acties op een deterministische wijze, maar hun ruisruimte mist een direct waarneembare structuur. Het vinden van de specifieke ruisvectoren die naar gewenste acties leiden, vereist doorgaans dure trial-and-error via Reinforcement Learning (RL), wat vaak onhandelbaar is wanneer de basispolicy een bijna nulprocent succesratio heeft op een taak.

Methodologie: Flow Reversal Steering (FRS)

De auteurs stellen Flow Reversal Steering (FRS) voor, een methode die de deterministische aard van flow matching policies benut om de kloof tussen grove semantische sturing en precieze robotacties te overbruggen.

Kernmechanisme

FRS opereert door de flow policy te inverteren. In plaats van willekeurige ruis te samplen en deze te denoisen naar een actie, neemt FRS een "grove" referentie-actie ($a_1$) — die suboptimal of zelfs out-of-distribution (OOD) kan zijn — en stuurt deze door de flow policy in omgekeerde richting.

1. Flow Reversal: Gegeven een referentie-actie $a_1$ en een observatie $o$, integreert de methode het geleerde snelheidveld $v_\theta$ achterwaarts in de tijd (van $t=1$ naar $t=0$) om de latente ruisvector $\hat{a}_0$ te identificeren die $a_1$ zou hebben gegenereerd.
   $$\hat{a}_0 \leftarrow \mu^{-1}_\theta(a_1, o)$$
2. Denoising: Deze berekende ruis $\hat{a}_0$ wordt vervolgens door het standaard voorwaartse flow matching proces (denoising) geleid om een verfijnde actie $\hat{a}_1$ te produceren.
   $$\hat{a}_1 \leftarrow \mu_\theta(\hat{a}_0, o)$$

Kerninzicht: Hoewel $\hat{a}_1$ niet identiek is aan de referentie-actie $a_1$ vanwege integratiefouten, is het wel "in-distribution" voor de generalistische policy. Het proces "projecteert" effectief de grove semantische intentie naar een nabijgelegen, hoogwaardige actie-modus die de generalistische policy al in staat is uit te voeren. Dit stelt de policy in staat om zijn interne prior van redelijke gedragingen te benutten terwijl hij de hoog niveau richting volgt die door een reasoner wordt geboden.

Implementatie van Reasoning

De methode ondersteunt twee soorten reasoners:

• Mensen: Kunnen grove directionele commando's geven (bijv. via toetsenbordinputs voor Cartesiaanse richtingen).
• VLMs: Kunnen hoog niveau subdoelen afleiden en eenvoudige directionele vectoren outputten (bijv. "beweeg naar rechts").
  Deze grove inputs worden omgezet in referentie-actiechunks, die FRS vervolgens verfijnt.

Policy Verbeteringsparadigma's

FRS maakt drie verschillende modi van policy verbetering mogelijk:

1. Zero-Shot Steering: De reasoner stuurt de policy bij elke stap tijdens de deployment zonder enige training.
2. Diffusion Steering via Behavioral Cloning (DSBC): De ruisvectoren ($\hat{a}_0$) gegenereerd door FRS worden behandeld als "expert" acties. Een aanvullende, lichtgewicht ruispolicy wordt getraind via supervised learning (Behavioral Cloning) om deze ruis direct vanuit observaties te voorspellen. Dit destilleert de FRS-capaciteit in een snelle, kleine policy.
3. Diffusion Steering via Reinforcement Learning (DSRL + FRS): FRS-trajecten worden gebruikt om RL te bootstrappen. De succesvolle ruisvectoren dienen als prior data om de replay buffer te vullen en als een aanvullende loss-term, waardoor de RL-agent rond semantisch betekenisvolle gedragingen verkent in plaats van rond willekeurige ruis.

Belangrijkste Bijdragen

1. Flow Reversal Steering (FRS): Een nieuwe techniek om flow matching generalisten te sturen door de flow te inverteren om ruisvectoren te vinden die corresponderen met grove referentie-acties, wat het extraheren van in-distribution, hoogwaardige acties uit semantische sturing mogelijk maakt.
2. Efficiënte Adaptatie via DSBC: Het aantonen dat door FRS gegenereerde ruis kan worden gedestilleerd in een kleine aanvullende policy via Behavioral Cloning in minder dan een minuut training, waarbij een hoge succesrate wordt bereikt met minimale data (bijv. 10 trajecten).
3. RL Bootstrapping: Het aantonen dat FRS Reinforcement Learning kan bootstrappen op taken waar de basispolicy bijna volledig faalt, door de initiële "goede" ruisvectoren te leveren die standaard RL niet kan vinden via willekeurige exploratie.
4. Empirische Validatie: Uitgebreide evaluatie over gesimuleerde (LIBERO) en real-world (DROID) manipulatietaken, waarbij verbeteringen in zero-shot controle, sample-efficiëntie en uiteindelijke taaksuccesrates worden aangetoond.

Experimentele Resultaten

Het onderzoek evalueert FRS op state-of-the-art VLAs (specifiek $\pi0.5$) over diverse settings:

• Zero-Shot Prestaties: Op 42 uitdagende LIBERO-taken waar de basis-VLA een succesrate van $\le 2\%$ behaalde, verbeterde FRS (gestuurd door VLMs) de succesrates met ten minste 10% absoluut in 11 taken. Dit presteerde significant beter dan baselines zoals directe VLM actie-executie, partial noising en sample-and-rank methoden.
• Behavioral Cloning (DSBC): In de LIBERO-90 benchmark bereikte DSBC, getraind op FRS-data, de prestaties van zero-shot VLM steering terwijl het robuuster is tegen out-of-distribution staten. In real-world DROID experimenten verhoogde DSBC, getraind op slechts 10 succesvolle FRS-rollouts, de gemiddelde succesrate met 60% vergeleken met de basispolicy, terwijl standaard Behavioral Cloning op dezelfde data volledig faalde.
• Reinforcement Learning (DSRL + FRS):
  • Op taken waar FRS gematigd succes bood, behaalde DSRL + FRS snellere convergentie en hogere uiteindelijke succesrates vergeleken met standaard DSRL en residual RL.
  • Op extreem moeilijke taken (basispolicy $\approx 0\%$ succes), was DSRL + FFS, geïnitialiseerd met slechts één succesvol FRS traject, in staat om te leren en te convergeren naar hoge succesrates, terwijl standaard DSRL moeite had om meer dan $\approx 30\%$ te leren.
• Offline Learning: De auteurs hebben aangetoond dat FRS kan worden toegepast op standaard offline robot datasets (zonder ruis-labels) om ruis-actie paren te genereren, wat het trainen van ruis-policies van bestaande demonstratiedata mogelijk maakt.

Betekenis en Claims

Het paper claimt dat FRS een nieuw paradigma biedt voor het verbeteren van generalistische policies. In plaats van uitsluitend te vertrouwen op het optimaliseren van reward functies of het verzamelen van enorme hoeveelheden nieuwe demonstratiedata, stelt FRS policies in staat om snel te adapteren door gebruik te maken van hun bestaande gedrags-priors.

De auteurs benadrukken dat FRS bijzonder significant is omdat:

• Het hoog niveau semantische reasoning (waar VLMs en mensen uit blinken) ontkoppelt van laag niveau behendige controle (waar generalistische policies in uitblinken).
• Het snelle policy verbetering mogelijk maakt (in minder dan een minuut) zonder de dure trial-and-error die gewoonlijk geassocieerd wordt met het vinden van goede ruisvectoren in flow spaces.
• Het een mechanisme biedt om leren te bootstrappen in regimes waar standaard RL faalt door schaarse rewards en een gebrek aan initiële succesvolle trajecten.

Het werk suggereert dat toekomstige verbeteringen in robotische generalisten minder zullen afhangen van het opschalen van trainingsdata en meer van efficiënte methoden om deze modellen te "sturen" en te "inverteren" om taakrelevante gedragingen te extraheren uit hun rijke, pre-trained priors.