Technische Samenvatting: EXPO-FT

Probleemstelling

Het vermogen om nieuwe taken efficiënt en betrouwbaar te leren, blijft een fundamentele uitdaging in de robotica. Hoewel Vision-Language-Action (VLA)-modellen sterke generalisatie hebben aangetoond over diverse manipulatietaken via grootschalig imitatie-leren, blijven vooraf getrainde beleidsregels consequent achter bij de betrouwbaarheid die vereist is voor implementatie in de echte wereld. Falen in fysieke omgevingen is kostbaar, wat noodzaakt tot een weg om de kloof te overbruggen tussen generalistische vooropleiding en betrouwbare, taakspecifieke prestaties.

Bestaande benaderingen voor het trainen van robotbeleidsregels in de echte wereld via Reinforcement Learning (RL) staan voor een tweedeling:

1. Trainen vanaf nul: Methoden die RL-beleidsregels trainen zonder een VLA te finetunen (of lichte modellen daarbovenop trainen) bereiken vaak sterke asymptotische prestaties, maar halen de rijke semantische en gedragsmatige priors die in grote vooraf getrainde VLA's zijn ingebouwd, niet ten volle.
2. Finetunen van VLA's: Methoden die vooraf getrainde VLA's finetunen, erven generaliseerbare representaties over, maar bereiken vaak geen betrouwbare successpercentages, vereisen onaanvaardbaar grote aantallen interacties met de omgeving, of beide.

Er is een kritieke kloof voor kaders die tegelijkertijd de prior van een vooraf getrainde VLA benutten én de benodigde sample-efficiëntie en betrouwbaarheid voor praktische implementatie bereiken.

Methodologie: EXPO-FT

De auteurs presenteren EXPO-FT, een systeem ontworpen voor stabiele, sample-efficiënte RL-finetuning van vooraf getrainde VLA-beleidsregels. Het systeem is gebaseerd op het EXPO-algoritme, een recent voorgestelde methode voor stabiele RL met expressieve flow- of diffusiebeleidsregels, en breidt dit uit om specifieke uitdagingen in de robotica aan te pakken.

Kernarchitectuur en Ontwerpkies

EXPO-FT integreert drie hoofdcomponenten om hoge sample-efficiëntie en betrouwbaarheid te bereiken:

1. Basisbeleid en Bewerkingsmechanisme (Extended EXPO):

   • Het systeem gebruikt een vooraf getrainde VLA (specifiek $\pi_{0.5}$) als basisflow-beleid ($\pi_{VLA}$).
   • In plaats van gradiënten door het grote VLA-model te backpropageren tijdens RL-updates, maakt EXPO-FT gebruik van een lichtgewicht bewerkingsbeleid ($\pi_{edit}$).
   • Het bewerkingsbeleid voorspelt een correctie $\hat{a}$ die beperkt is tot een klein bereik $[-\beta, \beta]$, die wordt opgeteld bij de basisactie $a$ om de bewerkte actie $\tilde{a} = a + \hat{a}$ te produceren.
   • Een Q-functie wordt getraind via Temporal Difference (TD)-lering om de waarde-maximaliserende kandidaat te selecteren tussen de basisactie en de bewerkte actie. Dit stelt het systeem in staat TD-updates te verankeren in bijna-optimale acties zonder de vooraf getrainde VLA te destabiliseren.

2. Tijdelijk Uitgebreide Acties (Actiechunks):

   • In tegenstelling tot klassieke RL-algoritmen die zijn ontworpen voor single-step Gaussische acties, werken moderne VLA's met actiechunks (sequenties van $H$ toekomstige acties).
   • EXPO-FT past het bewerkingsbeleid en de Q-functie aan om native te opereren over deze chunks ($a_{t:t+C}$). Het bewerkingsbeleid voorspelt bewerkingen voor de hele chunk, waardoor de temporele abstractie die centraal staat in VLA-ontwerp, behouden blijft.

3. Mens-in-de-Loop (HIL) Interventies:

   • Om het leren verder te versnellen en gerichte correcties te bieden waar autonome exploratie ontoereikend is, integreert het systeem feedback van een mens in de loop.
   • Tijdens online training kan een menselijke operator interveniëren via teleoperatie (met behulp van een SpaceMouse) om actiecorrecties te geven voor specifieke tijdstappen binnen een actiechunk.
   • Deze corrigerende acties overschrijven de acties van het beleid voor de geïnterveneerde tijdstappen, en de resulterende trajecten worden toegevoegd aan de replay-buffer. Dit mechanisme biedt hoogwaardige signalen om de exploratiebelasting te verminderen.

Trainingsprocedure

Het systeem maakt gebruik van een ontkoppelde Learner-Actor-architectuur om de latentie van grote VLA-inferentie en -training te beheren:

• Actor: Voert rollouts uit in de echte wereldomgeving, verzamelt menselijke interventies en stuurt state-action-reward-tupels $(s, a, r, s')$ naar de learner.
• Learner: Verwerkt VLA-training, inferentie en onderhoudt de replay-buffer. Het update het agent (Q-netwerk en bewerkingsbeleid) per stap, per episode of per grote batch.
• Initialisatie: Voorafgaand aan online RL wordt de VLA vaak gebootstrapt met een kleine offline dataset van menselijke demonstraties via supervised finetuning (Imitatie-leren) om een basissuccespercentage te bereiken (bijv. ~40%).
• Beloning: Het systeem gebruikt een spaarzaam binair beloningssignaal dat taakvoltooiing aangeeft, waardoor de engineering- overhead van dichte beloningsvormgeving wordt vermeden.

Belangrijkste Bijdragen

1. Systeem voor Sample-Efficiënte RL-Finetuning: Een compleet kader (EXPO-FT) dat betrouwbare finetuning van vooraf getrainde VLA-modellen met RL mogelijk maakt, met hoge successpercentages en minimale online data.
2. Architecturale Uitbreidingen: De uitbreiding van het EXPO-algoritme om tijdelijk uitgebreide actiechunks te ondersteunen en de integratie van mens-in-de-loop-interventies specifiek voor VLA-finetuning.
3. Open-Source Release: De release van een open-source codebase om bredere adoptie van RL-finetuning voor VLA-modellen in de robotica-gemeenschap te faciliteren.

Experimentele Resultaten

De auteurs hebben EXPO-FT geëvalueerd op acht uitdagende real-world manipulatietaken die combinaties vereisen van hoge precisie, dynamische acties en robuustheid tegen gevarieerde beginstaten. De taken omvatten:

• Dynamisch/Contactrijk: Egg Flip (een gebakken ei omdraaien met een spatel), Pool Shot (een biljartbal raken).
• Precisie/Onderlinge Uitlijning: Flower Insert (een steel in een fles steken), Cube Pick (grijpen onder randomisatie), String Light Routing (lampen ophangen en stekken in het stopcontact).
• Verzachtbaar/Ruizig: Candy Scoop (snoepjes overbrengen met een lepel).

Prestatiemetingen:

• Successpercentage: EXPO-FT behaalde een perfect successpercentage (30/30) over alle geëvalueerde taken.
• Sample-efficiëntie: Het systeem bereikte deze betrouwbare prestatie binnen een gemiddelde van 19,1 minuten aan online robotdata.
• Vergelijking: EXPO-FT presteerde beter dan:
  • HIL-SERL (RL vanaf nul met HIL): Bereikte slechts 5,5/30 gemiddeld succes, met moeite met grote verdelingen van beginstaten.
  • DSRL (Latente ruimte RL op VLA's): Bereikte 19/30 gemiddeld, beperkt door optimalisatiebeperkingen binnen de priorverdeling.
  • HG-DAgger (Imitatie-leren met correcties): Bereikte 22,1/30 gemiddeld, met moeite om te herstellen van cumulatieve fouten in dynamische taken.
  • Supervised Finetuning (SFT): Bereikte 20,5/30 gemiddeld.

Opvallend is dat bij taken die dynamische acties vereisen (Egg Flip, Pool Shot) of hoge precisie, het prestatieverschil tussen EXPO-FT en eerdere methoden het meest uitgesproken was.

Betekenis en Claims

Het artikel stelt dat EXPO-FT aantoont dat RL-finetuning van VLA's zowel sample-efficiënt als betrouwbaar kan zijn wanneer het is ontworpen met de juiste architecturale keuzes. Door de semantische priors van een vooraf getrainde VLA te combineren met een efficiënt off-policy RL-algoritme (EXPO) en mens-in-de-loop-correcties, overbrugt het systeem de kloof tussen generalistische vooropleiding en de betrouwbaarheid die vereist is voor implementatie in de echte wereld.

De auteurs positioneren dit werk als een springplank naar bredere adoptie van finetuning van generalistische VLA-modellen met reinforcement learning. Ze erkennen beperkingen, zoals de huidige vereiste voor handmatige resetten van de omgeving en de computationele uitdagingen van het uitvoeren van training met hoge frequentie op modellen met miljarden parameters, en identificeren deze als richtingen voor toekomstig werk. De kernbijdrage is echter de validatie dat een unificerend, sample-efficiënt proces een generalistische VLA kan transformeren in een zeer betrouwbare specialist voor complexe manipulatietaken.