Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

Technische Samenvatting: Object-Centric Residual RL voor Zero-Shot Sim-to-Real VLA Verbetering

Probleemstelling

Vision-Language-Action (VLA) modellen hebben een brede generalisatie getoond over manipulatietaken door middel van grootschalige pretraining en imitation learning. Echter, beleid (policies) afgeleid van imitation learning zijn inherent fragiel bij precieze fysieke interacties; kleine uitvoeringsfouten accumuleren in de loop van de tijd, wat leidt tot falen in ongeziene toestanden. Hoewel Reinforcement Learning (RL) een mechanisme biedt voor herstel door online interactie, is het direct toepassen van RL op moderne VLAs uitdagend vanwege architecturen die vertrouwen op diffusie of flow matching, wat niet eenvoudig differentieerbaar is via standaard policy gradients.

Residual RL, dat een lichtgewicht corrigerend beleid traint bovenop een bevroren basis-VLA, biedt een natuurlijke oplossing. Toch worden bestaande benaderingen geconfronteerd met een fundamenteel "sim-to-real" dilemma:

1. Privileged-state methoden vereisen het distilleren van een state-gebaseerde docent naar een image-gebaseerde student voor implementatie, wat leidt tot prestatieverlies.
2. Image-gebaseerde methoden lijden onder grote visuele domeingaps, wat zero-shot transfer van sim-getrainde residuals verhindert.
3. Real-world RL elimineert de transfergap, maar is kostbaar, onveilig en vereist complexe infrastructuur.

De kernuitdaging die wordt aangepakt is: Kan een reinforcement learning beleid dat puur in simulatie is getraind, de robuustheid van real-world VLAs zero-shot verbeteren, zonder distillatie of real-world RL?

Methodologie

De auteurs stellen een Object-Centric Residual RL framework voor dat VLA-acties verfijnt met behulp van object-poses, wat een compacte observatieruimte mogelijk maakt die consistent overvraagt tussen simulatie en realiteit. Het framework werkt in drie stadia:

1. Gepaarde Sim/Real VLA via Teleoperation Replay
Om de actie-distributies over verschillende domeinen uit te lijnen, spelen de auteurs dezelfde teleoperatie-demonstraties af die gebruikt zijn om de real-world VLA ($\pi^{real}_{VLA}$) te trainen, binnen een simulatie-omgeving. Dit traint een simulatie-tegenhanger ($\pi^{sim}_{VLA}$) naast de real-world versie. Omdat beide worden gesuperviseerd door identieke actietrajecten, leren ze uitgelijnde actie-distributies ondanks verschillende visuele inputs. Dit stelt de residual in staat om samen met $\pi^{sim}_{VLA}$ te trainen in simulatie en zero-shot te transfereren naar $\pi^{real}_{VLA}$ tijdens implementatie. Cruciaal is dat omdat de residual geen afbeeldingen observeert, de simulatie-omgeving niet visueel realistisch hoeft te zijn, wat de engineering-overhead vermindert.

2. Object-Centric Residual RL Training
Het residual beleid ($\pi^{sim}_{res}$) wordt volledig in simulatie getraind met behulp van TD3. De belangrijkste innovatie ligt in de observatieruimte $s_t$, die zowel privileged states als ruwe afbeeldingen vermijdt:
$$s_t = [s^{obj}_t, s^{prop}_t, a^{base}_t]$$

• $s^{obj}_t$: 6-DoF poses (positie en oriëntatie) van taak-relevante objecten, geschat via off-the-shelf estimators (FoundationPose + SAM2).
• $s^{prop}_t$: Proprioceptieve staat (end-effector pose, gripper status).
• $a^{base}_t$: De huidige actie-chunk van de basis-VLA.

Om robuustheid te garanderen tegen real-world pose-schattingruis en fouten, maakt de training gebruik van twee augmentatiestrategieën:

• Pose Noise Injection: Willekeurige perturbaties worden toegevoegd aan positie en oriëntatie (quaternion multiplicatie) om de onnauwkeurigheid van estimators na te bootsen.
• Pose Dropout: Met een bepaalde waarschijnlijkheid wordt de object-pose vector op nul gezet, waardoor het beleid gedwongen wordt een fallback-strategie te leren die enkel vertrouwt op proprioceptie en de basis-actie.

3. Zero-Shot Deployment
Bij implementatie zijn zowel de real VLA als de sim-getrainde residual bevroren. Het systeem vraagt de real VLA voor de basis-actie en de residual voor een correctie gebaseerd op de geobserveerde object-poses. Als de betrouwbaarheid van de pose-estimator onder een drempelwaarde valt, activeert het systeem de geleerde "dropout" fallback. De gecombineerde actie wordt berekend als $a_t = a^{base}_t \oplus \pi^{sim}_{res}(s_t)$, waarbij $\oplus$ de component-voor-component compositie aangeeft (optelling voor positie/gripper, quaternion multiplicatie voor rotatie).

4. VLA Self-Improvement
Succesvolle rollouts gegenereerd door het residual-gecorrigeerde beleid op de echte robot kunnen worden geaggregeerd over taken om de basis-VLA te hertrainen via supervised fine-tuning (SFT). Dit creëert een self-improvement loop die kwalitatief betere trainingsdata genereert zonder extra menselijke teleoperatie.

Belangrijkste Bijdragen

• Zero-Shot Sim-to-Real Framework: Een nieuw residual RL-framework dat zero-shot transfer bereikt zonder distillatie of real-world RL door een domein-invariante observatieruimte (object-poses + proprioceptie) te gebruiken.
• Automatische Self-Improvement: Een mechanisme om succesvolle real-robot rollouts van het residual-gecorrigeerde beleid te aggregeren om een enkele multi-task VLA te hertrainen, wat het basisbeleid verbetert zonder nieuwe menselijke demonstraties.
• Empirische Validatie: Demonstratie van consistente verbetering over vijf manipulatietaken op een echte Franka Research 3 (FR3) robot, waarbij het gemiddelde succespercentage steeg van 42% naar 76%.

Experimentele Resultaten

De methode werd geëvalueerd op vijf tabletop manipulatietaken (Cube Lift, Pick-and-Place, Stack Cube, Close Drawer, Stand Cup Up) met behulp van een echte FR3 robot en een MuJoCo simulatie.

• Prestatiewinst: De sim-getrainde residual verbeterde het gemiddelde succespercentage op de echte robot van 42% (Base VLA) naar 76% (Base + Residual). In simulatie verbeterde het gemiddelde succespercentage van 38% naar 86%.
• Ablatie-studies:
  • Robuustheid: Zowel pose noise injection als pose dropout waren essentieel; het verwijderen van één van beide verslechterde de prestaties, waarbij pose dropout cruciaal was voor veerkracht tegen detectiefouten.
  • Observatieruimte: Object-centrische observaties presteerden significant beter dan image-gebaseerde baselines (die faalden door visuele domeingaps) en distillatie-gebaseerde benaderingen (die leden onder prestatieverlies tijdens distillatie).
• Interventie-analyse: De residual greep consistent in wanneer de basis-VLA niet goed was uitgelijnd met het doel, waarbij acties richting het doel stuurde. Deze selectieve correctie resulteerde in 9–22% snellere taakvoltooiing.
• Generalisatie: Het framework bleek compatibel met verschillende VLA-backbones (getest op $\pi_{0.5}$), wat bevestigt dat de observatie-interface niet specifiek is voor één architectuur.
• Self-Improvement: Het hertrainen van de basis-VLA op residual-gecorrigeerde rollouts leverde hogere succespercentages en kortere episode-lengtes op vergeleken met het hertrainen op de originele basis-rollouts.

Betekenis en Claims

Het artikel claimt dat door de observatieruimte van het residual beleid te verschuiven van afbeeldingen of privileged states naar object-centrische poses, het mogelijk is om de sim-to-real gap te overbruggen zonder complexe domeinadaptatie of distillatie. Deze aanpak maakt gebruik van de generalisatie van VLAs terwijl het de precisie van RL toevoegt via een lichtgewicht, zero-shot overdraagbaar module.

De auteurs positioneren dit als een praktische weg naar schaalbare en autonome robotverbetering. Door het correctiemechanisme te ontkoppelen van de training van het basisbeleid en gebruik te maken van een herstelbare staat-representatie, maakt de methode de real-world implementatie van sim-getrainde RL-beleid mogelijk. Bovendien suggereert de mogelijkheid om deze gecorrigeerde rollouts te gebruiken om de basis-VLA te hertrainen een pad naar continue, automatische systeemverfijning zonder de prohibitieve kosten van continue menselijke teleoperatie.

Beperkingen opgemerkt door de auteurs:

• Afhankelijkheid van real-time 6-DoF pose tracking, wat kan falen bij volledige occlusie of zware rommel (clutter).
• Vereiste voor handmatige specificatie van taak-relevante objecten.
• De pose-gebaseerde observatie overbrugt de visuele gap, maar niet de dynamica-gap (bijv. wrijving, compliantie), wat invloed kan hebben op contact-rijke taken.
• Als een residual architectuur kan het niet herstellen van toestanden die ver buiten de trainingsdistributie van de basis-VLA liggen.
• Taken met sub-millimeter precisie kunnen de huidige nauwkeurigheid van pose-schatting overstijgen.