Technisch Overzicht: Vision-Language-Action Modellen op een Real-World UR5 Platform

Probleemstelling

Dit project onderzoekt de haalbaarheid van het overzetten van recente Vision-Language-Action (VLA) modellen van gecontroleerde onderzoeksbenchmarks naar een real-world robotplatform, specifiek een UR5e manipulator. Hoewel VLA-modellen beloven om perceptie, redeneren en controle te verenigen in één enkel end-to-end framework, staat hun praktische implementatie voor een aanzienlijke kloof tussen offline prestaties en instabiel closed-loop gedrag op fysieke systemen. De studie beoogt te bepalen of open-source, fine-tunable VLA-modellen (specifiek OpenVLA en OpenVLA-OFT) betrouwbaar taken kunnen uitvoeren in real-world condities, of dat hun falen voortkomt uit beperkingen in de modelarchitectuur versus systemische problemen in datarepresentatie, controle-interfaces en pipeline-integratie.

Methodologie

Het onderzoek maakt gebruik van een gestructureerde, vierfasige experimentele workflow die is ontworig om bronnen van falen te isoleren, bewegend van gecontroleerde offline validatie naar real-world deployment:

1. Hardware en Software Setup:

   • Platform: Een UR5e cobot uitgerust met een Robotiq 2F-140 grijper.
   • Perceptie: Een dual-camera systeem bestaande uit een "third-eye" camera (Intel RealSense D435) en een "hand-eye" camera gemonteerd op de pols (Logitech webcam).
   • Controle: Een externe client-server architectuur waarbij de client de robot aanstuurt via de ur_rtde library, en een remote server (cluster met NVIDIA A100 GPU's) de model-inferentie afhandelt.

2. Data Acquisitie en Engineering:

   • Acquisitie Modi: Data werd verzameld via twee methoden: scripted acquisition (waypoint-gebaseerde trajecten met geïnjecteerde ruis/variabiliteit) en freedrive acquisition (handmatige menselijke begeleiding).
   • Dataset Versies: Vijf datasetversies (V0–V5) werden gecreëerd, waarbij de complexiteit progressief toenam (taakdiversiteit, viewpoint variatie, ruis-injectie) en verschoof van scripted naar mens-begeleide trajecten.
   • Formattering: Alle data werd geconverteerd naar het Reinforcement Learning Datasets (RLDS) formaat, wat compatibiliteit garandeert met OpenVLA trainingspipelines. Preprocessing omvatte actie-berekening (temporele verschillen), gripper discretisatie en temporele synchronisatie.

3. Model Selectie en Fine-Tuning:

   • OpenVLA: Een 7B parameter model met een VLM architectuur (DINOv2 + SigLIP encoders, LLaMA 2 backbone) met discrete actie-tokens (256 bins) en autoregressieve decodering. Fine-tuned middels LoRA.
   • OpenVLA-OFT: Een verfijning van OpenVLA met parallelle actie-decodering, continue actie-representatie (via een MLP head), L1 regressie loss, en multi-view inputs.
   • Baseline: Een eenvoudiger supervised imitation-learning (behavior cloning) baseline gebruikmakend van een ResNet18 backbone en MLP head, getraind op dezelfde datasets om data/pipeline issues te isoleren van model-specifieke beperkingen.

4. Evaluatie Protocol:

   • Offline Sanity Check: Valideren van inferentie-consistentie met de Berkeley UR5 dataset.
   • Zero-Shot Deployment: Testen van generalisatie op de echte robot zonder fine-tuning (zowel in-distribution als out-of-distribution).
   • Fine-Tuning Evaluatie: Beoordelen van taak-specifieke adaptatie en closed-loop stabiliteit.
   • Robustness Tests: Injecteren van Gaussische ruis en luminantie verschuivingen om visuele sensitiviteit te testen.

Belangrijkste Resultaten

1. Offline vs. Closed-Loop Discrepantie

• Offline Prestaties: In gecontroleerde, offline settings produceerden zowel OpenVLA als OpenVLA-OFT structureel coherente voorspellingen die overeenkwamen met de algemene vorm van de ground-truth trajecten.
• Closed-Loop Falen: In real-world closed-loop executie vertoonden alle modellen (inclusief de imitation-learning baseline) progressieve traject-drift, stagnatie of instabiliteit.
• Zero-Shot Gedrag: Zonder fine-tuning genereerde de robot stabiele maar invariante bewegingen die niet adapteerden aan omgevingsveranderingen of objectposities, vaak stagnerend na een korte periode.

2. Model-Specifieke Observaties

• OpenVLA (Discreet): Het model vertoonde snelle training convergentie maar produceerde degeneratieve oplossingen die ongevoelig waren voor visuele input. Robustness tests toonden aan dat voorspellingen vertrouwden op laag-niveau statistische eigenschappen (bijv. globale luminantie) in plaats van taak-relevante features. Zelfs met post-processing alignment onderschatte het model systematisch de bewegingsamplitude met ~30–40% door actie-discretisatie.
• OpenVLA-OFT (Continu): Dit model vertoonde meer stabiele trainingsdynamiek en produceerde gladdere, temporeel coherente lokale voorspellingen. Het leed echter nog steeds onder long-horizon instabiliteit tijdens recursieve executie, wat aangeeft dat continue actie-representatie alleen closed-loop drift niet oplost.
• Imitation Learning Baseline: De eenvoudigere baseline produceerde stabielere trajecten dan de VLA-modellen op dezelfde data, wat suggereert dat de instabiliteit niet uitsluitend een functie is van de VLA-architectuur, maar inherent is aan de data-pipeline-controle loop.

3. Data en Pipeline Sensitiviteit

• Preprocessing Inconsistenties: Mismatches tussen de dataset constructie preprocessing en de inference pipelines degradeerden de prestaties aanzienlijk.
• Actie Representatie: Ambiguïteiten in coördinatensystemen en normalisatie/denormalisatie conventies werden geïdentificeerd als kritieke faalpunten.
• Dataset Coverage: Datasets die gedomineerd werden door succesvolle, scripted trajecten misten recovery gedrag, wat de capaciteit van het model om afwijkingen tijdens executie te corrigeren beperkte.

Belangrijkste Bijdragen

Het project vestigt een reproduceerbaar framework voor het evalueren van learning-based manipulatiesystemen buiten simulatie, waarbij vier fundamentele assets worden geleverd:

1. Een volledige real-robot data acquisitie pipeline voor een UR5e platform.
2. Een dataset conversie workflow uitgelijnd met RLDS standaarden.
3. Een initiële fine-tuning en inferentie infrastructuur voor VLA modellen (OpenVLA en OpenVLA-OFT).
4. Een gestructureerde set experimentele observaties gebaseerd op real-robot trials.

Betekenis en Interpretatie

Het paper herkadert de deployment van VLA-gebaseerde robotica van een primair model-centrisch vraagstuk naar een systeem-niveau probleem. De centrale bevinding is dat offline stabiliteit en model capaciteit geen closed-loop stabiliteit garanderen.

• Systeem Integratie boven Model Capaciteit: De kloof tussen veelbelovende offline indicatoren en instabiel real-world gedrag wordt minder toegeschreven aan model beperkingen en meer aan de precieze uitlijning van de gehele data–model–controle pipeline. Kleine inconsistenties in datarepresentatie, coördinatensystemen of temporele alignment propageren en degraderen de prestaties.
• Beperkingen van Huidige Paradigma's: De studie benadrukt dat huidige VLA formuleringen, zelfs met verbeterde actie-representaties (continu vs. discreet), mechanismen missen om consistentie onder closed-loop dynamica af te dwingen. De stapeling van kleine systematische biases leidt tot traject-drift.
• Praktische Implicaties: Succesvolle deployment vereist een nauwere integratie tussen learning algoritmen, controle strategieën, data acquisitie protocollen en simulatie-gebaseerde iteratie. De auteurs concluderen dat toekomstige vooruitgang afhangt van het bewegen voorbij one-step prediction metrics naar frameworks die expliciet rekening houden met closed-loop gedrag en fout-accumulatie.

Het werk benadrukt dat hoewel VLA-modellen een overtuigend paradigma bieden voor flexibele taak-specificatie, hun praktische effectiviteit in real-world settings momenteel wordt beperkt door systeem-niveau integratie uitdagingen in plaats van een gebrek aan model verfijning.