Technische Samenvatting: OneVLA – Een Verenigd Framework voor Belichaamde Taken

Probleemstelling

Huidige Vision-Language-Action (VLA) modellen voor belichaamde intelligentie kampen met een fundamentele architecturale beperking: ze zijn doorgaans beperkt tot taken binnen één domein (ofwel navigatie of manipulatie) of vereisen taakspecifieke modelvarianten om meerdere taken te kunnen afhandelen. Hoewel cross-task modellen zoals UniVLA hebben geprobeerd kennis te transfereren tussen verschillende belichamingen van robots, vertrouwen zij nog steeds op afzonderlijke action heads of specifieke modelconfiguraties voor verschillende taken. Deze fragmentatie belemmert de ontwikkeling van werkelijk algemene robotische agenten die naadloos natuurlijke taal kunnen interpreteren en fysiek met hun omgeving kunnen interageren over diverse domeinen heen. Het paper identificeert twee kernvragen: (1) Kan een verenigde VLA-architectuur zowel navigatie als manipulatie uitvoeren zonder taakspecifieke varianten? en (2) Kunnen deze twee fundamentele taken elkaar door gezamenlijke training wederzijds helpen om de algehele prestaties te verbeteren?

Methodologie

De auteurs stellen OneVLA voor, een verenigde VLA-architectuur die ontworpen is om zowel taalreacties als robotische acties te genereren voor navigatie en manipulatie binnen een enkel framework.

1. Verenigde Architectuur

• Verenigde Vision-Language Encoder: Het model maakt gebruik van een gedeelde backbone bestaande uit een 32-laagse Vision Transformer (die multi-view RGB-beelden verwerkt) en een 36-laagse Transformer taalmodel (met gebruik van GQA). Visuele kenmerken worden geprojecteerd naar de verborgen dimensie van het taalmodel ($d_h=2048$) om een verenigde multimodale representatie te creëren.
• Token-gebaseerde Decodering: Om dubbele outputs te verwerken, is het vocabulaire uitgebreid met speciale tokens <text>...</text> en <action>...</action>. Dit stelt het model in staat om autoregressief een tekstuele reactie te genereren die het begrip van de taak uitlegt, gevolgd door de actiesequentie, in één enkele forward pass.
• Verenigde Action Head: De kerninnovatie is een enkele action head die de actiedimensies van navigatie en manipulatie samenvoegt in een 11-dimensionale verenigde ruimte:
  • Navigatie ($a_{navi} \in \mathbb{R}^4$): Discrete waarschijnlijkheidsverdeling voor commando's (vooruit, draai links, draai rechts, stop).
  • Manipulatie ($a_{mani} \in \mathbb{R}^7$): Continue 7-DOF end-effector controle ($\Delta x, \Delta y, \Delta z, \Delta roll, \Delta pitch, \Delta yaw, g$).
• Flow-Matching Mechanisme: De action head maakt gebruik van een flow-matching diffusieproces om toekomstige actiesequenties te voorspellen. Het leert een snelheidveld te voorspellen door het flow-matching objectief te minimaliseren, gebruikmakend van een action encoder, een DiT backbone met cross-attention, en een action decoder.
• Taakspecifieke Weging: Om heterogene actieruimtes te accommoderen, gebruikt het model taakspecifieke gewichtsmaskers tijdens de training. Deze maskers zorgen ervoor dat alleen relevante actiedimensies bijdragen aan de berekening van de loss voor een gegeven sample, waardoor simultane training mogelijk is zonder architecturale wisselingen.

2. Multi-Stage Progressieve Trainingsstrategie

Om sterke positieve transfer en wederzijdse versterking te faciliteren, hanteren de auteurs een driefasige trainingsstrategie:

• Fase 1 (Manipulatie Fundament): Traint uitsluitend op manipulatie-datasets en algemene VQA-data om robuuste manipulatieskills en visueel-linguïstisch begrip te vestigen.
• Fase 2 (Cross-Task Transfer): Introduceert navigatiegegevens in de gezamenlijke training, terwijl manipulatie en VQA data behouden blijven. Deze fase maakt gebruik van de verenigde action head om beide taken gelijktijdig te leren, wat kennisoverdracht tussen domeinen mogelijk maakt.
• Fase 3 (Redeneringsverbetering): Integreert Chain-of-Thought (CoT) data om de redeneercapaciteiten en de kwaliteit van de besluitvorming van het model te verfijnen.

3. Loss Functie

Het model wordt end-to-end getraind met een samengestelde loss functie:
$$L_{total} = \lambda_{vlm}L_{vlm} + \lambda_{text}L_{text} + \lambda_{action}L_{action}$$

• $L_{vlm}$: Standaard cross-entropy voor algemene visuele-linguïstische uitlijning.
• $L_{text}$: Next-token voorspelling voor de redeneerfase van de tekst (inclusclusief boundary tokens).
• $L_{action}$: Flow-matching loss berekend met taakspecifieke gewichtsmaskers om heterogene outputs te verwerken.

Belangrijkste Bijdragen

1. Verenigde Architectuur: Voorstel van OneVLA, het eerste VLA-framework dat zowel navigatie- als manipulatietaken kan uitvoeren zonder taakspecifieke modelvarianten of afzonderlijke action heads te vereisen.
2. Innovatieve Componenten: Introductie van een verenigde action head met flow-matching en een multi-stage progressieve trainingsstrategie die effectieve wederzijdse verbetering tussen verschillende taakdomeinen faciliteert.
3. Empirisch Bewijs van Wederzijds Voordeel: Uitgebreide experimenten die aantonen dat gezamenlijke training op navigatie en manipulatie leidt tot significante prestatieverbeteringen voor beide taken vergeleken met single-task training.
4. Nieuw Paradigma: Het doorbreken van de architecturale barrières tussen onafhankelijke taakdomeinen om een nieuw paradigma te vestigen voor algemene robotische systemen.

Experimentele Resultaten

De auteurs hebben OneVLA geëvalueerd op zowel gesimuleerde als real-world benchmarks, waarbij het werd vergeleken met gespecialiseerde single-task modellen en bestaande cross-task modellen.

• Gesimuleerde Benchmarks:

  • Navigatie (VLN-CE): OneVLA behaalde state-of-the-art (SOTA) prestaties, met 68,6% op de R2R dataset en 58,2% op de RxR dataset. Dit presteerde aanzienlijk beter dan UniVLA (respectievelijk 47,1% en 26,3%) en gespecialiseerde navigatiemodellen zoals StreamVLN.
  • Manipulatie (SimplerEnv): OneVLA behaalde een gemiddeld succespercentage van 64,5%, waarmee het UniVLA-Mani (35,4%) en het SOTA manipulatiemodel $\pi0$-Fast (48,3%) versloeg.
  • Efficiëntie: Opvallend genoeg presteerde het 3B parameter OneVLA model beter dan alle 7B parameter taakspecifieke modellen, wat de efficiëntie van het verenigde ontwerp aantoont.

• Real-World Experimenten:

  • Gebruikmakend van een Franka Research 3 robotarm en een mobiel robotplatform, behaalde OneVLA 78,8% succes in manipulatietaken en 77,5% in navigatietaken.
  • Deze resultaten vertegenwoordigen verbeteringen van respectievelijk 16,3% en 35,0% ten opzichte van UniVLA in real-world settings, wat de capaciteit van het model bevestigt om te generaliseren buiten simulatie.

• Ablatie-studies:

  • Multi-Stage Training: Vergeleken met single-stage training verbeterde de driefasige strategie de R2R-prestaties met 12,5% en de SimplerEnv-prestaties met 18,3%.
  • Gezamenlijke Training: Gezamenlijke training verbeterde de prestaties ten opzichte van single-task training met 7,3% (R2R) en 5,5% (SimplerEnv), wat de hypothese valideert dat gedeelde representaties beide domeinen ten goede komen.
  • Action Horizon: Een action horizon van 5 tijdstappen bleek de optimale balans te bieden tussen temporele modellering en voorspellingsnauwkeurigheid.

Betekenis en Claims

Het paper claimt dat OneVLA de weg vrijmaakt voor werkelijk algemene robotische systemen door de kerncapaciteiten van belichaming (navigatie en manipulatie) te verenigen in één coherent framework. De auteurs stellen dat deze aanpak niet alleen architecturaal eleganter is — door het elimineren van de noodzaak voor taakspecifieke varianten — maar ook superieur is in prestaties. Door aan te tonen dat gezamenlijke training leidt tot wederzijdse prestatieverbeteringen, suggereert dit werk dat een verenigde aanpak essentieel is voor de vooruitgang van belichaamde intelligentie richting Artificial General Intelligence (AGI). Het model en de broncode zijn publiekelijk vrijgegeven om verder onderzoek in deze richting te ondersteunen.