Technische Samenvatting: MotionWAM

Probleemstelling

Huidige autonome humanoïde loco-manipulatiesystemen vertrouwen voornamelijk op een hiërarchisch paradigma dat het bovenlichaam en onderlichaam ontkoppelt. In deze opzet genereert een hoogwaardig manipulatiebeleid fijne gewrichtstargets voor de armen, terwijl een laagwaardige controller grove basiscommando's (snelheid, hoogte, oriëntatie) voor de benen volgt. Deze architectuur dwingt de robot in inconsistente actieruimtes, waardoor de benen beperkt worden tot passieve balansbehoud en dit voorkomt dat de benen kunnen deelnemen aan taakgestuurde voetinteractie (bijv. op een pedaal stappen of een bal trappen).

Hoewel World Action Models (WAMs) veelbelovend zijn gebleken bij tafelblad-manipulatie door video-dynamica-priors te koppelen aan policies, zijn bestaande implementaties te traag voor real-time controle. Ze vertrouwen op iteratieve denoising over hoogdimensionale video-actie latents, wat een computationele bottleneck creëert die closed-loop deployment op dynamische, balancerende humanoïden verhindert. De kernuitdaging is het implementeren van de rijke dynamica-priors van WAMs in een verenigde latente ruimte voor whole-body humanoïde controle, terwijl de real-time inferentie-snelheden behouden blijven.

Methodologie: MotionWAM

MotionWAM is een end-to-end World Action Model ontworpen om autonome humanoïde loco-manipulatie aan te sturen vanuit een enkele egocentrische camera. Het vervangt de hiërarchische boven-onder splitsing door een verenigde motion latent die simultaan whole-body bewegingstokens voorspelt die locomotie, torsobeweging, hoogteregulatie, voetinteractie en handmanipulatie dekken.

1. Modelarchitectuur

MotionWAM maakt gebruik van een dual-DiT (Diffusion Transformer) framework:

• Video DiT: Geïnitialiseerd van Cosmos-Predict2.5-2B, comprimeert deze tak egocentrische conditioneringframes en toekomstige frames naar latents. Cruciaal is dat het model, in plaats van te wachten op volledige denoising, de verborgen toestanden ($h^{\tau_f}_t$) van het velocity netwerk onderschept bij een vaste flow-tijdstap nabij pure ruis ($\tau_f \approx 1$). Dit "one-shot imaginatie" regime codeert waar de scène naartoe gaat zonder de computationele kosten van iteratieve denoising.
• Motion DiT: Deze tak consumeert de tussenliggende Video DiT-features, samen met proprioceptieve toestanden en ruisende motion tokens, om het velocity veld voor de motion latent te voorspellen.
• Unified Latent ($m_t$): De output is een verenigde motion latent bestaande uit:
  • Een continue vector ($m^{cont}_t$) voor behendige hand/gripper commando's.
  • Een gediscretiseerde token index ($k_t$) afgeleid van een scalaire slot ($\tilde{k}_t$), die locomotie, torso, hoogte en voetinteractie intentie samenvat. Deze token wordt door SONIC, een universele whole-body controller, gedecodeerd naar gewrichtscommando's.

2. Drie-fasen Trainingsframework

Om de video world model aan te passen aan egocentrische dynamica en de specifieke humanoïde belichaming, stellen de auteurs een progressief trainingsrecept voor:

• Fase 1: Egocentrische Video Pretraining: De Video DiT wordt alleen getraind op ~2.136 uur aan egocentrische menselijke en humanoïde-robot video's. Dit verschuift de distributie van het world model naar first-person visuele dynamica zonder gehinderd te worden door de schaarste aan actie-gelabelde data.
• Fase 2: Cross-Embodiment Action Post-Training: De Motion DiT wordt toegevoegd en co-getraind op een heterogene mix van Unitree G1 data (variërende end-effectors en annotatieformaten). Het video-doel wordt behouden als een regularisator om te voorkomen dat de dynamica-prior wordt overschreven, waardoor het actiesignaal over verschillende belichamingen wordt gegrond.
• Fase 3: Whole-Body Fine-Tuning: Het volledige model wordt gefinetuned op teleoperated whole-body demonstraties verzameld op de doelgerichte Unitree G1. De actie-output wordt gewisseld naar verenigde whole-body motion tokens, wat end-to-end controle mogelijk maakt.

Belangrijkste Bijdragen

1. MotionWAM Architectuur: Een real-time WAM die de policy conditioneert op tussenliggende denoising features van een video world model, wat whole-body controle mogelijk maakt in een enkele actieruimte.
2. Unified Motion Latents: De vervanging van ontkoppelde upper-lower policies door verenigde motion tokens staat de onderzijde toe om actief deel te nemen aan taken (bijv. trappen, stappen) in plaats van alleen de basis te stabiliseren.
3. Drie-fasen Leren: Een framework dat een video world model progressief aanpast van generieke egocentrische dynamica naar specifieke embodiment actie-gronding, en vervolgens naar taakspecifieke fine-tuning.
4. Real-Time Whole-Body Controle: De eerste closed-loop, end-to-end WAM-gestuurde policy die real-time humanoïde loco-manipulatie kan uitvoeren, inclusioneel van taakgestuurde voetgedragingen.

Experimentele Resultaten

De auteurs evalueerden MotionWAM op negen real-world Unitree G1 taken die controle over de taille, hoogteregulatie, squatting locomotie, voetinteractie en body-hand coördinatie vereisen.

• Prestaties vs. Baselines: MotionWAM werd vergeleken met vijf baselines, waaronder state-of-the-art Vision-Language-Action (VLA) modellen (GR00T-N1.7, $\pi_0.5$) en aangepaste ablations. MotionWAM behaalde een algemeen succespercentage van 76,1%, waarbij het de sterkste baseline aanzienlijk versloeg (76,1% vs. 43,9% voor GR00T-N1.7), wat een absolute winst van >30% vertegenwoordigt.
• Taakspecifieke Winsten: Het prestatieverschil was het meest significant in taken die whole-body coördinatie vereisen, zoals Kick Soccer (+40%), Load Cart (+40%) en Wipe Board (+45%). VLA-only baselines stortten in bij locomotie-zware taken, wat aangeeft dat semantische priors alleen onvoldoende zijn voor closed-loop physics controle.
• Ablatie-studies: Het verwijderen van Fase 1 (egocentrische pretraining) of Fase 2 (cross-embodiment grounding) resulteerde in significante prestatiedalingen (respectievelijk 11% en 28%), wat de noodzaak van het progressieve trainingsrecept valideert.
• Real-Time Inferentie: MotionWAM draait op 4,9 Hz op een NVIDIA A100. Dit is aanzienlijk sneller dan andere world-model-gebaseerde policies (bijv. Cosmos Policy op 0,7 Hz) omdat het iteratieve denoising vermijdt, wat het geschikt maakt voor closed-loop humanoïde balanscontrole.

Betekenis en Claims

Het artikel claimt dat video-gepretrainde WAMs kunnen worden uitgebreid van tafelblad-manipulatie naar gecoördineerde, mensachtige whole-body humanoïde controle. Door gebruik te maken van tussenliggende denoising features, slaagt het model erin de kloof te overbruggen tussen de rijke dynamica-priors van grootschalige videomodellen en de real-time, veiligheidskritische vereisten van balancerende humanoïden. Het werk suggereert dat een verenigde actieruimte, geconditioneerd op video world dynamica, een levensvatbaar pad is naar autonome robots die hun hele lichaam (inclusen voeten) actief kunnen gebruiken om te interageren met de omgeving, in plaats van beperkt te zijn tot upper-body manipulatie.

Beperkingen

De auteurs erkennen dat de Fase 3 fine-tuning alleen is gevalideerd op de Unitree G1 belichaming, en de overdraagbaarheid van het recept naar andere hardwareplatforms onverifieerd blijft. Daarnaast bevatte de evaluatie geen gecontroleerde studies op generalisatie naar nieuwe objecten, aangezien de trainings- en testobjecten visuele gelijkenissen deelden. Het systeem vertrouwt ook op een enkele egocentrische camera, wat leidt tot faalmodi wanneer gemanipuleerde objecten het gezichtsveld verlaten of het gezichtspunt aanzienlijk afwijkt van de trainingsdistributie.