💻 computer science

MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation

MotionWAM è un modello di azione del mondo fondazionale in tempo reale che unifica il controllo della loco-manipolazione dell'intero corpo per gli umanoidi sfruttando caratteristiche intermedie di denoising video per predire token di movimento coordinati, superando così i limiti di velocità e coerenza delle tradizionali policy gerarchiche e superando significativamente i baseline Vision-Language-Action in compiti complessi.

Autori originali: Jia Zheng, Teli Ma, Yudong Fan, Zifan Wang, Shuo Yang, Junwei Liang

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jia Zheng, Teli Ma, Yudong Fan, Zifan Wang, Shuo Yang, Junwei Liang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come essere un aiutante simile a un essere umano. Di solito, insegniamo ai robot in due passaggi separati: prima insegniamo al loro "cervello" (la parte superiore del corpo) come afferrare le cose, e poi insegniamo alle loro "gambe" (la parte inferiore del corpo) come camminare e mantenere l'equilibrio. Il problema è che queste due parti non comunicano bene tra loro. Il cervello dice: "Prendi quella tazza", e le gambe rispondono solo: "Ok, camminerò in avanti per evitare che tu cada". Non possono fare cose come calciare un pallone o premere un pedale perché alle gambe è permesso solo fare "cose di equilibrio".

MotionWAM è un nuovo cervello per robot che risolve questo problema trattando l'intero corpo come una singola squadra coordinata. Ecco come funziona, usando alcune semplici analogie:

1. Il "Regista cinematografico" vs lo "Sceneggiatore"

La maggior parte dei cervelli robotici sono come sceneggiatori. Guardano un'immagine e una frase (come "prendi la scatola") e cercano di indovinare il movimento successivo in base a ciò che hanno visto in precedenza. Non capiscono davvero come funziona la fisica o come le cose si muovono nel tempo.

MotionWAM è diverso. È come un Regista cinematografico che ha guardato migliaia di ore di film. Prima di dire al robot cosa fare, esegue una rapida "simulazione mentale" di come appariranno i prossimi secondi del film.

Il Trucco: Invece di aspettare che l'intera scena del film sia completamente disegnata (il che richiede troppo tempo), MotionWAM osserva lo schizzo della scena mentre viene disegnato. Cattura la "vibrazione" del movimento futuro da quello schizzo e dice immediatamente al robot come muoversi. Questo è il motivo per cui riesce a pensare abbastanza velocemente da operare in tempo reale.

2. Il "Telecomando Unificato"

Nei sistemi vecchi, il robot aveva due telecomandi: uno per le braccia e uno per le gambe. Il telecomando delle gambe era molto semplice e sapeva solo camminare dritto o girare.

L'innovazione di MotionWAM: Utilizza un unico telecomando per tutto il corpo. Quando il robot deve calciare un pallone da calcio, il comando "calcia" non è solo per la gamba; è un'unica istruzione che dice alle braccia di bilanciarsi, al torso di inclinarsi e al piede di oscillare, tutto insieme. Questo permette al robot di fare cose come premere un pedale o calciare un pallone, che i vecchi sistemi a "due telecomandi" non potevano fare perché non capivano che le gambe potevano far parte del compito, non solo dell'equilibrio.

3. Il "Campo di Addestramento in Tre Fasi"

Insegnare a un robot in questo modo è difficile, quindi i ricercatori hanno utilizzato un campo di addestramento in tre fasi:

Fase 1 (L'appassionato di cinema): Hanno mostrato al robot migliaia di ore di video dal punto di vista di un essere umano (come una GoPro sulla testa). Il robot non ha ancora imparato a muoversi; ha solo imparato come appare il mondo quando ci si muove attraverso di esso. Ha imparato la "fisica della visione".
Fase 2 (Il Traduttore): Hanno insegnato al robot come tradurre quelle abilità cinematografiche in veri movimenti robotici. Hanno usato dati da diversi tipi di corpi robotici per assicurarsi che il robot comprendesse l'idea generale di "movimento", non solo una specifica forma corporea.
Fase 3 (Le Forze Speciali): Infine, hanno dato al robot compiti specifici di pratica (come caricare un carrello o pulire una lavagna) utilizzando un operatore umano guidato tramite visori VR. È qui che il robot ha imparato ad applicare la sua conoscenza cinematografica a lavori reali e complicati.

I Risultati

Quando hanno testato MotionWAM su nove compiti difficili (come calciare un pallone da calcio, caricare un carrello o fare il bucato), è stato un grande successo:

Velocità: Pensa abbastanza velocemente da operare in tempo reale (circa 5 volte al secondo), il che è necessario affinché un robot rimanga in piedi senza cadere.
Tasso di successo: Ha avuto successo nel 76% dei compiti, mentre i migliori cervelli robotici precedenti avevano successo solo circa il 44% delle volte.
Il "Fattore Calcio": La vittoria più grande è stata nei compiti che richiedevano l'interazione con il piede. I vecchi robot cercavano di camminare intorno alla palla; MotionWAM l'ha effettivamente calciata.

In sintesi

MotionWAM dimostra che se si fornisce a un robot un cervello da "regista cinematografico" che capisce come si muove il mondo, e se gli si permette di controllare tutto il corpo con un piano unificato, può svolgere lavori complessi e simili a quelli umani molto meglio dei robot che trattano il camminare e il prendere oggetti come problemi separati.

Limitazioni: Il documento nota che questo è stato testato su un modello specifico di robot (l'Unitree G1) e che se il robot perde la vista dell'oggetto che sta tenendo (perché la telecamera è sulla testa), potrebbe confondersi e smettere di funzionare. Non è ancora stato testato su altri corpi robotici.

Sintesi Tecnica: MotionWAM

Problema

Gli attuali sistemi di loco-manipolazione umanoidi autonomi si affidano prevalentemente a un paradigma gerarchico che disaccoppia la parte superiore da quella inferiore. In questa configurazione, una policy di manipolazione di alto livello genera target articolari fini per le braccia, mentre un controllore di basso livello segue comandi grossolani della base (velocità, altezza, orientamento) per le gambe. Questa architettura costringe il robot in spazi d'azione inconsistenti, limitando le gambe alla preservazione passiva dell'equilibrio e impedendo l'interazione del piede guidata dal compito (ad esempio, calciare un pedale o un pallone).

Sebbene i World Action Models (WAMs) abbiano mostrato potenziale nella manipolazione su tavoli accoppiando i priori dinamici video alle policy, le implementazioni esistenti sono troppo lente per il controllo in tempo reale. Esse si basano su una denoising iterativa su latenti video-azione ad alta dimensionalità, il che crea un collo di bottiglia computazionale che impedisce l'implementazione in loop chiuso su umanoidi dinamici e in equilibrio. La sfida centrale è implementare i ricchi priori dinamici dei WAM in uno spazio latente unificato per il controllo whole-body dell'umanoide, mantenendo al contempo la velocità di inferenza in tempo reale.

Metodologia: MotionWAM

MotionWAM è un World Action Model end-to-end progettato per guidare la loco-manipolazione umanoidi autonoma da una singola telecamera egocentrica. Sostituisce la divisione gerarchica superiore-inferiore con un latente di movimento unificato che predice simultaneamente token di movimento whole-body coprendo locomozione, movimento del torso, regolazione dell'altezza, interazione del piede e manipolazione delle mani.

1. Architettura del Modello

MotionWAM impiega un framework dual-DiT (Diffusion Transformer):

Video DiT: Inizializzato da Cosmos-Predict2.5-2B, questo ramo comprime i frame di condizionamento egocentrici e i frame futuri in latenti. Fondamentalmente, invece di attendere la denoising completa, il modello intercetta gli stati nascosti ( $h^{\tau_f}_t$ ) della rete di velocità a un timestep di flow fisso vicino al rumore puro ( $\tau_f \approx 1$ ). Questo regime di "immaginazione one-shot" codifica la direzione verso cui sta andando la scena senza il costo computazionale della denoising iterativa.
Motion DiT: Questo ramo consuma le feature intermedie del Video DiT, insieme agli stati propriocettivi e ai motion token rumorosi, per predire il campo di velocità per il latente di movimento.
Latente Unificato ( $m_t$ ): L'output è un latente di movimento unificato composto da:
- Un vettore continuo ( $m^{cont}_t$ ) per i comandi destri di mano/gripper.
- Un indice di token discretizzato ( $k_t$ ) derivato da uno slot scalare ( $\tilde{k}_t$ ), che riassume l'intento di locomozione, movimento del torso, regolazione dell'altezza e interazione del piede. Questo token è decodificato da SONIC, un controllore whole-body universale, in comandi articolari.

2. Framework di Addestramento a Tre Stadi

Per adattare il modello del mondo video alla dinamica egocentrica e allo specifico embodiment umanoido, gli autori propongono una ricetta di addestramento progressiva:

Stadio 1: Pre-addestramento Video Egocentrico: Il Video DiT viene addestrato da solo su circa 2.136 ore di video egocentrici umani e di robot umanoidi. Questo sposta la distribuzione del modello del mondo verso la dinamica visiva in prima persona senza essere frenato dalla scarsità di dati etichettati con l'azione.
Stadio 2: Post-addestramento dell'Azione Cross-Embodiment: Il Motion DiT viene attaccato e co-addestrato su un mix eterogeneo di dati Unitree G1 (con diversi end-effector e formati di annotazione). L'obiettivo video viene mantenuto come regolarizzatore per evitare che il prior dinamico venga sovrascritto, ancorando il segnale d'azione attraverso diversi embodiment.
Stadio 3: Fine-Tuning Whole-Body: Il modello completo viene sottoposto a fine-tuning su dimostrazioni whole-body teleoperate raccolte sul target Unitree G1. L'output dell'azione viene commutato in token di movimento whole-body unificati, abilitando il controllo end-to-end.

Contributi Chiave

Architettura MotionWAM: Un WAM in tempo reale che condiziona la policy sulle feature di denoising intermedie di un modello del mondo video, abilitando il controllo whole-body in un singolo spazio d'azione.
Latenti di Movimento Unificati: La sostituzione delle policy disaccoppiate parte superiore-inferiore con token di movimento unificati permette alla parte inferiore del corpo di partecipare attivamente ai compiti (es. calciare, camminare) piuttosto che limitarsi a stabilizzare la base.
Apprendimento in Tre Stadi: Un framework che adatta progressivamente un modello del mondo video dalle dinamiche egocentriche generiche all'ancoraggio dell'azione su specifico embodiment, fino al fine-tuning specifico del compito.
Controllo Whole-Body in Tempo Reale: Il primo policy guidata da WAM in loop chiuso ed end-to-end capace di loco-manipolazione umanoidi in tempo reale, inclusi comportamenti del piede guidati dal compito.

Risultati Sperimentali

Gli autori hanno valutato MotionWAM su nove compiti reali con Unitree G1 che richiedono controllo del bacino, regolazione dell'altezza, locomozione in squat, interazione del piede e coordinazione corpo-mano.

Performance vs Baselines: MotionWAM è stato confrontato con cinque baseline, incluse le più avanzate modelli Vision-Language-Action (VLA) (GR00T-N1.7, $\pi_0.5$ ) e ablazioni personalizzate. MotionWAM ha raggiunto un success rate complessivo del 76,1%, superando sostanzialmente la baseline più forte (76,1% vs 43,9% per GR00T-N1.7), rappresentando un guadagno assoluto di oltre il 30%.
Guadagni Specifici per Compito: Il divario di performance è stato più significativo nei compiti che richiedono coordinazione whole-body, come Kick Soccer (+40%), Load Cart (+40%) e Wipe Board (+45%). Le baseline basate solo su VLA sono crollate nei compiti pesanti sulla locomozione, indicando che i priori semantici da soli sono insufficienti per il controllo fisico in loop chiuso.
Studi di Ablazione: Rimuovere lo Stadio 1 (pre-addestramento egocentrico) o lo Stadio 2 (ancoraggio cross-embodiment) ha causato cali significativi delle prestazioni (11% e 28% rispettivamente), validando la necessità della strategia di addestramento progressivo.
Inferenza in Tempo Reale: MotionWAM gira a 4,9 Hz su una NVIDIA A100. Questo è significativamente più veloce di altre policy basate su modelli del mondo (es. Cosmos Policy a 0,7 Hz) perché evita la denoising iterativa, rendendolo adatto al controllo dell'equilibrio dell'umanoide in loop chiuso.

Significato e Rivendicazioni

Il paper afferma che MotionWAM dimostra che i WAM pre-addestrati su video possono essere estesi dalla manipolazione su tavolo al controllo coordinato e umanoide whole-body. Sfruttando le feature di denoising intermedie, il modello riesce a colmare il divario tra i ricchi priori dinamici dei grandi modelli video e i requisiti in tempo reale e di sicurezza dei robot umanoidi in equilibrio. Il lavoro suggerisce che uno spazio d'azione unificato, condizionato dalla dinamica del mondo video, è una via percorribile verso robot autonomi che possono usare attivamente l'intero corpo (incluse le gambe) per interagire con l'ambiente, anziché essere limitati alla manipolazione della parte superiore.

Limitazioni

Gli autori riconoscono che il fine-tuning dello Stadio 3 è stato validato solo sull'embodiment Unitree G1, e la trasferibilità della ricetta ad altre piattaforme hardware rimane non verificata. Inoltre, la valutazione non ha incluso studi controllati sulla generalizzazione a nuovi oggetti, poiché gli oggetti di training e test condividevano somiglianze visive. Il sistema si affida anche a una singola telecamera egocentrica, portando a modalità di fallimento quando gli oggetti manipolati escono dal campo visivo o quando il punto di vista devia significativamente dalla distribuzione di addestramento.