💻 computer science

MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation

MotionWAM est un modèle d'action de fond en temps réel pour le monde qui unifie le contrôle de la locomotion-manipulation du corps entier pour les humanoïdes en exploitant des caractéristiques de débruitage vidéo intermédiaires pour prédire des jetons de mouvement coordonnés, surmontant ainsi les limitations de vitesse et de cohérence des politiques hiérarchiques traditionnelles et surpassant de manière significative les bases de comparaison Vision-Langage-Action sur des tâches complexes.

Auteurs originaux : Jia Zheng, Teli Ma, Yudong Fan, Zifan Wang, Shuo Yang, Junwei Liang

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jia Zheng, Teli Ma, Yudong Fan, Zifan Wang, Shuo Yang, Junwei Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à devenir un assistant semblable à un humain. Habituellement, nous enseignons aux robots en deux étapes distinctes : d'abord, nous apprenons à leur « cerveau » (le haut du corps) comment saisir des objets, puis nous apprenons à leurs « jambes » (le bas du corps) comment marcher et rester en équilibre. Le problème est que ces deux parties ne communiquent pas bien entre elles. Le cerveau dit : « Attrape cette tasse », et les jambes répondent simplement : « D'accord, je vais marcher vers l'avant pour t'empêcher de tomber ». Ils ne peuvent pas faire des choses comme donner un coup de pied dans un ballon ou appuyer sur une pédale, car les jambes ne sont autorisées qu'à faire des « choses d'équilibre ».

MotionWAM est un nouveau cerveau de robot qui corrige cela en traitant l'ensemble du corps comme une seule équipe coordonnée. Voici comment cela fonctionne, en utilisant quelques analogies simples :

1. Le « Réalisateur de cinéma » vs le « Scénariste »

La plupart des cerveaux de robots sont comme des scénaristes. Ils regardent une image et une phrase (comme « ramasser la boîte ») et essaient de deviner le mouvement suivant en fonction de ce qu'ils ont vu auparavant. Ils ne comprennent pas vraiment comment la physique fonctionne ou comment les choses bougent au fil du temps.

MotionWAM est différent. C'est comme un Réalisateur de cinéma qui a regardé des milliers d'heures de films. Avant de dire au robot quoi faire, il effectue une rapide « simulation mentale » de ce à quoi ressembleront les prochaines secondes du film.

L'astuce : Au lieu d'attendre que toute la scène du film soit entièrement dessinée (ce qui prend trop de temps), MotionWAM observe l'esquisse de la scène pendant qu'elle est en train d'être dessinée. Il saisit l'« essence » du mouvement futur à partir de cette esquisse et ordonne immédiatement au robot comment bouger. C'est pourquoi il peut réfléchir assez vite pour fonctionner en temps réel.

2. La « Télécommande Unifiée »

Dans les anciens systèmes, le robot avait deux télécommandes : une pour les bras et une pour les jambes. La télécommande des jambes était très simple et ne savait que marcher droit ou tourner.

L'innovation de MotionWAM : Il utilise une seule télécommande unifiée pour tout le corps. Lorsqu'un robot doit donner un coup de pied dans un ballon de football, la commande « coup de pied » n'est pas seulement destinée à la jambe ; c'est une instruction unique qui ordonne aux bras de se stabiliser, au torse de s'incliner et au pied de balancer, tout cela en même temps. Cela permet au robot de faire des choses comme appuyer sur une pédale ou donner un coup de pied dans un ballon, ce que les anciens systèmes à « deux télécommandes » ne pouvaient pas faire car ils ne comprenaient pas que les jambes pouvaient faire partie de la tâche, et pas seulement de l'équilibre.

3. Le « Camp d'entraînement en trois étapes »

Enseigner de cette manière à un robot est difficile, c'est pourquoi les chercheurs ont utilisé un camp d'entraînement en trois étapes :

Étape 1 (Le passionné de cinéma) : Ils ont montré au robot des milliers d'heures de vidéos du point de vue d'un humain (comme une GoPro fixée sur la tête). Le robot n'apprenait pas encore à bouger ; il apprenait simplement à quoi ressemble le monde quand on se déplace à travers lui. Il a appris la « physique de la vision ».
Étape 2 (Le Traducteur) : Ils ont appris au robot comment traduire ces compétences cinématographiques en mouvements réels de robot. Ils ont utilisé des données provenant de différents types de corps de robots pour s'assurer que le robot comprenait l'idée générale de « mouvement », et pas seulement une forme de corps spécifique.
Étape 3 (Les Forces Spéciales) : Enfin, ils ont donné au robot des tâches d'entraînement spécifiques (comme charger un chariot ou essuyer un tableau) en utilisant un opérateur humain guidé par des lunettes VR. C'est là que le robot a appris à appliquer ses connaissances cinématographiques à des tâches réelles et complexes.

Les Résultats

Lorsqu'ils ont testé MotionWAM sur neuf tâches difficiles (comme donner un coup de pied dans un ballon de football, charger un chariot ou faire la lessive), ce fut un immense succès :

Vitesse : Il réfléchit assez vite pour fonctionner en temps réel (environ 5 fois par seconde), ce qui est nécessaire pour qu'un robot reste debout sans tomber.
Taux de réussite : Il a réussi 76 % des tâches, alors que les meilleurs cerveaux de robots précédents ne réussissaient qu'environ 44 % du temps.
Le « Facteur Coup de Pied » : La plus grande victoire a été sur les tâches nécessitant une interaction avec le pied. Les anciens robots essayaient de contourner le ballon ; MotionWAM l'a réellement frappé.

L'essentiel à retenir

MotionWAM prouve que si vous donnez à un robot un cerveau de « réalisateur de cinéma » qui comprend comment le monde bouge, et que vous le laissez contrôler tout son corps avec un plan unifié, il peut accomplir des tâches complexes et humaines bien mieux que les robots qui traitent la marche et la saisie comme des problèmes séparés.

Limites : L'article note que cela a été testé sur un modèle de robot spécifique (le Unitree G1) et que si le robot perd de vue l'objet qu'il tient (parce que la caméra est sur sa tête), il peut être confus et cesser de fonctionner. Cela n'a pas encore été testé sur d'autres corps de robots.

Résumé Technique : MotionWAM

Énoncé du Problème

Les systèmes actuels de loco-manipulation humanoïde autonomes reposent principalement sur un paradigme hiérarchique qui découple le haut et le bas du corps. Dans cette configuration, une politique de manipulation de haut niveau génère des cibles articulaires précises pour les bras, tandis qu'un contrôleur de bas niveau suit des commandes grossières de la base (vitesse, hauteur, orientation) pour les jambes. Cette architecture force le robot à adopter des espaces d'action incohérents, limitant les jambes à une préservation passive de l'équilibre et empêchant l'interaction pied-tâche (par exemple, marcher sur une pédale ou frapper un ballon).

Bien que les World Action Models (WAMs) aient montré des promesses dans la manipulation sur table en couplant des priors de dynamique vidéo à des politiques, les implémentations existantes sont trop lentes pour un contrôle en temps réel. Elles reposent sur un débruitage itératif sur des latents vidéo-action de haute dimension, ce qui crée un goulot d'étranglement computationnel empêchant le déploiement en boucle fermée sur des humanoïdes dynamiques et équilibrés. Le défi central est de déployer les riches priors de dynamique des WAMs dans un espace latent unifié pour le contrôle de corps entier de l'humanoïde tout en maintenant des vitesses d'inférence en temps réel.

Méthodologie : MotionWAM

MotionWAM est un World Action Model de bout en bout conçu pour piloter la loco-manipulation humanoïde autonome à partir d'une seule caméra égocentrée. Il remplace la séparation hiérarchique haut-bas par un latent de mouvement unifié qui prédit simultanément les tokens de mouvement de tout le corps, couvrant la locomotion, le mouvement du torse, la régulation de la hauteur, l'interaction avec les pieds et la manipulation des mains.

1. Architecture du Modèle

MotionWAM emploie un cadre à double DiT (Diffusion Transformer) :

Vidéo DiT : Initialisé à partir de Cosmos-Predict2.5-2B, cette branche compresse les images de conditionnement égocentrées et les images futures en latents. Crucialement, au lieu d'attendre un débruitage complet, le modèle intercepte les états cachés ( $h^{\tau_f}_t$ ) du réseau de vitesse à un pas de flux temporel fixe proche du bruit pur ( $\tau_f \approx 1$ ). Ce régime d'« imagination en un coup » (one-shot imagination) encode la direction vers laquelle la scène se dirige sans le coût computationnel du débruitage itératif.
Motion DiT : Cette branche consomme les caractéristiques intermédiaires du Video DiT, ainsi que les états proprioceptifs et les tokens de mouvement bruités, pour prédire le champ de vitesse pour le latent de mouvement.
Latent Unifié ( $m_t$ ) : La sortie est un latent de mouvement unifié comprenant :
- Un vecteur continu ( $m^{cont}_t$ ) pour les commandes dextres des mains/préhenseurs.
- Un index de token discrétisé ( $k_t$ ) dérivé d'un slot scalaire ( $\tilde{k}_t$ ), qui résume l'intention de locomotion, de mouvement du torse, de régulation de la hauteur et d'interaction avec les pieds. Ce token est décodé par SONIC, un contrôleur de corps entier universel, en commandes articulaires.

2. Cadre d'Entraînement en Trois Étapes

Pour adapter le modèle de monde vidéo à la dynamique égocentrée et à l'incarnation spécifique de l'humanoïde, les auteurs proposent une recette d'entraînement progressive :

Étape 1 : Pré-entraînement Vidéo Égocentrée : Le Video DiT est entraîné seul sur environ 2 136 heures de vidéos humaines et de vidéos de robots-humanoïdes en vue égocentrée. Cela déplace la distribution du modèle de monde vers la dynamique visuelle à la première personne sans être freiné par la rareté des données étiquetées par actions.
Étape 2 : Post-entraînement d'Action Trans-Embodiment : Le Motion DiT est attaché et co-entraîné sur un mélange hétérogène de données Unitree G1 (variations d'effecteurs terminaux et de formats d'annotation). L'objectif vidéo est conservé comme régularisateur pour éviter que le prior de dynamique ne soit écrasé, ancrant le signal d'action à travers différentes incarnations.
Étape 3 : Fine-Tuning de Corps Entier : Le modèle complet est affiné sur des démonstrations de corps entier téléopérées collectées sur la cible Unitree G1. La sortie d'action est basculée vers des tokens de mouvement de corps entier unifiés, permettant un contrôle de bout en bout.

Contributions Clés

Architecture MotionWAM : Un WAM en temps réel qui conditionne la politique sur les caractéristiques de débruitage intermédiaire d'un modèle de monde vidéo, permettant le contrôle de corps entier dans un espace d'action unique.
Latents de Mouvement Unifiés : Le remplacement des politiques haut-bas découplées par des tokens de mouvement unifiés permet aux membres inférieurs de participer activement aux tâches (ex: frapper un ballon, marcher sur un objet) plutôt que de simplement stabiliser la base.
Apprentissage en Trois Étages : Un cadre qui adapte progressivement un modèle de monde vidéo d'une dynamique égocentrée générique vers un ancrage d'action d'incarnation spécifique, puis vers un fine-tuning spécifique à la tâche.
Contrôle de Corps Entier en Temps Réel : Le premier modèle piloté par WAM en boucle fermée et de bout en bout capable de loco-manipulation humanoïde en temps réel, incluant des comportements de pieds pilotés par la tâche.

Résultats Expérimentaux

Les auteurs ont évalué MotionWAM sur neuf tâches réelles de l'Unitree G1 nécessitant le contrôle de la taille, la régulation de la hauteur, la locomotion accroupie, l'interaction avec les pieds et la coordination corps-main.

Performance vs Baselines : MotionWAM a été comparé à cinq modèles de référence, incluant des modèles de Vision-Language-Action (VLA) de pointe (GR00T-N1.7, $\pi_0.5$ ) et des ablations personnalisées. MotionWAM a atteint un taux de succès global de 76,1 %, surpassant nettement la meilleure baseline (76,1 % contre 43,9 % pour GR00T-N1.7), représentant un gain absolu de >30 %.
Gains Spécifiques aux Tâches : L'écart de performance est le plus marqué dans les tâches nécessitant une coordination de corps entier, telles que Kick Soccer (+40 %), Load Cart (+40 %) et Wipe Board (+45 %). Les baselines de type VLA uniquement s'effondrent sur les tâches lourdes en locomotion, indiquant que les priors sémantiques seuls sont insuffisants pour le contrôle physique en boucle fermée.
Études d'Ablation : Supprimer l'étape 1 (pré-entraînement égocentré) ou l'étape 2 (ancrage trans-embodiment) a entraîné des chutes de performance significatives (11 % et 28 % respectivement), validant la nécessité de la stratégie d'entraînement progressive.
Inférence en Temps Réel : MotionWAM fonctionne à 4,9 Hz sur un NVIDIA A100. C'est nettement plus rapide que les autres politiques basées sur des modèles de monde (ex: Cosmos Policy à 0,7 Hz) car il évite le débruitage itératif, ce qui le rend adapté au contrôle d'équilibre de l'humanoïde en boucle fermée.

Signification et Revendications

L'article affirme que MotionWAM démontre que les WAMs pré-entraînés sur de la vidéo peuvent être étendus de la manipulation sur table à un contrôle de corps entier coordonné et humain de l'humanoïde. En exploitant les caractéristiques de débruitage intermédiaire, le modèle parvient à combler le fossé entre les riches priors de dynamique des grands modèles vidéo et les exigences de temps réel et de sécurité des humanoïdes en équilibre. Ce travail suggère qu'un espace d'action unifié, conditionné par la dynamique du monde vidéo, est une voie viable vers des robots autonomes capables d'utiliser activement l'ensemble de leur corps (y compris les pieds) pour interagir avec l'environnement, plutôt que d'être restreints à la manipulation du haut du corps.

Limites

Les auteurs reconnaissent que le fine-tuning de l'étape 3 n'a été validé que sur l'incarnation Unitree G1, et que la transférabilité de la recette à d'autres plateformes matérielles reste non vérifiée. De plus, l'évaluation n'incluait pas d'études contrôlées sur la généralisation à de nouveaux objets, car les objets d'entraînement et de test partageaient des similitudes visuelles. Le système repose également sur une seule caméra égocentrée, ce qui entraîne des modes de défaillance lorsque les objets manipulés sortent du champ de vision ou que le point de vue dévie significativement de la distribution d'entraînement.