💻 computer science

iMaC: Translating Actions into Motion and Contact Images for Embodied World Models

Cet article introduit iMac, un nouveau paradigme de modèle de monde incarné qui remplace les vecteurs d'action structurés de faible dimension par des images visuelles brutes en tant que jetons d'action natifs afin d'atteindre une précision de prédiction, un succès de tâche et une généralisation supérieurs à travers diverses incarnations robotiques.

Auteurs originaux : Zhenyu Wu, Xiuwei Xu, Yukun Zhou, Yifan Li, Qiuping Deng, Xiaofeng Wang, Zheng Zhu, Bingyao Yu, Ziwei Wang, Jiwen Lu, Haibin Yan

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenyu Wu, Xiuwei Xu, Yukun Zhou, Yifan Li, Qiuping Deng, Xiaofeng Wang, Zheng Zhu, Bingyao Yu, Ziwei Wang, Jiwen Lu, Haibin Yan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot comment plier une chemise ou ramasser une tasse. Pour faire cela de manière sûre et efficace, vous voulez tester le cerveau du robot (sa « politique ») des milliers de fois avant de le laisser toucher un véritable objet. Habituellement, vous devriez construire une simulation physique, ce qui est difficile, ou simplement laisser le robot échouer dans le monde réel, ce qui est lent et risqué.

Ce papier présente iMaC (Images of Motion and Contact), un nouveau genre de « boule de cristal » pour les robots. Au lieu de simplement deviner à quoi ressemble l'avenir, iMaC agit comme un réalisateur de film hautement précis qui simule exactement ce qui se passera si un robot déplace son bras d'une certaine manière.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : La « Boîte Noire » des actions du robot

La plupart des simulateurs de robots actuels sont comme un magicien qui agite une baguette et dit : « Je vais déplacer le robot ». Ils prennent la commande d'un robot (comme « déplacer le bras de 5 cm vers l'avant ») et la transforment en un minuscule code abstrait. Ils injectent ensuite ce nombre dans un générateur de vidéos et espèrent que le bras du robot bougera correctement dans la vidéo.

Le problème est que, dans le monde réel, être décalé de seulement quelques centimètres peut faire la différence entre saisir une tasse et la renverser. Les codes abstraits sont trop vagues pour capturer ces détails minuscules et critiques. Le simulateur doit souvent « deviner » (ou halluciner) où se termine la main du robot, ce qui entraîne des erreurs qui s'accumulent au fil du temps.

2. La Solution : Dessiner le futur plutôt que de le deviner

iMaC change la donne en refusant de deviner. Au lieu d'utiliser des codes abstraits, il dessine le futur pour le robot. Il traduit les commandes du robot en images réelles qui montrent exactement où le corps du robot sera et à quelle distance il se trouvera des objets.

Pour ce faire, il utilise deux « manuels d'instructions » spéciaux (qu'il appelle Images de Mouvement et Images de Contact) :

Images de Mouvement (Le « Où ») :
Considérez cela comme un plan. Avant que la vidéo ne commence, iMac utilise le manuel d'instructions officiel du robot (appelé URDF) pour calculer exactement où chaque articulation se trouvera. Il génère ensuite une vidéo du bras du robot se déplaçant dans l'espace, comme s'il s'agissait d'une animation 3D.
- Analogie : Au lieu de dire à un peintre, « Dessine une voiture en mouvement », iMaC lui remet une photo de la voiture déjà exactement à l'endroit où elle doit être. Le générateur de vidéo n'a plus qu'à remplir l'arrière-plan.
Images de Contact (Le « Toucher ») :
C'est l'ingrédient secret. C'est comme une carte de chaleur montrant la distance entre la main du robot et les objets de la pièce.
- Analologie : Imaginez une visualisation de « champ de force ». Une carte montre à quel point la main du robot est proche de la table (Robot-vers-Scène), et une autre montre à quel point la table est proche de la main du robot (Scène-vers-Robot). Cela indique au simulateur : « Hé, la main est à cette distance de la tasse ; si elle bouge de 1 mm de plus, elle la touchera ». Cela garantit que le simulateur sait exactement quand une collision ou une saisie se produit.

3. La Boucle d'« Auto-Apprentissage »

Lorsque vous regardez un film long, la fin d'une scène devient le début de la suivante. Dans les simulations de robots, si le modèle fait une petite erreur dans la première seconde, cette erreur devient de plus en plus grande à la fin de la minute.

iMaC résout cela en pratiquant ce qu'il prône. Pendant son entraînement, il ne se contente pas de regarder des vidéos parfaites du monde réel. Il génère un segment de vidéo, prend la fin de cette vidéo générée, et l'utilise comme début du segment suivant.

Analogie : C'est comme un étudiant qui s'entraîne en passant un test, en corrigeant ses propres réponses, puis en utilisant ces réponses (parfois imparfaites) comme point de départ pour le test d'entraînement suivant. Cela apprend au modèle à gérer ses propres erreurs afin qu'il ne soit pas confus lors de l'exécution d'une longue simulation dans le monde réel.

4. Les Résultats : Un meilleur « Essai Routier »

Les chercheurs ont testé iMaC sur huit tâches robotiques complexes du monde réel (comme déplacer des objets ou manipuler des outils). Ils l'ont utilisé pour « tester » différents cerveaux de robots (politiques) afin de voir lesquels étaient les meilleurs.

La Découverte : Les scores donnés par iMaC aux cerveaux des robots correspondaient presque parfaitement à leurs performances réelles dans le monde physique.
Pourquoi c'est important : Si un cerveau de robot performe bien dans la simulation iMaC, il réussira presque certainement dans le monde réel. Cela signifie que les ingénieurs peuvent choisir le meilleur « cerveau » de robot en toute sécurité et rapidement, sans avoir besoin de réaliser des milliers d'essais physiques coûteux.

Résumé

En bref, iMaC est un simulateur de robot qui arrête de deviner et commence à montrer. En transformant les commandes du robot en images claires de mouvement et de distance, il crée une « réalité virtuelle » hautement fiable où nous pouvons tester les compétences des robots en toute sécurité, sachant que si cela fonctionne dans la simulation, cela fonctionnera dans la réalité.

Résumé Technique : iMaC – Traduire les Actions en Images de Mouvement et de Contact pour les Modèles de Monde Incarnés

1. Énoncé du Problème

Les modèles de monde incarnés visent à servir de simulateurs pour le monde réel afin d'évaluer les politiques de robots et de réaliser des déploiements en boucle fermée, offrant une alternative évolutive aux essais physiques coûteux et dangereux. Cependant, la fiabilité de ces modèles dépend de leur capacité à conditionner précisément les prédictions vidéo futures sur les actions du robot.

Les modèles vidéo conditionnés par l'action existants encodent généralement les actions futures sous forme de vecteurs compacts, injectés via des modules appris (par exemple, attention croisée, AdaLN, FiLM). Cette abstraction force le modèle à déduire indirectement les conséquences spatiales fines. Dans la manipulation du monde réel, où des différences de l'ordre du centimètre déterminent le contact, le mouvement des objets et le succès de la tâche, une telle inférence indirecte est insuffisante. De plus, les représentations explicites existantes (par exemple, sphères projetées ou cartes d'action) visualisent souvent les actions mais ne parviennent pas à contrôler directement l'état futur du corps du robot ou à décrire explicitement la géométrie d'interaction entre le futur robot et la scène actuelle.

2. Méthodologie

Le document propose iMaC (images of Motion and Contact - images de Mouvement et de Contact), un modèle de monde incarné qui traduit les actions futures en contrôles denses, de type image, pour guider la génération vidéo. L'approche repose sur un squelette DiT (Diffusion Transformer) de type Image-to-Video (IT2V) WAN2.2 et opère via les composantes clés suivantes :

2.1 Images de Mouvement (Cinématique du Robot)

Pour éliminer la nécessité pour le modèle d'halluciner le mouvement du robot à partir de vecteurs abstraits, iMaC convertit les séquences d'actions articulaires futures en Images de Mouvement.

Mécanisme : En utilisant l'URDF du robot et la cinématique directe, le système rend les configurations futures du robot à partir des vues de caméras spécifiques (caméras de tête et de poignet) utilisées dans l'observation.
Fonction : Ces vidéos rendues servent de signaux de contrôle denses qui spécifient l'état visuel futur du robot (apparence et pose) directement dans l'espace des pixels, réduisant ainsi la charge du modèle génératif pour inférer la géométrie du robot.

2.2 Images de Contact (Géométrie à deux flux)

Pour capturer la manière dont le mouvement du robot interagit avec la scène, iMaC construit des Images de Contact basées sur des nuages de points 3D. Cela implique une branche auxiliaire de prédiction de profondeur où les cartes de profondeur sont encodées sous forme d'images colorisées pour s'aligner avec l'entrée RGB.

Flux Scène-vers-Préhenseur ( $C_{s \to g}$ ) : Calcule la distance entre les points de la scène actuelle et la position future du préhenseur. Cela encode quelles parties de l'environnement actuel sont proches du futur effecteur terminal.
Flux Robot-vers-Scène ( $C_{r \to s}$ ) : Calcule la distance entre les points futurs du robot et la scène actuelle. Cela encode la relation spatiale du futur corps du robot par rapport à l'environnement statique.
Intégration : Ces cartes de distance sont projetées et densifiées en contrôles de type image, fournissant un guidage explicite sur les relations spatiales pertinentes pour le contact.

2.3 Stratégie de Déploiement au Temps d'Entraînement

Pour soutenir la manipulation à long horizon et atténuer le biais d'exposition (où le modèle est entraîné sur des références de vérité terrain mais testé sur ses propres générations imparfaites), iMaC emploie une stratégie de déploiement au temps d'entraînement (training-time rollout).

Pendant l'entraînement, le modèle génère un bloc de vidéo, décode l'image finale, et utilise cette image générée comme entrée de référence pour le bloc suivant.
Cela permet au modèle d'apprendre à construire les états géométriques subséquents à partir de ses propres prédictions plutôt que de compter uniquement sur des références de vérité terrain, alignant mieux les conditions d'entraînement avec l'inférence en boucle fermée.

3. Principales Contributions

Conditionnement d'Action Spatialement Explicite : Contrairement aux méthodes utilisant des vecteurs d'action compacts, iMaC traduit les actions en contrôles denses de type image (images de Mouvement et de Contact) qui définissent explicitement l'apparence future du robot et la géométrie robot-scène.
Contrôles Géométriques à Deux Flux : L'introduction de cartes de distance bidirectionnelles (Scène-vers-Préhenseur et Robot-vers-Scène) fournit au modèle de monde des indices précis pour la dynamique de contact et d'interaction, qui sont critiques pour les tâches de manipulation.
Évaluation Robuste à Long Horizon : La stratégie de déploiement au temps d'entraînement réduit efficacement le décalage entraînement-test dans la génération en boucle fermée, permettant la génération de vidéos de plusieurs minutes pour l'évaluation des politiques.
Capacité d'Évaluation de Politique : Le cadre démontre une capacité à classer différents points de contrôle (checkpoints) de politique basés sur les estimations de succès du modèle de monde, montrant une forte corrélation avec les performances réelles.

4. Résultats Expérimentaux

Les auteurs ont évalué iMaC sur huit tâches de manipulation de robot réel complexes et à long horizon impliquant des observations RGB multi-vues.

Qualité de Prédiction Vidéo : iMaC a atteint des performances de pointe (SOTA) en termes de métriques moyennes par tâche (FID, PSNR, SSIM, FVD) par rapport aux bases de comparaison comme Ctrl-World et ABot-PhysWorld, démontant que les images de mouvement et de contact améliorent significativement la prédiction conditionnée par l'action.
Corrélation d'Évaluation de Politique : Dans les déploiements en boucle fermée, les estimations de succès d'iMaC ont montré une forte corrélation positive ( $r \in [0.833, 0.956]$ ) avec les taux de succès réels sur six des huit tâches. Cela indique que le modèle peut effectivement préserver le classement relatif de différentes familles de politiques et de points de contrôle d'entraînement.
Études d'Ablation :
- Le retrait des Images de Contact a entraîné l'échec du modèle à saisir correctement les objets, malgré la génération de mouvements plausibles de type interaction, soulignant la nécessité d'un guidage sensible au contact.
- Le retrait des Images de Mouvement a provoqué l'incapacité du modèle à produire des saisies précises, car il manquait de guidage direct sur les configurations futures du robot.
- L'utilisation d'une profondeur externe (DA3) au lieu de la propre profondeur prédite par le modèle pour la construction du contact a conduit à une géométrie de contact moins cohérente et à des échecs de saisie.

5. Signification et Revendications

L'article affirme qu'iMaC résout un goulot d'étranglement critique dans les modèles de monde incarnés : le manque de précision spatiale dans le conditionnement par l'action. En convertissant les actions en contrôles visuels et géométriques explicites, iMaC permet une simulation fiable des tâches de manipulation où les relations spatiales fines dictent le succès.

La signification primaire réside dans son application en tant qu'évaluateur de politique. Les auteurs démontrent qu'iMaC peut servir de simulateur in-silico évolutif pour comparer les points de contrôle des politiques et estimer les performances réelles sans nécessiter de simulateurs physiques spécifiques à la tâche ou d'essais matériels extensifs. La forte corrélation entre les scores du modèle de monde et les résultats réels suggère que de tels modèles peuvent efficacement guider la sélection des points de contrôle et l'amélioration des politiques, à condition que les tâches ne souffrent pas de problèmes graves d'observations manquantes (par exemple, des tâches fortement dépendantes de relations de hauteur non visibles par les caméras).