🤖 AI

Mask2Real-WM: Segmentation Masks as a Sim-to-Real Bridge for Controllable Dexterous World Models

Mask2Real-WM est un modèle de monde à deux étapes conditionné par l'action pour la manipulation dextre qui comble le fossé sim-to-real en découplant la prédiction de la dynamique dans l'espace de segmentation du rendu photoréaliste, permettant un contrôle précis par articulation grâce à un pré-entraînement synthétique à grande échelle et un ajustement fin minimal dans le monde réel.

Auteurs originaux : Riccardo O. Feingold, Davide Liconti, Chenyu Yang, Robert K. Katzschmann

Publié 2026-08-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Riccardo O. Feingold, Davide Liconti, Chenyu Yang, Robert K. Katzschmann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots sont depuis longtemps les maîtres des usines, se déplaçant avec précision dans des environnements où chaque objet est fixe et chaque trajectoire préprogrammée. Mais dès qu'un robot pénètre dans un foyer désordonné et imprévisible ou dans un atelier encombré, sa confiance s'évapore souvent. Pour naviguer dans le monde réel, une machine a besoin de plus que de simples capteurs ; elle a besoin d'un sens de ce qui va se passer ensuite. C'est la promesse des « modèles de monde » (world models), un concept en robotique où une intelligence artificielle apprend à imaginer l'avenir. Au lieu de simplement réagir à ce qu'elle voit à l'instant présent, le robot construit une simulation mentale de la façon dont le monde change lorsqu'il bouge son bras ou saisit un objet. Si un robot peut prédire de manière fiable le résultat de ses actions dans son propre esprit, il peut tester différentes stratégies sans risquer de s'endommager lui-même ou d'endommager son environnement, « rêvant » ainsi de la meilleure façon de résoudre un problème avant même de toucher un objet physique.

Le défi devient exponentiellement plus difficile lorsqu'un robot possède une main dotée de nombreuses pièces mobiles, comme une main humaine, plutôt qu'une simple pince à deux doigts. Ces mains dextères offrent une incroyable polyvalence, capables de manipuler des objets délicats ou d'accomplir des tâches complexes, mais elles introduisent également un nombre vertigineux de variables. Une seule main peut posséder vingt-trois articulations différentes qui peuvent bouger indépendamment, créant un vaste espace d'actions possibles. Prédire comment un système aussi complexe interagira avec le monde est difficile car les changements visuels sont subtils et complexes. Un léger déplacement d'un doigt peut modifier radicalement la façon dont un objet est tenu, pourtant, les modèles de prédiction vidéo standards ont tendance à estomper ces détails fins, échouant à capturer la relation de cause à effet précise entre le mouvement d'une articulation spécifique et le mouvement résultant de l'objet.

Des chercheurs de l'ETH Zurich ont développé une nouvelle approche à ce problème, créant un système qu'ils appellent Mask2Real-WM. Leur objectif était de construire un modèle de monde capable de prédire avec précision l'avenir d'une main robotique dextère interagissant avec des objets, même en étant entraîné sur une très petite quantité de données du monde réel. Le cœur de leur innovation réside dans la manière dont ils décomposent la tâche de prédiction. Au lieu d'essayer de prédire toute la vidéo photoréaliste du futur d'un seul coup, ils divisent le processus en deux étapes distinctes. La première étape se concentre purement sur la structure de la scène, prédisant une carte simplifiée de l'emplacement de la main et de l'objet. La seconde étape prend cette carte et la peint en une vidéo réaliste.

Cette séparation est cruciale car elle permet aux chercheurs d'utiliser une quantité massive de données simulées pour enseigner au robot comment les choses bougent, tout en utilisant une infime quantité de séquences du monde réel pour lui enseigner à quoi les choses ressemblent. Dans la première étape, le système apprend à prédire des « masques de segmentation », qui sont essentiellement des contours codés par couleur montrant la main, l'objet et l'arrière-plan. Parce que ces contours sont des formes simples plutôt que des photographies complexes, l'écart entre ce qu'une simulation informatique représente et ce que le monde réel présente est beaucoup plus réduit. Cela permet aux chercheurs d'entraîner la partie de prédiction du mouvement du système sur plus de cinquante heures de données synthétiques générées dans une simulation informatique. Dans cet environnement virtuel, le robot peut pratiquer le mouvement de ses doigts de toutes les manières possibles, couvrant une gamme de mouvements qui prendrait des années à collecter dans un véritable laboratoire.

Une fois que le système a appris la physique du mouvement grâce à cette vaste bibliothèque de simulations, il est affiné avec seulement deux heures et demie de vidéo du monde réel. C'est là qu'intervient la seconde étape. Le système prend les contours prédits de la première étape et utilise un modèle de rendu spécialisé pour les remplir de couleurs, de textures et de lumières réalistes. Parce que le gros du travail de compréhension du mouvement a déjà été effectué dans la simulation, le modèle de rendu n'a besoin d'apprendre que l'aspect spécifique de l'environnement réel, une tâche qu'il peut maîtriser avec très peu de données. Le résultat est un système capable de regarder une main de robot bouger, d'imaginer les prochaines secondes d'action, et de générer une vidéo photoréaliste de ce qui va se passer, tout en maintenant le mouvement précis de chaque doigt net et distinct.

Les chercheurs ont testé ce système sur une tâche de référence impliquant de ramasser et de poser de petits objets du quotidien. Ils ont constaté que l'approche en deux étapes était bien supérieure aux méthodes précédentes qui tentaient de prédire la vidéo en une seule étape. Les anciennes méthodes pouvaient souvent deviner le chemin général de la main, mais elles peinaient avec les détails fins, estompant les doigts ou échouant à montrer comment le mouvement d'une articulation spécifique modifiait la prise. En revanche, le nouveau système a démontré un haut degré de contrôle : lorsque les chercheurs demandaient au modèle de bouger un seul doigt spécifique, le modèle prédisait avec précision le mouvement de ce seul doigt sans le confondre avec les autres. Ce niveau de précision est essentiel pour qu'un robot comprenne réellement les conséquences de ses actions.

L'étude a également révélé que l'entraînement à grande échelle par simulation n'était pas seulement un bonus utile, mais une nécessité. Lorsque les chercheurs ont tenté d'entraîner la partie de prédiction du mouvement du système en utilisant uniquement la petite quantité de données du monde réel, le système n'a pas réussi à apprendre le contrôle indépendant des doigts. Il ne disposait simplement pas d'assez d'exemples de mouvements de doigts isolés pour comprendre comment ils fonctionnaient. Les données de simulation ont fourni la variété manquante, exposant le système à tous les angles et mouvements possibles de la main. En combinant cette large expérience simulée avec une petite dose d'entraînement visuel du monde réel, les chercheurs ont créé un modèle capable de se généraliser à de nouvelles situations, telles que des éclairages ou des objets différents qu'il n'avait jamais vus auparavant, avec une fiabilité que les modèles précédents ne pouvaient égaler.

En fin de compte, ce travail démontre une voie pratique pour apprendre aux robots à réfléchir avant d'agir. En utilisant des représentations simplifiées pour combler le fossé entre la simulation et la réalité, les chercheurs ont montré qu'un robot peut apprendre des interactions physiques complexes sans avoir besoin de milliers d'heures d'essais et d'erreurs dans le monde réel. Le système ne se contente pas de deviner à quoi ressemblera la prochaine image d'une vidéo ; il comprend la mécanique sous-jacente du mouvement suffisamment bien pour prédire l'avenir avec confiance. Cette capacité ouvre la porte à des robots capables d'explorer en toute sécurité de nouvelles tâches dans leur propre esprit, évaluant différentes stratégies et apprenant de leurs erreurs imaginées avant même de s'engager dans le monde physique.

Résumé Technique : Mask2Real-WM

Énoncé du Problème

Les modèles de monde conditionnés par l'action sont essentiels pour l'apprentissage robotique, permettant l'évaluation de politiques, la planification et l'augmentation de données en prédisant les états futurs sans interaction physique. Cependant, la construction de tels modèles pour la manipulation dextre demeure un défi majeur. Les principaux obstacles incluent :

Espaces d'action à haute dimension : Les mains dextres impliquent de nombreux degrés de liberté (par exemple, 23 dimensions dans cette configuration : 6-D pour la pose de l'effecteur terminal cartésien + 17 positions de joints de la main).
Rareté des données : Les jeux de données de manipulation dextre de grande échelle et de haute qualité sont rares.
Fidélité de la prédiction : Les modèles vidéo existants peinent souvent à prédire avec précision les contacts doigt-objet,த் floutant fréquemment ces zones critiques.
Écart Sim-to-Real : L'entraînement sur des données synthétiques échoue souvent à se transférer à la réalité en raison des écarts d'apparence (éclairage, texture) et de dynamique.

Méthodologie : Mask2Real-WM

Les auteurs proposent Mask2Real-WM, un modèle de monde à deux étapes, conditionné par l'action, qui découple la prédiction de pixels en un modèle de dynamique et un modèle de rendu. Cette factorisation permet au système de tirer parti du plus faible écart sim-to-real inhérent aux masques de segmentation tout en produisant des sorties photoréalistes.

1. Formulation du Problème

Le modèle opère dans une configuration multi-vues ( $V=2$ ) avec une fenêtre de contexte de $k=5$ observations passées et prédit un horizon futur de $H=5$ étapes. Le but est de modéliser la distribution jointe des futurs cadres RGB ( $I$ ) et des masques de segmentation ( $m$ ) donnés les observations passées et une séquence d'actions ( $a$ ) :
$p(I_{t+1:t+H}, m_{t+1:t+H} \mid I_{t-k:t}, m_{t-k:t}, a_{t-k:t+H})$

2. Stratégie de Factorisation

La distribution jointe est décomposée en deux étapes indépendantes :
$p(I, m \mid \dots) = \underbrace{p(m_{t+1:t+H} \mid m_{t-k:t}, a_{t-k:t+H})}_{\text{WM1: Dynamique}} \cdot \underbrace{p(I_{t+1:t+H} \mid I_{t-k:t}, m_{t-k:t+H}, a_{t-k:t+H})}_{\text{WM2: Rendu}}$

WM1 (Modèle de Dynamique) : Prédit les futurs masques de segmentation à partir des masques passés et de la séquence d'actions. Comme les masques de segmentation présentent un écart sim-to-real plus faible que les images RGB, WM1 est pré-entraîné (midtrained) sur plus de 50 heures de données de simulation synthétique, puis affiné (fine-tuned) sur environ 2,5 heures de données réelles.
WM2 (Modèle de Rendu) : Mappe les masques prédits vers des images RGB photoréalistes. Il est entraîné exclusivement sur des données réelles (~2,5 heures) pour apprendre l'apparence spécifique de l'environnement.

3. Détails de l'Architecture

Backbone : Les deux modèles utilisent un backbone Stable Video Diffusion (SVD).
WM1 (à gauche dans la Fig. 2) :
- Initialisé à partir de SVD et adapté via LoRA.
- Prend les masques futurs/passés et les actions en entrée.
- Les actions (pose 6-DoF + 17 angles de joints) sont projetées via des MLP et injectées via une attention croisée par cadre.
- Entraîné sur des données synthétiques (IsaacLab) avec des masques de vérité terrain, puis affiné sur des données réelles.
WM2 (à droite dans la Fig. 2) :
- Conditionné par les masques prédits (de WM1), les cadres RGB passés et les actions.
- Utilise une branche ControlNet avec un encodeur CNN léger pour traiter les masques de segmentation. Le CNN opère dans l'espace pixel pour préserver des frontières nettes que les encodeurs VAE pourraient flouter.
- Le backbone SVD est gelé ; LoRA et le ControlNet/CNN sont entraînés sur des données réelles.
- Emploie un guidage sans classificateur (classifier-free guidance) via le dropout indépendant des conditions de masque et d'action.

4. Pipeline de Données

Simulation : Générée avec IsaacLab utilisant un pipeline basé sur MimicGen et un générateur de joints sinusoïdaux exploratoire. Cela couvre toute la plage de 17-DoF des joints, fournissant des mouvements riches en contacts absents des jeux de données réels limités.
Données Réelles : ~2,5 heures de démonstrations téléopérées à l'aide d'une main ORCA et d'un gant Rokoko. Les masques sont générés automatiquement en utilisant SAM 3 (Segment Anything Model) comme étiquettes pseudo, éliminant l'annotation manuelle par image.

Contributions Clés

La segmentation comme pont Sim-to-Real : Les auteurs démontrent que l'utilisation de masques de segmentation comme représentation intermédiaire permet un pré-entraînement (midtraining) à grande échelle de la dynamique du modèle, comblant efficacement l'écart sim-to-real.
Modèle de Monde à deux étapes : L'introduction de Mask2Real-WM, qui sépare la prédiction de la dynamique (WM1) du rendu de l'apparence (WM2), permettant à chaque composant d'être optimisé pour son domaine spécifique (simulation vs réalité).
Contrôlabilité Améliorée : Les expériences montrent que le pré-entraînement en simulation du modèle de dynamique améliore significativement la contrôlabilité de l'action par rapport aux modèles entraînés uniquement sur des données réelles.

Résultats Expérimentaux

Le modèle a été évalué sur un benchmark de ramassage et de placement (pick-and-place) dextre utilisant un bras Franka Emika Panda et une main ORCA (espace d'action de 23 DoF).

Contrôlabilité de l'Action

Les auteurs ont mesuré la "contrôlabilité commande-réponse" en perturbant les dimensions d'action individuelles avec des signaux sinusoïdaux et en évaluant la réponse visuelle.

Modèle Complet (Sim $\to$ Real WM1 + Real WM2) : A atteint un score de contrôlabilité moyen de 0,95 (In-Distribution) et 0,87 (Out-of-Distribution).
WM1 Réel-Uniquement : A obtenu un score de 0,68 (ID) et 0,51 (OOD), indiquant que sans pré-entraînement synthétique, le modèle ne parvient pas à capturer la dynamique fine par doigt.
Baseline Monolithique (Ctrl-World) : A obtenu des scores nettement inférieurs (~0,6 ID, ~0,44 OOD), capturant les trajectoires globales mais échouant à refléter les effets d'action précis par dimension.

Qualité de la Prédiction Vidéo

Netteté : Le modèle complet produit des prédictions plus nettes avec de meilleurs détails de haute fréquence par rapport à la baseline monolithique, qui tend à produire des sorties floues et moyennées temporellement.
Généralisation : Le modèle maintient une fidélité structurelle sous des changements de distribution (ex: nouveaux arrière-plans, objets absents) mieux que la baseline, bien que les métriques de pixels bruts (PSNR/SSIM) puissent être trompeuses car elles favorisent souvent la baseline floue.
Ablation : Supprimer le conditionnement par masque dans WM2 a entraîné des sorties floues, confirmant que la branche ControlNet est le principal moteur de la qualité spatiale.

Signification et Revendications

L'article affirme que Mask2Real-WM constitue une base pour l'évaluation future de politiques par l'imagination en permettant des déroulements (rollouts) autoregressifs à long horizon avec une haute contrôlabilité commande-réponse.

Modularité : La conception en deux étapes offre une modularité pratique ; WM1 peut servir de vérificateur de dynamique léger, et WM2 peut être affiné pour de nouvelles scènes en mettant à jour uniquement les poids du ControlNet.
Scalabilité : L'approche répond à la rareté des données dextres réelles en exploitant la simulation synthétique pour l'apprentissage de la dynamique, une stratégie que les auteurs soutiennent être largement applicable là où les données réelles à grande échelle font défaut.
Limites : Les auteurs reconnaissent que le goulot d'étranglement actuel réside dans la prédiction de l'état de l'objet par WM1 (ex: disparition ou duplication de l'objet sous occlusion). Ils notent également que les scores de contrôlabilité sont indicatifs (basés sur un seul évaluateur) et que l'hypothèse de caméra fixe limite la flexibilité de déploiement.

En résumé, l'article soutient que le découplage de la dynamique et du rendu via les masques de segmentation, combiné au pré-entraînement en simulation, est une stratégie nécessaire et efficace pour obtenir des modèles de monde contrôlables et de haute fidélité pour la manipulation dextre.