💻 computer science

Imagine2Real: Towards Zero-shot Humanoid-Object Interaction via Video Generative Priors

Imagine2Real est un cadre sans exemple pour l'interaction humain-objet à corps entier qui surpasse la pénurie de données et la complexité du recalage en unifiant les mouvements du robot et de l'objet en trajectoires de points 4D et en exploitant l'espace latent d'un modèle fondamental de comportement pour le suivi de points clés épars, permettant un déploiement physique flexible et sans géométrie.

Auteurs originaux : Jiahe Chen, ZiRui Wang, Feiyu Jia, Xiao Chen, Xiaojie Niu, Weishuai Zeng, Tianfan Xue, Xiaowei Zhou, Jiangmiao Pang, Jingbo Wang

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiahe Chen, ZiRui Wang, Feiyu Jia, Xiao Chen, Xiaojie Niu, Weishuai Zeng, Tianfan Xue, Xiaowei Zhou, Jiangmiao Pang, Jingbo Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez enseigner à un robot de saisir une boîte, de pousser une porte, ou même de frapper un pilier comme Iron Man, mais que vous ne possédiez pas une bibliothèque de milliers de vidéos montrant des robots effectuant ces actions spécifiques. En fait, vous n'avez presque aucune donnée sur la façon dont les robots interagissent avec les objets. C'est le problème que l'article "Imagine2Real" tente de résoudre.

Voici l'histoire de leur méthode, décomposée en concepts et analogies simples.

Le Grand Problème : Le "Manuel Manquant"

Habituellement, pour enseigner à un robot une tâche complexe, vous avez besoin d'une quantité massive de données 3D de haute qualité (comme un jumeau numérique parfait du robot se déplaçant exactement comme vous le souhaitez). Mais ces données sont incroyablement rares et coûteuses à produire.

Sans ces données, les robots sont bloqués. Ils peuvent bien marcher, mais dès qu'ils tentent de toucher ou de déplacer un objet, ils se perdent. Les méthodes existantes tentent de résoudre cela en utilisant des vidéos 2D, mais elles se heurtent à deux gros problèmes :

Le Piège de la Géométrie : Pour comprendre une vidéo, les anciennes méthodes ont besoin d'un plan 3D parfait (modèle CAO) de l'objet. Si vous n'avez pas le plan, le robot est perdu.
Le Problème du "Costume Élastique" : Pour adapter une vidéo humaine à un robot, vous devez mathématiquement "morpher" le corps humain pour qu'il s'ajuste au corps du robot. C'est comme essayer d'étirer un costume de taille humaine sur un robot ; il se déchire souvent, se déforme ou crée des mouvements maladroits et peu naturels.

La Solution : Imagine2Real

Les auteurs proposent une nouvelle approche appelée Imagine2Real. Pensez-y comme un pipeline "Du Rêve à la Réalité". Au lieu d'avoir besoin d'un manuel 3D parfait, ils laissent le robot "imaginer" l'action d'abord, puis déterminer comment l'exécuter.

Voici le processus en trois étapes :

1. Le Rêveur (Génération de Vidéo)

D'abord, vous donnez au système une image d'un robot et d'un objet, ainsi qu'une instruction textuelle comme "Saisir la boîte".

La Magie : Un générateur de vidéos (une IA qui crée des vidéos) produit un court clip du robot effectuant exactement cela.
Le Problème : Cette vidéo n'est que des pixels ; elle ne connaît pas les articulations du robot ni la physique. C'est simplement un rêve visuel.

2. Le Suiveur (L'Œil "Épars")

Maintenant, le robot doit transformer cette vidéo en mouvement réel.

Ancienne Méthode : Tenter de suivre chaque articulation du robot et de l'objet. C'est comme essayer de suivre une danse en observant chaque doigt et chaque orteil. C'est désordonné et nécessite ces "costumes élastiques" (réaffectation) mentionnés plus tôt.
Méthode Imagine2Real : Ils ne suivent que trois points critiques : les pieds du robot (base), sa main gauche et sa main droite. Ils suivent également l'objet.
L'Analogie : Imaginez essayer de suivre un danseur dans une pièce brumeuse. Au lieu d'essayer de voir tout son corps, vous suivez simplement le bout de son nez et ses mains. Si ceux-ci bougent correctement, le reste du corps suit généralement naturellement. Cela évite entièrement le problème du "costume élastique".

3. Le Cerveau (Le Modèle de Fondation du Comportement)

Voici l'ingrédient secret. Si vous dites seulement à un robot "déplace ta main ici", il pourrait agiter ses jambes et tomber car il ne sait pas comment garder l'équilibre.

La Solution : Le robot utilise un "Cerveau" pré-entraîné appelé Modèle de Fondation du Comportement (BFM).
L'Analogie : Pensez au BFM comme à un maître danseur qui a pratiqué la marche et l'équilibre pendant des années. Le robot n'a pas besoin de réapprendre à marcher. Le BFM fournit un "filet de sécurité" de mouvements naturels. Le robot demande seulement au BFM : "Je dois déplacer ma main ainsi ; comment garder l'équilibre en faisant cela ?"
Cela permet au robot d'utiliser ces quelques "points" (points clés épars) pour générer des mouvements fluides, naturels et de tout le corps sans tomber.

Le Processus d'Entraînement : Apprendre par Couches

Puisqu'ils n'ont pas assez de données pour la tâche spécifique de "saisir des boîtes", ils enseignent au robot en trois étapes, comme monter de niveau dans un jeu vidéo :

Niveau 1 (Le Marcheur) : Ils entraînent le BFM sur des milliers d'heures de données de marche humaine générale. Le robot apprend à marcher naturellement.
Niveau 2 (Le Suiveur) : Ils enseignent au robot à suivre ces trois "points" (mains et pieds) tout en marchant. Il apprend à coordonner son corps pour atteindre ces cibles.
Niveau 3 (L'Interacteur) : Enfin, ils lui donnent une infime quantité de données spécifiques sur la tenue de boîtes. Le robot apprend à ajouter une petite "torsion" supplémentaire à ses mouvements pour saisir réellement l'objet, en utilisant les compétences des niveaux 1 et 2 comme fondation.

Le Test Réel

Ils ont testé cela sur un vrai robot (un Unitree G1) dans une salle de capture de mouvement (une pièce avec des caméras qui suivent le mouvement parfaitement).

Le Résultat : Le robot a regardé avec succès une vidéo générée, déterminé où placer ses mains et ses pieds, et physiquement saisi des boîtes, les a poussées, et a même frappé un pilier — tout cela sans jamais avoir vu un humain le faire réellement auparavant. C'était du zéro-shot, ce qui signifie qu'il a appris la tâche spécifique simplement en l'"imaginant" à partir de la vidéo.

Limites (Les Petites Caractères)

L'article admet deux points principaux qui nécessitent encore des travaux :

Le "Point Aveugle" : Le système a actuellement besoin d'une salle de capture de mouvement pour savoir où se trouve le robot dans le monde réel. Si le robot pousse une boîte et que les caméras ne peuvent pas voir les marqueurs (parce que la boîte les bloque), le robot se perd.
La "Rue à Sens Unique" : Le processus est actuellement en boucle ouverte. Le robot établit un plan basé sur la vidéo et l'exécute. Il ne vérifie pas constamment "Est-ce que la boîte bouge vraiment ?" et ne s'ajuste pas en temps réel. Créer un système véritablement en boucle fermée (où le robot et le générateur de vidéos communiquent constamment) est le prochain grand défi.

Résumé

Imagine2Real est un cadre qui permet à un robot d'apprendre à interagir avec des objets en :

Rêvant l'action via la génération de vidéos.
Observant uniquement les parties les plus importantes (mains/pieds) pour éviter des mathématiques complexes.
S'appuyant sur un "professeur de danse" pré-entraîné (le BFM) pour garder son équilibre et se déplacer naturellement.

Cela permet aux robots d'apprendre de nouvelles tâches instantanément sans avoir besoin d'une immense bibliothèque de données robotiques préenregistrées.

Résumé Technique : Imagine2Real

Énoncé du Problème

L'interaction humain-objet à corps entier (HOI) est actuellement limitée par la rareté de données d'interaction 3D haute fidélité. Bien que les modèles génératifs vidéo offrent une alternative prometteuse pour fournir des priors visuels et physiques, les méthodes existantes tentant de les exploiter pour la HOI font face à deux défis critiques :

Désalignement de la Représentation : L'extraction du mouvement 3D à partir de vidéos 2D repose généralement sur des priors géométriques forts (par exemple, des modèles CAO explicites), rarement disponibles dans des environnements réels. De plus, les approches existantes estiment souvent les mouvements du robot et de l'objet indépendamment en utilisant des outils séparés, ce qui entraîne des écarts spatiaux et de profondeur conduisant à des mouvements de référence de faible qualité et à des échecs de suivi.
Complexité du Retargeting : Le suivi de mouvement traditionnel nécessite des signaux denses et de bas niveau (par exemple, les positions des articulations) qui doivent être explicitement retargetés vers une incarnation humanoïde spécifique. Dans les scénarios HOI, ce processus est extrêmement complexe, nécessitant un morphing intensif pour aligner les maillages du robot et de l'objet, ce qui amplifie intrinsèquement les erreurs d'estimation provenant de la source vidéo. À l'inverse, les méthodes qui suivent des points clés épars échouent souvent à produire des allures naturelles en raison d'un manque d'informations au niveau des articulations.

Méthodologie

Les auteurs proposent Imagine2Real, un cadre HOI zero-shot conçu pour réaliser une interaction flexible et sans géométrie en unifiant les mouvements du robot et de l'objet et en exploitant un Modèle Fondamental de Comportement (BFM). Le cadre fonctionne via un pipeline « vidéo-vers-mouvement-vers-réel » impliquant trois composants principaux :

1. Représentation Unifiée de Trajectoire de Points 4D

Pour résoudre le désalignement de la représentation, le cadre évite de s'appuyer sur des priors géométriques. Au lieu de cela, il traite les mouvements du robot et de l'objet comme une trajectoire de points 4D unifiée.

Synthèse Vidéo : Étant donné une image initiale et une instruction textuelle, un modèle génératif vidéo synthétise une vidéo d'interaction.
Extraction : En utilisant la segmentation (SAM3) et le suivi de points (SpaTrackerV2), le système extrait des trajectoires de points 4D pour des régions critiques éparses : la base du robot, les mains et l'objet cible.
Alignement : En représentant les deux entités comme des trajectoires de points dans un cadre commun, la méthode assure un alignement spatial sans nécessiter de modèles CAO explicites ni de pipelines d'estimation indépendants.

2. Suiveur de Points Clés Basé sur un Modèle Fondamental de Comportement (BFM)

Pour surmonter la complexité du retargeting et maintenir des allures naturelles avec des signaux épars, le cadre utilise un Suiveur de Points Clés construit sur un BFM pré-entraîné.

Backbone BFM : Un BFM est d'abord pré-entraîné sur des données de mouvement proprioceptif à grande échelle (~68,5 h) pour construire un espace latent de mouvement compact. Ce modèle internalise la dynamique directe et les transitions de mouvement naturelles.
Suivi Éparse : Le suiveur ne réapprend pas un contrôleur de corps entier. Au lieu de cela, il se conditionne sur un mouvement de référence éparse (base, mains, objet) et applique un planificateur de résidu latent au-dessus du backbone BFM figé.
Mécanisme : Le prédicteur figé génère un prior latent basé sur l'histoire proprioceptive pour assurer une locomotion et un équilibre naturels. Le planificateur émet ensuite un résidu latent de faible dimension pour orienter le robot vers les cibles de suivi éparse. Cela permet au système de contourner le processus de retargeting amplifiant les erreurs tout en préservant la stabilité physique.

3. Stratégie d'Entraînement Progressif

Pour pallier la rareté des données, le cadre emploie une stratégie d'entraînement progressive en trois étapes :

Backbone BFM : Entraîné sur des mouvements de corps entier diversifiés pour établir un prior de mouvement robuste.
Suiveur de Points Clés : Entraîné sur des données de loco-manipulation (~8,86 h) pour apprendre le suivi de points épars tout en maintenant l'équilibre.
Adaptateur d'Interaction : Affiné sur des données HOI spécifiques (~0,43 h) pour apprendre des actions résiduelles au niveau des articulations pour la manipulation d'objets. Cet adaptateur comble le fossé entre le suivi cinématique et le contact physique, permettant une manipulation précise sans ingénierie complexe de récompenses.

4. Pipeline de Déploiement Réel

La boucle de déploiement implique :

Génération Vidéo : Synthèse d'une vidéo d'interaction conditionnée par du texte.
Extraction de Trajectoire : Conversion des pixels vidéo en trajectoires de points 4D stables.
Calibration Mocap : Utilisation d'un système de capture de mouvement (mocap) pour résoudre l'ambiguïté d'échelle inhérente à la génération vidéo monoculaire. Le système capture les positions globales initiales pour mettre à l'échelle et calibrer les trajectoires extraites aux dimensions du monde réel avant d'exécuter la politique sur un robot humanoïde Unitree G1.

Contributions Clés

Représentation Unifiée de Trajectoire de Points 4D : Une représentation novatrice pour la HOI qui élimine la dépendance aux priors géométriques et résout le désalignement des mouvements entre robots et objets.
Suiveur de Points Clés Basé sur BFM : Un mécanisme de suivi se concentrant uniquement sur des points épars critiques pour l'interaction (base, mains, objet). En utilisant l'espace latent du BFM comme domaine de recherche, il permet une interaction flexible tout en assurant des allures stables et naturelles sans retargeting complexe.
Cadre d'Entraînement Progressif : Une stratégie qui exploite efficacement des jeux de données multi-échelles (des données non interactives à grande échelle aux données HOI spécifiques) pour réaliser une HOI zero-shot robuste, éliminant le besoin de mécanismes conçus à la main comme des récompenses de contact complexes ou une initialisation d'état physique.

Résultats Expérimentaux

Les auteurs ont évalué le cadre via des déploiements zero-shot Sim2Sim et réels :

Naturalité du Mouvement : Dans les études d'ablation, l'approche basée sur BFM a nettement surpassé le suivi direct dans l'espace des articulations et les bases DAgger en termes de fluidité des actions et de naturalité de l'allure (plus faible $E_{mpjae}$ , $A_{rate}$ et $A_{smooth}$ ), prouvant que la recherche dans l'espace latent produit des mouvements plus physiquement plausibles.
Succès des Tâches : Le cadre a atteint des taux de réussite élevés dans les tâches HOI à corps entier :
- Transport de Boîtes : 82,65 % de taux de réussite avec l'Adaptateur d'Interaction (contre 0 % sans).
- Poussée de Boîtes : 64,91 % de taux de réussite avec l'Adaptateur (contre 29,82 % sans).
- Les erreurs de suivi pour les mains, la base et les objets ont été maintenues dans une précision de l'ordre du centimètre.
Déploiement Zero-Shot : Le système a exécuté avec succès diverses tâches physiques sur un robot Unitree G1 réel, notamment le levage de diverses boîtes et la réalisation d'interactions sémantiquement riches (par exemple, frapper un pilier « Iron Man »), démontrant l'efficacité du pipeline vidéo-vers-mouvement-vers-réel.

Importance et Limites

L'article affirme qu'Imagine2Real représente une avancée significative vers un contrôle humanoïde généralisable en découplant l'apprentissage de l'interaction de la nécessité de jeux de données 3D massifs et spécifiques à une tâche. En exploitant des priors génératifs vidéo et une représentation unifiée de points, le cadre permet aux robots d'apprendre des interactions complexes à partir de repères visuels épars tout en maintenant la stabilité physique.

Cependant, les auteurs reconnaissent les limitations actuelles :

Dépendance au Mocap : Le déploiement réel repose actuellement sur des systèmes externes de capture de mouvement, qui sont sensibles aux occlusions de marqueurs lors de tâches de contact rapproché.
Pipeline en Boucle Ouverte : Le système actuel est en boucle ouverte. Bien que l'incitation itérative du modèle vidéo offre une approximation pseudo-fermée, un véritable système en boucle fermée nécessite un affinage conjoint du générateur vidéo et du suiveur de mouvement utilisant un retour physique, ce qui reste difficile en raison du caractère fermé des modèles vidéo de premier plan et du manque de cohérence physique des alternatives open-source.