💻 computer science

Real2Sim in HOI: Toward Physically Plausible HOI Reconstruction from Monocular Videos

Ce papier présente HA-HOI, un cadre qui reconstruit des interactions humain-objet 4D physiquement plausibles à partir de vidéos monoculaires en adoptant une formulation « humain d'abord, objet suit » pour assurer la cohérence des contacts et permettre une simulation physique stable.

Auteurs originaux : Yubo Zhao, Yujin Chai, Yunao Dong, Chengfeng Zhao, Zijiao Zeng, Yuan Liu, Chi-Keung Tang

Publié 2026-05-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yubo Zhao, Yujin Chai, Yunao Dong, Chengfeng Zhao, Zijiao Zeng, Yuan Liu, Chi-Keung Tang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez une vidéo familiale de quelqu'un qui saisit une tasse à café et en prend une gorgée. Si vous demandiez à un programme informatique standard de « reconstruire » cette scène en 3D, il pourrait dessiner une personne en 3D et une tasse en 3D. Mais voici le problème : l'ordinateur pourrait faire flotter la tasse juste au-dessus de la main de la personne, ou les doigts de la personne pourraient passer directement à travers la tasse comme un fantôme. À l'œil nu, cela semble correct, mais si vous essayiez d'utiliser cette scène 3D dans un jeu vidéo ou une simulation de robot, la physique serait brisée : la tasse tomberait à travers le sol, ou le robot essaierait de saisir du vide.

Ce papier, intitulé "Real2Sim in HOI", présente un nouveau système appelé HA-HOI (Human-Anchored Human-Object Interaction) pour résoudre exactement ce problème.

Voici le détail de son fonctionnement, en utilisant des analogies simples :

Le Problème Central : Le Problème de la « Main Fantôme »

Les méthodes actuelles pour transformer des vidéos 2D en animations 3D traitent l'humain et l'objet comme deux entités séparées se déplaçant autour. C'est comme essayer de chorégraphier une danse en disant au danseur où aller et au accessoire où aller, sans leur dire de se toucher réellement. Le résultat est une scène 3D qui semble visuellement correcte depuis l'angle de la caméra, mais physiquement impossible. La main pourrait flotter près de la tasse, ou la tasse pourrait flotter en l'air.

La Solution : La Stratégie de l'« Ancrage »

Les auteurs proposent une nouvelle façon de penser : L'Humain est l'Ancre, l'Objet est le Suiveur.

Au lieu d'essayer de deviner où se trouvent l'humain et l'objet indépendamment, HA-HOI dit : « Déterminons d'abord exactement ce que fait l'humain, puis déterminons où l'objet doit se trouver pour que cette action ait du sens. »

Pensez-y comme à un aimant et un trombone.

L'Aimant (L'Humain) : Le système se verrouille d'abord sur le mouvement de l'humain. Il traite le corps de l'humain comme le centre solide et stable de l'univers pour cette vidéo spécifique.
Le Trombone (L'Objet) : Une fois le mouvement de l'humain établi, le système détermine où se trouve l'objet par rapport à l'humain. Si la main de l'humain est fermée en forme de « saisie », l'objet doit être à l'intérieur de cette main. Il ne flotte pas simplement à proximité ; il s'enclenche à sa place.

Comment Cela Fonctionne (Les Trois Étapes)

1. Construire les Fondations (Humain d'Abord)
Le système observe la vidéo et construit un modèle 3D de la personne en mouvement. Il utilise cette personne comme « système de coordonnées ». Au lieu de demander : « Où se trouve l'objet dans la pièce ? », il demande : « Où se trouve l'objet par rapport à la main de la personne ? ». Cela maintient l'échelle et le timing cohérents, même si la caméra tremble ou se déplace.

2. Le « Devinet Intelligent » (Contact VLM)
Parfois, la vidéo est floue ou l'objet est caché derrière le bras de la personne. Pour résoudre cela, le système utilise un « Modèle de Langage Visuel » (un type d'IA qui comprend les images et le texte).

Analogie : Imaginez que vous essayez de deviner où se trouve une clé cachée. Vous ne regardez pas seulement l'endroit sombre ; vous demandez à un expert : « Si une personne tient une clé, où se trouve-t-elle généralement ? » L'IA suggère des endroits probables où la main et l'objet devraient se toucher. Le système utilise ensuite ces « devinettes intelligentes » pour ajuster le modèle 3D afin que la main saisisse réellement l'objet, plutôt que de simplement flotter à proximité.

3. Le « Test Physique » (Simulation)
C'est la partie la plus unique. Après avoir construit l'animation 3D, le système ne s'arrête pas là. Il fait passer l'animation à travers un simulateur physique (comme un moteur de jeu vidéo).

La Métaphore : Imaginez que vous avez construit un spectacle de marionnettes en bois. Avant de le montrer à un public, vous placez les marionnettes sur une vraie scène avec une vraie gravité. Si le bras de la marionnette est trop lourd et tombe, ou si la chaise sur laquelle elle est assise s'effondre, vous savez que le design est mauvais.
HA-HOI fait cela. Il essaie de faire interagir l'humain et l'objet dans un moteur physique. Si la main glisse de la tasse parce que la prise était trop lâche, le système corrige l'animation afin que la prise soit suffisamment forte pour maintenir la tasse sous l'effet de la gravité. Cela garantit que le résultat final n'est pas seulement « joli à regarder », mais physiquement stable.

Les Résultats

Les auteurs ont testé cela sur un ensemble de données appelé BEHAVE (qui contient des vidéos de personnes interagissant avec des objets).

Avant : D'autres méthodes créaient des scènes 3D où l'humain et l'objet semblaient proches, mais présentaient souvent des « espaces fantomatiques » ou des objets traversant des corps.
Après : HA-HOI a créé des scènes où le contact était solide. L'humain tenait réellement l'objet, et l'objet restait dans la main.
La Métrique : Ils ont mesuré la « pénétration » (à quel point la main traversait l'objet). HA-HOI a réduit cette erreur de manière significative, ce qui signifie que les modèles 3D sont beaucoup plus réalistes et prêts à être utilisés comme « enseignants » pour les robots ou les personnages de jeux vidéo.

Résumé

En bref, ce papier soutient que pour transformer une vidéo du monde réel en une simulation 3D utile, vous ne pouvez pas simplement suivre la personne et l'objet séparément. Vous devez traiter l'interaction elle-même comme la chose la plus importante. En ancrant l'objet au mouvement de l'humain et en testant le résultat avec la physique, HA-HOI transforme des vidéos tremblantes et ambiguës en interactions 3D stables et réalistes que les robots et les simulations peuvent réellement utiliser.

Résumé Technique : Real2Sim dans les Interactions Humain-Objet (HOI) : Vers une Reconstruction Physiquement Plausible des HOI à partir de Vidéos Monoculaires

1. Énoncé du Problème

La récupération d'interactions humain-objet (HOI) 4D à partir de vidéos monoculaires constitue une étape cruciale pour la création d'contenu 3D évolutive, l'IA incarnée et l'apprentissage basé sur la simulation. Bien que les méthodes récentes (par exemple, VisTracker, CARI4D, THO) aient réalisé des progrès dans la reconstruction de trajectoires humaines et d'objets temporellement cohérentes, elles souffrent d'un « fossé d'interaction » fondamental. Ces méthodes traitent généralement les humains et les objets comme des entités indépendantes dans un espace 3D ambigu, produisant des résultats visuellement plausibles mais physiquement instables. Plus précisément, les pipelines existants échouent souvent à préserver un contact stable, une manipulation fonctionnelle ou une plausibilité dynamique lorsqu'ils sont utilisés comme mouvements de référence pour la simulation humain-objet. Le défi central réside dans le fait que les approches de reconstruction actuelles ne récupèrent pas explicitement la relation fonctionnelle évolutive qui lie les trajectoires humaines et d'objets en une interaction cohérente, les rendant inadaptées en tant que « trajectoires enseignantes » pour des simulations physiques.

2. Méthodologie : HA-HOI

Les auteurs proposent HA-HOI (Human-Anchored HOI), un cadre conçu pour reconstruire des animations HOI 4D physiquement plausibles à partir de vidéos monoculaires « in-the-wild ». L'idée centrale est que, dans la plupart des scénarios HOI, l'humain est l'agent actif, et le mouvement de l'objet est conditionné par l'action humaine. Par conséquent, le cadre adopte une formulation humain en premier, objet en suivi, traitant le corps humain comme le système de coordonnées organisateur de l'interaction plutôt que comme une simple entité reconstruite.

Le pipeline se compose de quatre étapes distinctes :

3.1 Ancrage d'Interaction Centrée sur l'Humain

Au lieu de reconstruire les trajectoires humaines et d'objets indépendamment, le système établit d'abord un mouvement humain temporellement cohérent comme ancre d'interaction.

Récupération Humaine : Le système récupère le mouvement corporel dans l'espace monde en utilisant les paramètres SMPL-X, en fusionnant les poses de mains MANO pour assurer une articulation fine des mains, cruciale pour l'interaction.
Calibration de la Profondeur : Les prédictions de profondeur monoculaires sont calibrées par rapport à cette ancre humaine. Plutôt que de traiter la profondeur comme une représentation globale de la scène, un facteur d'échelle est estimé pour aligner les points de profondeur non projetés dans la région humaine avec le maillage récupéré. Cela préserve l'échelle métrique du mouvement humain tout en utilisant la profondeur comme preuve géométrique locale pour le placement de l'objet.

3.2 Reconstruction de Suivi d'Objet

Une fois l'ancre humaine établie, l'objet est reconstruit par rapport à ce repère.

Construction du Maillage : Un maillage d'objet canonique est construit à partir des frames visibles, en utilisant l'inpainting d'image pour les régions occluses et des modèles de reconstruction 3D à partir d'une seule image.
Estimation de l'Échelle : Puisque la reconstruction monoculaire manque d'échelle métrique, le système estime une échelle d'objet optimale ( $s^\star_o$ ) en alignant l'objet sur les silhouettes observées dans l'image et la profondeur calibrée, pénalisant les écarts de profondeur par rapport à l'ancre humaine.
Suivi : Le maillage d'objet mis à l'échelle est suivi à travers la vidéo en utilisant FoundationPose. La fiabilité est assurée par la cohérence masque-profondeur, avec interpolation utilisée pour les frames peu fiables. La trajectoire résultante est transformée dans le repère monde centré sur l'humain, produisant une trajectoire HOI grossière ( $\tau^0$ ).

3.3 Raffinement Sémantique du Contact

La trajectoire grossière peut encore manquer de cohérence physique (par exemple, des objets flottants ou des pénétrations). Pour y remédier, le système emploie un raffinement sémantique du contact.

Propositions de Contact : Un modèle Vision-Language (InteractVLM) prédit les régions de contact probables sur les maillages humain et objet pour des frames représentatives.
Optimisation : Le système optimise les articulations corporelles sélectionnées, les poses de mains et les poses d'objets pour minimiser une fonction de perte composite. Celle-ci inclut :
- Perte de Contact ( $L_c$ ) : Utilise initialement la distance bidirectionnelle entre plus proches voisins, puis bascule vers un objectif de champ de distance signé (SDF) pour attirer les sommets de contact humains vers la surface de l'objet.
- Perte de Pénétration ( $L_p$ ) : Pénalise les intersections de maillages.
- Lissage ( $L_s$ ), Ancrage ( $L_a$ ) et Régularisation ( $L_r$ ) : Assurent la stabilité temporelle et le respect de la reconstruction grossière.
Optimisation Progressive : Le processus itère de l'ajustement de la profondeur de l'objet sous un mouvement humain fixe à l'optimisation conjointe de la pose de l'objet, de la pose de la main et des articulations corporelles, pour finalement affiner les poses du poignet et des doigts.

3.4 Projection d'Interaction Basée sur la Physique

L'étape finale projette la trajectoire cinématique dans une simulation basée sur la physique pour assurer la plausibilité dynamique.

Configuration de la Simulation : La séquence humaine optimisée est convertie en un mouvement de référence humanoïde, et l'objet est modélisé comme un corps rigide dynamique.
Contrôleur Résiduel : Un contrôleur résiduel spécifique à la séquence est entraîné. Il observe l'état simulé et l'état de référence, et émet une action résiduelle pour modifier la cible de l'articulation de référence.
Objectif d'Entraînement : La fonction de récompense équilibre la fidélité du mouvement (suivi humain, accord de trajectoire d'objet, articulation de la main) avec la stabilité de l'interaction (maintien du contact actif, contraintes de vitesse).
Sortie : La sortie finale est une animation physiquement plausible ( $\tau_{phys}$ ) qui reste proche de la vidéo d'entrée mais prend en charge une interaction stable sous la gravité et les dynamiques de contact.

3. Contributions Clés

Cadre HA-HOI : Un pipeline évolutif et sans entraînement qui transforme les vidéos HOI monoculaires « in-the-wild » en trajectoires prêtes pour la simulation, déplaçant l'accent du suivi 4D aligné visuellement vers l'animation d'interaction ancrée physiquement.
Formulation Humain en Premier, Objet en Suivi : Une stratégie de reconstruction novatrice qui utilise le mouvement humain ancré dans le monde comme ancre d'interaction, reconstruisant le mouvement de l'objet par rapport à l'action humaine et affinant le contact grâce à des propositions guidées par les VLM et une optimisation explicite.
Évaluation Ancrée Physiquement : La démonstration que HA-HOI réalise une reconstruction HOI 4D précise tout en améliorant significativement la plausibilité physique, la cohérence des contacts et la stabilité temporelle pour la simulation humain-objet, allant au-delà des métriques géométriques standard.

4. Résultats Expérimentaux

La méthode a été évaluée sur le jeu de données BEHAVE, un benchmark RGB-D multi-vues avec des enregistrements pseudo-étiquetés. Le protocole d'évaluation a utilisé des entrées RGB monoculaires sans modèles d'objets étiquetés, annotations de contact ou ajustements manuels.

Performance Quantitative : HA-HOI a obtenu des résultats compétitifs ou supérieurs sur toutes les métriques par rapport aux méthodes de l'état de l'art (CHORE, InterTrack, VisTracker, CARI4D, THO).
- Précision Humaine : A obtenu la plus faible distance de Chamfer pour les humains (CD-h : 7,11 cm) et la plus faible erreur d'accélération humaine (Acc-h : 0,52 cm/s²).
- Plausibilité de l'Interaction : A obtenu le score de pénétration humain-objet le plus bas (0,013 cm), une amélioration significative par rapport à la meilleure base de référence (0,084 cm). Cela indique une réduction drastique des intersections physiquement invalides.
Analyse Qualitative : Les comparaisons visuelles montrent que HA-HOI maintient des relations fonctionnelles main-objet (par exemple, des prises stables, un placement correct de l'objet) là où des bases de référence comme CARI4D produisent souvent des objets flottants ou des contacts ambigus. La méthode préserve avec succès les sémantiques d'interaction même après la simulation physique.
Études d'Ablation :
- La suppression du raffinement de contact a augmenté la pénétration de 0,013 à 0,097, confirmant que l'optimisation du contact est essentielle pour la validité physique, même si elle altère légèrement les scores d'alignement géométrique.
- La méthode reste robuste sans maillages d'objets étiquetés ni paramètres de caméra, validant son applicabilité aux scénarios de monde ouvert.

5. Signification et Revendications

L'article soutient que la reconstruction HOI 4D monoculaire doit dépasser le suivi indépendant des humains et des objets pour récupérer la relation d'interaction elle-même. En traitant l'humain comme le principe organisateur et en imposant des contraintes physiques via la simulation, HA-HOI comble le fossé entre l'observation visuelle et la réalité physique.

Les auteurs affirment que ce travail représente une étape vers la transformation de vidéos HOI monoculaires générales en démonstrations évolutives pour le comportement humain-objet. Bien que le travail actuel se concentre sur des trajectoires prêtes pour la simulation, les auteurs notent que l'objectif ultime est de déployer ces reconstructions sur de vrais robots humanoïdes, bien que des défis concernant le transfert sim-to-réal et les limitations matérielles restent à relever pour les travaux futurs. La signification réside dans la redéfinition de l'objectif de la reconstruction HOI : non pas seulement « bien paraître » en 3D, mais « bien agir » sous les lois physiques.