💻 computer science

InHabit: Leveraging Image Foundation Models for Scalable 3D Human Placement

Le papier présente InHabit, un générateur de données entièrement automatique et évolutif qui exploite des modèles de fondation d'images pour créer un vaste ensemble de données 3D photoréalistes d'interactions humain-scène, comblant ainsi le manque de données réalistes pour l'entraînement d'agents incarnés.

Auteurs originaux : Nikita Kister, Pradyumna YM, István Sárándi, Jiayi Wang, Anna Khoreva, Gerard Pons-Moll

Publié 2026-04-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nikita Kister, Pradyumna YM, István Sárándi, Jiayi Wang, Anna Khoreva, Gerard Pons-Moll

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous voulez enseigner à un robot comment se comporter dans une maison humaine. Pour cela, il a besoin de voir des millions d'exemples : quelqu'un qui s'assoit sur un canapé, quelqu'un qui prépare du café, ou quelqu'un qui s'appuie contre un comptoir.

Le problème ? Prendre ces vidéos dans la vraie vie est très cher, long et difficile. Les robots ne peuvent pas simplement "deviner" où mettre les gens sans paraître ridicules (comme un homme flottant au-dessus d'une chaise ou un bras traversant un mur).

C'est là qu'intervient InHabit, une nouvelle invention présentée dans ce papier. Voici comment ça marche, expliqué simplement :

1. Le Problème : Le Robot est "Aveugle" aux Contextes

Actuellement, les robots ont deux types de données :

Des photos de maisons vides (très nombreuses).
Des vidéos de gens bougeant dans des studios de cinéma (très chères et limitées).
Il manque le lien : Des photos de gens faisant des choses réalistes dans des maisons réalistes.

Les anciennes méthodes pour créer ces images artificielles utilisaient des règles mathématiques simples : "Si c'est plat, posez quelqu'un dessus". Résultat ? Des gens posés n'importe comment, sans logique (par exemple, quelqu'un qui "s'assoit" sur une table basse trop petite).

2. La Solution : InHabit, le "Cuisinier Numérique"

L'équipe a créé un système qui utilise l'intelligence des modèles d'IA 2D (comme ceux qui génèrent des images à partir de texte) pour peupler des mondes 3D. Ils appellent leur méthode le principe "Rendre – Générer – Soulever".

Voici l'analogie de la cuisine :

Étape 1 : Rendre (La photo du plat vide)
Imaginez que vous avez une photo d'une cuisine vide. C'est votre scène 3D.
Étape 2 : Générer (Le chef qui imagine le plat)
Au lieu de demander à un robot de placer un mannequin, vous demandez à un "chef cuisinier IA" (un modèle de langage et d'image) : "Que ferait-on dans cette cuisine ?".
Le chef répond : "On pourrait faire du café, lire un journal ou s'appuyer sur le comptoir."
Ensuite, un autre IA (le "peintre") dessine une personne réaliste faisant exactement cette action dans la photo. Elle ne fait pas juste "s'asseoir", elle s'assoit en regardant la fenêtre ou en tenant une tasse. C'est l'intelligence du contexte.
Étape 3 : Soulever (Servir le plat en 3D)
Maintenant, vous avez une belle image 2D avec un humain dedans. Mais le robot a besoin de savoir où sont les genoux et les coudes en 3D.
InHabit prend cette image et utilise une "grue mathématique" pour soulever l'humain de la photo et le placer dans la vraie maison 3D. Il s'assure que les pieds touchent bien le sol et que le corps ne traverse pas le mur. C'est comme si vous imprimiez la photo en 3D et que vous la colliez parfaitement dans la pièce.

3. Le Résultat : La "Banque de Données InHabitants"

En appliquant ce processus à 800 maisons différentes (des appartements, des bureaux, des maisons de campagne), ils ont créé une immense bibliothèque appelée InHabitants.

78 000 exemples de gens faisant des choses différentes.
Tout est parfaitement aligné : le corps humain, la pièce, et la photo.

4. Pourquoi c'est génial ?

C'est gratuit et rapide : Pas besoin de filmer des acteurs dans des studios coûteux.
C'est intelligent : Contrairement aux anciennes méthodes qui mettaient des gens n'importe où, InHabit comprend que dans une salle de bain, on se brosse les dents, et dans un salon, on regarde la télé.
Ça améliore les robots : Quand ils ont entraîné des robots avec ces nouvelles données, les robots sont devenus beaucoup meilleurs pour deviner où poser les gens et comment ils interagissent avec les objets.

En résumé :
InHabit est comme un magicien qui utilise la magie de l'IA 2D (les images) pour créer des mondes 3D réalistes. Il permet de créer des millions de scénarios de vie quotidienne pour entraîner les robots et les intelligences artificielles à comprendre le monde humain, sans avoir à filmer une seule seconde de la vraie vie. C'est passer de "deviner où mettre les gens" à "comprendre comment les gens vivent vraiment".

Titre : InHabit : Exploitation des Modèles de Fondation d'Images pour le Placement Évolutif de Humains en 3D

1. Problématique

Le développement d'agents incarnés (embodied AI) capables de comprendre les scènes 3D comme le font les humains nécessite des données massives où des personnes interagissent de manière significative avec des environnements diversifiés. Cependant, ces données font cruellement défaut :

Données réelles : La capture de mouvement (MoCap) dans des environnements naturels est coûteuse, logistiquement complexe et limitée à un nombre très restreint de scènes (souvent moins de 30).
Données synthétiques existantes : Les approches actuelles reposent sur des heuristiques géométriques simples (évitement de collisions, contacts physiques) qui ignorent le contexte sémantique riche de la scène. Elles ne parviennent pas à prédire ce qu'un humain ferait naturellement dans un lieu donné (ex: cuisiner, s'asseoir, regarder par la fenêtre).
Opportunité manquée : Les modèles de fondation 2D (entraînés sur des données à l'échelle d'Internet) possèdent une connaissance implicite riche des interactions humain-environnement, mais cette connaissance n'est pas transférée efficacement vers le domaine 3D.

2. Méthodologie : Le principe "Render–Generate–Lift"

InHabit est un générateur de données entièrement automatique et évolutif qui transfère la connaissance des modèles 2D vers la 3D via une boucle en trois étapes :

A. Rendu et Raisonnement d'Affordance (2D)

Entrée : Une scène 3D statique existante (ex: un scan HM3D) est rendue sous différents points de vue.
Raisonnement (VLM) : Un Modèle de Langage-Vision (VLM) analyse l'image rendue pour proposer des actions contextuellement pertinentes basées sur les "affordances" de la scène (ex: une cuisine suggère la cuisine, un canapé suggère le repos). Le système utilise deux stratégies :
1. Basée sur l'affordance : Le VLM déduit les actions possibles.
2. Basée sur l'action : Le VLM contextualise une liste d'actions prédéfinies (ex: "debout" devient "debout sur une chaise pour changer l'ampoule").
Génération (Image Editing) : Un modèle d'édition d'image (basé sur des modèles de fondation) insère un ou plusieurs humains réalistes dans l'image en respectant les poses, les proportions et le contexte local suggérés par le VLM.

B. Levage vers la 3D (3D Lifting)

Reconstruction : Les humains générés en 2D sont reconvertis en maillages 3D (format SMPL-X) alignés sur la géométrie de la scène connue.
Optimisation : Contrairement aux méthodes précédentes qui optimisent la géométrie de la scène et le corps simultanément, InHabit utilise la géométrie de la scène fixe (connue) pour contraindre l'optimisation.
Fonction de coût : L'optimisation ajuste les paramètres du corps (pose $\theta$ $θ$ , forme $\beta$ $β$ , translation $t$ $t$ , et une échelle explicite $s$ $s$ ) pour minimiser :
- La perte de reprojection 2D ( $L_{proj}$ ).
- L'alignement avec la profondeur estimée ( $L_{depth}$ ).
- Les contacts plausibles avec la scène ( $L_{contact}$ ).
- Les pénalités de pénétration ( $L_{penetration}$ ).
- La régularisation ( $L_{reg}$ ).
L'introduction du paramètre d'échelle $s$ est cruciale pour éviter que l'optimiseur ne déforme la forme du corps ( $\beta$ ) pour compenser des erreurs d'échelle.

C. Filtrage et Contrôle Qualité
Pour garantir la cohérence physique, trois filtres post-reconstruction sont appliqués :

Filtre de visibilité : Élimine les humains partiellement visibles ou placés dans des miroirs/reflets.
Filtre de cohérence de profondeur : Vérifie que les modifications locales de la géométrie (meubles déplacés ou hallucinés) autour du personnage sont cohérentes avec la profondeur de la scène originale.
Filtre de volume : Détecte et rejette les cas où le modèle tente de s'adapter à des enfants (hors du modèle SMPL-X adulte) ou à des représentations non humaines (photos, statues), qui produisent des volumes de corps anormalement faibles.

3. Contributions Clés

Méthode Automatisée : Un pipeline complet "Render–Generate–Lift" combinant le raisonnement des affordances par VLM, la génération d'images par fondation, et la reconstruction 3D par optimisation, sans annotation manuelle.
Dataset InHabitants : Le premier dataset à grande échelle d'interactions humain-scène (HSI) photoréalistes.
- Volume : 78 000 échantillons.
- Portée : Couvrant environ 800 scènes à l'échelle de bâtiments (Habitat-Matterport3D).
- Contenu : Géométrie 3D complète, maillages SMPL-X, et images RGB, incluant des interactions mono et multi-personnes.
Validation Empirique : Preuves quantitatives et perceptuelles montrant la supériorité de la méthode par rapport à l'état de l'art (GenZI, POSA).

4. Résultats

Évaluation Qualitative et Perceptuelle :
- Dans une étude utilisateur, les interactions générées par InHabit ont été préférées dans 78,1 % des cas par rapport à GenZI (6,7 %) et POSA++ (15,2 %).
- Les résultats montrent une meilleure cohérence sémantique (ex: toucher une statue, s'asseoir correctement) et une absence d'intersections physiques absurdes.
Amélioration des Tâches en Aval :
- Estimation de Contact : L'ajout des données InHabitants à l'entraînement du modèle DECO améliore significativement la précision (F1-score) sur le benchmark DAMON, surpassant même l'ajout de données réelles coûteuses (TRUMANS).
- Reconstruction HSI : L'entraînement de modèles de reconstruction (Human3R, GRAFT) sur InHabitants dépasse les performances obtenues avec les données d'origine (BEDLAM, PROX), notamment en termes de métriques de contact (F1-score, V2S). Le modèle GRAFT entraîné uniquement sur InHabitants parvient même à se généraliser à des scènes extérieures (RICH), démontrant une grande robustesse.

5. Signification et Impact

Ce travail démontre que les modèles de fondation 2D, entraînés sur des données Internet massives, encodent suffisamment de connaissances sur les interactions humain-environnement pour servir d'alternative pratique et évolutive à la capture de mouvement 3D coûteuse.

Passage à l'échelle : InHabit brise le compromis traditionnel entre la richesse sémantique (petits datasets réels) et l'échelle (grands datasets synthétiques vides de sens).
Futur de l'IA Incarnée : En fournissant des données d'entraînement massives, diversifiées et sémantiquement cohérentes, InHabitants permet d'entraîner des agents robotiques et des systèmes d'IA à comprendre et à interagir avec des environnements 3D de manière naturelle, un pas crucial vers une intelligence artificielle véritablement incarnée.

Le code et le dataset seront publiés publiquement.