SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens

Le papier présente SceMoS, un cadre de synthèse de mouvement 3D qui utilise des représentations 2D structurées (une vue aérienne pour la planification globale et une carte de hauteur pour l'exécution locale) pour générer des interactions humain-scène réalistes et physiquement cohérentes avec une efficacité accrue par rapport aux méthodes 3D traditionnelles.

L'essentiel

Imaginez que vous voulez enseigner à un robot comment se déplacer dans une pièce réelle, en lui donnant simplement une instruction verbale comme « Va t'asseoir sur le canapé ». Le défi est double : le robot doit comprendre ce qu'il doit faire (la sémantique) et comment le faire sans se cogner (la physique).

C'est là qu'intervient SceMoS, une nouvelle méthode intelligente pour créer des mouvements humains en 3D qui semblent réalistes et respectent l'environnement. Voici comment cela fonctionne, expliqué avec des images simples.

1. Le problème : Trop de détails, trop lent

Les anciennes méthodes essayaient de donner au robot une vue complète de la pièce en 3D (comme un nuage de millions de points ou une grille de cubes). C'est comme essayer de lire une carte du monde entier en regardant chaque grain de sable individuellement. C'est énorme, lent et coûteux en énergie. De plus, le robot doit souvent apprendre à la fois à planifier son trajet et à éviter les obstacles en même temps, ce qui le rend confus.

2. La solution SceMoS : Découpler la stratégie de l'exécution

SceMoS résout ce problème en séparant le travail en deux étapes distinctes, comme un chef d'orchestre et un musicien virtuose.

Étape 1 : Le Chef d'Orchestre (La Planification Globale)

Imaginez que vous êtes un chef d'orchestre perché sur une échelle, regardant la pièce d'en haut (vue en perspective aérienne ou "Bird's-Eye-View").

• Ce qu'il voit : Il ne voit pas les détails microscopiques (comme la texture du tapis), mais il voit la disposition globale : où est le canapé, où est la table, où est la porte.
• Son outil : Il utilise une "caméra" virtuelle qui prend une photo de la pièce en 2D. Cette photo est analysée par une intelligence artificielle très puissante (DINOv2) qui comprend la sémantique : "Ah, c'est un canapé, je dois aller là-bas".
• Son action : Il ne donne pas les instructions précises pour chaque pas. Il donne juste les grandes lignes : "Marche vers la droite, tourne, approche-toi du canapé". C'est rapide et efficace.

Étape 2 : Le Musicien (L'Exécution Locale)

Maintenant, imaginez le musicien qui doit jouer la partition. Il a besoin de savoir exactement comment ses pieds touchent le sol à chaque instant.

• Son outil : Au lieu de regarder toute la pièce, le musicien regarde seulement le sol juste sous ses pieds (une petite carte en 2D appelée "heightmap" ou carte de hauteur).
• Son action : Cette carte lui dit : "Attention, il y a un petit rebord ici" ou "Le sol est plat ici". Cela permet au mouvement d'être physiquement réaliste : les pieds ne traversent pas le sol, ils s'y posent correctement.
• La magie : Le musicien a appris un "vocabulaire" de mouvements. Au lieu de dire "fléchis le genou de 15 degrés", il utilise un code discret qui signifie "fléchir le genou pour toucher un sol à cette hauteur précise".

3. L'analogie du "GPS et du Chaussage"

Pour résumer SceMoS avec une analogie du quotidien :

• Le GPS (Planificateur Global) : Il vous dit : "Tournez à droite à la prochaine intersection, puis allez tout droit jusqu'au parc." Il utilise une carte 2D simplifiée. Il ne vous dit pas comment poser vos pieds sur le bitume.
• Le Chaussage (Décodeur Local) : C'est vous qui marchez. Vos yeux regardent juste le sol devant vous pour éviter les trous, les cailloux ou les marches. Vous ajustez votre pas en temps réel en fonction de ce que vous voyez immédiatement sous vos pieds.

SceMoS combine ces deux choses : le GPS donne le but, et le Chaussage ajuste la marche pour ne pas trébucher.

Pourquoi est-ce génial ?

1. Économie d'énergie : Au lieu de traiter des millions de points 3D (comme une photo en ultra-haute définition de toute la pièce), SceMoS utilise des images 2D simples. C'est comme passer d'un film en 8K à une photo claire : on perd un peu de détails inutiles, mais on gagne énormément en vitesse et en clarté.
2. Réalisme : Le robot ne traverse pas les murs. Parce que le "musicien" regarde le sol local, il sait exactement où poser ses pieds pour ne pas traverser le canapé.
3. Flexibilité : Cela fonctionne très bien même si la pièce est encombrée, car le système recalcule la "vue locale" à chaque pas, s'adaptant dynamiquement.

En conclusion

SceMoS est une méthode intelligente qui dit : "Pour faire bouger quelqu'un dans une pièce, pas besoin de modéliser chaque atome de la pièce en 3D. Il suffit de comprendre la carte globale pour savoir où aller, et de regarder le sol juste sous les pieds pour savoir comment marcher."

C'est plus rapide, plus léger, et le résultat est un mouvement humain qui semble naturel, sûr et parfaitement adapté à son environnement.

Résumé technique

1. Problématique

La synthèse de mouvements humains 3D réalistes à partir de texte, dans des scènes complexes, nécessite de maîtriser deux aspects contradictoires :

• L'intention sémantique : Comprendre le but de l'action (ex: "marcher jusqu'au canapé").
• La faisabilité physique : Respecter la géométrie de l'environnement pour éviter les collisions et assurer un contact réaliste avec le sol et les objets.

Les méthodes actuelles souffrent d'un compromis (trade-off) majeur :

• Les représentations de scène 3D denses (nuages de points, grilles de voxels) sont coûteuses en calcul et nécessitent des architectures lourdes pour être interprétées.
• Les représentations simplifiées manquent souvent de détails pour un raisonnement de contact fin.
• La plupart des approches actuelles tentent d'apprendre simultanément la planification globale et le raisonnement local des contacts dans un processus entrelacé, ce qui limite l'efficacité et la généralisation, surtout avec des données de scène bruitées ou non étiquetées.

2. Méthodologie : SceMoS

SceMoS propose une nouvelle approche qui désenchevêtre la planification globale de l'exécution locale en utilisant des représentations de scène 2D structurées plutôt que des volumes 3D complets. L'architecture fonctionne en deux étapes principales :

A. Représentation de la Scène (Cues 2D)

Au lieu d'utiliser des données 3D volumineuses, SceMoS utilise deux types de signaux 2D légers :

1. Vue de dessus (BEV - Bird's-Eye-View) pour la planification globale : Une image BEV est rendue depuis un coin élevé de la scène. Les caractéristiques sémantiques sont extraites à l'aide d'un modèle fondationnel visuel (DINOv2). Cela capture la disposition spatiale et les affordances (zones marchables, localisation des objets) pour le raisonnement de haut niveau.
2. Carte de hauteur locale (Heightmap) pour l'exécution physique : Une carte de hauteur 2D locale est générée autour de la position racine du personnage. Cela fournit une géométrie précise pour guider les interactions physiques (contact avec le sol, évitement d'obstacles immédiats).

B. Architecture du Modèle

Le système est divisé en deux modules distincts :

1. Planificateur de Mouvement Global (Global Motion Planner) :

   • C'est un modèle autoregressif (Transformer) qui prend en entrée les embeddings de texte (via T5) et les caractéristiques DINOv2 de la vue BEV.
   • Il prédit une séquence de tokens discrets représentant des primitives de mouvement à haut niveau.
   • Il ne gère pas la géométrie fine, mais planifie la trajectoire et l'intention sémantique.

2. Tokeniseur de Mouvement Ancré dans la Géométrie (Geometry-Grounded Motion Tokenizer) :

   • Basé sur un VQ-VAE conditionnel (Vector Quantized Variational Autoencoder).
   • Il apprend un vocabulaire de mouvement discret où chaque token encode non seulement un motif cinématique, mais aussi le comportement spécifique à la géométrie locale.
   • Conditionnement clé : Le décodeur est conditionné par la carte de hauteur locale (calculée à partir de la pose précédente). Cela force le modèle à apprendre que, par exemple, le token "plier les genoux" doit correspondre à une hauteur de surface spécifique pour éviter de traverser le sol.
   • Cela ancre directement la physique des contacts dans l'espace des tokens.

C. Boucle d'Inférence

L'inférence est itérative :

1. Le planificateur génère un token.
2. Le décodeur transforme ce token en mouvement continu en utilisant la carte de hauteur locale.
3. La position du personnage est mise à jour, une nouvelle carte de hauteur est calculée autour de la nouvelle position, et le cycle se répète.
4. Un module de raffinement de trajectoire léger est appliqué pour corriger les artefacts de glissement des pieds (foot sliding) en lissant les vitesses de la racine.

3. Contributions Clés

• Désenchevêtrement Planification/Exécution : Une architecture à deux étapes qui sépare le raisonnement sémantique global (via BEV) du raisonnement physique local (via heightmaps), évitant ainsi la complexité des entrées 3D denses.
• Vocabulaire de Mouvement Géométrique : Introduction d'un tokeniseur VQ-VAE conditionné par la géométrie locale, permettant d'encoder la physique des contacts directement dans le vocabulaire discret.
• Efficacité et Fidélité : Démonstration que des projections 2D bien conçues (BEV + Heightmaps) suffisent pour ancrer l'interaction humain-scène, réduisant drastiquement les paramètres nécessaires pour l'encodage de la scène.

4. Résultats Expérimentaux

Les évaluations ont été menées sur le benchmark TRUMANS (100 scènes intérieures, interactions humain-scène complexes).

• Qualité du Mouvement : SceMoS atteint un FID (Fréchet Inception Distance) de 0,31, le meilleur parmi toutes les méthodes comparées, indiquant une grande réalisme et diversité.
• Précision du Contact : Le score de contact physique (PFC) atteint 0,98, surpassant les méthodes basées sur des voxels ou des nuages de points.
• Efficacité des Paramètres :
  • Le nombre de paramètres entraînables pour l'encodage de la scène est réduit de plus de 50 % (environ 4M pour SceMoS contre ~50M pour les méthodes de base comme TRUMANS ou Humanise).
  • Cela permet une scalabilité bien supérieure sans sacrifier la qualité.
• Ablations :
  • L'utilisation de cartes de hauteur 2D est supérieure aux grilles de voxels 3D pour les interactions de surface (moins de pénétration, meilleure vélocité).
  • L'architecture à deux étapes est cruciale : un modèle unique (sans séparation) dégrade fortement la fidélité et le contact.
  • Les caractéristiques DINOv2 sont plus efficaces que CLIP pour la compréhension sémantique de la disposition spatiale.

5. Signification et Impact

SceMoS démontre que la complexité computationnelle des modèles 3D denses n'est pas une condition sine qua non pour une synthèse de mouvement réaliste et physiquement plausible. En exploitant intelligemment des représentations 2D hiérarchisées (vue globale sémantique + vue locale géométrique), le framework offre :

• Une réduction massive des coûts de calcul et de mémoire.
• Une généralisation améliorée sur des scènes non structurées.
• Une nouvelle voie pour l'IA incarnée (Embodied AI) et l'animation, permettant de générer des interactions complexes (marcher, s'asseoir, éviter des obstacles) de manière efficace et robuste.

Limitations actuelles : Le système suppose des scènes statiques et est optimisé pour les interactions macroscopiques (marche, assise). La manipulation fine d'objets (ex: saisir une tasse) reste un défi car les cartes de hauteur ne capturent pas les affordances dextres des mains. De plus, l'inférence actuelle prend environ 8 secondes pour 80 images, ce qui laisse une marge de progression pour le temps réel.