SAM 3D Body: Robust Full-Body Human Mesh Recovery

Ce papier présente SAM 3D Body, un modèle open-source capable de récupérer avec une grande précision et généralisation le maillage 3D complet d'un humain à partir d'une seule image, en utilisant une nouvelle représentation paramétrique appelée Momentum Human Rig (MHR) et en permettant une inférence guidée par des prompts.

L'essentiel

Imaginez que vous essayez de recréer un mannequin en 3D parfait à partir d'une simple photo. C'est un peu comme essayer de deviner la forme exacte d'un objet caché sous un drap, juste en regardant une ombre. C'est difficile, surtout si la personne sur la photo fait une pose compliquée, si elle est partiellement cachée, ou si la photo est prise sous un angle bizarre.

Voici ce que les chercheurs de Meta ont créé avec SAM 3D Body, expliqué simplement :

1. Le Problème : Les anciens modèles sont comme des débutants

Jusqu'à présent, les ordinateurs étaient très bons pour deviner la position du corps, mais ils avaient du mal avec les détails fins (comme les mains et les pieds) ou les poses étranges (comme quelqu'un qui fait du yoga ou qui saute). C'était un peu comme un sculpteur qui sait faire un gros bloc de terre, mais qui a du mal à sculpter les doigts d'une main. De plus, ils se trompaient souvent quand la photo venait d'un environnement réel (dans la rue, au parc) plutôt que d'un studio de photo contrôlé.

2. La Solution : Un "Super-Sculpteur" guidable

Les auteurs ont créé un nouveau modèle appelé SAM 3D Body (ou 3DB). Voici comment il fonctionne, avec des images simples :

• Le "Cerveau" (L'Architecture) : Imaginez un chef d'orchestre qui a deux assistants spécialisés.
  • Un assistant s'occupe du corps (la posture globale).
  • L'autre assistant s'occupe des mains (les détails complexes).
  • Au lieu de tout mélanger, ils travaillent ensemble mais gardent leurs propres outils. Cela permet d'avoir un corps réaliste et des mains précises en même temps.
• Le "Guide" (Les Prompts) : C'est la grande innovation. Ce modèle est "guidable". Si vous lui donnez un indice (par exemple, un point sur l'épaule ou un contour autour de la personne), il utilise cet indice pour ajuster son travail. C'est comme si vous disiez au sculpteur : "Hé, regarde, le bras est caché ici, mais il doit être dans cette position." Le modèle comprend et corrige son erreur.
• Le "Nouveau Mannequin" (MHR) : Ils n'ont pas utilisé le vieux modèle de mannequin (SMPL) qui mélangeait la forme du corps et la pose des os. Ils ont inventé un nouveau système (Momentum Human Rig) qui sépare clairement la structure des os (le squelette) de la forme de la peau (le corps). C'est comme si on séparait le fil de fer d'une marionnette de sa peau en tissu : on peut bouger les os sans déformer le corps, et vice-versa.

3. La Cuisine : Comment ils ont appris à ce modèle ?

Pour qu'un modèle soit intelligent, il faut le nourrir avec de bonnes données. C'est là que leur "Moteur de Données" entre en jeu.

• Le Chasseur de Cas Difficiles : Au lieu de prendre des photos au hasard, ils ont utilisé une intelligence artificielle (un VLM) pour aller chercher spécifiquement les photos les plus difficiles : des gens qui tombent, des poses de danse, des mains cachées, des lumières faibles.
• L'Atelier de Correction : Ils ne se contentent pas de deviner. Ils ont créé un processus en plusieurs étapes où des humains vérifient et corrigent les positions des points du corps sur des millions de photos. C'est comme un atelier de perfectionnement où chaque erreur est corrigée manuellement pour créer un "livre de recettes" parfait.
• La Quantité : Ils ont entraîné leur modèle sur 7 millions d'images ! C'est énorme. Cela lui a permis de voir presque tout ce qui peut arriver dans la vraie vie.

4. Les Résultats : Pourquoi c'est impressionnant ?

• Généralisation : Si vous montrez une photo à ce modèle que l'ordinateur n'a jamais vue (par exemple, une personne faisant du skate sous la pluie), il devine la pose beaucoup mieux que les anciens modèles.
• Les Mains : C'est le premier modèle "tout-en-un" qui est aussi bon pour les mains que les modèles spécialisés uniquement dans les mains.
• Avis des Humains : Ils ont fait tester le modèle à 7 800 personnes. Résultat ? Dans 95% des cas, les humains ont préféré le résultat de ce nouveau modèle par rapport aux meilleurs concurrents. C'est comme si vous demandiez à 100 personnes de choisir entre deux statues, et que 95 d'entre elles disaient : "Celle-ci ressemble vraiment à la photo !".

En résumé

SAM 3D Body, c'est comme donner à un robot un œil d'expert, un guide manuel pour l'aider à corriger ses erreurs, et une formation intensive sur des millions de situations difficiles. Le résultat ? Un système capable de transformer n'importe quelle photo d'une personne en un modèle 3D précis, même si la personne fait une pose de gymnaste ou si ses mains sont cachées. C'est un pas de géant pour la réalité virtuelle, la robotique et les jeux vidéo.

Résumé technique

1. Problématique

La récupération de maillage humain 3D complet (Human Mesh Recovery - HMR) à partir d'une seule image 2D est une tâche fondamentale pour la vision par ordinateur et l'IA incarnée. Cependant, les méthodes existantes souffrent de plusieurs limitations majeures lorsqu'elles sont appliquées à des images "in-the-wild" (non contrôlées) :

• Manque de robustesse : Elles échouent souvent sur des poses complexes, des occlusions sévères, des points de vue inhabituels ou des conditions d'éclairage difficiles.
• Compromis Corps/Mains : Les modèles existants peinent à estimer simultanément avec précision la pose globale du corps et les détails fins des mains et des pieds dans un cadre unifié. Les méthodes spécialisées pour les mains sont souvent plus précises que les méthodes "corps entier".
• Données de qualité insuffisantes : L'entraînement de modèles robustes est freiné par le manque de données d'entraînement à grande échelle avec des annotations de maillage 3D de haute qualité. Les jeux de données existants souffrent souvent de bruit d'annotation (pseudo-ground truth) ou d'un manque de diversité (poses de laboratoire).

2. Méthodologie

L'approche proposée, SAM 3D Body (3DB), repose sur une architecture d'encodeur-décodeur promptable et un pipeline de données innovant.

A. Architecture du Modèle

• Architecture Encodeur-Décodeur Promptable : Inspirée de la famille SAM (Segment Anything Model), 3DB accepte des prompts optionnels (points clés 2D, masques de segmentation, informations caméra) pour guider l'inférence. Cela permet une interaction utilisateur et une meilleure gestion des ambiguïtés.
• Double Décodeur : Le modèle utilise un encodeur d'image partagé mais deux décodeurs distincts :
  1. Un décodeur de corps pour estimer le maillage complet.
  2. Un décodeur de mains dédié qui prend des crops d'images des mains en entrée. Cette séparation résout les conflits d'optimisation entre la pose du corps (résolution, caméra) et celle des mains, permettant une précision accrue pour les deux.
• Représentation Paramétrique (MHR) : Contrairement aux modèles SMPL/SMPL-X qui mélangent structure osseuse et forme, 3DB utilise une nouvelle représentation appelée Momentum Human Rig (MHR). Celle-ci découple explicitement la structure squelettique de la forme du corps, offrant un contrôle et une interprétabilité supérieurs pour la reconstruction complète.
• Fusion des sorties : Pour l'inférence, le modèle fusionne les prédictions du décodeur de corps et du décodeur de mains. Il utilise la position du poignet prédite par le décodeur de mains pour affiner la pose globale via des mécanismes de promptage, évitant ainsi les erreurs d'articulation (ex: coudes).

B. Moteur de Données (Data Engine)

Pour surmonter le manque de données de haute qualité, les auteurs ont développé un pipeline d'annotation multi-étapes piloté par une intelligence artificielle :

• Extraction de données difficiles : Un modèle Vision-Language (VLM) est utilisé pour miner des millions d'images et identifier automatiquement les cas difficiles (occlusions, poses acrobatiques, interactions, faible visibilité) pour l'annotation.
• Pipeline d'annotation hybride :
  • Combinaison d'annotation manuelle de points clés 2D.
  • Utilisation de détecteurs de points clés denses (595 points) et de contraintes géométriques.
  • Ajustement de maillage (Mesh Fitting) : Utilisation de données multi-vues (vidéos synchronisées) et de données synthétiques pour générer des "pseudo-ground truth" 3D de haute fidélité, minimisant les erreurs de profondeur inhérentes aux images monoculaires.
• Volume et Diversité : Le jeu de données final comprend environ 7 millions d'images provenant de sources variées (photos de stock, données multi-vues comme EgoExo4D, données synthétiques), couvrant une grande diversité de poses, d'apparences et de conditions d'éclairage.

3. Contributions Clés

1. SAM 3D Body (3DB) : Le premier modèle unifié capable d'atteindre des performances d'État de l'art (SOTA) à la fois pour la pose du corps entier et pour les mains, tout en offrant un contrôle interactif via des prompts.
2. Momentum Human Rig (MHR) : Introduction d'une nouvelle représentation paramétrique qui découple la pose et la forme, améliorant la contrôlabilité et la précision de la reconstruction.
3. Moteur de Données Scalable : Un pipeline automatisé utilisant des VLM pour sélectionner et annoter des données difficiles, garantissant une diversité et une qualité supérieures aux jeux de données existants.
4. Nouvelle Évaluation : Création d'un jeu de données d'évaluation organisé par catégories (pose, visibilité, occlusion, etc.) pour une analyse nuancée des performances des modèles.

4. Résultats

Les expériences montrent que 3DB surpasse systématiquement les méthodes précédentes (HMR2.0, CameraHMR, PromptHMR, NLF, etc.) :

• Performance Quantitative :

  • Sur les benchmarks standards (3DPW, EMDB, RICH, COCO), 3DB obtient les meilleurs scores sur les métriques MPJPE, PA-MPJPE et PVE.
  • Généralisation : Sur des ensembles de données non vus lors de l'entraînement (Out-of-Domain), 3DB montre une robustesse supérieure, réduisant significativement la chute de performance observée chez les autres modèles.
  • Estimation des Mains : Sur le benchmark FreiHand, 3DB atteint une précision comparable aux méthodes spécialisées uniquement sur les mains, comblant l'écart habituel entre les méthodes "corps entier" et "mains".
  • Analyse Catégorielle : Le modèle excelle particulièrement dans les scénarios difficiles : poses inversées, occlusions sévères, troncation du corps et vues de dessus.

• Étude de Préférence Humaine :

  • Une étude à grande échelle avec 7 800 participants a comparé 3DB à six méthodes de référence.
  • 3DB a obtenu un taux de victoire (win rate) de 5:1 (soit environ 83,8% contre le meilleur concurrent NLF), indiquant une perception visuelle nettement supérieure par les humains.

5. Signification et Impact

Ce travail représente une avancée majeure dans le domaine de la récupération de maillage humain 3D :

• Unification : Il démontre qu'il est possible d'obtenir une précision de niveau "spécialisé" pour les mains tout en maintenant une reconstruction de corps entier robuste, sans sacrifier l'un ou l'autre.
• Robustesse In-the-Wild : Grâce à l'architecture promptable et au moteur de données, le modèle est beaucoup plus fiable dans des conditions réelles complexes, ce qui est crucial pour des applications en robotique, en biomecanique et en réalité augmentée.
• Open Source : Le modèle, le code, les données et la représentation MHR sont rendus publics, favorisant la recherche future et l'adoption industrielle.
• Changement de Paradigme : L'approche met en évidence l'importance cruciale de la qualité et de la diversité des données d'entraînement, surpassant souvent les gains apportés par de simples améliorations architecturales.

En résumé, SAM 3D Body établit une nouvelle référence pour la reconstruction 3D humaine, combinant une architecture flexible, une nouvelle représentation géométrique et une stratégie de données rigoureuse pour résoudre les défis persistants de l'incertitude et de la complexité des scènes réelles.