Investigating Anthropometric Fidelity in SAM 3D Body

Résumé technique : Investigation de la fidélité anthropométrique dans SAM 3D Body

Énoncé du problème
L'article aborde une limitation critique du modèle SAM 3D Body récemment publié [37], un modèle fondamental conçu pour la récupération de maillages humains (HMR). Bien que SAM 3D Body démontre des performances robustes dans la génération de maillages topologiquement cohérents à partir d'images uniques — notamment en ce qui concerne l'estimation de la pose et la gestion des occlusions —, il échoue à reconstruire des déviations anthropométriques détaillées au sein de populations hors distribution (OOD). Plus précisément, le modèle « régresse systématiquement vers la moyenne », lissant des caractéristiques biologiques distinctives telles que l'atrophie musculaire gériatrique, la scoliose, la distension abdominale liée à la grossesse et la perte unilatérale d'un membre. Les auteurs soutiennent qu'il ne s'agit pas d'une simple défaillance de capacité, mais d'une propriété émergente de l'architecture du modèle, qui privilégie la plausibilité perceptive par rapport à une fidélité métrique stricte, le rendant ainsi inadapté aux diagnostics médicaux de haute précision où une précision anatomique submillimétrique est requise.

Méthodologie et analyse
Les auteurs adoptent une approche multifacette pour diagnostiquer les causes profondes de cette standardisation morphologique :

1. Évaluation quantitative : L'étude utilise un jeu de données personnalisé de 500 paires image-maillage dérivées de scans de surface 3D cliniques, sur-représentant des morphologies complexes (par exemple, grossesse avancée, asymétries structurelles). Les erreurs de reconstruction sont mesurées à l'aide de la distance de Chamfer ($d_{CD}$) pour la précision ponctuelle globale et de la distance du transporteur de terre ($d_{EMD}$) pour pénaliser la perte de masse volumique localisée. Les résultats montrent que, si $d_{CD}$ reste faible pour les sujets normatifs, $d_{EMD}$ augmente significativement pour les cas OOD, confirmant la tendance du modèle à mapper les sujets pathologiques vers une moyenne statistique générique.
2. Dissection architecturale : L'article identifie trois mécanismes principaux à l'origine de ce comportement :
   • Goulot d'étranglement paramétrique (MHR) : SAM 3D Body repose sur le Momentum Human Rig (MHR), qui comprime toute la géométrie du torse et des membres dans un sous-espace linéaire de faible dimensionnalité ne contenant que 20 composantes PCA ($\beta$). Les auteurs démontrent mathématiquement que les déviations complexes et localisées (comme les tumeurs ou les courbes de grossesse) sont orthogonales à ces composantes principales, forçant le réseau à les effondrer dans les formes de mélange précalculées.
   • Invariance sémantique (DINOv3) : Le modèle est conditionné par des transformers de vision DINOv3, entraînés pour maximiser la similarité sémantique et minimiser les variables parasites (éclairage, occlusion). Les auteurs postulent que cela agit comme un filtre passe-bas spatial, traitant les signaux diagnostiques (déformations structurelles) comme du bruit à lisser, regroupant ainsi trop étroitement les embeddings de corps « enceints » et « standards » dans l'espace latent.
   • Biais d'annotation et taxe d'alignement : Les données d'entraînement et le pipeline d'annotation favorisent les corps « sains » ou « standards ». Les auteurs soutiennent que le processus itératif d'annotation « modèle dans la boucle » pénalise activement les irrégularités biologiques. Les annotateurs et les systèmes automatisés ont tendance à corriger les maillages bruyants et bosselés (représentations précises de la pathologie) vers des maillages lisses et génériques, enseignant au modèle une forte priorité de lissage ($R_{smooth}$) qui supprime les anomalies biologiques à haute courbure.

Contributions clés

• Validation empirique de la « régression vers la moyenne » : L'article fournit des preuves quantitatives (via $d_{EMD}$) que SAM 3D Body échoue systématiquement à capturer les déviations morphologiques OOD, malgré son succès dans la récupération de la pose.
• Analyse des causes racines architecturales : L'étude isole les choix architecturaux spécifiques — goulots d'étranglement paramétriques de faible dimensionnalité, conditionnement invariant sémantique et biais d'annotation — qui imposent collectivement une standardisation morphologique.
• Voies proposées pour l'adaptation médicale : Plutôt que de rejeter le modèle, les auteurs proposent des voies techniques constructives pour étendre son utilité au domaine médical :
  • Représentations hybrides implicites-explicites : Combiner le maillage de base MHR avec des couches de raffinement haute fréquence (par exemple, 3D Gaussian Splatting ou Neural SDF) pour capturer des détails en dehors de l'étendue paramétrique.
  • Alignement « médical dans la boucle » : Remplacer les annotateurs généralistes par des experts du domaine (radiologues, anatomistes) et déplacer les fonctions de récompense de la « qualité perceptive » vers la « fidélité pathologique » (par exemple, optimisation pour $d_{EMD}$ et précision des repères).
  • Injection paramétrique : Injecter explicitement des paramètres de forme médicale (par exemple, angles spécifiques de scoliose ou paramètres gestationnels) dans le backbone de génération pour découpler le type de corps global de la géométrie localisée.

Résultats et affirmations
L'article conclut que SAM 3D Body est actuellement inadéquat pour une reconstruction diagnostique stricte en raison de son compromis architectural favorisant la plausibilité perceptive de haut niveau par rapport à la fidélité géométrique. Le modèle fonctionne efficacement comme un « générateur d'anatomie procédurale » adapté à la formation VR en cas de catastrophe de masse ou à la simulation de foule, mais il ne peut servir d'outil diagnostique autonome.

Les auteurs affirment que les limitations observées sont une manifestation fondamentale du compromis perception-distorsion dans les modèles fondamentaux modernes de vision par ordinateur. Ils soutiennent que combler le fossé vers l'utilité clinique nécessite de dépasser le paradigme actuel de « génération artistique » pour se tourner vers des architectures hybrides et un ajustement fin spécifique au domaine. L'article ne prétend pas avoir résolu ces problèmes, mais décrit les changements théoriques et méthodologiques nécessaires (représentations hybrides, alignement par des experts et injection paramétrique) requis pour parvenir à une analyse 3D du corps médical de haute précision.