Résumé Technique : Flow Matching pour l'Estimation Probabiliste de la Pose 3D Humaine Monoculaire (FMPose)

Énoncé du Problème

La reconstruction des poses humaines 3D à partir d'une seule vue monoculaire est un problème fortement mal posé, principalement en raison de l'ambiguïté de profondeur le long de l'axe optique. Les approches déterministes traditionnelles, qui prédisent une seule pose 3D « la plus probable » étant donné une entrée 2D, produisent souvent des estimations incorrectes mais excessivement confiantes, en particulier dans les scénarios impliquant des occlusions ou des poses ambiguës. Bien que les approches probabilistes émergentes traitent les estimations 3D comme des distributions pour capturer l'incertitude, les méthodes génératives existantes (par exemple, les Autoencodeurs Variationnels, les Flots Normalisants et les Modèles de Diffusion) souffrent souvent d'architectures complexes, de processus stochastiques coûteux ou d'une qualité de génération sous-optimale. Plus précisément, les modèles de diffusion nécessitent la résolution d'équations différentielles stochastiques (SDE) compliquées ou de processus de planification de bruit fragiles, entraînant des coûts de calcul élevés et une instabilité potentielle.

Méthodologie : FMPose

Les auteurs proposent FMPose, une méthode probabiliste d'estimation de la pose 3D humaine basée sur le Flow Matching avec le Transport Optimal (OT). L'objectif central est d'apprendre un flot normalisant continu (CNF) qui mappe une distribution source simple (bruit gaussien) vers la distribution postérieure complexe des poses humaines 3D plausibles, conditionnée par des indices 2D.

1. Flow Matching avec Transport Optimal

Contrairement aux modèles de diffusion qui apprennent à inverser un processus de bruitage stochastique, FMPose apprend une trajectoire déterministe d'une distribution source $x_0$ (Gaussienne) vers une distribution cible $x_1$ (pose 3D vérité terrain) via un chemin de transport optimal rectiligne.

• Trajectoire : Le chemin est défini par une interpolation linéaire : $x_t = (1-t)x_0 + tx_1$ pour $t \in [0, 1]$.
• Champ de Vitesse : La vitesse du flot $u_t$ est simplement la dérivée du chemin : $u_t = x_1 - x_0$.
• Objectif d'Entraînement : Le réseau de neurones $f_\theta$ est entraîné pour prédire ce champ de vitesse en utilisant une simple perte d'Erreur Quadratique Moyenne (MSE), éliminant ainsi le besoin d'une résolution séquentielle coûteuse d'EDO pendant l'entraînement.
• Inférence : Lors de l'inférence, le modèle génère des hypothèses de pose 3D en échantillonnant $x_0 \sim \mathcal{N}(0, I)$ et en intégrant le champ de vitesse appris $f_\theta(x_t, t, c)$ à l'aide d'un solveur numérique d'EDO (spécifiquement Runge-Kutta 2, RK2) pour atteindre $x_1$.

2. Condition de Levage 2D-3D via Réseaux de Convolution Graphique (GCN)

Pour conditionner le flot génératif sur les observations 2D, les auteurs introduisent un mécanisme de levage novateur :

• Représentation d'Entrée : Au lieu d'utiliser uniquement l'argument maximum (pic) des cartes de chaleur 2D, le modèle extrait les $k$ premières positions (arguments) des cartes de chaleur générées par un détecteur HRNet. Cela capture une gamme plus large de localisations potentielles des articulations, y compris celles avec une confiance plus faible.
• Architecture GCN : Ces $k$ premiers arguments sont traités par un Réseau de Convolution Graphique. Les nœuds représentent les articulations humaines et les arêtes représentent des connexions apprises entre elles.
• Matrice d'Adjacence Apprenable : Contrairement aux travaux antérieurs qui reposent sur des contraintes de squelette humain fixes, FMPose initialise la matrice d'adjacence $A$ à zéro et apprend les relations articulaires à partir de zéro pendant l'entraînement. Cela permet au modèle de découvrir des corrélations spécifiques à la tâche de levage plutôt que d'être contraint par des priors anatomiques.
• Vecteur de Condition : Le GCN agrège les caractéristiques pour produire un vecteur de condition $c$, qui est concaténé avec l'état de pose actuel $x_t$ et le temps $t$ en tant qu'entrée pour le réseau de flot $f_\theta$.

Contributions Clés

1. Première Application du Flow Matching OT : À la connaissance des auteurs, il s'agit du premier travail appliquant des flots normalisés continus stables avec des trajectoires de transport optimal pour l'estimation probabiliste de la pose 3D humaine.
2. Condition de Levage Basée sur GCN : La proposition d'une condition de levage 2D-3D formulée via des GCN qui intègre efficacement des connexions apprises entre les articulations humaines, allant au-delà des contraintes de squelette fixes ou des entrées d'arguments maximum simples.
3. Performances de l'État de l'Art : La méthode établit de nouveaux benchmarks pour l'estimation de pose 3D HPE multi-hypothèses sur une seule image à travers plusieurs jeux de données, offrant des améliorations significatives en précision et en vitesse de traitement par rapport aux équivalents basés sur la diffusion.

Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks standards : Human3.6M, MPI-INF-3DHP et 3DPW.

• Human3.6M : FMPose (utilisant la stratégie top-$k$) a atteint une erreur de position moyenne par articulation (MPJPE) de 41,7 mm et un P-MPJPE de 30,6 mm avec 200 hypothèses. Cela surpasse la méthode de diffusion leader, DiffPose, de 2,5 mm (5,6 %) en MPJPE et de 1,5 mm (4,6 %) en P-MPJPE. Sur des poses hautement ambiguës, FMPose a amélioré le MPJPE de 7,6 mm (11,4 %) par rapport à DiffPose.
• MPI-INF-3DHP : Sans ajustement fin supplémentaire, FMPose a atteint un PCK de 87,9 % (intérieur avec fond vert) et 84,1 % (extérieur), surpassant DiffPose dans tous les configurations.
• 3DPW : Sur ce jeu de données difficile « in-the-wild », le FMPose ajusté finement a atteint un MPJPE de 56,2 mm, surpassant significativement d'autres méthodes sur une seule image (par exemple MultiHMR à 61,4 mm) et restant compétitif par rapport aux approches multi-images.
• Efficacité : FMPose démontre une efficacité computationnelle supérieure. Il ne nécessite que 4,5 millions de paramètres (contre 11,5 millions pour DiffPose) et atteint 28 FPS (36 ms) pour générer 200 hypothèses. En revanche, DiffPose nécessite 17,5 ms pour seulement 32 étapes de débruitage mais avec un modèle beaucoup plus grand. FMPose atteint une précision comparable ou supérieure avec moins d'étapes d'intégration (par exemple, 7 étapes contre 32 étapes de débruitage) et une latence nettement inférieure.

Importance et Revendications

L'article revendique que FMPose adresse le compromis critique entre précision et efficacité dans l'estimation probabiliste de la pose 3D. En utilisant le Transport Optimal dans un cadre de Flow Matching, les auteurs démontrent qu'une trajectoire déterministe à chemin rectiligne est plus stable et précise que les trajectoires stochastiques requises par les modèles de diffusion.

L'importance du travail réside dans :

• Robustesse : Fournir une distribution de poses permet aux tâches en aval de prendre en compte l'incertitude, en particulier pour les articulations occluses ou les scénarios ambigus où une prédiction déterministe unique échouerait.
• Efficacité : La méthode offre une alternative plus rapide aux modèles de diffusion sans sacrifier la qualité générative, la rendant plus adaptée aux applications en temps réel.
• Flexibilité : Le modèle prend en charge différentes stratégies d'inférence (top-$k$ pour la précision déterministe contre échantillonnage aléatoire pour la couverture de l'incertitude) et peut être ajusté pour différents budgets computationnels en variant le nombre d'étapes de résolution d'EDO.

Les auteurs reconnaissent les limites, notant que la méthode actuelle repose uniquement sur des cartes de chaleur 2D et ne modélise pas explicitement les interactions humain-scène ou l'estimation des contacts, ce qui pourrait davantage aider à lever les ambiguïtés dans les scénarios difficiles. Il est suggéré que les travaux futurs intègrent directement ces indices environnementaux.