Résumé Technique : Estimation de la Pose Humaine en Zero-Shot par des Solveurs Inverses Basés sur la Diffusion

Énoncé du Problème

L'estimation de la pose humaine vise à reconstruire une posture 3D complète du corps (tête, torse, membres) à partir de données de capteurs éparses. Bien que les récents progrès utilisant des modèles de diffusion conditionnels aient montré des promesses pour prédire des poses complètes à partir de seulement trois capteurs (généralement la tête et deux poignets), ces méthodes souffrent d'une limitation critique : une mauvaise généralisation entre des utilisateurs ayant des morphologies différentes.

Les approches existantes, telles que celles de Castillo et al. (2023), conditionnent les modèles de diffusion à la fois sur les positions et les rotations des articulations. Cependant, les positions des articulations sont intrinsèquement dépendantes de l'échelle ; elles varient considérablement en fonction des longueurs osseuses et des proportions corporelles d'un utilisateur. Par conséquent, un modèle entraîné sur les données d'un utilisateur spécifique échoue à se généraliser à des utilisateurs ayant des morphologies différentes sans un ajustage fin (fine-tuning) extensif. L'entraînement conjoint sur plusieurs morphologies (comme tenté par Aliakbarian et al., 2022) augmente la complexité du modèle et n'offre aucune garantie de couvrir toutes les variations corporelles possibles. Il existe un besoin d'un algorithme capable de se généraliser aux morphologies aberrantes sans nécessiter de données d'entraînement personnalisées.

Méthodologie : InPose

Les auteurs proposent InPose, une méthode basée sur la diffusion qui formule l'estimation de la pose comme un problème inverse pour atteindre une généralisation en zero-shot. L'idée centrale consiste à décomposer la pose humaine en deux composantes :

1. Pose sans échelle : Définie par les rotations des articulations (angles), qui sont indépendantes de la taille du corps.
2. Composante dépendante de l'échelle : Définie par les positions des articulations dans l'espace 3D, qui dépendent des longueurs osseuses et de la morphologie.

1. Formulation du Problème Inverse

Au lieu de conditionner le modèle de diffusion à la fois sur la position et la rotation (ce qui couple le modèle à des morphologies spécifiques), InPose conditionne l'a priori génératif uniquement sur les mesures de rotation.

• A priori : Un modèle de diffusion par Correspondance de Flux Conditionnel (CFG) est entraîné pour prédire la distribution des poses sans échelle étant donné des mesures de rotation bruitées ($r_m$) provenant des capteurs.
• Vraisemblance (Guidage) : Les positions des articulations mesurées ($l_m$) ne sont pas utilisées comme entrée de conditionnement pour l'entraînement, mais comme un terme de vraisemblance pour guider le processus d'inférence. Ce terme évalue dans quelle mesure une pose générée explique les positions observées compte tenu des longueurs osseuses spécifiques de l'utilisateur.

2. Cadre Mathématique

L'objectif est d'échantillonner à partir de la distribution a posteriori $p(r_M | y_m)$, où $r_M$ représente les 22 rotations globales des articulations et $y_m$ sont les mesures des capteurs. En utilisant la règle de Bayes, la fonction de score est décomposée :
$$\nabla_{r_M^t} \log p_t(r_M^t | \{l_m, r_m\}) = \nabla_{r_M^t} \log p_t(r_M^t | r_m) + \nabla_{r_M^t} \log p_t(l_m | r_M^t)$$

• Le Terme A Priori ($\nabla \log p(r_M^t | r_m)$) : Appris par un modèle de score basé sur CFG conditionné uniquement sur les rotations. Cela fournit une distribution sans échelle de poses plausibles.
• Le Terme de Vraisemblance ($\nabla \log p(l_m | r_M^t)$) : Ce terme agit comme un guidage de cinématique inverse. Il nécessite de mapper les rotations estimées vers des positions via un opérateur non linéaire $D(\cdot)$ (convertissant les vecteurs de rotation 6D en matrices) et un opérateur linéaire $A$ (cinématique directe).

3. Gestion de la Non-Linéarité par Guidage de Pseudo-Inverse

Un défi majeur est que le terme de vraisemblance implique la propagation d'une variable aléatoire gaussienne à travers la fonction non linéaire $D(\cdot)$. Le Guidage par Pseudo-Inverse Standard pour les Modèles de Diffusion (ΠGDM) suppose des opérateurs linéaires.

• Théorème 1 : Les auteurs prouvent que si le modèle de score garantit des contraintes spécifiques de norme unitaire et d'orthogonalité sur les vecteurs de rotation 6D, la distribution des rotations transformées $D(r_M^0)$ étant donné l'entrée bruitée $r_M^t$ peut être approximée par une distribution gaussienne.
• Cette approximation permet aux auteurs de calculer le score de vraisemblance analytiquement, permettant l'utilisation de ΠGDM pour guider le processus de débruitage sans exiger que l'opérateur soit linéaire.

4. Pipeline

Le processus d'inférence (Algorithme 1) affine itérativement la pose :

1. Générer une estimation débruitée conditionnelle $\hat{r}_M^t$ en utilisant l'a priori CFG (conditionné sur les rotations).
2. Calculer le score de vraisemblance en utilisant le cadre ΠGDM, en incorporant les longueurs osseuses spécifiques de l'utilisateur pour mapper les rotations vers les positions attendues.
3. Combiner les scores d'a priori et de vraisemblance en utilisant un échantillonneur DDIM modifié pour mettre à jour l'estimation de la pose pour l'étape de temps suivante.

Contributions Clés

1. Généralisation Zero-Shot : En découplant l'a priori génératif (rotations) des mesures dépendantes de l'échelle (positions), InPose peut estimer des poses pour des utilisateurs ayant des morphologies arbitraires sans réentraînement ni ajustage fin.
2. Formulation de Solveur Inverse : L'article reformule l'estimation de la pose comme un problème inverse où un a priori de diffusion pré-entraîné est guidé par un terme de vraisemblance dérivé de mesures de positions éparses.
3. Approximation Gaussienne pour les Opérateurs Non Linéaires : Les auteurs fournissent une preuve théorique (Théorème 1) permettant la propagation de variables gaussiennes à travers la cartographie non linéaire de rotation 6D vers matrice, rendant ΠGDM applicable à ce problème inverse spécifique.
4. Robustesse : La méthode démontre une robustesse inhérente au bruit des mesures de position, car l'a priori génératif joue un rôle dominant dans l'estimation finale, contrairement aux méthodes qui reposent fortement sur des entrées de position bruitées.

Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données AMASS en utilisant des protocoles similaires à la référence BoDiffusion.

• Mise à l'échelle de la Morphologie : Lorsqu'ils sont testés sur des utilisateurs avec des morphologies mises à l'échelle (par exemple, plus grands ou plus petits), les modèles de référence (AvatarJLM, BoDiffusion) ont montré une dégradation significative tant de l'erreur de position (MPJPE) que de l'erreur de rotation (MPJRE). En revanche, InPose a maintenu des performances constantes sur tous les facteurs de mise à l'échelle, démontrant sa capacité en zero-shot.
• Variation des Parties Corporelles Relatives : Dans des scénarios où des parties spécifiques du corps (par exemple, les bras par rapport au torse) étaient mises à l'échelle différemment, InPose a surpassé les références en MPJPE et en Erreur de Position du Corps Supérieur (UPE), car le guidage inverse a correctement pris en compte les longueurs osseuses modifiées.
• Robustesse au Bruit : Sous un bruit gaussien croissant dans les mesures de position, InPose est resté stable, tandis que les références se sont dégradées de manière significative.
• Compromis :
  • InPose sous-performe légèrement les références sur la morphologie par défaut (la morphologie utilisée pour l'entraînement), probablement parce que les références peuvent apprendre une cartographie non linéaire directe pour cette morphologie spécifique, tandis qu'InPose repose sur une approximation générale.
  • Estimation du Corps Inférieur : Sans translation de la tête comme entrée CFG, InPose éprouve des difficultés avec l'estimation de la pose du corps inférieur (LPE élevée) car la translation de la racine n'est pas directement observée. Cependant, l'ajout de la position de la tête comme entrée CFG (InPose (tête)) améliore considérablement l'estimation du corps inférieur, surpassant toutes les références sur diverses morphologies.

Importance et Revendications

L'article revendique qu'InPose offre une voie vers la prédiction de pose en zero-shot en exploitant la décomposition de la pose en composantes sans échelle et dépendantes de l'échelle. L'importance réside dans l'élimination du besoin de collecte de données personnalisées et de réentraînement pour chaque nouvel utilisateur, un goulot d'étranglement majeur dans les applications pratiques de capteurs portables.

Les auteurs reconnaissent modestement les limitations :

• La méthode ne surpasse pas les références sur la morphologie spécifique utilisée pour l'entraînement.
• L'estimation du corps inférieur repose fortement sur l'a priori ou l'inclusion de la position de la tête, car la translation de la racine n'est pas directement incorporée.
• L'algorithme nécessite une connaissance précise des longueurs osseuses de l'utilisateur lors de l'inférence ; des erreurs dans l'estimation des longueurs osseuses peuvent dégrader les performances.

Le travail suggère que les recherches futures devraient se concentrer sur l'amélioration de la modélisation du corps inférieur via des contraintes physiques et sur le développement de méthodes pour estimer aveuglément les longueurs osseuses sans calibration explicite.