Résumé Technique : Un Autoencodeur Variationnel de Forme Élastique pour les Trajectoires de Postures Squelettiques

Énoncé du Problème

Les modèles génératifs profonds, en particulier les Autoencodeurs Variationnels (VAE), ont prouvé leur efficacité pour des données structurées comme les images et le texte. Cependant, lorsqu'ils sont appliqués à des séquences de squelettes humains, les VAE standards peinent souvent à isoler la géométrie intrinsèque des formes et de leur mouvement. Au lieu de cela, ils allouent une capacité significative du modèle à des « facteurs de nuisance » — variations de l'orientation de la caméra, de l'échelle du sujet, du point de vue et de la vitesse d'exécution (variabilité du taux temporel). Ces facteurs sont inévitables dans les configurations d'enregistrement naturalistes mais sont sans pertinence pour des tâches telles que la classification d'activités ou l'évaluation clinique de la mobilité. Les méthodes traditionnelles d'analyse de forme éliminent ces transformations avant l'analyse statistique, mais l'intégration de ces invariances géométriques dans des cadres d'apprentissage profond puissants, qui fonctionnent généralement sur des variables euclidiennes, demeure un défi.

Méthodologie

Les auteurs proposent l'Autoencodeur Variationnel de Forme Élastique (ES-VAE), un modèle génératif conscient de la géométrie conçu spécifiquement pour les trajectoires squelettiques. L'innovation centrale réside dans la représentation des données squelettiques sur la variété de forme de Kendall et l'utilisation du cadre du Champ de Vitesse Racine Carrée Transporté (TSRVF).

1. Représentation Géométrique

• Espace de Forme de Kendall : Chaque squelette est traité comme une configuration de $k$ repères dans $\mathbb{R}^m$. Le modèle élimine la translation (par centrage), l'échelle (par normalisation vers la norme de Frobenius unitaire) et la rotation (par passage au quotient du groupe orthogonal spécial $SO(m)$). Cela aboutit à une représentation invariante aux transformations rigides et au changement d'échelle global.
• TSRVF pour l'Alignement Temporel : Pour traiter la variabilité du taux (par exemple, différentes vitesses de marche), la méthode emploie le cadre TSRVF. Cela implique le calcul de la dérivée covariante de la trajectoire, le transport parallèle des vecteurs tangents vers un point de référence commun (la moyenne de Fréchet) et leur normalisation. Cela permet un alignement temporel optimal via la Programmation Dynamique, éliminant efficacement les profils de vitesse tout en préservant la dynamique de la forme.

2. Architecture VAE Riemannienne

L'ES-VAE opère directement sur la variété plutôt que de l'approximer dans un espace euclidien :

• Encodeur : Prend la représentation vectorielle tangente d'une trajectoire (calculée via l'application logarithme riemannienne depuis la moyenne de Fréchet) et la mappe vers un espace latent de faible dimension $z \in \mathbb{R}^L$.
• Décodeur : Mappe le code latent $z$ vers l'espace tangent via un réseau de neurones, puis le projette sur la variété de forme en utilisant l'application exponentielle riemannienne pour reconstruire la trajectoire.
• Fonction de Perte : Le modèle est entraîné en maximisant la Limite Inférieure de Preuve Riemannienne (ELBO). Le terme de reconstruction utilise la distance géodésique au carré sur la variété de forme, et le terme de régularisation est la divergence de Kullback-Leibler (KL) par rapport à une loi normale standard dans l'espace latent.

Contributions Clés

1. VAE de Forme Élastique : Introduction d'un VAE riemannien qui intègre les trajectoires squelettiques (représentées par des SRVF transportés sur l'espace de forme de Kendall) dans un espace latent de faible dimension. Cette conception assure une invariance complète à la translation, à la rotation, à l'échelle et aux profils de vitesse d'activité par construction.
2. Supériorité de l'Apprentissage de Variété : En utilisant des données synthétiques sur une sphère unité ($S^2$), les auteurs démontrent que l'ES-VAE approxime des sous-variétés non géodésiques unidimensionnelles avec plus de précision que l'ACP euclidienne, le VAE euclidien et l'ACP dans l'espace tangent. Cela souligne l'importance de préserver les structures géométriques non linéaires que les approximations euclidiennes perdent.
3. Interprétabilité Clinique et Performance : Sur un jeu de données clinique de 155 participants (sains vs post-AVC), les dimensions latentes apprises se sont avérées :
   • Correspondre à des caractéristiques de marche interprétables (par exemple, longueur de foulée, rigidité des membres, variabilité des bras).
   • Être fortement corrélées aux scores cliniques de mobilité (POMA).
   • Surpasser les modèles de référence classiques et d'apprentissage profond dans la prédiction de la sévérité de l'AVC et la classification de la latéralité de l'AVC.
4. Performance de Reconnaissance d'Action : Sur un sous-ensemble sélectionné du jeu de données NTU RGB+D, les représentations latentes de l'ES-VAE ont surpassé divers modèles de référence (y compris les TCN, les Transformers et les Réseaux de Convolution Graphique) dans la classification de catégories d'actions difficiles, démontrant la généralisabilité de la représentation basée sur la forme.

Résultats Expérimentaux

L'article évalue l'ES-VAE par rapport à un ensemble complet de modèles de référence, incluant des méthodes de squelettes bruts (ACP, VAE, TCN, LSTM, Transformer, ST-GCN), des méthodes d'angles articulaires et des méthodes de vecteurs tangents.

• Jeu de Données de Marche Post-AVC (Régression) : Pour la prédiction des scores POMA, l'ES-VAE a atteint un $R^2$ de 0,74 et une RMSE de 2,82, surpassant significativement le meilleur modèle d'apprentissage profond sur squelette brut (LSTM, $R^2=0,64$) et l'ACP Tangente ($R^2=0,70$).
• Jeu de Données de Marche Post-AVC (Classification) : Dans une classification à trois classes (Sain, AVC Gauche, AVC Droit), l'ES-VAE a atteint un F1 macro de 0,83, dépassant l'ACP Tangente (0,79) et tous les modèles d'apprentissage profond sur squelette brut.
• Reconnaissance d'Action NTU-60 : Sur un sous-ensemble difficile à 10 classes, l'ES-VAE a atteint un F1 macro de 0,56, surpassant le meilleur modèle de référence à vecteur tangent (ACP Tangente à 0,50) et les modèles de référence sur squelette brut. Notamment, il a amélioré un VAE Vanilla (0,27) de 0,29, démontrant la valeur du prétraitement géométrique.
• Études d'Ablation : Les résultats ont confirmé que l'alignement géométrique est critique. Le retrait de la translation seule était insuffisant ; la combinaison de l'espace de forme de Kendall (éliminant l'échelle/rotation) et du TSRVF (éliminant la variabilité du taux) a produit les meilleures performances. La perte de reconstruction géodésique a également fourni un avantage constant par rapport à l'erreur quadratique moyenne (MSE) dans l'espace tangent euclidien.

Signification et Revendications

L'article revendique que l'avantage principal de l'ES-VAE est structurel : en éliminant géométriquement la variabilité de nuisance (translation, rotation, échelle, vitesse) avant la modélisation, le réseau profond peut allouer sa capacité entièrement à l'apprentissage de dynamiques de forme significatives.

• Interprétabilité : Contrairement aux approches d'apprentissage profond « boîte noire », les dimensions latentes de l'ES-VAE correspondent à des caractéristiques de marche spécifiques et cliniquement pertinentes (par exemple, réduction de la foulée, rigidité des membres), offrant un cadre principiel pour l'analyse de données longitudinales sur les variétés de forme de posture.
• Généralisabilité : L'approche s'est avérée efficace à la fois pour l'analyse clinique de la marche et pour la reconnaissance générale d'actions, suggérant que la modélisation directe sur la variété préserve la structure géométrique essentielle qui est perdue dans les approximations euclidiennes.
• Limites : Les auteurs notent que l'étude est limitée par la taille du jeu de données (155 participants pour l'AVC, 40 pour le sous-ensemble NTU) et l'utilisation de données cinématiques uniquement. Ils suggèrent que des travaux futurs pourraient impliquer de plus grands jeux de données multicentriques, des entrées multimodales (par exemple, EMG) et des architectures plus expressives, bien que potentiellement au détriment de l'interprétabilité.

En conclusion, l'ES-VAE fournit un cadre robuste, interprétable et performant pour l'analyse des trajectoires de postures squelettiques, démontrant que l'intégration d'invariances géométriques dans l'architecture du modèle génératif produit des résultats supérieurs par rapport aux approches d'apprentissage profond standard qui tentent d'apprendre ces invariances à partir de données brutes.