Joint angle based learning to refine kinematic human pose estimation

Résumé Technique : Apprentissage basé sur les angles articulaires pour affiner l'estimation de la pose humaine cinématique

Énoncé du problème
L'estimation de la pose humaine (HPE) sans marqueurs est cruciale pour des applications telles que l'analyse sportive, la santé et l'interaction homme-machine. Cependant, les modèles actuels basés sur l'apprentissage profond font face à deux défis majages lors de l'analyse des poses humaines cinématiques :

1. Reconnaissance incorrecte des points clés : Les poses complexes, les occlusions et les arrière-plans distrayants entraînent une identification erronée des points clés (valeurs aberrantes/outliers), ce qui perturbe gravement les analyses cinématiques en aval, telles que le calcul de la vitesse, de l'accélération et de la dynamique inverse.
2. Tremblements spatio-temporels (Jitters) : La localisation incohérente des points clés sur des images consécutives entraîne des trajectoires fluctuantes. Ce problème est exacerbé par le recours à des jeux de données d'images uniques (par exemple, COCO-WholeBody) où les annotations manuelles manquent souvent de cohérence temporelle. Bien que des jeux de données vidéo existent, ils souffrent d'incohérences d'annotation, particulièrement lors de mouvements à haute amplitude ou à changement rapide, poussant les modèles à privilégier la précision de la distance euclidienne au détriment de la continuité de la trajectoire.

Les méthodes de raffinement actuelles, telles que l'état de l'art SmoothNet, peinent souvent face à des scénarios sportifs complexes, entraînant une dérive de position ou un lissage insuffisant des valeurs aberrantes.

Méthodologie
Les auteurs proposent un nouveau cadre de Raffinement Basé sur les Angles Articulaires (JAR - Joint Angle-based Refinement) conçu pour générer des données d'entraînement de haute qualité et affiner les sorties de la HPE sur image unique via un processus en trois étapes :

1. Description de la pose basée sur les angles articulaires :

   • Au lieu de s'appuyer uniquement sur les coordonnées absolues, la méthode convertit 13 coordonnées de points clés (extraites via un modèle de HPE sur image unique comme HRNet ou ViTPose++) en 12 angles articulaires.
   • Un point de base stable (le « nez ») est lissé à l'aide d'un filtre de Savitzky-Golay.
   • Les longueurs des segments sont optimisées à l'aide d'un algorithme de région de confiance basé sur deux contraintes biomécaniques : la cohérence proportionnelle entre les membres et une variation inter-images négligeable due au raccourcissement perspectif (foreshortening). Cette approche rend la description robuste aux changements de perspective et de distance de prise de vue.

2. Génération de la « Vérité Terrain » basée sur les séries de Fourier :

   • Reconnaissant que les mouvements articulaires présentent souvent des caractéristiques périodiques, les auteurs approximent les variations temporelles des angles articulaires à l'aide d'une série de Fourier d'ordre 8.
   • Les paramètres de la série sont estimés à partir de jeux de données ouverts pour simuler diverses différences interindividuelles.
   • Un jeu de données synthétique est construit en faisant glisser une fenêtre sur ces cycles générés. Pour simuler le bruit du monde réel, du bruit blanc gaussien (petits tremblements) et des valeurs aberrantes de grande amplitude (simulant des erreurs de reconnaissance) sont injectés dans les séquences de « vérité terrain ». Cela crée un jeu de données de haute qualité doté d'une cohérence spatio-temporelle difficile à obtenir par annotation manuelle.

3. Réseau de raffinement BiGRU-Attention :

   • Un réseau de type Unité Récurrente à Porte Bidirectionnelle (BiGRU) avec un mécanisme d'attention est conçu comme un module de post-traitement.
   • Ce réseau prend en entrée les séquences d'angles articulaires bruitées et produit des séquences d'angles lissées et raffinées.
   • Les angles raffinés, combinés au point de base stabilisé et aux longueurs de segments optimisées, sont utilisés pour reconstruire les coordonnées finales des points clés.
   • Une approche par fenêtre glissante avec moyenne pondérée est employée lors de l'inférence pour assurer un lissage continu sur l'ensemble de la séquence vidéo.

Contributions clés

• Représentation robuste de la pose : La proposition d'un modèle basé sur les angles articulaires qui résiste aux interférences de perspective et de distance, améliorant significativement la précision et la robustesse de la reconnaissance corporelle par rapport aux méthodes basées sur les coordonnées.
• Jeu de données synthétique de haute qualité : Une nouvelle méthode de génération de données d'entraînement utilisant des séries de Fourier d'ordre élevé pour approximer les motifs de mouvement physiologique des articulations, fournissant une « vérité terrain » fiable sans dépendre d'annotations manuelles incohérentes.
• Architecture de raffinement supérieure : La conception d'un réseau BiGRU-Attention qui élimine efficacement les valeurs aberrantes et les tremblements, surpassant les cadres de raffinement existants dans des scénarios sportifs exigeants.
• Capacité de rectification de jeux de données : Démonstration que la méthode peut être appliquée pour rectifier des jeux de données vidéo existants (ex: PoseTrack), corrigeant les incohérences inter-images causées par des erreurs d'annotation manuelle.

Résultats expérimentaux
La méthode JAR a été évaluée par rapport à l'état de l'art SmoothNet à travers diverses activités athlétiques, notamment le sprint, le triple saut debout, le patinage artistique et le breaking (breakdance).

• Correction des valeurs aberrantes : Dans un cas de sprint, JAR a atteint un taux de correction des valeurs aberrantes de 100 % contre 45,45 % pour SmoothNet. Dans un triple saut debout, JAR a corrigé 95,61 % des erreurs contre 53,51 % pour SmoothNet. Le taux de correction global de JAR était de 97,77 %, soit presque le double de celui de SmoothNet.
• Lissage des trajectoires : Dans des scénarios complexes comme le patinage artistique (pirouettes aériennes) et le breaking (appui sur les mains), JAR a produit des trajectoires nettement plus lisses et des courbes de vitesse plus physiologiquement cohérentes. SmoothNet présentait une dérive de coordonnées notable et des fluctuations à haute fréquence, particulièrement sur les composantes de l'axe Y.
• Sélection de modèle : Parmi dix architectures séquence-à-séquence testées (incluant TCN, LSTM, Mamba1/2 et leurs variantes avec attention), le modèle BiGRU-Attention a démontré le meilleur équilibre entre précision (erreur quadratique moyenne la plus faible) et efficacité computationnelle.

Signification et affirmations
L'article affirme que les limites de l'actuel raffinement de la HPE sont largement dues à l'absence de jeux de données d'entraînement de haute qualité et temporellement cohérents. En exploitant les contraintes physiologiques du mouvement humain (angles articulaires et longueurs de segments) et l'approximation par série de Fourier, la méthode JAR proposée :

• Permet aux modèles d'apprentissage profond d'apprendre des motifs spatio-temporels robustes, corrigeant efficacement les articulations mal reconnues et lissant les trajectoires.
• Démontre une généralisation supérieure dans des cas sportifs difficiles où les modèles actuels échouent.
• Offre un outil pratique pour rectifier les jeux de données vidéo existants, réduisant ainsi les effets néfastes des annotations manuelles inexactes et améliorant la fiabilité de la technologie de HPE pour l'analyse du mouvement.

Les auteurs concluent que leur approche fournit une base fiable pour l'analyse cinématique, permettant une quantification plus précise de la performance athlétique et de l'évaluation biomécanique.