DeepGaitLab: Accurate and Flexible Markerless Motion Tracking Powered by Synthetic Data

Énoncé du problème
Le suivi du mouvement humain, à la fois évolutif et précis, est essentiel pour moderniser le diagnostic des pathologies de la marche, optimiser les performances sportives et faire progresser la recherche sur le mouvement. Bien que les systèmes de capture de mouvement traditionnels basés sur des marqueurs offrent une grande précision, ils sont limités aux laboratoires de recherche en raison de leur dépendance à une infrastructure dédiée, à un personnel spécialisé et à un étalonnage chronophage. Les alternatives sans marqueurs offrent une voie vers l'évolutivité, mais font actuellement face à un compromis entre précision et flexibilité. Les méthodes à vue unique sont accessibles mais souffrent d'ambiguïté de profondeur et d'occlusion, ce qui limite leur utilité clinique. Les systèmes existants sans marqueurs multi-vues ne parviennent soit pas à améliorer la précision avec l'ajout de caméras (par exemple, OpenCap), soit nécessitent des réseaux de caméras denses et des logiciels propriétaires qui entravent le déploiement dans des contextients à ressources limitées (par exemple, Theia3D). De plus, de nombreux outils actuels manquent de généralisabilité aux individus ayant des limitations de mobilité, car ils sont souvent entraînés sur des données provenant de populations saines.

Méthodologie
Les auteurs présentent DeepGaitLab, un cadre open-source conçu pour fournir une cinématique 3D précise à travers des configurations de caméras flexibles (de deux à dix caméras) sans nécessiter d'étalonnage spatial entre les caméras. Le système fonctionne via un flux de travail en trois étapes :

1. Détection de points de repère denses en 2D : Contra-rément aux approches classiques de vision par ordinateur qui détectent des centres articulaires clairsemés, DeepGaitLab estime une haute densité de points de repère de surface (57 points anatomiques). Ceci est réalisé à l'aide d'un réseau basé sur les Transformers. Pour surmonter la rareté des données multi-vues étiquetées, le modèle est entraîné sur des données synthétiques à grande échelle dérivées du jeu de données BEDLAM. Ce jeu de données utilise 271 corps humains réels (issus du jeu de données AMASS) effectuant 9,3 heures de mouvement, rendus avec des textures photoréalistes et des vêtements divers dans un moteur de jeu. Le réseau emploie une stratégie de transfert d'apprentissage, initialisant l'encodeur avec les poids d'un détecteur de points clés clairsemés pré-entraîné (ViTPose) sur des images réelles, puis l'affine sur les données synthétiques pour assurer la généralisation.
2. Triangulation 3D et étalonnage : Le système prend en charge deux flux de travail : l'un utilisant des vidéos synchronisées avec un étalonnage physique par damier, et un mode d'étalonnage automatisé. Ce dernier traite le sujet comme un objet d'étalonnage dynamique, utilisant les points de repère anatomiques denses détectés à travers les vues pour estimer les extrinsèques des caméras via l'ajustement de faisceaux (bundle adjustment), éliminant ainsi le besoin de cibles d'étalonnage physiques.
3. Simulation biomécanique : Les marqueurs virtuels 3D triangulés sont traités à l'aide d'OpenSim. Le système adapte un modèle musculosquelettique générique à l'anthropométrie du sujet et calcule la cinématique inverse et la dynamique inverse (moments articulaires).

Une caractéristique clé est le fine-tuning spécifique à l'environnement. Le cadre peut générer des données d'entraînement synthétiques adaptées à la géométrie des caméras et à l'arrière-plan d'un laboratoire spécifique, permettant au modèle d'être affiné pour un site particulier sans nouvelles annotations manuelles.

Contributions clés

• Entraînement piloté par des données synthétiques : En exploitant des données synthétiques à grande échelle, DeepGaitLab évite l'annotation laborieuse des jeux de données multi-vues réels tout en atteignant une précision et une généralisabilité élevées.
• Représentation de points de repère denses : Le passage de centres articulaires clairsemés à des points de repère de surface denses fournit des contraintes géométriques qui résolvent les orientations de segments de manière plus précise, répondant ainsi à l'ambiguïté inhérente aux approches de points clés clairsemés.
• Fonctionnement flexible et sans étalonnage : Le cadre fonctionne efficacement avec seulement deux caméras et inclut une fonction d'étalonnage automatisé qui lève la barrière de l'étalonnage manuel chronophage.
• Robustesse à la pathologie : Le système maintient une précision constante à travers diverses populations, y compris celles ayant des limitations de mobilité, là où d'autres outils voient souvent leurs performances se dégrader.

Résultats
Les auteurs ont évalué DeepGaitLab sur 80 individus répartis en quatre groupes : adultes sains, personnes en phase de récupération après une reconstruction du ligament croisé antérieur (ACLR), survivants d'un accident vasculaire cérébral (AVC) et personnes souffrant de troubles cognitifs légers (MCI).

• Précision vs État de l'art : Chez les adultes sains, DeepGaitLab a systématiquement surpassé OpenCap et Theia3D. Dans une configuration à deux caméras, il a montré une différence de racine carrée de la moyenne des écarts (RMSD) significativement plus faible par rapport aux références basées sur des marqueurs que OpenCap (4,2° contre 5,9°).
• Évolutivité avec le nombre de caméras : Contrairement à OpenCap, dont la précision plafonnait lors du passage de deux à dix caméras, DeepGaitLab a démontré une amélioration monotone de la précision à mesure que la densité de caméras augmentait.
• Généralisation à la pathologie : DeepGaitLab a maintenu une performance constante chez les patients ACLR, ne montrant aucune différence significative de précision entre les groupes sains et atteints. En revanche, OpenCap et Theia3D ont montré des erreurs significativement plus élevées dans le groupe ACLR. DeepGixLab a détecté avec succès des asymétries inter-membres cliniquement pertinentes en flexion/extension de la hanche et adduction/abduction, que d'autres outils avaient manquées.
• Métriques spatiotemporelles : Chez les patients atteints de MCI et d'AVC, DeepGaitLab a atteint une concordance de l'asymétrie de la longueur de pas comparable à celle de Theia3D (qui utilisait huit caméras) en n'utilisant que deux caméras.
• Dynamique inverse : DeepGaitLab a produit un RMSD relatif plus faible dans l'estimation des moments articulaires par rapport à OpenCap dans les configurations à deux caméras, particulièrement lors de mouvements non-sagittaux.
• Validation des fonctionnalités : La fonction d'étalonnage automatisé a obtenu des performances comparables à l'étalonnage manuel par damier. Le fine-tuning spécifique à l'environnement a apporté des améliorations marginales mais statistiquement significatives pour les tâches de marche au sol, particulièrement pour la cinématique du genou et de la cheville.

Signification
L'article positionne DeepGaitLab comme une plateforme pratique et évolutive qui comble le fossé entre la biomécanique de niveau recherche et le déploiement clinique. En démontant qu'une analyse du mouvement de qualité recherche peut être obtenue avec des caméras RGB grand public et une supervision synthétique, le cadre démocratise l'accès à l'analyse quantitative de la marche. Les auteurs suggèrent que si les systèmes basés sur des marqueurs ont longtemps été la "norme de référence", la capacité des méthodes basées sur la vision à approcher ou potentiellement dépasser ces limites (une fois que de nouvelles références de plus haute fidélité, comme la radiographie biplane, seront adoptées) pourrait redéfinir les métriques d'évaluation clinique. DeepGaitLab offre une alternative transparente et open-source aux systèmes propriétaires, permettant une adoption plus large dans les cliniques et les laboratoires sans les compromis de précision, d'évolutivité ou de flexibilité qui ont limité les outils précédents.