Impact of Hand Impairment and Occlusions on Hand Pose Estimation Accuracy in Augmented Reality Applications

Résumé technique : Impact de l'atteinte de la main et des occlusions sur la précision de l'estimation de la pose de la main dans les applications de réalité augmentée

Énoncé du problème
Les applications de réalité mixte (RM), en particulier les casques de réalité augmentée (HMD) pour la réalité augmentée, offrent des outils prometteurs pour la rééducation de la main en permettant aux utilisateurs d'interagir avec des objets réels tout en recevant des indices numériques. Cependant, l'efficacité de ces systèmes repose fortement sur une estimation précise de la pose de la main. Deux facteurs critiques susceptibles de limiter cette précision dans les contextes de rééducation restent sous-étudiés :

1. Atteinte de la main : Les individus souffrant de lésions de la moelle épinière cervicale (cSCI) présentent des postures de la main et des modes de préhension distincts et variables par rapport aux individus sains. Il n'est pas clair si les algorithmes d'estimation de pose standard se généralisent à ces postures uniques.
2. Occlusion par l'interaction avec des objets réels : La rééducation nécessite une interaction dynamique avec des objets réels (atteindre, saisir, soulever). Ces interactions occultent souvent les doigts de la caméra égocentrée du HMD, ce qui peut dégrader l'estimation de la pose. Les études précédentes ont souvent utilisé des interactions statiques ou ont échoué à isoler systématiquement l'effet de l'occlusion (par exemple, en faisant varier la transparence de l'objet tout en contrôlant la taille et la forme).

De plus, il existe un manque de comparaison directe entre les systèmes de suivi embarqués des HMD et les algorithmes d'estimation de pose hors ligne de pointe (SOTA) dans le contexte spécifique de la cSCI et des interactions avec des objets réels.

Méthodologie
L'étude a évalué la précision de l'estimation de la pose à l'aide d'un plan expérimental multi-facettes :

• Participants : L'étude a inclus 13 individus avec une cSCI (niveau de lésion neurologique : C3–C6 ; AIS A–D) et 15 témoins sains.
• Configuration expérimentale : Les participants portaient un HMD Microsoft HoloLens 2 tout en effectuant des tâches dynamiques (atteindre, saisir, soulever, pronation/supination et poser) avec six objets : des versions opaques et transparentes d'un bloc, d'une carte de crédit et d'une bille. Ces objets ont été sélectionnés pour représenter différents types de saisie (cylindrique, pince latérale, pince de bout des doigts) tout en maintenant une taille et un poids constants, ne différant que par leur transparence.
• Génération de la vérité de terrain (Ground Truth) : Une configuration multi-caméras (cinq GoPro Hero5) a enregistré les interactions sous plusieurs perspectives. Les positions articulaires 3D de la vérité de terrain (21 articulations) ont été générées par triangulation des estimations de joints 2D (dérivées de MediaPipe Hands et HRNetV2) provenant des caméras externes. Des critères rigoureux de rejet des valeurs aberrantes ont été appliqués, aboutissant à l'utilisation d'environ 38 % des images pour l'analyse de la vérité de terrain.
• Algorithmes d'estimation de la pose : L'étude a comparé le suivi embarqué de l'HoloLens 2 à quatre algorithmes SOTA hors ligne : WiLoR, HaMeR, WildHands et MediaPipe Hands. Tous les algorithmes ont été évalués sur les images vidéo égocentrées enregistrées par l'HoloLens 2.
• Métriques : La précision a été quantifiée par l'erreur de position articulaire moyenne alignée par Procruste (PA-MPJPE). Des analyses statistiques, notamment l'ANOVA à mesures mixtes, ont été utilisées pour évaluer les effets de l'algorithme, de la transparence de l'objet et du groupe de participants (cSCI vs sains), ainsi que les corrélations entre l'erreur et la sévérité de l'atteinte de la main (mesurée par les sous-scores de performance de préhension GRASSP).

Contributions clés

1. Caractérisation de l'impact de la cSCI : L'étude fournit des preuves empiriques sur la manière dont la tétraplégie affecte la précision de l'estimation de la pose lors d'interactions dynamiques avec des objets réels.
2. Isolation des effets d'occlusion : En utilisant des versions opaques et transparentes d'objets identiques, l'étude a isolé systématiquement l'influence de l'occlusion sur la précision de l'estimation de la pose, comblant ainsi une lacune dans la littérature où les propriétés des objets étaient confondues.
3. Évaluation comparative des algorithmes (Benchmarking) : L'article présente une comparaison directe du suivi embarqué de l'HoloLens 2 par rapport aux algorithmes SOTA (WiLoR, HaMeR, WildHands, MediaPipe) spécifiquement dans un contexte égocentré d'interaction avec des objets impliquant une population clinique.
4. Génération de jeu de données : Les auteurs ont généré et mis à disposition le premier jeu de données annoté de vérité de terrain comprenant des interactions avec des objets provenant à la fois d'individus présentant une atteinte de la main (cSCI) et de témoins sains.

Résultats

• Généralisation à l'atteinte : Il n'y avait aucune différence significative de précision de l'estimation de la pose entre le groupe cSCI et les témoins sains pour tous les algorithmes. Cela suggère que les méthodes actuelles de prédiction de joints 3D, y compris l'HoloLens 2, peuvent se généraliser aux postures de main uniques des individus atteints de cSCI.
• Effet de l'occlusion : L'interaction avec des objets transparents a entraîné une erreur légèrement plus faible (précision plus élevée) par rapport aux objets opaques. Cependant, l'ampleur de cette différence était faible (environ 0,1 mm). Une analyse exploratoire a indiqué que cet effet était principalement dû à l'interaction avec la carte de crédit ; aucune différence de transparence significative n'a été trouvée pour le bloc ou la bille.
• Performance des algorithmes : Les algorithmes SOTA ont surpassé le suivi embarqué de l'HoloLens 2. Plus précisément, WiLoR et HaMeR ont démontré la précision la plus élevée (erreur la plus faible), suivis de l'HoloLens 2, de MediaPipe et de WildHands. WiLoR et HaMeR étaient environ 2 mm plus précis que l'HoloLens 2.
• Corrélation avec l'atteinte : Une corrélation négative significative n'a été trouvée que pour l'algorithme WildHands, où des niveaux plus élevés d'atteinte de la main (scores GRASSP plus bas) étaient associés à des erreurs légèrement plus élevées. Aucune corrélation de ce type n'a été trouvée pour l'HoloLens 2 ou les trois autres algorithmes.
• Différences de sexe : Aucune différence significative de précision de l'estimation de la pose n'a été observée entre les participants masculins et féminins.

Signification et revendications
L'article affirme que l'HoloLens 2 est une plateforme viable pour les applications de rééducation de la main impliquant des interactions avec des objets réels, car la précision de son estimation de la pose est robuste tant pour les populations atteintes que pour les populations saines. Bien que les algorithmes SOTA (WiLoR, HaMeR) offrent des améliorations de précision modestes (~2 mm) par rapport au tracker embarqué de l'HoloLens 2, les auteurs notent que la pertinence clinique de cette amélioration doit être mise en balance avec les contraintes pratiques, telles que la puissance de calcul requise pour exécuter ces algorithmes en temps réel sur un HMD.

L'étude souligne que le jeu de données généré est une ressource critique pour affiner les méthodes d'estimation de la pose spécifiquement pour les populations présentant une atteinte de la main. Les résultats suggèrent que bien que l'occlusion introduise une erreur, l'utilisation d'objets transparents n'offre qu'un bénéfice marginal dans le contexte spécifique des petits objets testés. En fin de compte, la recherche soutient l'intégration des HMD de RA dans les protocoles de rééducation pour les patients atteints de cSCI, à condition que les exigences de précision spécifiques de l'application clinique soient satisfaites.