Egocentric Visibility-Aware Human Pose Estimation

Cet article présente Eva-3M, un vaste ensemble de données egocentrique annoté avec la visibilité des points clés, ainsi que la méthode EvaPose qui exploite ces informations pour améliorer l'estimation de la pose humaine dans les environnements de réalité virtuelle et augmentée.

L'essentiel

Le Problème : Le "Je ne vois pas ce que je fais"

Imaginez que vous portez des lunettes de réalité virtuelle (VR) très avancées. Ces lunettes ont des caméras pointées vers le bas, comme si vous regardiez vos propres pieds. C'est ce qu'on appelle une vision égocentrique (vue du premier personnage).

Le problème, c'est que votre propre corps est souvent un obstacle.

• Si vous levez les bras, vos bras cachent votre torse.
• Si vous marchez, vos jambes cachent vos pieds.
• Parfois, vous sortez simplement du champ de vision de vos lunettes.

C'est comme essayer de dessiner un portrait de vous-même en vous regardant dans un miroir, mais en ayant un gros nuage de fumée (votre propre corps) qui cache souvent une partie de votre visage.

Jusqu'à présent, les ordinateurs qui essaient de deviner votre position (votre "pose") faisaient une erreur : ils traitaient tout de la même manière. Ils essayaient de deviner où était votre main cachée avec la même certitude que votre main visible. Résultat ? Ils se trompaient souvent, et même la position de vos parties visibles devenait moins précise à cause de la confusion.

La Solution : Une Carte au Trésor et un Détective

Les auteurs de ce papier (PICO, une équipe de ByteDance) ont eu deux idées brillantes pour régler ce problème.

1. La Carte au Trésor : Le Dataset "Eva-3M"

Pour apprendre à un ordinateur à bien voir, il faut lui montrer des milliers d'exemples. Mais personne n'avait jamais pris le temps de dire aux ordinateurs : "Attention, ici, le genou est caché" ou "Là, le coude est visible". C'est un travail d'archivage fastidieux.

Ils ont donc créé Eva-3M, une gigantesque bibliothèque de 3 millions de images.

• L'analogie : Imaginez un immense livre d'images où, à côté de chaque photo d'une personne, il y a un petit post-it rouge qui dit : "Caché par le corps" ou "Bien visible".
• C'est la première fois qu'un tel livre existe pour la réalité virtuelle. Ils l'ont rempli avec 31 personnes faisant 24 activités différentes (marcher, sauter, s'asseoir) avec de vraies lunettes VR.

Ils ont aussi pris un autre livre d'images existant (appelé EMHI) et y ont ajouté ces mêmes petits post-it rouges pour aider tout le monde.

2. Le Détective : La Méthode "EvaPose"

Une fois qu'ils ont ce livre d'images annoté, ils ont créé un nouveau détective numérique appelé EvaPose. Ce détective fonctionne en trois étapes magiques :

• Étape 1 : Le Mémoricien (Le VQ-VAE)
  Avant même de regarder la vidéo, ce détective a lu des millions de livres de danse et de sport (des données de capture de mouvement). Il sait à quoi ressemble un humain "normal".

  • L'analogie : C'est comme un sculpteur qui connaît la forme parfaite d'un corps humain par cœur. Même s'il ne voit qu'un bout de jambe, il peut deviner où va le reste du corps parce qu'il sait comment les humains sont faits.

• Étape 2 : Le Tri Intelligent (La Vision de la Visibilité)
  C'est ici que la magie opère. Au lieu de deviner aveuglément, le détective demande : "Est-ce que je vois ce point ?".

  • Si le point est visible, il dit : "Je le vois clairement, je le note avec précision."
  • Si le point est caché, il dit : "Je ne le vois pas, je vais utiliser ma mémoire (l'étape 1) pour deviner où il est probablement, mais je ne vais pas me fier à une image floue."
  • Le secret : Il ne mélange pas les deux. Il ne laisse pas les points cachés "polluer" la précision des points visibles. C'est comme si un chef cuisinier séparait les ingrédients frais de ceux qui sont abîmés pour ne pas gâcher le plat.

• Étape 3 : Le Film en Boucle (L'Attention Temporelle)
  Le détective ne regarde pas une seule image, mais toute la séquence vidéo. Il regarde comment vous bougez d'une seconde à l'autre.

  • L'analogie : C'est comme regarder un film au lieu d'une photo. Si vous voyez votre main disparaître derrière un mur pendant une seconde, le détective sait qu'elle va réapparaître de l'autre côté, donc il ne panique pas. Il lisse le mouvement pour qu'il soit fluide et naturel.

Le Résultat : Pourquoi c'est génial ?

Grâce à cette méthode, le détective est beaucoup plus précis.

• Il devine mieux où sont vos mains et vos pieds, même quand ils sont cachés.
• Il ne se trompe pas sur les parties visibles à cause des parties cachées.
• Il fonctionne en temps réel (presque aussi vite que vous bougez).

En résumé :
Avant, les ordinateurs essayaient de deviner votre position en fermant les yeux quand ils ne voyaient pas bien, ce qui les rendait confus. Maintenant, avec EvaPose, ils ont une carte (les données annotées) et une stratégie : "Si je vois, je note. Si je ne vois pas, je devine intelligemment sans me tromper sur le reste."

C'est une avancée majeure pour la réalité virtuelle, la robotique et les jeux vidéo, car cela permet aux machines de vraiment "comprendre" ce que vous faites, même quand vous êtes partiellement caché par vous-même.

Résumé technique

1. Problématique

L'estimation de la pose humaine (HPE) en vue égo-centrique, utilisant un dispositif monté sur la tête (HMD) comme un casque VR/AR, est cruciale pour les applications de réalité virtuelle (VR), augmentée (AR) et la robotique. Cependant, cette tâche rencontre un défi majeur : l'invisibilité des points clés (keypoints).

Contrairement aux systèmes "outside-in" (caméras externes), la caméra égo-centrique souffre de deux problèmes principaux :

• Occlusions auto-générées : Les parties du corps (surtout les membres inférieurs) se cachent souvent les unes les autres.
• Champ de vision (FoV) limité : Les caméras des casques VR ne capturent pas tout le corps, en particulier lorsque les bras ou les jambes sont étendus hors du champ de vue.

Limites de l'état de l'art :

• Aucun jeu de données égo-centrique existant ne fournit d'annotations de visibilité pour les points clés.
• Les méthodes actuelles traitent les points visibles et invisibles de manière indifférenciée. Cela introduit une ambiguïté inhérente pour les points invisibles (absence de preuve visuelle directe) et dégrade la précision de l'estimation même pour les points visibles, car le modèle tente de prédire des positions non observables.

2. Contributions Clés

Les auteurs apportent trois contributions majeures pour combler ces lacunes :

A. Le Jeu de Données Eva-3M

• Échelle et Réalisme : C'est le premier et le plus grand jeu de données égo-centrique réel, contenant 3,0 millions d'images (frames) capturées avec un casque commercial Pico4 Ultra VR-MR.
• Annotations de Visibilité : Contrairement aux précédents, Eva-3M inclut des étiquettes de visibilité pour les points clés sur 435 000 images.
• Diversité : Collecté auprès de 31 sujets réalisant 24 types d'activités quotidiennes, il offre une diversité de mouvements supérieure aux benchmarks existants (comme EMHI).
• Extension : Les auteurs ont également enrichi le jeu de données existant EMHI en y ajoutant des annotations de visibilité.

B. La Méthode EvaPose

Une nouvelle architecture de HPE égo-centrique "consciente de la visibilité" qui intègre explicitement l'état de visibilité pour améliorer la précision. Elle se compose de trois modules principaux :

1. Prior de Pose (VQ-VAE) : Utilisation d'un modèle Vector Quantized-VAE pré-entraîné sur de vastes données de capture de mouvement (mocap). Cela permet d'encoder des poses humaines plausibles dans un espace discret, servant de régularisation forte, surtout pour les points invisibles.
2. Réseau d'Estimation 3D Conscient de la Visibilité :
   • Prédit non seulement les coordonnées 3D des points clés, mais aussi leur score de visibilité.
   • Utilise un mécanisme de pondération des pertes (loss-weighting) : les points invisibles reçoivent un poids de perte plus faible (0,1) que les points visibles (1,0) lors de l'entraînement, réduisant ainsi l'interférence des données non fiables sur l'apprentissage.
3. Module d'Attention Itératif (Intra et Inter-frames) :
   • Fusionne les caractéristiques stéréo (gauche/droite) et temporelles via des transformateurs (Stereo Transformer Decoder et Temporal Transformer Encoder).
   • Affine les prédictions initiales en exploitant les dépendances entre les points clés et les vues multiples sur une fenêtre temporelle.

C. Résultats et Validation

• Performance : EvaPose atteint des performances State-of-the-Art (SOTA) sur les jeux de données Eva-3M et EMHI.
• Amélioration de la Précision : L'approche surpasse les méthodes précédentes (UnrealEgo, EgoPoseFormer, FRAME) sur toutes les métriques, notamment le MPJPE (erreur moyenne par articulation) et la régularité du mouvement (Jitter).
• Généralisation : Sur le jeu de données EMHI (P2), contenant des actions non vues lors de l'entraînement, EvaPose démontre une capacité de généralisation supérieure.

3. Résultats Expérimentaux Détaillés

• Comparaison SOTA : Sur Eva-3M, EvaPose-ResNet50 atteint un MPJPE de 35,6 mm contre 49,8 mm pour la méthode précédente la plus performante (FRAME).
• Impact de la Visibilité : Une analyse détaillée (Tableau 3) montre que les méthodes précédentes ont une précision comparable sur les points visibles, mais échouent sur les invisibles. EvaPose, en utilisant les annotations de visibilité, améliore significativement la précision des points visibles (en réduisant le bruit des invisibles) tout en maintenant une bonne estimation pour les invisibles grâce au prior de pose.
• Ablation Study :
  • L'ajout du prior VQ-VAE réduit l'erreur MPJPE de 39,1 mm à 35,6 mm.
  • L'utilisation des caractéristiques stéréo (STD) et de la fusion temporelle (TTE) améliore encore la précision et la fluidité du mouvement.
• Vitesse : EvaPose-ResNet50 fonctionne à 48 FPS sur un GPU NVIDIA V100, permettant une utilisation en temps réel.

4. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

1. Changement de paradigme : Il démontre que l'ignorance de l'invisibilité des points clés est un facteur limitant majeur dans l'HPE égo-centrique. Traiter explicitement cette invisibilité est essentiel pour la précision.
2. Ressource Critique : La publication d'Eva-3M avec des annotations de visibilité comble un vide majeur dans la communauté, fournissant un benchmark réaliste pour les futures recherches.
3. Applications Pratiques : La méthode est directement applicable aux casques VR/AR commerciaux, facilitant le contrôle de personnages virtuels, l'interaction homme-machine et l'analyse de mouvement dans des environnements réels.

En conclusion, l'article propose une solution complète (données + algorithme) qui résout le problème de l'occlusion et du champ de vision limité en introduisant une modélisation explicite de la visibilité, établissant ainsi un nouveau standard pour l'estimation de la pose humaine en vue égo-centrique.