PSGait: Gait Recognition using Parsing Skeleton

Le papier présente PSGait, une méthode novatrice de reconnaissance de la démarche qui fusionne des silhouettes avec un nouveau « squelette analysé » (Parsing Skeleton) pour capturer des dynamiques corporelles fines, offrant ainsi une solution légère, efficace et hautement généralisable qui surpasse les méthodes multimodales actuelles tout en réduisant les ressources de calcul.

L'essentiel

Imaginez que vous essayez d'identifier quelqu'un dans une foule, mais que vous ne pouvez pas voir son visage. Vous devez vous fier uniquement à la façon dont il marche. C'est ce qu'on appelle la reconnaissance de la démarche (ou gait recognition).

Jusqu'à présent, les ordinateurs utilisaient deux méthodes principales pour faire cela, mais elles avaient toutes les deux des défauts :

1. La silhouette (L'ombre chinoise) : C'est comme voir l'ombre d'une personne sur un mur. C'est simple, mais ça ne vous dit pas si la personne porte un manteau, une jupe ou un costume. Si le vêtement change, l'ombre change, et l'ordinateur est perdu. C'est un peu comme essayer de reconnaître un ami uniquement par sa silhouette dans le brouillard : on voit la forme, mais pas les détails.
2. Le squelette (Les points joints) : C'est comme dessiner un bonhomme allumette avec des points pour les articulations. C'est précis pour le mouvement, mais c'est trop "vide". Il manque la chair, les muscles et les détails fins qui rendent la démarche unique. C'est comme essayer de comprendre une conversation en n'entendant que les syllabes, sans les mots.

La Solution Magique : Le "Squelette Découpé" (Parsing Skeleton)

Les chercheurs de cette nouvelle étude (PSGAIT) ont eu une idée brillante pour combiner le meilleur des deux mondes. Ils ont créé une nouvelle représentation qu'ils appellent le "Parsing Skeleton" (Squelette Découpé).

Voici comment ça marche, avec une analogie simple :

Imaginez que vous prenez une photo de quelqu'un qui marche.

• Au lieu de juste faire une ombre noire (silhouette),
• Et au lieu de juste mettre des points sur les genoux et les coudes (squelette),

Ils utilisent un "couteau magique" (l'intelligence artificielle) pour découper le corps en plusieurs pièces de puzzle colorées.

• La tête est un cercle rouge.
• Le bras gauche est une ligne bleue.
• La jambe droite est une ligne verte.
• Le torse est une autre couleur, etc.

Pourquoi est-ce génial ?
C'est comme passer d'une carte routière en noir et blanc à une carte 3D colorée et détaillée. L'ordinateur voit non seulement où bouge la personne, mais aussi quelle partie du corps bouge. Il voit le mouvement de la jambe gauche séparément de celui du bras droit. Cela donne beaucoup plus d'informations ("entropie") pour identifier la personne, même si elle porte un manteau épais ou si elle est partiellement cachée.

Le Super-Héros : PSGAIT

Une fois qu'ils ont créé ce "Squelette Découpé", ils l'ont combiné avec l'ombre classique (la silhouette) pour créer un système appelé PSGAIT.

C'est comme si vous donniez à un détective deux indices en même temps :

1. La forme globale de la personne (l'ombre).
2. Le détail précis de chaque membre en mouvement (le squelette coloré).

Les Résultats : Plus rapide, plus intelligent, moins cher

Ce qui rend cette découverte vraiment excitante, c'est qu'elle n'est pas seulement plus précise, elle est aussi plus légère.

• Précision : Là où les anciennes méthodes rataient parfois, PSGAIT réussit à identifier les gens avec une précision record (jusqu'à 15,7 % de mieux dans certains cas). C'est comme passer d'un détective amateur à un Sherlock Holmes infaillible.
• Rapidité et Économie : Souvent, pour être plus précis, il faut des ordinateurs géants et très puissants. Ici, PSGAIT fait mieux avec moins de ressources. C'est comme si vous pouviez cuisiner un repas de chef avec un simple grille-pain au lieu d'un four industriel.

En résumé

Cette équipe a inventé une nouvelle façon de "voir" les gens marcher. Au lieu de regarder juste l'ombre ou juste les os, ils regardent le corps comme un assemblage de pièces colorées en mouvement.

C'est une solution prête à l'emploi (plug-and-play) qui peut être ajoutée à n'importe quel système existant pour le rendre beaucoup plus fort, même dans des situations difficiles (nuit, foule, vêtements différents). C'est un pas de géant pour rendre la reconnaissance biométrique plus sûre et plus utile dans la vraie vie, que ce soit pour la sécurité dans les aéroports ou pour déverrouiller votre téléphone sans toucher d'écran.

Résumé technique

1. Problématique

La reconnaissance de la démarche (gait recognition) est une modalité biométrique robuste, non intrusive et fonctionnant à distance. Cependant, les méthodes existantes souffrent de limitations majeures dans des scénarios réels ("in the wild") :

• Les silhouettes (Silhouettes) : Bien que populaires, elles ne conservent que des contours grossiers, perdant les détails de mouvement fins et la structure interne. Elles sont très sensibles aux changements de vêtements, aux occlusions et au bruit de fond, et manquent de sémantique explicite des parties du corps.
• Les squelettes (Skeletons) : Ils abstraient le mouvement via des coordonnées de joints 2D. Bien qu'ils soient plus robustes aux changements d'apparence, ils souffrent d'une faible entropie d'information et d'une grande parcimonie (sparsity). Les modèles basés sur des graphes (GCN) peinent à capturer les dépendances à longue portée et les détails spatiaux fins.
• La fusion multimodale actuelle : Les méthodes récentes qui fusionnent silhouettes et squelettes (ex: SkeletonGait++) améliorent les capacités mais échouent souvent à capturer pleinement la dynamique inter-joints et les motifs de mouvement au niveau des parties du corps. De plus, les pipelines de parsing humain classiques basés sur l'RGB sont fragiles face aux variations d'éclairage et d'occlusion.

L'objectif est donc de créer une représentation de la démarche qui combine la richesse sémantique du parsing humain, la robustesse des squelettes et une haute entropie d'information, tout en restant compatible avec des architectures CNN efficaces.

2. Méthodologie

L'article propose une nouvelle approche en deux volets : une nouvelle représentation visuelle et un cadre d'architecture.

A. Représentation : Le "Parsing Skeleton"

Le Parsing Skeleton est une représentation hybride guidée par le squelette qui transforme les coordonnées éparses des joints en une image dense et sémantique.

• Principe : À partir d'un squelette 2D (coordonnées des joints), le système attribue chaque pixel de l'image à l'une des $K$ classes de parties du corps (ex: tête, avant-bras gauche, cuisse droite, etc.) ou au fond.
• Visualisation :
  • Les membres et la tête sont rendus sous forme de segments de ligne colorés et de cercles (pour la tête) avec des largeurs et rayons spécifiques.
  • Chaque partie du corps reçoit une couleur distincte.
• Avantage théorique : Contrairement à une silhouette binaire (2 classes : fond/objet) ou à un squelette de coordonnées, le Parsing Skeleton offre une entropie d'information beaucoup plus élevée (jusqu'à 13 classes de parties du corps). Cela permet de capturer des dynamiques fines au niveau des pixels tout en conservant la robustesse du squelette face au bruit environnemental.

B. Cadre : PSGait

PSGait est un cadre de reconnaissance qui fusionne les Parsing Skeletons avec les silhouettes traditionnelles.

• Prétraitement : Génération de silhouettes et de coordonnées de squelette à partir de la vidéo.
• Parsing : Conversion des coordonnées de squelette en images de Parsing Skeleton.
• Fusion : Deux stratégies sont explorées :
  1. Fusion Composite (CRF) : Superposition du Parsing Skeleton sur la silhouette pour créer une image unique.
  2. Fusion de Canaux Désenchevêtrés (DCF) : Séparation des composants squelettiques et de la silhouette dans des canaux d'entrée distincts.
  • Résultat : La stratégie CRF s'est avérée supérieure, permettant un apprentissage spatial cohérent.
• Modèle de reconnaissance : Les séquences fusionnées sont alimentées dans des modèles de base (Backbone) comme GaitBase ou DeepGaitV2, utilisant un pooling temporel et horizontal, optimisés par une perte de triplet et de classification.

3. Contributions Clés

1. Parsing Skeleton : Une nouvelle représentation de la démarche qui offre une entropie d'information supérieure et une conscience fine des parties du corps, comblant le fossé entre les silhouettes (riches en texture mais pauvres en structure) et les squelettes (riches en structure mais pauvres en détails).
2. PSGait Framework : Un système plug-and-play qui intègre cette nouvelle représentation avec les silhouettes, améliorant la différenciation individuelle sans nécessiter de modifications architecturales complexes des modèles existants.
3. Efficacité et Généralisation : Démonstration que cette méthode est légère, efficace et généralisable, surpassant les méthodes multimodales de l'état de l'art tout en réduisant les ressources computationnelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois ensembles de données publics : CCPG, Gait3D et SUSTech1K.

• Performance Globale : PSGait surpasse systématiquement les méthodes de l'état de l'art (y compris SkeletonGait++, GaitSet, DeepGaitV2).
  • Sur CCPG, PSGait-B atteint 91,2 % de précision Rank-1, surpassant SkeletonGait++ (83,7 %) de près de 8 points.
  • Sur SUSTech1K, il atteint 84,3 % (vs 81,3 % pour SkeletonGait++).
• Amélioration "Plug-and-Play" : L'intégration du Parsing Skeleton dans des modèles existants (GaitBase, DeepGaitV2) apporte des gains significatifs :
  • Jusqu'à +15,7 % d'amélioration de la précision Rank-1 sur CCPG pour GaitBase.
  • Jusqu'à +8,7 % sur SUSTech1K pour DeepGaitV2.
• Robustesse (Cross-Domain) : Dans des scénarios de transfert de domaine (entraînement sur CCPG, test sur d'autres), PSGait montre une robustesse exceptionnelle, avec des gains allant jusqu'à +29,1 % sur SUSTech1K, prouvant sa capacité à gérer les décalages de domaine.
• Efficacité Computationnelle : Comparé à SkeletonGait++, PSGait-B utilise 12 % de moins de paramètres et 9 % de moins de mémoire GPU, tout en réduisant le temps de prétraitement de 33 % et le temps d'entraînement de 21 %, tout en offrant une meilleure précision.

5. Signification et Impact

Ce travail est significatif car il redéfinit la façon dont les données squelettiques peuvent être exploitées en vision par ordinateur pour la biométrie.

• Innovation de Représentation : En transformant des coordonnées discrètes en images denses et sémantiques, l'article permet d'utiliser l'efficacité des CNN (convolutionnels) pour traiter la structure du squelette, évitant ainsi les limitations des GCN (Graph Convolutional Networks) en termes de champ réceptif et de complexité.
• Déploiement Réel : La nature légère et robuste de PSGait en fait une solution idéale pour les applications de sécurité publique et de contrôle d'accès dans des environnements non contrôlés, où les changements de vêtements et les conditions lumineuses sont des défis majeurs.
• Généricité : La représentation "Parsing Skeleton" pourrait s'appliquer au-delà de la reconnaissance de la démarche, offrant une inspiration pour l'analyse plus large du mouvement humain.

En résumé, PSGait démontre qu'une fusion intelligente de la structure squelettique et de la richesse sémantique du parsing humain permet d'atteindre des performances de pointe avec une efficacité computationnelle supérieure.