💻 computer science

Explicit Time-Frequency Dynamics for Skeleton-Based Gait Recognition

Cet article propose un flux de caractéristiques par ondelettes plug-and-play qui enrichit les modèles de reconnaissance de démarche basés sur le squelette avec des dynamiques temps-fréquence explicites, améliorant ainsi significativement les performances, notamment dans des conditions de covariables difficiles comme le port de sacs ou de manteaux.

Auteurs originaux : Seoyeon Ko, Yeojin Song, Egene Chung, Luca Quagliato, Taeyong Lee, Junhyug Noh

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Seoyeon Ko, Yeojin Song, Egene Chung, Luca Quagliato, Taeyong Lee, Junhyug Noh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🦶 Le Problème : Reconnaître quelqu'un en marchant

Imaginez que vous devez identifier un ami dans une foule, juste en regardant comment il marche. C'est ce qu'on appelle la reconnaissance de la démarche (ou gait recognition).

Jusqu'à présent, il y avait deux écoles de pensée pour faire cela par ordinateur :

Les "Artistes de l'ombre" (Méthodes basées sur l'apparence) : Ils regardent la silhouette de la personne (comme une ombre chinoise). C'est très efficace, mais si votre ami porte un gros manteau ou porte un sac à dos, l'ombre change, et l'ordinateur se trompe.
Les "Architectes du squelette" (Méthodes basées sur le squelette) : Ils ne regardent que les points clés du corps (les épaules, les genoux, etc.). C'est robuste aux vêtements, mais ces systèmes ont souvent un défaut : ils sont un peu "aveugles" à la vitesse et au rythme précis du mouvement. Ils voient où le genou est, mais pas exactement comment il bouge dans le temps.

💡 La Solution : Le "Stream de Fréquences" (L'astuce magique)

Les chercheurs de l'article ont inventé un petit module supplémentaire, qu'ils appellent le "Wavelet Feature Stream". C'est comme ajouter un super-oreille à un système qui n'avait que des yeux.

Voici comment ça marche, avec une analogie :

Imaginez que la marche de votre ami est une symphonie.

Les systèmes classiques écoutent les notes (les positions des articulations).
Le nouveau système, lui, écoute la partition complète : il analyse non seulement les notes, mais aussi le rythme, les accélérations et les variations de tempo à différents niveaux de détail.

Pour faire cela, ils utilisent une technique mathématique appelée Transformée en Ondelettes Continues (CWT).

L'analogie du microscope temporel : Imaginez que vous regardez une vidéo de marche. Un système normal la regarde à vitesse normale. Le système "Ondelettes", lui, regarde la vidéo à la fois en ralenti extrême (pour voir les petits tremblements) et en accéléré (pour voir le rythme global de la marche). Il transforme le mouvement en une carte de couleurs (un "scalogramme") qui montre exactement quand et à quelle fréquence le mouvement change.

🛠️ Comment ça s'installe ? (Plug-and-Play)

La grande force de cette découverte, c'est qu'elle est "Plug-and-Play" (brancher et jouer).

Imaginez que vous avez un moteur de voiture très performant (un modèle existant comme GaitMixer).
Au lieu de devoir reconstruire toute la voiture, les chercheurs ont juste ajouté un nouveau turbo (le module d'ondelettes) sur le côté.
Ce turbo analyse la vitesse des articulations, le transforme en "carte de rythme", et l'envoie au moteur principal pour l'aider à prendre une meilleure décision.

🏆 Les Résultats : Pourquoi c'est génial ?

Les tests ont été faits sur une base de données célèbre (CASIA-B) où les gens marchent dans différentes situations :

Normal (NM) : Marche normale.
Sac (BG) : Avec un gros sac.
Manteau (CL) : Avec un manteau ample qui cache la silhouette.

Le verdict :

Le système devient incollable sur les manteaux : C'est le cas le plus difficile. Les systèmes classiques se trompent souvent quand quelqu'un porte un manteau. Avec ce nouveau "turbo", le système basé sur le squelette devient plus précis que les systèmes basés sur l'apparence, même avec un manteau !
Une amélioration partout : Peu importe le modèle de base utilisé, l'ajout de ce module améliore toujours les résultats.
Le choix de l'outil : Ils ont testé plusieurs types de "loupes" mathématiques (les ondelettes) et ont découvert que l'ondelette "Morlet" (qui ressemble un peu à une vague sinusoïdale) était la meilleure pour capturer le rythme de la marche.

🚀 En résumé

C'est comme si on avait appris à un détective à ne pas seulement regarder à quoi ressemble le suspect (ses vêtements), mais aussi à écouter le rythme de ses pas avec une précision chirurgicale.

Même si le suspect porte un déguisement (un manteau) ou porte un lourd fardeau (un sac), son rythme de marche unique, analysé à travers le prisme des ondelettes, trahit son identité. C'est une avancée majeure qui rend la reconnaissance biométrique plus fiable, même dans des conditions difficiles.

1. Problématique

La reconnaissance de la démarche (gait recognition) vise à identifier des individus à partir de leurs patterns de marche. Bien que les méthodes basées sur l'apparence (silhouettes, intensité des pixels) atteignent actuellement les meilleurs résultats sur le jeu de données CASIA-B, elles souffrent d'une dégradation significative de la précision en présence de covariables (changements d'apparence), tels que le port de manteaux (CL) ou le transport de sacs (BG).

Les approches basées sur le squelette (skeleton-based) sont intrinsèquement plus robustes aux variations d'apparence car elles opèrent sur les coordonnées des articulations. Cependant, elles présentent une limitation persistante : elles modélisent souvent la dynamique du mouvement de manière implicite et ne tirent pas pleinement parti des dynamiques explicites du mouvement, qui sont cruciales lorsque l'apparence visuelle est masquée ou modifiée.

2. Méthodologie

Les auteurs proposent un module complémentaire appelé "Wavelet Feature Stream" (Flux de caractéristiques par ondelettes). Ce module est conçu pour être "plug-and-play" (prêt à l'emploi) et s'ajouter à n'importe quel réseau de base (backbone) existant dédié à la reconnaissance de la démarche basée sur le squelette, sans nécessiter de modifications architecturales majeures ni de supervision supplémentaire.

Le processus se déroule en trois étapes clés :

Calcul de la vélocité par articulation :
À partir d'une séquence de squelettes 2D ( $S \in \mathbb{R}^{2 \times T \times V}$ ), on calcule les vitesses pour chaque articulation $v$ et chaque axe ( $x, y$ ) en prenant la différence temporelle des positions :
$v_x(t) = S_x(t) - S_x(t-1)$
$v_y(t) = S_y(t) - S_y(t-1)$
Transformation en Ondelettes Continues (CWT) :
Chaque signal de vitesse 1D est transformé via la CWT pour obtenir une représentation temps-fréquence (scalogramme). Cette étape est cruciale car les signaux de marche sont non stationnaires. La CWT permet de séparer les rythmes périodiques stables de la démarche des artefacts abrupts (comme les oscillations d'un sac ou les tremblements de la pose).
$W_{\psi}v(s, \tau) = \int v(t) \psi^*\left(\frac{t - \tau}{s}\right) dt$
où $s$ est l'échelle et $\tau$ la translation. Le résultat est une carte temps-fréquence multi-échelle.
Apprentissage des caractéristiques dynamiques (CNN léger) :
Un réseau de neurones convolutifs (CNN) léger et multi-échelle traite ces scalogrammes. L'architecture comprend :
- Un "Stem" avec des convolutions $5\times5$ et $3\times3$ pour affiner les motifs locaux.
- Un bloc parallèle multi-échelle avec des branches $3\times3$ (pour les changements subtils) et $7\times7$ (pour les rythmes grossiers/périodiques).
- Un pooling global pour produire un descripteur compact par articulation.
Fusion et Classification :
Le descripteur obtenu par le flux d'ondelettes ( $F_{wavelet}$ ) est concaténé canal par canal avec les caractéristiques du backbone principal ( $F_{backbone}$ ). Le vecteur fusionné est projeté via une couche fully-connected, normalisé en norme $L_2$ , et utilisé pour la classification via une fonction de perte Triplet Loss avec un minage dur (hard mining).

3. Contributions Clés

Flux d'Ondelettes Plug-and-Play : Introduction d'un module qui injecte explicitement les dynamiques temps-fréquence des vitesses articulaires dans les modèles de reconnaissance de démarche basés sur le squelette.
Nouvel État de l'Art (SOTA) : En attachant ce flux à l'architecture GaitMixer, les auteurs établissent un nouveau record SOTA pour les méthodes basées sur le squelette sur le jeu de données CASIA-B.
Robustesse aux Covariables : La méthode démontre des gains particulièrement notables dans les conditions difficiles (port de manteau CL et transport de sac BG), comblant le fossé avec les méthodes basées sur l'apparence.
Preuve de Concept : Sous la condition la plus difficile (manteau), le modèle proposé dépasse pour la première fois les performances des meilleurs modèles basés sur l'apparence, prouvant le potentiel des informations squelettiques enrichies par la dynamique explicite.

4. Résultats Expérimentaux

Les expériences ont été menées sur CASIA-B (124 sujets, 11 angles de vue, conditions NM, BG, CL).

Performance Globale : L'ajout du flux d'ondelettes à GaitMixer porte l'accuracy moyenne (Mean) à 89,7 %, surpassant GaitMixer seul (88,3 %) et tous les autres modèles squelettiques.
Performance sous Covariables :
- Condition Manteau (CL) : Le modèle atteint 86,7 %, surpassant non seulement les autres méthodes squelettiques (GaitMixer à 84,5 %) mais aussi la méthode basée sur l'apparence la plus performante, 3DLocal (84,5 %).
- Condition Sac (BG) : Amélioration de 87,2 % (contre 85,6 % pour GaitMixer seul).
Analyse des Fonctions Mères d'Ondelettes : Une étude d'ablation a comparé plusieurs ondelettes (Mexican Hat, Gaussian, Shannon, Morlet). L'ondelette Morlet s'est révélée la plus performante (89,7 % de moyenne), grâce à sa capacité à capturer à la fois l'amplitude et la phase des oscillations quasi-périodiques de la démarche.
Gains Transversaux : Les améliorations sont constantes sur différents backbones (GaitGraph, GaitFormer, GaitMixer) et à travers tous les angles de vue, confirmant la complémentarité de l'approche temps-fréquence avec les encodeurs spatio-temporels standards.

5. Signification et Impact

Cet article démontre que la modélisation explicite de la dynamique du mouvement via l'analyse temps-fréquence (CWT) est un complément puissant aux approches de modélisation spatiale et temporelle classiques.

La signification principale réside dans la capacité du modèle à maintenir une haute précision même lorsque les caractéristiques visuelles sont obscurcies (manteaux, sacs), un défi majeur pour les systèmes biométriques réels. En surpassant les méthodes basées sur l'apparence dans des conditions de covariables sévères, cette approche valide l'idée que la dynamique articulaire, correctement exploitée, peut être plus discriminante que l'apparence visuelle elle-même. Cela ouvre la voie à des systèmes de reconnaissance plus robustes et moins dépendants de la qualité de l'image ou des vêtements des sujets.