💻 computer science

EventGait: Towards Robust Gait Recognition with Event Streams

Ce papier présente EventGait, un cadre robuste et bout-en-bout à double flux qui exploite des caméras événementielles et une nouvelle architecture de mélange d'experts à spiking pour atteindre des performances de reconnaissance de la démarche à la pointe de l'état de l'art, en particulier dans des conditions de faible luminosité difficiles où les méthodes traditionnelles basées sur des caméras échouent.

Auteurs originaux : Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'identifier quelqu'un marchant dans la rue. Habituellement, les caméras de sécurité (caméras RVB) agissent comme des yeux humains standards : elles prennent une photo à chaque fraction de seconde. S'il fait grand soleil, cela fonctionne parfaitement. Mais s'il fait noir comme dans un four, s'il y a du brouillard, ou si la personne se déplace trop vite, la caméra se trompe, l'image devient floue, ou elle s'éteint simplement. C'est comme essayer de lire un livre dans le noir ; vous ne pouvez pas voir les mots.

EventGait est un nouveau système qui utilise un type d'« œil » différent, appelé Caméra Événementielle, pour résoudre ce problème. Voici comment cela fonctionne, décomposé en concepts simples :

1. La « Alarme Incendie » contre la « Caméra Vidéo »

Imaginez une caméra standard comme un enregistreur vidéo qui prend une photo complète 30 fois par seconde, peu importe que quelque chose se produise ou non. Elle capture toute la scène, y compris le fond, les vêtements et l'éclairage.

Une Caméra Événementielle ressemble davantage à une pièce remplie de minuscules alarmes incendie hyper-sensibles. Elle ne prend pas de photos. Au lieu de cela, elle ne « crie » (n'envoie un signal) que lorsqu'elle détecte un changement de luminosité à un pixel spécifique.

Si une personne passe dans le noir, la caméra standard ne voit rien. La Caméra Événementielle voit le mouvement de la personne comme un flux de « changements » (événements).
Elle ignore les éléments statiques comme un mur ou un arbre. Elle ne s'intéresse qu'au mouvement.
Elle fonctionne parfaitement dans l'obscurité totale ou sous un soleil éblouissant car elle ne dépend pas de la « vision » de la lumière ; elle dépend des changements de lumière.

2. Le Problème avec les Tentatives Précédentes

Avant cet article, les chercheurs ont essayé d'utiliser des Caméras Événementielles pour la reconnaissance de la marche, mais ils ont commis une erreur. Ils ont pris tous ces minuscules signaux de « changement » et les ont amalgamés en une seule image floue sur une longue période.

L'Analogie : Imaginez essayer de comprendre une chorégraphie rapide en prenant une photo du danseur toutes les 10 secondes et en les floutant ensemble. Vous perdez les mouvements spécifiques (les détails à haute vitesse) et ne voyez qu'une tache fantomatique.
Cette approche jetait la précision temporelle ultra-rapide qui rend les Caméras Événementielles spéciales.

3. La Solution : EventGait (L'Équipe à Deux Flux)

Les auteurs ont construit EventGait, qui ressemble à une équipe de deux détectives. Au lieu d'amalgamer tout, ils ont divisé le travail en deux flux spécialisés qui travaillent ensemble :

Flux A : Le « Détective du Mouvement » (Flux Dynamique)

Ce qu'il fait : Cette équipe se concentre purement sur le mouvement. Elle observe les changements rapides et minuscules dans le flux d'événements.
L'Arme Secrète (MoSE) : Pour gérer différentes conditions (comme une marche rapide sous un soleil éclatant par rapport à un pas lent dans le noir), ils utilisent un Mélange d'Experts à Spikes (MoSE).
- Analogie : Imaginez une équipe de spécialistes. Certains sont des « coureurs rapides » excellents pour repérer les mouvements rapides sous un bon éclairage. D'autres sont des « observateurs lents et stables » excellents pour repérer les mouvements faibles dans le noir.
- Le système décide automatiquement quel spécialiste écouter en fonction de la situation. Cela garantit que le système ne se trompe jamais à cause d'un mauvais éclairage ou de vitesses étranges.

Flux B : L'« Architecte de la Forme » (Flux Statique)

Ce qu'il fait : Les caméras événementielles sont mauvaises pour montrer à quoi une personne ressemble (sa forme corporelle) car elles ne voient que le mouvement, pas le corps entier. Cette équipe tente de déterminer la forme de la personne.
L'Arme Secrète (CroSA) : Puisque les données de la Caméra Événementielle sont éparses (comme un croquis avec des lignes manquantes), le système utilise un « Professeur » pour aider.
- Analogie : Imaginez un élève essayant de dessiner une personne à partir de quelques points dispersés. Le « Professeur » (une immense IA entraînée sur des millions de photos normales) regarde les points et dit : « Hé, ces points forment généralement une jambe humaine ici. » Le système apprend à combler les détails manquants de la forme en utilisant cette guidance.

4. Les Nouveaux Champs d'Entraînement (Ensembles de Données)

Un gros problème était qu'il n'y avait pas assez d'exemples réels de personnes marchant devant des Caméras Événementielles pour entraîner l'IA.

La Correction : Les auteurs ont construit un « simulateur ». Ils ont pris des vidéos existantes de personnes marchant et les ont converties mathématiquement en données de Caméra Événementielle.
Ils ont créé deux immenses nouvelles bibliothèques de données (SUSTech1K-E et CCGR-Mini-E) afin que l'IA puisse apprendre à reconnaître des milliers de personnes différentes dans de nombreuses conditions.

5. Les Résultats : Pourquoi Cela Compte

L'article a testé EventGait contre des caméras standards et des scanners laser 3D coûteux (LiDAR).

Sous Lumière Normale : EventGait a performé aussi bien que les meilleures caméras standards.
Dans le Noir : C'est là qu'il brille. Alors que les caméras standards échouaient complètement en faible luminosité, EventGait continuait de fonctionner presque aussi bien que de jour.
Coût : Il obtient des résultats similaires à ceux des scanners laser 3D coûteux, mais utilise une caméra beaucoup moins chère.

En Résumé :
EventGait est un système intelligent qui utilise une caméra spéciale ne voyant que les changements de lumière. Il divise le travail en deux parties : une partie experte dans le suivi des mouvements rapides (même dans le noir) et une autre partie qui apprend à deviner la forme corporelle de la personne. En faisant cela, il peut identifier des personnes marchant de manière fiable dans des conditions où les caméras normales deviennent aveugles.

Résumé technique : EventGait : Vers une reconnaissance robuste de la démarche par flux d'événements

Énoncé du problème
La reconnaissance de la démarche offre une méthode non intrusive et respectueuse de la vie privée pour l'identification humaine, mais elle fait face à des défis majeurs dans des environnements non contrôlés. Les approches conventionnelles basées sur l'RGB souffrent d'une dégradation des performances due aux changements d'éclairage, au flou de mouvement et aux occlusions. Bien que les méthodes basées sur le LiDAR offrent une plus grande robustesse, leur coût élevé et leur consommation énergétique entravent leur déploiement à grande échelle. Les méthodes existantes de reconnaissance de la démarche par flux d'événements tentent de tirer parti de la haute résolution temporelle et de la plage dynamique des caméras à événements, mais elles agrègent généralement les flux d'événements en images d'événements basées sur une grille sur de longues fenêtres temporelles. Cette approche élimine les dynamiques temporelles fines, essentielles à l'analyse de la démarche, et produit des représentations spatiales clairsemées que les réseaux profonds standards ont du mal à interpréter efficacement. De plus, le domaine manque de grands ensembles de données de démarche basés sur les événements pour une évaluation rigoureuse.

Méthodologie
Les auteurs proposent EventGait, un cadre dual-stream de bout en bout conçu pour modéliser séparément le mouvement et la forme tout en préservant les avantages inhérents des données d'événements.

Représentation des événements : Le cadre utilise une conception temporelle à deux échelles. Les flux d'événements sont décomposés en :
- Tranches à court terme ( $E_d$ ) : Tranches à haute résolution temporelle capturant les dynamiques de mouvement fines.
- Tranches à long terme ( $E_s$ ) : Événements agrégés sur une fenêtre plus longue pour capturer des informations stables sur la forme spatiale.
Flux de mouvement dynamique (MoSE) : Ce flux traite les tranches à court terme pour modéliser le mouvement haute fréquence. Il emploie un Mélange d'Experts à Spikes (MoSE). Reconnaissant qu'une seule configuration de neurone à spikes ne peut s'adapter à des conditions de mouvement et d'éclairage variées (par exemple, mouvement rapide en lumière vive contre mouvement lent en faible luminosité), le MoSE intègre plusieurs experts à spikes avec des constantes de temps de membrane ( $\tau$ ) distinctes. Un réseau de commutation léger sélectionne et pondère dynamiquement ces experts, permettant une perception robuste dans des scénarios complexes.
Flux de forme statique (CroSA) : Ce flux traite les tranches à long terme pour apprendre des représentations de forme denses. Étant donné que les données d'événements sont spatialement clairsemées, les auteurs introduisent l'Alignement Structurel Intermodal (CroSA). Un Modèle de Fondation Visuel (VFM) pré-entraîné, spécifiquement DINOv2, agit comme enseignant pour fournir des priors structurels denses. L'encodeur statique basé sur les événements (élève) est entraîné à aligner ses représentations de caractéristiques avec la sortie du VFM via une fonction de perte d'alignement, transférant ainsi efficacement les connaissances structurelles vers le modalité d'événements clairsemée.
Fusion et entraînement : Les caractéristiques dynamiques ( $F_d$ ) et statiques ( $F_s$ ) sont fusionnées pour créer un descripteur de démarche unifié. Le modèle est entraîné en utilisant une combinaison de perte d'entropie croisée, de perte triplet et de la perte d'alignement intermodal.

Contributions clés

Cadre EventGait : Une architecture dual-stream novatrice qui découple la modélisation du mouvement dynamique et de la forme statique, répondant aux limitations des méthodes précédentes basées sur les événements qui reposent sur l'agrégation temporelle.
Mélange d'Experts à Spikes (MoSE) : Un mécanisme qui combine des neurones à spikes avec des constantes de temps diverses pour capturer de manière adaptative les motifs de mouvement dans des conditions d'éclairage et de vitesse variables.
Alignement Structurel Intermodal (CroSA) : Une stratégie pour distiller des priors structurels denses à partir d'un Modèle de Fondation Visuel vers le flux statique basé sur les événements, surmontant ainsi la parcimonie des données d'événements.
Nouveaux Benchmarks : Pour pallier le manque de données à grande échelle, les auteurs ont établi un pipeline de synthèse pour convertir des vidéos de démarche RGB en flux d'événements. Ils ont publié deux nouveaux ensembles de données : SUSTech1K-E (dérivé de SUSTech1K) et CCGR-Mini-E (dérivé de CCGR-Mini), fournissant des covariables et des vues diversifiées pour l'évaluation.

Résultats expérimentaux
Des expériences approfondies ont été menées sur des benchmarks synthétiques (SUSTech1K-E, CCGR-Mini-E) et réels (DVS128-Gait, EV-CASIA-B).

Performance : EventGait atteint des performances de l'état de l'art, surpassant les méthodes existantes basées sur les caméras et sur les événements. Sur l'ensemble de données SUSTech1K-E, il atteint une précision Rank-1 globale de 92,8 %, dépassant la précédente meilleure méthode basée sur les événements avec une marge significative.
Robustesse en faible luminosité : La méthode démontre une robustesse supérieure dans des conditions de faible luminosité. Dans les scénarios nocturnes (NT), EventGait surpasse les méthodes basées sur les caméras avec une large marge (par exemple, +37,3 % d'amélioration par rapport aux bases sur SUSTech1K-E), validant l'avantage des caméras à événements dans un éclairage difficile.
Comparaison avec le LiDAR : EventGait obtient des résultats comparables, et dans certaines vues supérieurs, aux méthodes basées sur le LiDAR (par exemple, LidarGait++), malgré l'utilisation d'un modalité de capteur nettement plus abordable.
Études d'ablation : Les expériences confirment la nécessité des flux statique et dynamique ; le retrait de l'un ou l'autre entraîne une baisse des performances. Le module MoSE avec 3 experts s'est révélé offrir le meilleur compromis entre précision et efficacité.

Signification et revendications
L'article revendique qu'EventGait établit un nouvel état de l'art pour la reconnaissance de la démarche basée sur les événements. Il met en évidence que l'analyse pilotée par les événements n'est pas seulement faisable mais hautement robuste, en particulier dans des scénarios où les caméras conventionnelles échouent (faible luminosité) et où le LiDAR est trop coûteux pour un déploiement de masse. Le travail souligne que la préservation des dynamiques temporelles fines grâce aux réseaux à spikes, plutôt que leur agrégation en images statiques, est cruciale pour débloquer le potentiel des caméras à événements dans la reconnaissance biométrique. La publication de benchmarks synthétiques à grande échelle vise à faciliter la recherche future dans ce domaine.