💻 computer science

EventGait: Towards Robust Gait Recognition with Event Streams

Dit artikel introduceert EventGait, een robuust end-to-end dual-stream raamwerk dat gebruikmaakt van event-camera's en een nieuw Mixture of Spiking Experts-architectuur om state-of-the-art prestaties te bereiken bij gangherkenning, met name in uitdagende omstandigheden met weinig licht waar traditionele op camera gebaseerde methoden falen.

Oorspronkelijke auteurs: Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je iemand probeert te identificeren die een straat afloopt. Normaal gesproken fungeren beveiligingscamera's (RGB-camera's) als standaard menselijke ogen: ze maken elke fractie van een seconde een foto. Als het helder en zonnig is, werkt dit uitstekend. Maar als het pikdonker is, mistig, of als de persoon te snel beweegt, raakt de camera in de war, wordt het beeld wazig, of wordt het gewoon donker. Het is alsof je probeert een boek te lezen in het donker; je kunt de woorden niet zien.

EventGait is een nieuw systeem dat een ander soort "oog" gebruikt, genaamd een Event Camera, om dit probleem op te lossen. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten:

1. De "Brandalarm" versus de "Videocamera"

Denk aan een standaardcamera als een videorecorder die 30 keer per seconde een volledige foto maakt, ongeacht of er iets gebeurt. Het vangt het hele tafereel op, inclusief de achtergrond, de kleding en de verlichting.

Een Event Camera is meer als een kamer vol met kleine, hypergevoelige brandalarms. Het maakt geen foto's. In plaats daarvan "schreeuwt" het (stuurt een signaal) alleen wanneer het een verandering in helderheid ziet op een specifiek pixel.

Als een persoon in het donker voorbijloopt, ziet de standaardcamera niets. De Event Camera ziet de beweging van de persoon als een stroom van "veranderingen" (events).
Het negeert statische dingen zoals een muur of een boom. Het geeft alleen om de beweging.
Het werkt perfect in totale duisternis of verblindend zonlicht omdat het niet afhankelijk is van het "zien" van licht; het vertrouwt op veranderingen in licht.

2. Het probleem met eerdere pogingen

Voor dit artikel probeerden onderzoekers Event Camera's te gebruiken voor loopherkenning, maar ze maakten een fout. Ze namen al die kleine "veranderings"-signalen en smolten ze samen tot één wazige afbeelding over een lange periode.

De Analogie: Stel je voor dat je probeert een snelle dansroutine te begrijpen door elke 10 seconden een foto van de danser te maken en deze met elkaar te vervagen. Je verliest de specifieke bewegingen (de details op hoge snelheid) en ziet alleen een spookachtige vlek.
Deze aanpak wierp de supersnelle, precieze timing weg die Event Camera's zo speciaal maakt.

3. De oplossing: EventGait (Het twee-stroom team)

De auteurs bouwden EventGait, wat lijkt op een tweepersoons detective-team. In plaats van alles samen te smelten, splitsten ze de taak op in twee gespecialiseerde stromen die samenwerken:

Stroom A: De "Bewegingsdetective" (Dynamische Stroom)

Wat het doet: Dit team richt zich puur op de beweging. Het kijkt naar de snelle, kleine veranderingen in de event-stroom.
Het geheime wapen (MoSE): Om verschillende omstandigheden te hanteren (zoals een snelle wandeling in fel zonlicht versus een langzaam slepen in het donker), gebruiken ze een Mixture of Spiking Experts (MoSE).
- Analogie: Stel je een team specialisten voor. Sommige zijn "snelle hardlopers" die uitstekend zijn in het opsporen van snelle bewegingen in helder licht. Anderen zijn "langzame, stabiele waarnemers" die uitstekend zijn in het opsporen van zwakke bewegingen in het donker.
- Het systeem beslist automatisch welke specialist het moet aanhoren, gebaseerd op de situatie. Dit zorgt ervoor dat het systeem nooit in de war raakt door slechte verlichting of vreemde snelheden.

Stroom B: De "Vormarchitect" (Statische Stroom)

Wat het doet: Event camera's zijn slecht in het tonen hoe iemand eruitziet (hun lichaamsvorm), omdat ze alleen beweging zien, niet het volledige lichaam. Dit team probeert de vorm van de persoon te achterhalen.
Het geheime wapen (CroSA): Omdat de data van de Event Camera schaars is (zoals een schets met ontbrekende lijnen), gebruikt het systeem een "Leraar" om te helpen.
- Analogie: Stel je een student voor die probeert een persoon te tekenen op basis van een paar verspreide stippen. De "Leraar" (een enorme AI getraind op miljoenen normale foto's) kijkt naar de stippen en zegt: "Hé, die stippen vormen meestal hier een menselijk been." Het systeem leert de ontbrekende vormdetails in te vullen met behulp van deze begeleiding.

4. De nieuwe trainingsgronden (Datasets)

Een groot probleem was dat er niet genoeg echte voorbeelden waren van mensen die voor Event Camera's liepen om de AI te trainen.

De oplossing: De auteurs bouwden een "simulator". Ze namen bestaande video's van lopende mensen en zetten ze wiskundig om naar Event Camera-data.
Ze creëerden twee enorme nieuwe bibliotheken met data (SUSTech1K-E en CCGR-Mini-E) zodat de AI kon leren duizenden verschillende mensen te herkennen onder vele verschillende omstandigheden.

5. De resultaten: Waarom het belangrijk is

Het artikel testte EventGait tegen standaardcamera's en dure 3D-laserscanners (LiDAR).

Bij normaal licht: EventGait presteerde net zo goed als de beste standaardcamera's.
In het donker: Hier blinkt het uit. Terwijl standaardcamera's volledig faalden bij weinig licht, bleef EventGait bijna net zo goed werken als overdag.
Kosten: Het bereikt resultaten vergelijkbaar met dure 3D-laserscanners, maar gebruikt een veel goedkopere camera.

Samenvattend:
EventGait is een slim systeem dat een speciale camera gebruikt die alleen veranderingen in licht ziet. Het splitst de taak op in twee delen: een deel dat expert is in het volgen van snelle bewegingen (zelfs in het donker) en een ander deel dat leert de lichaamsvorm van de persoon te raden. Door dit te doen, kan het mensen die lopen betrouwbaar identificeren in omstandigheden waarin normale camera's blind gaan.

Technische Samenvatting: EventGait: Naar Robuuste Gangherkenning met Eventstromen

Probleemstelling
Gangherkenning biedt een niet-invasieve, privacybehoudende methode voor menselijke identificatie, maar staat voor aanzienlijke uitdagingen in ongecontroleerde omgevingen. Conventionele RGB-gebaseerde benaderingen lijden aan prestatieverlies door veranderingen in verlichting, bewegingsonscherpte en obstructies. Hoewel LiDAR-gebaseerde methoden grotere robuustheid bieden, belemmeren hun hoge kosten en energieverbruik een grootschalige implementatie. Bestaande gangherkenningsmethoden op basis van events proberen de hoge temporele resolutie en het dynamische bereik van eventcamera's te benutten, maar aggregeren eventstromen doorgaans tot rooster-gebaseerde eventbeelden over lange tijdsvensters. Deze aanpak gooit fijne temporele dynamiek weg die cruciaal is voor ganganalyse, en produceert spaarzame ruimtelijke representaties die voor standaard diepe netwerken moeilijk effectief te interpreteren zijn. Bovendien ontbreekt het in dit veld aan grote, op events gebaseerde gangdatasets voor rigoureuze evaluatie.

Methodologie
De auteurs stellen EventGait voor, een end-to-end dual-stream framework dat is ontworpen om beweging en vorm afzonderlijk te modelleren, terwijl de inherente voordelen van eventdata behouden blijven.

Eventrepresentatie: Het framework maakt gebruik van een temporeel ontwerp op twee schalen. Eventstromen worden ontleed in:
- Korte-termijn slices ( $E_d$ ): Slices met hoge temporele resolutie die fijne temporele bewegingsdynamiek vastleggen.
- Lange-termijn slices ( $E_s$ ): Geaggregeerde events over een langere vensterperiode om stabiele ruimtelijke vorminformatie vast te leggen.
Dynamische Bewegingsstroom (MoSE): Deze stroom verwerkt korte-termijn slices om hoogfrequente beweging te modelleren. Het maakt gebruik van een Mixture of Spiking Experts (MoSE). Omdat een enkele configuratie van een spiking neuron niet kan adapteren aan diverse bewegings- en verlichtingsomstandigheden (bijvoorbeeld snelle beweging in helder licht versus langzame beweging bij weinig licht), integreert MoSE meerdere spiking experts met verschillende membraantijdsconstanten ( $\tau$ ). Een lichtgewicht gating-netwerk selecteert en weegt deze experts dynamisch, waardoor robuuste perceptie mogelijk is in complexe scenario's.
Statische Vormstroom (CroSA): Deze stroom verwerkt lange-termijn slices om dichte vormrepresentaties te leren. Omdat eventdata ruimtelijk spaarzaam is, introduceren de auteurs Cross-modal Structure Alignment (CroSA). Een vooraf getraind Vision Foundation Model (VFM), specifiek DINOv2, fungeert als leraar om dichte structurele priors te leveren. De op events gebaseerde statische encoder (leerling) wordt getraind om zijn feature-representaties via een aligneringsverlies af te stemmen op de output van het VFM, waardoor structurele kennis effectief wordt overgedragen naar de spaarzame eventmodaliteit.
Fusie en Training: De dynamische ( $F_d$ ) en statische ( $F_s$ ) features worden gefuseerd om een unificerend gangbeschrijver te creëren. Het model wordt getraind met een combinatie van cross-entropy-verlies, triplet-verlies en het cross-modale aligneringsverlies.

Belangrijkste Bijdragen

EventGait Framework: Een nieuw dual-stream architectuur die dynamische beweging en statische vormmodelling ontkoppelt, en zo de beperkingen van eerdere op events gebaseerde methoden die vertrouwen op temporele agglomeratie, aanpakt.
Mixture of Spiking Experts (MoSE): Een mechanisme dat spiking neuronen combineert met diverse tijdsconstanten om adaptief bewegingspatronen vast te leggen onder variërende verlichtings- en snelheidsomstandigheden.
Cross-modal Structure Alignment (CroSA): Een strategie om dichte structurele priors te distilleren vanuit een Vision Foundation Model naar de op events gebaseerde statische stroom, waarmee de spaarzaamheid van eventdata wordt overwonnen.
Nieuwe Benchmarks: Om het gebrek aan grote datasets aan te pakken, hebben de auteurs een synthese-pijplijn opgezet om RGB-gangvideo's om te zetten in eventstromen. Zij hebben twee nieuwe datasets vrijgegeven: SUSTech1K-E (afgeleid van SUSTech1K) en CCGR-Mini-E (afgeleid van CCGR-Mini), die diverse covariaten en weergaven bieden voor evaluatie.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op zowel gesynthetiseerde (SUSTech1K-E, CCGR-Mini-E) als real-world (DVS128-Gait, EV-CASIA-B) benchmarks.

Prestaties: EventGait bereikt state-of-the-art prestaties en presteert beter dan bestaande camera-gebaseerde en op events gebaseerde methoden. Op de SUSTech1K-E-dataset bereikt het een Rank-1 nauwkeurigheid van 92,8% overall, wat de vorige beste op events gebaseerde methode met een aanzienlijke marge overtreft.
Robuustheid bij Zwak Licht: De methode demonstreert superieure robuustheid in omstandigheden met weinig licht. In nachtelijke scenario's (NT) overtreft EventGait camera-gebaseerde methoden met een grote marge (bijvoorbeeld +37,3% verbetering ten opzichte van baselines op SUSTech1K-E), wat het voordeel van eventcamera's in uitdagende verlichting bevestigt.
Vergelijking met LiDAR: EventGait bereikt resultaten die vergelijkbaar zijn met, en in sommige weergaven zelfs beter zijn dan, LiDAR-gebaseerde methoden (bijvoorbeeld LidarGait++), ondanks het gebruik van een aanzienlijk goedkopere sensormodaliteit.
Ablatiestudies: Experimenten bevestigen de noodzaak van zowel de statische als de dynamische stroom; het verwijderen van een van beide leidt tot prestatiedalingen. De MoSE-module met 3 experts bleek de beste afweging te bieden tussen nauwkeurigheid en efficiëntie.

Betekenis en Beweringen
Het artikel beweert dat EventGait een nieuwe state of the art stelt voor op events gebaseerde gangherkenning. Het benadrukt dat event-gedreven analyse niet alleen haalbaar is, maar ook zeer robuust, met name in scenario's waar conventionele camera's falen (zwak licht) en waar LiDAR te duur is voor massale implementatie. Het werk onderstreept dat het behoud van fijne temporele dynamiek via spiking netwerken, in plaats van het aggregeren daarvan tot statische beelden, cruciaal is om het potentieel van eventcamera's in biometrische herkenning te ontsluiten. De vrijgave van grote synthetische benchmarks heeft tot doel verder onderzoek in dit domein te faciliteren.