💻 computer science

EventGait: Towards Robust Gait Recognition with Event Streams

Dieser Beitrag stellt EventGait vor, ein robustes End-to-End-Dual-Stream-Framework, das Ereigniskameras und eine neuartige Mixture-of-Spiking-Experts-Architektur nutzt, um einen State-of-the-Art-Performance in der Gangerkennung zu erreichen, insbesondere unter schwierigen Bedingungen mit schwacher Beleuchtung, bei denen traditionelle kamera-basierte Methoden versagen.

Ursprüngliche Autoren: Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Senyan Xu, Shuai Chen, Chuanfu Shen, Kean Liu, Zhijing Sun, Chengzhi Cao, Xueyang Fu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Person zu identifizieren, die eine Straße entlanggeht. Normalerweise fungieren Überwachungskameras (RGB-Kameras) wie menschliche Augen: Sie machen in jedem Bruchteil einer Sekunde ein Foto. Wenn es hell und sonnig ist, funktioniert das hervorragend. Doch wenn es stockdunkel, neblig ist oder sich die Person zu schnell bewegt, gerät die Kamera in Verwirrung, das Bild wird unscharf oder es wird einfach dunkel. Es ist, als würde man versuchen, in der Dunkelheit ein Buch zu lesen; man kann die Wörter nicht erkennen.

EventGait ist ein neues System, das eine andere Art von „Auge", eine Event-Kamera, nutzt, um dieses Problem zu lösen. Hier ist die Funktionsweise, aufgeteilt in einfache Konzepte:

1. Der „Feueralarm" vs. die „Videokamera"

Stellen Sie sich eine Standardkamera wie einen Videorekorder vor, der unabhängig davon, ob etwas passiert, 30 Mal pro Sekunde ein vollständiges Foto aufnimmt. Sie erfasst die gesamte Szene, einschließlich Hintergrund, Kleidung und Beleuchtung.

Eine Event-Kamera ist eher wie ein Raum voller winziger, hochsensibler Feueralarme. Sie macht keine Bilder. Stattdessen „schreit" sie (sendet ein Signal) nur, wenn sie eine Änderung der Helligkeit an einem bestimmten Pixel wahrnimmt.

Wenn eine Person im Dunkeln vorbeigeht, sieht die Standardkamera nichts. Die Event-Kamera hingegen erfasst die Bewegung der Person als einen Strom von „Änderungen" (Events).
Sie ignoriert statische Dinge wie eine Wand oder einen Baum. Sie interessiert sich nur für die Bewegung.
Sie funktioniert perfekt bei totaler Dunkelheit oder blendendem Sonnenlicht, da sie nicht darauf angewiesen ist, Licht zu „sehen", sondern auf Änderungen im Licht.

2. Das Problem mit früheren Versuchen

Bevor diese Arbeit veröffentlicht wurde, versuchten Forscher, Event-Kameras zur Gangerkennung einzusetzen, machten dabei aber einen Fehler. Sie nahmen all diese winzigen „Änderungs"-Signale und pressten sie über einen längeren Zeitraum zu einem einzigen, unscharfen Bild zusammen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine schnelle Tanzroutine zu verstehen, indem Sie alle 10 Sekunden ein Foto des Tänzers machen und diese dann unscharf zusammenfügen. Sie verlieren die spezifischen Bewegungen (die hochauflösenden Details) und sehen nur einen geisterhaften Klumpen.
Dieser Ansatz verworfen die ultraschnelle, präzise Zeitmessung, die Event-Kameras besonders macht.

3. Die Lösung: EventGait (Das Zwei-Strom-Team)

Die Autoren entwickelten EventGait, das wie ein Detektivteam aus zwei Personen funktioniert. Anstatt alles zusammenzupressen, teilen sie die Aufgabe in zwei spezialisierte Ströme auf, die zusammenarbeiten:

Strömung A: Der „Bewegungsdetektiv" (Dynamischer Strom)

Was er tut: Dieses Team konzentriert sich rein auf die Bewegung. Es betrachtet die schnellen, winzigen Änderungen im Event-Strom.
Die Geheimwaffe (MoSE): Um verschiedene Bedingungen zu bewältigen (wie einen schnellen Gang im hellen Sonnenlicht versus ein langsames Schreiten im Dunkeln), verwenden sie ein Mixture of Spiking Experts (MoSE).
- Analogie: Stellen Sie sich ein Team von Spezialisten vor. Einige sind „schnelle Läufer", die hervorragend schnelle Bewegungen im hellen Licht erkennen. Andere sind „langsame, stetige Beobachter", die hervorragend schwache Bewegungen im Dunkeln erkennen.
- Das System entscheidet automatisch, welchem Spezialisten es zuhört, basierend auf der Situation. Dies stellt sicher, dass das System niemals durch schlechte Beleuchtung oder seltsame Geschwindigkeiten verwirrt wird.

Strömung B: Der „Form-Architekt" (Statischer Strom)

Was er tut: Event-Kameras sind schlecht darin zu zeigen, wie eine Person aussieht (ihre Körperform), da sie nur Bewegung und nicht den ganzen Körper erfassen. Dieses Team versucht, die Form der Person zu ermitteln.
Die Geheimwaffe (CroSA): Da die Daten der Event-Kamera spärlich sind (wie eine Skizze mit fehlenden Linien), nutzt das System einen „Lehrer" zur Hilfe.
- Analogie: Stellen Sie sich einen Schüler vor, der versucht, eine Person anhand einiger verstreuter Punkte zu zeichnen. Der „Lehrer" (eine massive KI, die auf Millionen normalen Fotos trainiert wurde) betrachtet die Punkte und sagt: „Hey, diese Punkte bilden normalerweise hier ein menschliches Bein." Das System lernt, die fehlenden Formdetails mithilfe dieser Anleitung zu ergänzen.

4. Der neue Trainingsplatz (Datensätze)

Ein großes Problem bestand darin, dass es nicht genügend reale Beispiele von Menschen gab, die vor Event-Kameras gingen, um die KI zu trainieren.

Die Lösung: Die Autoren bauten einen „Simulator". Sie nahmen bestehende Videos von gehenden Menschen und wandelten sie mathematisch in Event-Kamera-Daten um.
Sie erstellten zwei riesige neue Datenbibliotheken (SUSTech1K-E und CCGR-Mini-E), damit die KI lernen konnte, Tausende verschiedener Personen unter vielen verschiedenen Bedingungen zu erkennen.

5. Die Ergebnisse: Warum es wichtig ist

Die Arbeit testete EventGait im Vergleich zu Standardkameras und teuren 3D-Laserscannern (LiDAR).

Bei normalem Licht: EventGait schnitt genauso gut ab wie die besten Standardkameras.
Im Dunkeln: Hier glänzt es. Während Standardkameras bei schwachem Licht völlig versagten, funktionierte EventGait fast genauso gut wie tagsüber.
Kosten: Es erzielt Ergebnisse, die mit teuren 3D-Laserscannern vergleichbar sind, verwendet jedoch eine viel günstigere Kamera.

Zusammenfassung:
EventGait ist ein intelligentes System, das eine spezielle Kamera nutzt, die nur Änderungen im Licht sieht. Es teilt die Aufgabe in zwei Teile auf: einen Teil, der ein Experte für das Verfolgen schneller Bewegungen ist (selbst im Dunkeln), und einen anderen Teil, der lernt, die Körperform der Person zu erraten. Auf diese Weise kann es Personen beim Gehen zuverlässig identifizieren, unter Bedingungen, bei denen normale Kameras blind werden.

Technische Zusammenfassung: EventGait: Auf dem Weg zu einer robusten Gangerkennung mit Ereignisströmen

Problemstellung
Die Gangerkennung bietet eine nicht-invasive, datenschutzfreundliche Methode zur Personenidentifizierung, steht jedoch in unkontrollierten Umgebungen vor erheblichen Herausforderungen. Herkömmliche RGB-basierte Ansätze leiden unter Leistungseinbußen aufgrund von Lichtwechseln, Bewegungsunschärfe und Verdeckungen. Während LiDAR-basierte Methoden eine größere Robustheit bieten, behindern ihre hohen Kosten und ihr Energieverbrauch eine großflächige Einführung. Bestehende gangerkennungsbasierte Methoden auf Ereignisdaten versuchen, die hohe zeitliche Auflösung und den großen Dynamikbereich von Ereigniskameras zu nutzen, aggregieren Ereignisströme jedoch typischerweise über lange Zeitfenster zu gitterbasierten Ereignisbildern. Dieser Ansatz verwirft feinabgestufte zeitliche Dynamiken, die für die Ganganalyse entscheidend sind, und erzeugt spärliche räumliche Darstellungen, die für Standard-Tiefen-Netzwerke schwer effektiv zu interpretieren sind. Darüber hinaus fehlt es auf diesem Gebiet an großen, ereignisbasierten Gangdatensätzen für eine rigorose Evaluierung.

Methodik
Die Autoren schlagen EventGait vor, ein End-to-End-Dual-Stream-Framework, das entwickelt wurde, um Bewegung und Form separat zu modellieren und dabei die inhärenten Vorteile von Ereignisdaten zu bewahren.

Ereignisdarstellung: Das Framework nutzt ein zeitliches Zwei-Skalen-Design. Ereignisströme werden zerlegt in:
- Kurzfristige Slices ( $E_d$ ): Slices mit hoher zeitlicher Auflösung, die feinabgestufte Bewegungsdynamiken erfassen.
- Langfristige Slices ( $E_s$ ): Aggregierte Ereignisse über ein längeres Zeitfenster, um stabile räumliche Forminformationen zu erfassen.
Dynamischer Bewegungs-Stream (MoSE): Dieser Stream verarbeitet kurzfristige Slices, um hochfrequente Bewegungen zu modellieren. Er setzt einen Mixture of Spiking Experts (MoSE) ein. Da eine einzelne Spiking-Neuron-Konfiguration nicht an diverse Bewegungs- und Lichtverhältnisse angepasst werden kann (z. B. schnelle Bewegung bei hellem Licht vs. langsame Bewegung bei schwachem Licht), integriert MoSE mehrere Spiking-Experten mit unterschiedlichen Membranzeitkonstanten ( $\tau$ ). Ein leichtgewichtiges Gating-Netzwerk wählt diese Experten dynamisch aus und gewichtet sie, was eine robuste Wahrnehmung in komplexen Szenarien ermöglicht.
Statischer Form-Stream (CroSA): Dieser Stream verarbeitet langfristige Slices, um dichte Formdarstellungen zu erlernen. Da Ereignisdaten räumlich spärlich sind, führen die Autoren eine Cross-modal Structure Alignment (CroSA) ein. Ein vortrainiertes Vision Foundation Model (VFM), speziell DINOv2, fungiert als Lehrer, um dichte strukturelle Priors bereitzustellen. Der ereignisbasierte statische Encoder (Schüler) wird trainiert, seine Merkmalsdarstellungen über einen Alignments-Verlust mit der Ausgabe des VFM abzugleichen, wodurch strukturelles Wissen effektiv auf den spärlichen Ereignismodus übertragen wird.
Fusion und Training: Die dynamischen ( $F_d$ ) und statischen ( $F_s$ ) Merkmale werden fusioniert, um einen einheitlichen Gangdeskriptor zu erstellen. Das Modell wird unter Verwendung einer Kombination aus Cross-Entropy-Verlust, Triplet-Verlust und dem cross-modalen Alignments-Verlust trainiert.

Hauptbeiträge

EventGait-Framework: Eine neuartige Dual-Stream-Architektur, die die Modellierung dynamischer Bewegung und statischer Form entkoppelt und die Einschränkungen früherer ereignisbasierter Methoden adressiert, die auf zeitlicher Aggregation beruhen.
Mixture of Spiking Experts (MoSE): Ein Mechanismus, der Spiking-Neuronen mit unterschiedlichen Zeitkonstanten kombiniert, um Bewegungsmuster unter variierenden Licht- und Geschwindigkeitsbedingungen adaptiv zu erfassen.
Cross-modal Structure Alignment (CroSA): Eine Strategie, um dichte strukturelle Priors aus einem Vision Foundation Model in den ereignisbasierten statischen Stream zu destillieren und so die Spärlichkeit von Ereignisdaten zu überwinden.
Neue Benchmarks: Um den Mangel an großen Datenmengen zu beheben, etablierten die Autoren eine Synthesepipeline, um RGB-Gangvideos in Ereignisströme umzuwandeln. Sie veröffentlichten zwei neue Datensätze: SUSTech1K-E (abgeleitet von SUSTech1K) und CCGR-Mini-E (abgeleitet von CCGR-Mini), die diverse Kovariaten und Ansichten für die Evaluierung bieten.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden sowohl auf synthetisierten (SUSTech1K-E, CCGR-Mini-E) als auch auf realen (DVS128-Gait, EV-CASIA-B) Benchmarks durchgeführt.

Leistung: EventGait erzielt State-of-the-Art-Ergebnisse und übertrifft bestehende kamera- und ereignisbasierte Methoden. Auf dem Datensatz SUSTech1K-E erreicht es eine Rank-1-Genauigkeit von insgesamt 92,8 % und übertrifft die bisher beste ereignisbasierte Methode mit einem signifikanten Vorsprung.
Robustheit bei schwachem Licht: Die Methode zeigt eine überlegene Robustheit bei schlechten Lichtverhältnissen. In Nachtszenarien (NT) übertrifft EventGait kamera-basierte Methoden mit einem großen Vorsprung (z. B. +37,3 % Verbesserung gegenüber Baselines auf SUSTech1K-E), was den Vorteil von Ereigniskameras bei schwieriger Beleuchtung validiert.
Vergleich mit LiDAR: EventGait erzielt Ergebnisse, die mit LiDAR-basierten Methoden (z. B. LidarGait++) vergleichbar sind und in einigen Ansichten diese sogar übertreffen, obwohl eine deutlich kostengünstigere Sensormodalität verwendet wird.
Ablationsstudien: Experimente bestätigen die Notwendigkeit sowohl des statischen als auch des dynamischen Streams; das Entfernen eines von beiden führt zu Leistungseinbußen. Das MoSE-Modul mit 3 Experten erwies sich als bester Kompromiss zwischen Genauigkeit und Effizienz.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass EventGait einen neuen State-of-the-Art für die ereignisbasierte Gangerkennung setzt. Sie hebt hervor, dass ereignisgesteuerte Analyse nicht nur machbar, sondern besonders in Szenarien, in denen herkömmliche Kameras versagen (schlechtes Licht) und wo LiDAR für den Masseneinsatz zu teuer ist, hochgradig robust ist. Die Arbeit betont, dass die Bewahrung feinabgestufter zeitlicher Dynamiken durch Spiking-Netzwerke anstelle ihrer Aggregation zu statischen Bildern entscheidend ist, um das Potenzial von Ereigniskameras in der biometrischen Erkennung zu erschließen. Die Veröffentlichung großer synthetischer Benchmarks zielt darauf ab, weitere Forschung in diesem Bereich zu erleichtern.