💻 computer science

Event2Vec: Processing Neuromorphic Events Directly by Representations in Vector Space

Das Papier stellt Event2Vec vor, eine neuartige, von Word-to-Vector inspirierte Repräsentation, die die direkte Verarbeitung spärlicher, asynchroner neuromorpher Ereignisse innerhalb hochdurchsatzfähiger Transformer-Architekturen ermöglicht und dadurch effektiv den Zielkonflikt zwischen Datensparsamkeit und GPU-Effizienz löst, während sie gleichzeitig eine State-of-the-Art-Leistung mit hoher Parametereffizienz und geringer Latenz erzielt.

Ursprüngliche Autoren: Wei Fang, Priyadarshini Panda

Veröffentlicht 2026-02-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wei Fang, Priyadarshini Panda

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Gespräch zu verstehen, aber anstatt ganze Sätze zu hören, die in einem gleichmäßigen Tempo gesprochen werden, hören Sie einen chaotischen Strom von Flüstern. Manche Menschen flüstern schnell, andere langsam, und sie sprechen nur, wenn etwas Interessantes passiert. So arbeiten neuromorphe Ereigniskameras (Event Cameras). Im Gegensatz zu herkömmlichen Kameras, die einen stetigen Strom von Fotos aufnehmen (wie ein Daumenkino), „sprechen“ Ereigniskameras nur dann, wenn ein Pixel eine Änderung der Helligkeit feststellt. Sie sind unglaublich schnell, verbrauchen sehr wenig Energie und können unter extremen Lichtverhältnissen sehen, aber ihre Daten sind chaotisch, spärlich und asynchron.

Das Problem ist, dass unsere aktuellen KI-„Gehirne“ (Deep-Learning-Modelle) wie Bibliothekare sind, die nur in der Lage sind, ordentlich organisierte Bücher zu lesen. Sie haben Schwierigkeiten mit diesem chaotischen Strom von Flüstern.

Die alten Wege: Zwei fehlerhafte Lösungen

Vor dieser Arbeit versuchten Forscher, dies auf zwei Arten zu lösen, die beide erhebliche Nachteile hatten:

Der „Mosaik“-Ansatz: Sie versuchten, das Flüstern zu einem vollständigen „Satz“ (einem dichten Bildrahmen) zusammenzufügen, damit die KI es lesen kann.
- Der Fehler: Es ist, als würde man versuchen, ein schnelllebigeres Gespräch zu verstehen, indem man jede Sekunde nur auf ein verschwommenes Foto des Raumes blickt. Man verliert die Geschwindigkeit und das spezifische Timing der Flüstertöne.
Der „Spezialisten“-Ansatz: Sie entwickelten maßgeschneiderte KI-Modelle, die speziell für unordentliche Daten konzipiert wurden (wie Spiking Neural Networks).
- Der Fehler: Diese Modelle sind wie der Versuch, einen Marathon auf einem Fahrrad zu laufen. Sie funktionieren zwar, aber sie können nicht die super schnellen, leistungsstarken Motoren (GPUs) nutzen, die moderne Computer besitzen, was sie langsam und ineffizient macht.

Die neue Idee: Event2Vec (Der „Übersetzer“)

Die Autoren dieser Arbeit kamen zu einer brillanten Analogie: Was wäre, wenn wir dieses Ereignis-Flüstern wie Wörter in einem Satz behandeln würden?

Denken Sie an einen Satz: „Wie geht es dir?“

Jedes Wort hat eine eindeutige ID (wie eine Wörterbuchnummer).
Jedes Wort hat eine Position (1., 2., 3.).
Die Bedeutung eines Wortes hängt von den Wörtern um es herum ab.

Die Autoren erkannten, dass Ereignisse (Events) genau so funktionieren:

Ein Ereignis hat eine eindeutige ID (seinen Ort auf dem Sensor und ob das Licht heller oder dunkler wurde).
Ein Ereignis hat eine Position (seinen exakten Zeitstempel).
Die Bedeutung eines Ereignisses hängt von den anderen Ereignissen ab, die in der Nähe in Zeit und Raum geschehen.

Sie entwickelten ein System namens Event2Vec (Event-to-Vector). Anstatt die Daten in ein Foto zu zwingen oder eine langsame, maßgeschneiderte Engine zu bauen, übersetzen sie jedes einzelne Ereignis in einen mathematischen „Vektor“ (eine Liste von Zahlen), genau wie moderne KI Wörter in Zahlen übersetzt, um Sprache zu verstehen.

Wie es funktioniert (Die magischen Zutaten)

Um diese Übersetzung perfekt zu machen, fügten sie zwei spezielle Zutaten hinzu:

Die „Nachbarschafts“-Karte (Spatial Embedding): In einem Wörterbuch können die Wörter „Katze“ und „Bat“ (Fledermaus) zufällige Nummern nebeneinander haben, sodass die KI lernen muss, dass sie ähnlich sind. Aber in einem Bild ist ein Pixel neben einem anderen Pixel immer verwandt. Die Autoren bauten eine spezielle Karte, die der KI sagt: „Hey, diese beiden Pixel sind Nachbarn, also sollten ihre Zahlen ähnlich sein.“ Dies hilft der KI, Formen und Kanten viel schneller zu verstehen.
Der „Rhythmus“-Tracker (Temporal Embedding): Anstatt nur zu betrachten, wann ein Ereignis stattfand, betrachtet die KI die Lücke zwischen den Ereignissen. Es ist, als würde man dem Rhythmus eines Trommelschlags zuhören, anstatt nur auf die Uhrzeit zu schauen. Dies hilft der KI, Geschwindigkeit und Bewegung zu verstehen.

Die Ergebnisse: Schnell, klein und präzise

Die Arbeit testete diese neue Methode bei drei verschiedenen Aufgaben: der Erkennung von Handgesten, dem Lesen von Gebärdensprache und dem Lippenlesen. Hier ist das, was sie fanden:

Geschwindigkeit: Da sie dieselbe Sprache wie moderne KI (Transformer) spricht, kann sie die volle Leistung von Computerchips nutzen. Sie ist bei der Datenverarbeitung 4- bis 60-mal schneller als bisherige Top-Methoden.
Effizienz: Das Modell ist unglaublich klein. In einigen Fällen verwendet es 800-mal weniger Parameter (Speichergröße) als andere Top-Modelle, während es dennoch die Aufgabe erfüllt.
Robustheit: Es funktioniert selbst dann, wenn die Kamera eine niedrige Auflösung hat oder wenn es sehr wenige Ereignisse (Flüstern) gibt. Es kann immer noch erkennen, was passiert, während andere Methoden versagen, wenn die Daten zu spärlich werden.
Echtzeit-Bereit: Es ist schnell genug, um auf kleinen, batteriebetriebenen Geräten (wie einem Roboter oder einer Drohne) zu laufen, ohne dass eine riesige Serverfarm benötigt wird.

Das große Ganze

Die Arbeit behauptet, dass Event2Vec einen langjährigen Konflikt löst: Es ermöglicht uns, die rohe, schnelle und spärliche Natur von Ereigniskamera-Daten beizubehalten, während wir gleichzeitig die super schnellen, leistungsstarken KI-Architekturen nutzen können, die wir bereits haben. Es ist, als hätte man dem chaotischen Flüstern endlich ein Wörterbuch und ein Grammatikbuch gegeben, damit es von den klügsten Computern der Welt sofort verstanden werden kann.

Der Code für dieses System ist für andere zur Nutzung verfügbar und markiert einen neuen Weg, visuelle Informationen zu verarbeiten, die sowohl effizient als auch leistungsstark sind.

Technisches Resümee: Event2Vec

Problemstellung

Neuromorphe Ereigniskameras bieten im Vergleich zu herkömmlichen bildbasierten Kameras eine überlegene zeitliche Auflösung, Energieeffizienz und Dynamik. Ihre Datenausgabe ist jedoch inhärent asynchron, spärlich (sparse) und unregelmäßig, typischerweise kodiert in der Address-Event-Representation (AER) als Tupel $(x, y, t, p)$ . Dieses Format stellt eine fundamentale Inkompatibilität mit modernen Deep-Learning-Architekturen dar, die für dichte, synchrone und regelmäßig strukturierte Tensoren konzipiert sind.

Bestehende Lösungen stehen vor einem Zielkonflikt:

Dichte Repräsentationen: Die Konvertierung von Ereignissen in dichte Frames (z. B. Event-Frames, Voxel-Gitter) ermöglicht die Nutzung von Standard-CNNs und Transformern, opfert jedoch die asynchronen, spärlichen und hoch-zeitlichen Auflösungseigenschaften der Rohdaten.
Irreguläre Modelle: Die Verwendung von Spiking Neural Networks (SNNs), Sparse Convolutions oder Graph Neural Networks (GNNs) bewahrt die Spärlichkeit, scheitert jedoch oft daran, die massiven parallelen Verarbeitungskapazitäten von GPUs zu nutzen, was zu geringerem Durchsatz und höherer Latenz führt.

Die zentrale Herausforderung besteht darin, spärliche, irreguläre Ereignisdaten direkt unter Verwendung von Hochdurchsatz-, GPU-beschleunigten Architekturen (wie Transformern) zu verarbeiten, ohne die Daten in dichte Zwischenrepräsentationen umzuwandeln.

Methodik: Event2Vec

Inspiriert durch die Analogie zwischen Wörtern in der natürlichen Sprachverarbeitung (NLP) und Ereignissen in der Vision, schlagen die Autoren Event2Vec vor, eine Methode, die Ereignisse direkt in einen Vektorraum einbettet.

1. Konzeptuelle Analogie

Das Paper zieht eine Parallele zwischen NLP-Token und neuromorphen Ereignissen:

Index: Der Vokabularindex eines Wortes entspricht dem räumlichen Adressindex eines Ereignisses $(x, y, p)$ .
Position: Die sequentielle Position eines Wortes in einem Satz entspricht dem Zeitstempel $t$ eines Ereignisses.
Kontext: Genau wie die Bedeutung eines Wortes von der umgebenden Textpassage abhängt, wird die Signifikanz eines Ereignisses aus seinem spatiotemporalen Kontext abgeleitet.

2. Vektorrepräsentation

Der Kern von Event2Vec ist die Einbettung eines Ereignistupels $(x, y, t, p)$ in einen $D$ -dimensionalen Vektor $v$ mittels additiver Fusion:
$v = v_s + v_t = \text{Embed}_s(x, y, p) + \text{Embed}_t(t)$

Räumliche Einbettung ( $\text{Embed}_s$ ): Im Gegensatz zu Standard-NLP-Lookup-Tabellen, die Indizes als nicht-semantische Identifikatoren behandeln, schlagen die Autoren eine parametrische räumliche Einbettung vor. Ein kontinuierliches, differenzierbares neuronales Netzwerk $\phi$ generiert die Einbettungsmatrix. Dies stellt sicher, dass Ereignisse mit räumlich benachbarten Koordinaten semantisch ähnliche Vektoren liefern, wodurch die „Nachbarschaftssemantik“ erfasst wird, die für visuelle Daten entscheidend ist.
Zeitliche Einbettung ( $\text{Embed}_t$ ): Anstatt absolute Zeitstempel oder Sinus-Kodierungen (die für gleichmäßige Intervalle konzipiert sind) zu verwenden, verarbeitet das Zeitmodul die ersten Differenzen der Zeit ( $\Delta t$ ) zwischen aufeinanderfolgenden Ereignissen. Dies wird über einen Stapel von Convolutional-Schichten implementiert. Dieser Ansatz bietet Zeitverschiebungsinvarianz, kontextuelle Konsistenz und fungiert als eine Form der zeitlichen Präkonditionierung, die es dem Netzwerk ermöglicht, lokale Ereignisdichte und Geschwindigkeit zu lernen.

3. Sampling und Aggregation

Um variable Ereignisströme und Batch-Verarbeitungsanforderungen zu handhaben:

Random Sampling: Wird für einfachere Aufgaben verwendet und bietet eine hohe Recheneffizienz.
K-Means++ Clustering: Für komplexe Aufgaben (z. B. DVS-Lip) werden Ereignisse in $L$ repräsentative Cluster aggregiert. Die Autoren führen einen GPU-basierten Batched K-Means++ Algorithmus ein, um die Inferenzlatenz zu minimieren. Die Intensität eines Clusters (Anzahl der aggregierten Rohereignisse) wird verwendet, um den Einbettungsvektor über einen logarithmischen Gewichtungsfaktor $(\log \rho + 1)$ zu modulieren.

4. Netzwerkarchitektur

Die Event2Vec-Repräsentation wird in eine Transformer-basierte Backbone-Architektur (speziell unter Verwendung des Forgetting Transformers oder der Gated Linear Attention) eingespeist, gefolgt von einem Klassifikationskopf. Die Architektur umfasst:

Event2Vec Modul: Generiert die spatiotemporalen Einbettungen.
Backbone: Gestapelte Transformer-Blöcke mit Self-Attention-Mechanismen. Die Autoren erweitern den Forgetting Transformer zu einer parametergeteilten, bidirektionalen Formulierung, um die Lernfähigkeit zu verbessern.
Klassifikationskopf: Average Pooling gefolgt von einer linearen Schicht.

Wichtigste Beiträge

Direkte spärliche Verarbeitung: Event2Vec ermöglicht die direkte Verarbeitung spärlicher, asynchroner Ereignisströme unter Verwendung dichter, regulärer Transformer-Architekturen und löst damit den Konflikt zwischen Datenspärlichkeit und GPU-Effizienz auf.
Neuartige Einbettungen: Die Einführung parametrischer räumlicher Einbettungen zur Erfassung von Nachbarschaftssemantik und konvolutionsbasierter zeitlicher Einbettungen auf $\Delta t$ , um nicht-uniforme Zeitstempel zu handhaben.
Effizientes Clustering: Ein GPU-beschleunigter Batched K-Means++ Algorithmus zur Aggregation von Ereignissen, der die Informationserhaltung mit niedriger Latenz ausbalanciert.
Paradigmenwechsel: Demonstration, dass Ereignisdaten als sequenzieller Sprachstrom behandelt werden können, was die Tür für die Nutzung von Large Language Model (LLM) Architekturen für die neuromorphe Vision öffnet.

Experimentelle Ergebnisse

Die Methode wurde auf drei Benchmarks evaluiert: DVS Gesture, ASL-DVS und DVS-Lip.

Genauigkeit: Event2Vec erreichte eine kompetitive oder State-of-the-Art Genauigkeit. Bemerkenswerterweise erreichte es 99,91 % auf ASL-DVS und 75,88 % auf DVS-Lip (unter Verwendung geklusterter Ereignisse) und übertraf damit mehrere dichte-Frame- und irreguläre Modell-Baselines.
Parametereffizienz: Die Modelle sind signifikant kleiner als bisherige SOTA-Methoden. Beispielsweise verwendete das Event2Vec-Modell auf dem ASL-DVS Datensatz 815,93-mal weniger Parameter als ein konkurrierendes GNN & Transformer Modell.
Durchsatz und Latenz: Event2Vec nutzt die GPU-Parallelisierung voll aus. Der Trainingsdurchsatz war bis zu 11,96-mal höher und der Inferenzdurchsatz bis zu 62,67-mal höher als bei früheren Arbeiten. Die gesamte Inferenzlatenz wurde auf nur 11,12 % der bisherigen SOTA-Methoden reduziert.
Robustheit: Das Modell zeigte eine starke Robustheit gegenüber geringen Ereigniszahlen und reduzierten räumlichen Auflösungen (bis hinunter zu 1x1), wobei die Genauigkeit signifikant über dem Zufallsniveau blieb.
Ablationsstudien: Bestätigten, dass die Kombination aus parametrischer räumlicher Einbettung und konvolutionsbasierter zeitlicher Einbettung die höchste Genauigkeit liefert, was die Notwendigkeit induktiver Biases für Nachbarschaftssemantik validiert.

Bedeutung

Das Paper behauptet, dass Event2Vec einen neuartigen Paradigmenwechsel für die neuromorphe Vision einführt, indem es erstmals spärliche, irreguläre Ereignisdaten erfolgreich in Hochdurchsatz-Transformer-Architekturen integriert. Dieser Durchbruch löst den langjährigen Zielkonflikt zwischen der Aufrechterhaltung der Datenspärlichkeit und der Maximierung der GPU-Effizienz auf.

Die Bedeutung liegt nicht nur in den Leistungsmetriken (Parametereffizienz, niedrige Latenz, hoher Durchsatz), die es für den Einsatz auf ressourcenbeschränkten Edge-Geräten geeignet machen, sondern auch in der konzeptionellen Übereinstimmung von Ereignisströmen mit dem NLP-Paradigma. Indem Ereignisse als eine sequenzielle Sprache behandelt werden, legt diese Arbeit neue Wege nahe, hochentwickelte Architekturen, die für Large Language Models entwickelt wurden, auf Aufgaben der neuromorphen Vision anzuwenden.