Technische Samenvatting: Event2Vec

Probleemstelling

Neuromorfe event-camera's bieden een superieure temporele resolutie, energie-efficiëntie en dynamisch bereik vergeleken met traditionele frame-gebaseerde camera's. Echter, hun data-output is inherent asynchroon, ijl (sparse) en onregelmatig, typisch gecodeerd in Address-Event Representation (AER) als tupels $(x, y, t, p)$. Dit formaat vormt een fundamentele incompatibiliteit met moderne deep learning-architecturen, die zijn ontworpen voor dichte, synchrone en regelmatig gestructureerde tensoren.

Bestaande oplossingen staan voor een afweging:

1. Dichte Representaties: Het converteren van events naar dichte frames (bijv. event frames, voxel grids) maakt het gebruik van standaard CNN's en Transformers mogelijk, maar offert de asynchrone, ijle en hoog-temporele resolutie van de ruwe data op.
2. Onregelmatige Modellen: Het gebruik van Spiking Neural Networks (SNN's), Sparse Convolutions of Graph Neural Networks (GNN's) behoudt de ijle structuur, maar faalt vaak in het benutten van de enorme parallelle verwerkingscapaciteiten van GPU's, wat leidt tot lagere throughput en hogere latentie.

De kernuitdaging is het verwerken van ijle, onregelmatige event-data direct met behulp van high-throughput, GPU-versnelde architecturen (zoals Transformers) zonder de data te converteren naar dichte tussenliggende representaties.

Methodologie: Event2Vec

Geïnspireerd door de analogie tussen woorden in Natural Language Processing (NLP) en events in computer vision, stellen de auteurs Event2Vec voor, een methode die events direct in een vectorruimte inbedt.

1. Conceptuele Analogie

Het paper trekt een parallel tussen NLP-tokens en neuromorfische events:

• Index: De vocabulaire-index van een woord komt overeen met het ruimtelijke adres $(x, y, p)$ van een event.
• Positie: De sequentiële positie van een woord in een zin komt overeen met de tijdstempel $t$ van een event.
• Context: Net zoals de betekenis van een woord afhangt van de omringende tekst, wordt de significantie van een event afgeleid van zijn spatiotemporele context.

2. Vectorrepresentatie

De kern van Event2Vec is de inbedding van een event-tuple $(x, y, t, p)$ in een $D$-dimensionale vector $v$ via additieve fusie:
$$v = v_s + v_t = \text{Embed}_s(x, y, p) + \text{Embed}_t(t)$$

• Ruimtelijke Inbedding ($\text{Embed}_s$): In tegenstelling tot standaard NLP lookup-tables die indices als niet-semantische identifiers behandelen, stellen de auteurs een parametrische ruimtelijke inbedding voor. Een continue, differentiabele neurale netwerk $\phi$ genereert de inbeddingsmatrix. Dit zorgt ervoor dat events met ruimtelijk nabijgelegen coördinaten semantisch gelijkaardige vectoren opleveren, waardoor de "nabuurschapsemantiek" die cruciaal is voor visuele data, wordt gevangen.
• Temporele Inbedding ($\text{Embed}_t$): In plaats van absolute tijdstempels of sinusoïdale encodings (ontworpen voor uniforme intervallen) te gebruiken, verwerkt de temporele module de eerste-orde temporele verschillen ($\Delta t$) tussen opeenvolgende events. Dit wordt geïmplementeerd via een stapel convolutionele lagen. Deze aanpak biedt tijdverschuivings-invariantie, contextuele consistentie en fungeert als een vorm van temporele preconditioning, waardoor het netwerk lokale event-densiteit en snelheid kan leren.

3. Sampling en Aggregatie

Om variabele lengte event-streams en batch-verwerkingsvereisten aan te pakken:

• Random Sampling: Wordt gebruikt voor eenvoudigere taken, wat een hoge computationele efficiëntie biedt.
• K-Means++ Clustering: Voor complexe taken (bijv. DVS-Lip) worden events geaggregeerd in $L$ representatieve clusters. De auteurs introduceren een GPU-gebaseerd Batched K-Means++ algoritme om de inference-latentie te minimaliseren. De intensiteit van een cluster (het aantal geaggregeerde ruwe events) wordt gebruikt om de inbeddingsvector te moduleren via een logaritmische weegfactor $(\log \rho + 1)$.

4. Netwerkarchitectuur

De Event2Vec-representatie wordt gevoed aan een Transformer-gebaseerde backbone (specifiek gebruikmakend van de Forgetting Transformer of Gated Linear Attention) gevolgd door een classificatiekop. De architectuur bevat:

• Event2Vec Module: Genereert de spatiotemporele inbeddingen.
• Backbone: Gestapelde Transformer-blokken met self-attention mechanismen. De auteurs breiden de Forgetting Transformer uit naar een met parameters gedeelde bi-directionele formulering om de leerprestaties te verbeteren.
• Classificatiekop: Average pooling gevolgd door een lineaire laag.

Belangrijkste Bijdragen

1. Directe IJle Verwerking: Event2Vec maakt directe verwerking van ijle, asynchrone event-streams mogelijk met behulp van dichte, regelmatige Transformer-architecturen, waardoor het conflict tussen data-ijlheid en GPU-efficiëntie wordt opgelost.
2. Nieuwe Inbeddingen: De introductie van parametrische ruimtelijke inbeddingen om buurschapsemantiek te vangen en convolutionele temporele inbeddingen op $\Delta t$ om met niet-uniforme tijdstempels om te gaan.
3. Efficiënte Clustering: Een GPU-versnelde Batched K-Means++ algoritme voor het aggregeren van events, waarbij een balans wordt gevonden tussen informatiebehoud en lage latentie.
4. Paradigmaverschuiving: Het aantonen dat event-data als een sequentiële taal behandeld kan worden, wat de deur opent naar het toepassen van Large Language Model (LLM) architecturen op neuromorfische visie.

Experimentele Resultaten

De methode werd geëvalueerd op drie benchmarks: DVS Gesture, ASL-DVS en DVS-Lip.

• Nauwkeurigheid: Event2Vec behaalde een concurrerende of state-of-the-art nauwkeurigheid. Opvallend genoeg bereikte het 99,91% op ASL-DVS en 75,88% op DVS-Lip (met geclusterde events), waarmee het verschillende dichte-frame en onregelmatige-model baselines versloeg.
• Parameter-efficiëntie: De modellen zijn aanzienlijk kleiner dan eerdere SOTA-methoden. Bijvoorbeeld, op de ASL-DVS dataset gebruikte het Event2Vec-model 815,93× minder parameters dan een concurrerend GNN & Transformer model.
• Throughput en Latentie: Event2Vec benut de GPU-parallellisatie volledig. De trainings-throughput was tot 11,96× hoger, en de inference-throughput tot 62,67× hoger dan voorgaande werken. De totale inference-latentie werd teruggebracht tot slechts 11,12% van de voorheen gangbare SOTA-methoden.
• Robuustheid: Het model vertoonde een sterke robuustheid bij lage event-aantallen en verminderde ruimtelijke resoluties (tot 1x1), waarbij de nauwkeurigheid aanzienlijk boven willekeurige gokken bleef.
• Ablatie-studies: Bevestigden dat de combinatie van parametrische ruimtelijke inbedding en convolutionele temporele inbedding de hoogste nauwkeurigheid oplevert, wat de noodzaak van inductieve biases voor buurschapsemantiek valideert.

Betekenis

Het paper stelt dat Event2Vec een nieuw paradigma introduceert voor neuromorfische visie door voor het eerst ijle, onregelmatige event-streams succesvol te integreren in high-throughput Transformer-architecturen. Deze doorbraak lost het langdurige compromis op tussen het behouden van data-ijlheid en het maximaliseren van GPU-efficiëntie.

De betekenis ligt niet alleen in de prestatie-indicatoren (parameter-efficiëntie, lage latentie, hoge throughput) die het geschikt maken voor real-time, resource-beperkte edge-apparaten, maar ook in de conceptuele afstemming van event-streams met het NLP-paradigma. Door events als een sequentiële taal te behandelen, suggereert dit werk nieuwe wegen voor het toepassen van geavanceerde architecturen die ontwikkeld zijn voor Large Language Models op neuromorfische visietaken.