Maximizing Asynchronicity in Event-based Neural Networks

Dit artikel introduceert EVA, een nieuw asynchroon tot synchroon (A2S) framework dat door inspiratie uit taalmodellen event-gebaseerde visie verbetert en state-of-the-art prestaties behaalt op zowel herkennings- als detectietaken.

De kern

De "EVA": Een Nieuwe Manier om Event-Camera's te Laten Denken

Stel je voor dat je een camera hebt die niet werkt zoals een gewone camera. Een gewone camera neemt een foto, een vast beeld, 30 of 60 keer per seconde. Het is alsof je een film maakt van stilstaande plaatjes.

Een event-camera werkt heel anders. Het is meer als een groep duizenden kleine waarnemers die elk hun eigen ogen hebben. Ze zeggen alleen: "Hey, er is hier iets veranderd!" of "Hier is het donkerder geworden!". Ze praten niet in plaatjes, maar in een stroom van losse berichten (events) die razendsnel binnenkomen. Dit is super snel en bespaart veel energie, maar voor een computer is het een chaos. Het is alsof je probeert een boek te lezen, maar de woorden komen niet in zinnen, maar als losse letters die willekeurig door de kamer vliegen.

Tot nu toe moesten computers die losse letters eerst in rijtjes zetten (zoals een boek) voordat ze ze konden lezen. Dat kost tijd en energie.

De Oplossing: EVA (Event Asynchronous feature learning)

De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd EVA. Ze kijken naar die losse gebeurtenissen alsof het woorden in een gesprek zijn.

Hier is hoe het werkt, vertaald naar simpele analogieën:

1. De Vertaler (De Encoder)

Stel je voor dat EVA een super-snelle tolk is.

• Het oude probleem: Eerdere methoden probeerden de losse woorden (events) eerst in een zin te zetten en die zin pas te analyseren. Dat was traag.
• De EVA-methode: EVA luistert naar elk woord (elk event) zodra het binnenkomt. Het houdt een lopende samenvatting in zijn hoofd.
  • Analogie: Stel je voor dat je een gesprek luistert. Een oude computer zou wachten tot het gesprek voorbij is en dan proberen te onthouden wat er gezegd werd. EVA onthoudt echter direct wat er gezegd wordt, woord voor woord, en bouwt het verhaal direct op.

2. De "Matrix" in het Brein (MVHS)

EVA gebruikt een slimme techniek uit de taalwereld (zoals bij Chatbots).

• Normaal gesproken onthoudt een computer een woord als een simpele lijstje met cijfers.
• EVA onthoudt elk woord als een klein, complex kaartje (een matrix).
  • Analogie: Als je iemand ziet die boos is, onthoudt een simpele computer alleen "Boos". EVA onthoudt: "Boos, met rode vlekken op de wangen, met gebalde vuisten, en een trillende stem". Het onthoudt veel meer details in één keer, zonder dat het brein groter hoeft te worden. Dit maakt het veel slimmer en expressiever.

3. De Oefeningen (Zelflerend)

Voordat EVA echt gaat werken, laat de auteurs hem eerst "spelen" met de data. Ze gebruiken twee spelletjes:

• Het "Wat heb ik gemist?"-spel (MRP): EVA krijgt een stroom van losse gebeurtenissen en moet raden hoe dat eruit zou zien als het een gewone foto was (bijvoorbeeld: "Hoeveel beweging was er?"). Dit leert hem de wereld begrijpen zonder dat iemand hem vertelt wat hij moet doen.
• Het "Wat komt er nu?"-spel (NRP): EVA moet raden wat er volgende zal gebeuren.
  • Analogie: Het is alsof je een verhaal leest en moet raden hoe het eindigt. Als EVA goed kan raden wat er gaat gebeuren, betekent dit dat hij echt begrijpt hoe de wereld werkt (bijvoorbeeld: een auto beweegt in een rechte lijn), in plaats van alleen maar dingen uit het hoofd te leren.

Waarom is dit geweldig?

1. Het is supersnel: Omdat EVA niet hoeft te wachten tot er een plaatje klaar is, kan het dingen zien die te snel zijn voor een gewone camera. Het is alsof je een raceauto bestuurt die reageert op elke beweging van je handen, in plaats van wachten op een groen licht.
2. Het is slim: Het kan niet alleen herkennen wat er is (een auto, een hand), maar ook waar het is en hoe het beweegt.
3. Het werkt overal: De auteurs hebben getoond dat EVA heel goed is in het herkennen van gebaren (zoals dansen) en zelfs in het detecteren van auto's in druk verkeer.

Het Grote Resultaat
Voorheen konden deze snelle camera's alleen simpele dingen doen. Met EVA kunnen ze nu ook moeilijke taken aan, zoals het zien van auto's in het donker of bij regen, met een nauwkeurigheid die zelfs de beste traditionele methoden verslaat.

Kortom:
EVA is als het geven van een "menselijk brein" aan een robot die alleen maar piepjes en flitsjes ziet. Het leert die piepjes te vertalen naar een helder beeld van de wereld, in real-time, zonder te hoeven wachten. Dit opent de deur voor robots en auto's die echt "zien" zoals wij, maar dan veel sneller en scherper.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Maximizing Asynchronicity in Event-Based Neural Networks" (EVA), geschreven in het Nederlands.

Probleemstelling

Event-cameras (neuromorfe sensoren) bieden visuele data met een extreem hoge tijdsresolutie (tot 1 µs), lage latentie en minimale redundantie. Echter, de asynchrone en spaarse aard van deze data vormt een uitdaging voor standaard machine learning (ML) algoritmen, die doorgaans synchrone, tensor-gebaseerde inputs vereisen.

Bestaande oplossingen proberen dit gat te overbruggen via het Asynchronous-to-Synchronous (A2S) paradigma. Deze methoden coderen events asynchroon naar tensor-achtige features. De huidige A2S-methoden hebben echter twee belangrijke beperkingen:

1. Beperkte expressiviteit: Ze gebruiken vaak vereenvoudigde modellen voor rekenkundige efficiëntie, wat leidt tot suboptimale prestaties in complexe taken vergeleken met dichte, synchrone methoden.
2. Beperkte generaliseerbaarheid: De features worden end-to-end geleerd in een toezicht (supervised) manier, waardoor ze specifiek zijn voor een bepaalde taak en moeilijk overdraagbaar zijn naar andere toepassingen.

Methodologie: EVA (EVent Asynchronous feature learning)

De auteurs introduceren EVA, een nieuw A2S-framework dat inspiratie haalt uit de analogie tussen events en taal (Natural Language Processing - NLP). Net als woorden in een zin bouwen events incrementeel visuele informatie op.

De kerncomponenten van de methode zijn:

1. Asynchrone Encoder op basis van Lineaire Attention (LA)

• Architectuur: Het framework is gebaseerd op RWKV-6, een hoge-prestatie architectuur voor taalmodellen die lineaire attention gebruikt. Dit maakt zowel parallel training als recurrente inferentie mogelijk.
• Event Tokenization: Events $(t, x, y, p)$ worden getokeniseerd. De ruimtelijke component wordt gemapt naar een token, en de tijdscomponent wordt gecodeerd als tijdsverschil ($\Delta t$) in plaats van absolute tijdstempels om extrapolatieproblemen te voorkomen.
• Matrix-Value Hidden States (MVHS): In tegenstelling tot standaard NLP-modellen die 1D-embeddings outputten, gebruikt EVA de 2D Matrix-Value Hidden State ($S$) als output. Dit biedt een uitgebreid geheugen ($N \times D_{head} \times D_{head}$) zonder de modelbreedte te vergroten, wat de expressiviteit voor geaggregeerde globale informatie verhoogt.
• Patch-wise Encoding (PWE): Om de ruimtelijke localiteit van events te benutten en de complexiteit te verlagen, worden events opgedeeld in patches. Elk patch wordt onafhankelijk gecodeerd, wat de modelgrootte aanzienlijk verkleint en real-time verwerking op hoge resoluties mogelijk maakt.

2. Zelftoezichtende Leren (Self-Supervised Learning - SSL)
Om generaliseerbare features te leren die niet afhankelijk zijn van een specifieke taak, gebruikt EVA een zelftoezichtende trainingsstrategie met twee taken:

• Multi-Representation Prediction (MRP): De encoder moet handgemaakte (converted) representaties voorspellen, zoals Event Count (EC) en Time Surface (TS). Dit dwingt het model om diverse aspecten van de ruwe data te leren.
• Next-Representation Prediction (NRP): Geïnspireerd op "next-token prediction" in taalmodellen, moet het model representaties voorspellen voor een toekomstig tijdsvenster. Dit leert het model bewegingspatronen te begrijpen in plaats van alleen geschiedenis te memoriseren.

Kernbijdragen

1. Nieuwe Encoder Architectuur: Een asynchrone encoder op basis van RWKV-6 met MVHS en patch-wise encoding, die efficiënte, event-per-event feature updates mogelijk maakt met verbeterde expressiviteit.
2. Novel SSL Methode: Een multi-taak zelftoezichtende methode (MRP + NRP) die features leert die generaliseren over diverse downstream taken.
3. Eerste A2S voor Detectie: Het is het eerste A2S-framework dat succesvol complexe detectietaken aanpakt, wat eerder het domein was van synchrone methoden.

Resultaten

EVA werd getest op drie datasets: DVS128-Gesture (actieherkenning), N-Cars (binair classificatie) en Gen1 (automobiel detectie).

• Actieherkenning (DVS128-Gesture): EVA behaalde 96,9% file voting accuracy (FVA) en 92,9% sample accuracy (SA). Dit is een verbetering van respectievelijk 2,8% en 8,3% ten opzichte van de beste eerdere A2S-methode (ALERT-Transformer).
• Classificatie (N-Cars): Met een encoder vooraf getraind op Gen1, bereikte EVA een nauwkeurigheid van 96,3%, wat hoger is dan bestaande methoden die features leren van ruwe events.
• Objectdetectie (Gen1): Dit is de belangrijkste doorbraak. EVA bereikte een mAP van 47,7% op de Gen1 dataset. Dit is vergelijkbaar met de state-of-the-art (SOTA) synchrone methoden (zoals RVT-B met 47,2% mAP), maar behoudt de voordelen van asynchrone verwerking (lage latentie).
• Efficiëntie: De methode is in staat om real-time te werken, zelfs bij hoge event-rates, dankzij de patch-wise parallelle verwerking. De inferentie-latentie is laag (bijv. 1,5 ms voor de classifier op DVS128).

Betekenis en Impact

Deze paper markeert een significant keerpunt in event-based vision:

• Overbrugging van het prestatie-gat: Het bewijst dat asynchrone methoden niet langer hoeven in te leveren op nauwkeurigheid ten opzichte van synchrone, dichte methoden, zelfs niet voor uitdagende taken zoals objectdetectie.
• Generalisatie: Door zelftoezichtend leren te gebruiken, creëert EVA universele features die niet per taak hoeven te worden getraind, wat de toepasbaarheid in diverse real-world scenario's vergroot.
• Toekomstige Toepassingen: De combinatie van lage latentie, hoge tijdsresolutie en hoge nauwkeurigheid maakt EVA zeer geschikt voor real-time toepassingen in autonome voertuigen, robotica en snelle visuele systemen waar traditionele camera's tekortschieten.

Kortom, EVA maximaliseert de asynchroniciteit van event-cameras zonder de expressiviteit van moderne deep learning-modellen te verliezen, en opent zo de weg voor de volgende generatie real-time visuele systemen.