Technische Samenvatting: Neural Events: Discrete Asynchrone Autoencoders voor Event-Based Vision

Probleemstelling

Event-camera's bieden een uitzonderlijke temporele getrouwheid door scènes vast te leggen als een continue stroom van microseconde-resolutie events, waarbij elk event een gelokaliseerde helderheidsverandering signaleert. Echter, individuele events dragen minimale semantische waarde, wat algoritmen vereist om enorme stromen informatiearme data te integreren. Huidige architecturen kampen met een fundamentele afweging:

• Synchrone benaderingen (bijv. CNN's, Transformers) aggregeren events in dichte feature maps. Hoewel effectief, verliezen zij het event-gestuurde karakter van de data, wat leidt tot verspillende verwerking, opslag en verhoogde latentie.
• Asynchrone benaderingen (bijv. Spiking Neural Networks, Graph Neural Networks) behouden periodiciteit en timing, maar worstelen met schaalbaarheid. SNN's worden beperkt door trage sequentiële verwerking, terwijl GNN's enorme geheugenoverhead veroorzaken door dynamische graafconstructie, wat vaak resulteert in een lagere taakprestatie vergeleken met dichte methoden.

De kernuitdaging is om event-patronen te representeren op een manier die schaalbaar is, precieze timing en periodiciteit behoudt, en datadoorvoer vermindert zonder de semantische rijkdom op te offeren.

Methodologie

Het artikel stelt een framework voor om ruwe event-stromen te her-tokeniseren naar een compacte set "neural events". Dit zijn semantisch rijke, spatio-temporeel ijle representaties die groepen ruwe events samenvatten in discrete codes.

1. Definitie van Neural Events

Een neural event $n_i$ wordt gedefinieerd door een patch-locatie $p_i$, een tijdstempel $\tau_i$, en een discrete feature $z_i$ geselecteerd uit een geleerd codeboek $Q$. De mapping $\phi$ reduceert het aantal events ($N' \ll N$) en het ruimtelijke domein ($|\Omega'| \ll |\Omega|$).

2. Discrete Asynchrone Encoder

De generatie van neural events vindt plaats op patch-niveau en omvat vier stadia:

• Input Embedding: Ruwe events worden geprojecteerd in een continue vectorruimte met behulp van ruimtelijke en temporele embeddings (inclusief sine/cosine positionele encodings voor tijd).
• Linear Transformer (RWKV-7): Een lineaire attention-recurrent model verwerkt de event-sequentie binnen elke patch. Het werkt een lokale geheugenstatus $S_m$ bij om een continue logit-vector $o_i$ te produceren. Deze architectuur vermijdt de kwadratische complexiteit van standaard Transformers en de sequentiële bottlenecks van LSTM's.
• Quantisatie: De continue logits worden gemapt naar een eindige set discrete codes uit een geleerd codeboek met behulp van een Gumbel Softmax operator (Straight-Through Estimator). Dit zet analoge potentialen om in discrete tokens, analoog aan spiking in SNN's, maar met een lagere trainingscomplexiteit.
• Retokenisatie (Triggering): Een neural event wordt alleen getriggerd wanneer de toegewezen code verandert van de vorige staat ($z_{im} \neq z_{im-1}$). Dit fungeert als een asynchrone, vele-op-één semantische compressor die redundante events weglaat waar de code constant blijft.

3. Representatie-leren (Pre-training)

Om code-toewijzingen te stabiliseren en "chatter" (frequent flippen bij beslissingsgrenzen) te voorkomen, gebruiken de auteurs een ongesuperviseerde pre-training strategie die drie doelstellingen combineert:

• Reconstructie Verlies ($L_R$): De discrete codes worden per patch geaggregeerd en gedecodeerd om een time-surface representatie van de oorspronkelijke events te reconstrueren.
• Rate Alignment Loss ($L_{RA}$): Moedigt gelijkenis in latente representaties aan voor events met vergelijkbare inter-event rates, waardoor de logits worden uitgelijnd met de event rate dynamiek.
• Latent Straightening Loss ($L_{LS}$): Minimaliseert het hoekverschil in de snelheid van opeenvolgende logits, waardoor trajecten in de waarschijnlijkheids-simplex worden gladgestreken om onnodige code-flips te verminderen.

Belangrijkste Bijdragen

1. Asynchrone Discrete Encoder: Een nieuwe architectuur die neural events leert van ruwe stromen, wat outputs produceert die semantisch rijk, spatio-temporeel ijl en compacte discrete latente ruimtes bezetten.
2. Unieke Tokenisatie Mechanisme: Een trigger-strategie die een neural event alleen uitzendt bij een code-flip. Dit generaliseert level-based sampling naar de waarschijnlijkheids-simplex, wat effectief redundante informatie filtert.
3. Stabiliserende Pre-training Strategie: Een combinatie van reconstructie, rate alignment en latent straightness doelstellingen die de codeboek-toewijzing stabiliseert, redundant spiking voorkomt en een hoge event rate reductie mogelijk maakt.

Experimentele Resultaten

De methode werd geëvalueerd op objectdetectie (DSEC, Gen1) en classificatie (N-Caltech101) taken.

• Event Rate Reductie: Het framework reduceert de event rate met een factor 2.0 terwijl het slechts één extra bit aan informatie per event toevoegt (de discrete code index).
• Prestaties:
  • Objectdetectie: Op de Gen1 dataset bereikte de voorgestelde methode (TokSwinT) 49.9 mAP, waarmee zij de state-of-the-art synchrone (GET, 47.9 mAP) en asynchroon-naar-synchroon (EVA-L, 47.7 mAP) benaderingen overtrof. Op DSEC verbeterde het koppelen van de tokenizer aan een asynchrone backbone (TokDAGr) de prestaties van het basismodel met 9.0 mAP.
  • Object Classificatie: Op N-Caltech101 bereikte de methode 86.5% nauwkeurigheid, presterend op gelijke voet met of beter dan bestaande synchrone, asynchrone en A2S baselines.
• Efficiëntie:
  • De encoder vereist slechts 140 KFLOPS per event, wat 17× lager is dan de state-of-the-art EVA-L encoder.
  • De methode vermindert de computationele last en het energieverbruik (µJ/ev) aanzienlijk vergeleken met zowel synchrone als asynchrone baselines.

Betekenis en Claims

Het artikel claimt dat neural events een schaalbare oplossing bieden voor de bandbreedte- en geheugenbottlenecks van huidige event-based vision. Door ruwe stromen te comprimeren tot discrete tokens, behoudt de methode de kritieke spatio-temporele dynamiek die nodig is voor high-performance perceptie, terwijl de computationele last op downstream netwerken drastisch wordt verminderd.

De auteurs benadrukken dat deze benadering het gebruik van kleinere, efficiëntere downstream netwerken mogelijk maakt en de inzet op geheugenbeperkte edge hardware vergemakkelijkt. Hoewel zij een prestatiekloof erkennen ten opzichte van zwaar geparametriseerde synchrone frame-gebaseerde methoden voor complexe taken, demonstreert het werk dat discrete asynchrone encoding state-of-the-art resultaten kan behalen met aanzienlijk lagere middelen. Het artikel concludeert dat deze richting essentieel is voor de mogelijkheid tot ultra-low-power inzet op edge-apparaten en de deur opent naar meer algemene vormen van event representatie-leren buiten traditionele event-camera's.