SpikeStereoNet: A Brain-Inspired Framework for Stereo Depth Estimation from Spike Streams

Probleemstelling

Conventionele stereoscopische dieptebepaling, die gebaseerd is op frame-gebaseerde camera's, kampt met ernstige beperkingen in dynamische scènes. Deze systemen lijden onder bewegingsonscherpte (motion blur) en latentie, wat de nauwkeurigheid van dieptebepaling in snel veranderende omgevingen vermindert.

Daarentegen bieden bio-geïnspireerde spike-camera's een alternatieve sensorische modus. Deze camera's genereren asynchrone gebeurtenissen (spikes) met een microseconde-resolutie, wat hen ideaal maakt voor het vastleggen van snelle bewegingen en intensiteitsveranderingen. Echter, bestaande methoden voor stereovisie zijn niet ontworpen voor deze data:

1. Data-incompatibiliteit: Spike-data is asynchroon, binaire en hoogdoorvoerend, terwijl bestaande algoritmen synchrone, intensiteit-gebaseerde beeldparen verwachten.
2. Verlies van informatie: Het converteren van spike-stromen naar frames introduceert tijdsquantisatiefouten, bewegingsonscherpte en rekenkundige overhead, waardoor de inherente voordelen van de sensor verloren gaan.
3. Gebrek aan benchmarks: Er ontbreken gespecialiseerde algoritmen en benchmarks voor dieptebepaling direct vanuit ruwe spike-stromen.

Methodologie: SpikeStereoNet

De auteurs stellen SpikeStereoNet voor, een end-to-end, bio-geïnspireerd raamwerk dat diepte direct schat uit ruwe spike-stromen van twee viewpoints. De architectuur bestaat uit vier hoofdcomponenten:

1. Spike Feature Extractie:

   • Het model verwerkt linker- en rechter spike-stromen ($S \in \{0, 1\}^{N \times H \times W}$) via een contextnetwerk en feature-netwerken.
   • Het gebruikt convolutielagen en residublokken om multi-scale features te extraheren (op schalen van 1/4, 1/8 en 1/16).
   • Een correlatie-volumepyramide wordt gebouwd om de overeenkomst tussen linker- en rechter features te kwantificeren.

2. RSNN Update Operator (Recurrent Spiking Neural Network):

   • Het hart van het systeem is een RSNN die geïntegreerd is in een iteratief verfijningsproces (geïnspireerd door RAFT-Stereo).
   • De RSNN bestaat uit drie lagen met recurrente intra-layer connecties en feedforward inter-layer connecties.
   • Adaptieve LIF Neuronen: In plaats van statische neuronen, gebruikt het model een aangepast Adaptive Leaky Integrate-and-Fire (ALIF) model. De parameters voor membraanpotentiaal-retentie ($\alpha$), vuurdrempel ($\beta$) en soft-reset ($\gamma$) zijn adaptief variabelen die dynamisch worden aangepast op basis van de neuronale staat en context. Dit bootst biologische neurale aanpassing na.
   • De RSNN gebruikt lokale kostenvolumes en contextuele cues om de disparity (verschil) iteratief te updaten.

3. Ruimtelijke Upsampling:

   • De finale disparity wordt voorspeld op 1/4 resolutie en vervolgens opgeschaald naar volledige resolutie met behulp van een convexe combinatie-strategie.

4. Verliesfunctie:

   • Het model wordt getraind met een samengestelde verliesfunctie:
     • $L_{stereo}$: L1-norm afstand tussen voorspelde en ground-truth disparity.
     • $L_{rate\_reg}$: Regularisatie om de vuursnelheid van neuronen te beperken (promoot temporal sparsity).
     • $L_{v\_reg}$: Voltage regularisatie om de dynamiek van het membraanpotentiaal te stabiliseren.

Datasets en Experimenten

Om de methode te valideren, introduceerden de auteurs twee nieuwe datasets:

• Synthetische Dataset: Gecreëerd met Blender, bevat 150 trainings- en 40 testscènes met RGB-beelden, ground-truth diepte en gesimuleerde spike-stromen (met ruismodelling).
• Real-world Dataset: Opgenomen met twee spike-camera's (400x250, 20kHz) en één Kinect-camera voor ground-truth diepte. De dataset bevat meer dan 3.000 stereo-paren in diverse binnenomgevingen.

Resultaten:

• Synthetische Data: SpikeStereoNet presteert superieur op alle metrieken (bad pixel ratio, AvgErr) vergeleken met state-of-the-art frame-gebaseerde methoden (zoals RAFT-Stereo, IGEV-Stereo) en event-gebaseerde methoden (zoals ZEST). Het bereikt een AvgErr van 0.42 px.
• Real-world Data: Zelfs met domain adaptation (fine-tuning op echte data), overtreft het model concurrenten, vooral in uitdagende gebieden zoals textuurloze oppervlakken en extreme verlichting.
• Data-efficiëntie: Het model behoudt hoge nauwkeurigheid zelfs wanneer het getraind wordt met slechts 10-50% van de trainingsdata, wat aantoont dat het beter generaliseert in data-schaarste scenario's dan bestaande modellen.
• Efficiëntie: Het model biedt een goede balans tussen prestaties en rekencost (FLOPs), met een inferentie-snelheid die concurrerend is met andere methoden.

Belangrijkste Bijdragen

1. Nieuwe Datasets: De introductie van een grote synthetische en een real-world dataset voor stereoscopische dieptebepaling met spike-stromen, wat een cruciale benchmark voor dit opkomende veld vormt.
2. Bio-geïnspireerde Architectuur: Het voorstellen van SpikeStereoNet, een RSNN-gebaseerd model dat asynchrone spike-data direct verwerkt via iteratieve updates, zonder conversie naar frames.
3. Dynamische Analyse: Een theoretische en empirische analyse van de RSNN-iteraties die stabiliteit, convergentie en de expressieve kracht van het model aantonen (o.a. via eigenwaarde-analyse).
4. Data-efficiëntie: Het aantonen dat het framework sterke generalisatievermogens heeft, zelfs met beperkte trainingsdata.

Significantie

Dit werk is een doorbraak in het veld van neuromorfe visie. Het bewijst dat spike-camera's, wanneer gekoppeld aan een specifiek ontworpen bio-geïnspireerd diep leernetwerk, superieure prestaties kunnen leveren in dynamische 3D-perceptie vergeleken met traditionele frame-gebaseerde systemen. De oplossing lost het probleem op van het verlies van tijdsinformatie bij conversie naar frames en biedt een robuuste, energie-efficiënte aanpak voor toepassingen zoals robotica en autonoom rijden in complexe omgevingen. De publicatie legt de basis voor toekomstig onderzoek in spike-gebaseerde stereovisie.