SpikeStereoNet: A Brain-Inspired Framework for Stereo Depth Estimation from Spike Streams

1. Il Problema

La percezione della profondità stereoscopica è fondamentale per applicazioni come la robotica e la navigazione autonoma. Tuttavia, i sistemi tradizionali basati su telecamere a fotogrammi (frame-based) soffrono di limiti significativi in scenari dinamici rapidi, come sfocatura da movimento (motion blur) e latenza.

Le telecamere a impulsi (spike cameras), ispirate alla retina biologica, offrono una risoluzione temporale ultra-elevata (fino a 40.000 Hz) e un flusso di dati asincrono e binario. Nonostante il loro potenziale, l'estimazione della profondità stereoscopica diretta dai flussi di impulsi grezzi (raw spike streams) rimane una sfida aperta a causa di:

• Incompatibilità algoritmica: Gli algoritmi esistenti sono progettati per coppie di immagini sincrone e a valori di intensità, non per flussi asincroni binari.
• Perdita di vantaggi: Convertire i flussi di impulsi in fotogrammi introduce errori di quantizzazione temporale e sfocatura, annullando i vantaggi intrinseci del sensore.
• Mancanza di benchmark: Non esistevano dataset o algoritmi specializzati per l'estimazione della profondità stereoscopica diretta dai dati grezzi delle telecamere a impulsi.

2. Metodologia: SpikeStereoNet

Gli autori propongono SpikeStereoNet, un framework end-to-end ispirato al cervello che stima la profondità stereoscopica direttamente dai flussi di impulsi grezzi senza conversione in fotogrammi.

Architettura del Modello

Il sistema si basa su una Rete Neurale a Impulsi Ricorrente (RSNN) integrata in un ciclo di raffinamento iterativo:

1. Estrazione delle Caratteristiche (Feature Extraction):
   • Due flussi di impulsi (sinistro e destro) vengono elaborati da una rete di estrazione che utilizza blocchi residui per generare caratteristiche multiscala (1/4, 1/8, 1/16 della risoluzione originale).
   • Viene costruita una piramide di correlazione per calcolare il volume dei costi tra le caratteristiche delle due viste.
2. Operatore di Aggiornamento RSNN (RSNN-Based Update Operator):
   • Il cuore del modello è un modulo RSNN a tre livelli che aggiorna iterativamente la stima della disparità.
   • Ispirazione Biologica: Utilizza un modello di neurone Adaptive Leaky Integrate-and-Fire (ALIF). A differenza dei neuroni LIF classici, questo modello introduce variabili adattive ($\alpha, \beta, \gamma$) che regolano dinamicamente il potenziale di membrana, la soglia di fuoco e il reset, imitando l'adattamento neuronale biologico.
   • Connessioni: Combina connessioni ricorrenti intra-strato e feedforward inter-strato per catturare le dinamiche spaziotemporali su diverse scale.
3. Raffinamento Iterativo:
   • La disparità viene aggiornata iterativamente ($d_t = d_{t-1} + \Delta d_t$) utilizzando il volume dei costi locale e i contesti forniti dalla RSNN.
   • La mappa di disparità finale viene upsampled a piena risoluzione tramite una strategia di combinazione convessa.

Funzione di Perdita (Loss Function)

Il modello è addestrato con una funzione di perdita composita:

• Perdita Stereoscopica ($L_{stereo}$): Distanza L1 tra la disparità predetta e quella ground truth, con pesi decrescenti nel tempo.
• Regolarizzazione del Tasso di Fuoco ($L_{rate\_reg}$): Penalizza le deviazioni dal tasso di fuoco target per promuovere la sparsità temporale.
• Regolarizzazione del Voltaggio ($L_{v\_reg}$): Penalizza le alte velocità del potenziale di membrana per garantire dinamiche temporali lisce e stabili.

3. Contributi Chiave

1. Nuovi Dataset di Benchmark:
   • Dataset Sintetico: Un dataset su larga scala generato con Blender, contenente 150 scene di addestramento e 40 di test, con flussi di impulsi ad alta risoluzione temporale e mappe di profondità ground truth dense.
   • Dataset Reale: Un dataset reale raccolto con due telecamere a impulsi e una telecamera di profondità (Kinect), contenente oltre 3.000 coppie di flussi stereoscopici con annotazioni di profondità.
2. Architettura Innovativa: Proposta di SpikeStereoNet, il primo framework che utilizza una RSNN adattiva per il raffinamento iterativo diretto dei dati grezzi delle telecamere a impulsi.
3. Analisi delle Dinamiche: Dimostrazione teorica ed empirica della stabilità e convergenza del modello RSNN, mostrando come le proprietà adattive garantiscano un comportamento stabile anche con dati limitati.
4. Efficienza dei Dati: Il framework dimostra un'alta efficienza nell'apprendimento, mantenendo prestazioni elevate anche con una frazione significativa dei dati di addestramento ridotta.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti confrontando SpikeStereoNet con metodi basati su fotogrammi (es. RAFT-Stereo, IGEV-Stereo) e metodi basati su eventi (es. ZEST, Stereospike).

• Prestazioni sul Dataset Sintetico: SpikeStereoNet ha ottenuto lo stato dell'arte (SOTA) su quasi tutte le metriche, superando i metodi concorrenti. Ha raggiunto un errore medio (AvgErr) di 0.42 px e una percentuale di pixel errati (bad 1.0) dell'8.41%, superando il secondo miglior metodo (Selective-Stereo con 0.45 px).
• Prestazioni sul Dataset Reale: Anche nel trasferimento su dati reali, il metodo ha dimostrato superiorità, ottenendo l'errore medio più basso (0.56 px) e gestendo meglio le regioni senza texture e le condizioni di illuminazione estrema.
• Efficienza Computazionale: Nonostante la complessità temporale, il modello mantiene un buon equilibrio tra accuratezza e costi computazionali (FLOPs), risultando competitivo in termini di velocità di inferenza rispetto alle architetture basate su Transformer.
• Robustezza: L'analisi di sensibilità mostra che il modello è robusto a variazioni nella soglia di generazione degli impulsi e nella quantizzazione temporale.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella visione neuromorfica:

• Superamento dei Limiti delle Telecamere Tradizionali: Dimostra che l'elaborazione diretta dei flussi di impulsi permette di ottenere stime di profondità robuste in scenari dinamici ad alta velocità, dove le telecamere convenzionali falliscono.
• Validazione dell'Approccio Biologico: Conferma che l'uso di modelli neuronali adattivi (ALIF) e architetture ricorrenti ispirate al cervello è superiore ai metodi tradizionali per gestire la natura asincrona e temporale dei dati delle telecamere a impulsi.
• Fondamento per Applicazioni Future: Fornisce un benchmark e un metodo solido per applicazioni critiche come la navigazione autonoma in ambienti complessi e il controllo robotico in tempo reale, aprendo la strada a sistemi di percezione 3D più veloci, efficienti energeticamente e precisi.

In sintesi, SpikeStereoNet colma il divario tra l'hardware neuromorfico avanzato e gli algoritmi di visione artificiale, dimostrando che l'estimazione della profondità stereoscopica diretta dai dati grezzi a impulsi è non solo possibile, ma superiore alle alternative attuali in scenari dinamici.