Riepilogo Tecnico: Rilevamento di Oggetti in Vista dall'Alto (Bird's Eye View) basato su LiDAR Neuromorfico utilizzando Reti Neurali a Spiking Energy-Efficient

1. Enunciato del Problema

La percezione per la guida autonoma richiede un elaborazione accurata dei dati dei sensori 3D sotto vincoli energetici rigorosi. Sebbene le Reti Neurali Convoluzionali (CNN) dominino il rilevamento di oggetti 3D basato su LiDAR, sono computazionalmente intensive e energeticamente inefficienti per piattaforme neuromorfe con risorse limitate. Le CNN elaborano ogni posizione spaziale con uguale peso, portando a un significativo spreco computazionale sulle celle sparse e vuote tipiche delle mappe LiDAR in Vista dall'Alto (BEV). Inoltre, la loro operazione basata su frame non sfrutta la persistenza temporale o la natura guidata dagli eventi dei sensori di prossima generazione.

Le Reti Neurali a Spiking (SNN) offrono una potenziale soluzione attraverso un calcolo guidato dagli eventi, sparso e un'integrazione temporale. Tuttavia, la loro applicazione a compiti complessi di percezione del mondo reale come il rilevamento di oggetti 3D è stata limitata. Gli approcci SNN esistenti spesso si basano sulla conversione di CNN pre-addestrate (limitando accuratezza e apprendimento temporale) o faticano a gestire la sfida di eseguire regressioni continue (ad esempio, dimensioni della scatola di delimitazione) direttamente da uscite binarie a spike.

2. Metodologia

Gli autori propongono una rete end-to-end di tipo encoder-decoder a spiking addestrata da zero utilizzando la retropropagazione del gradiente surrogato, specificamente progettata per il rilevamento di oggetti LiDAR in BEV.

Rappresentazione dell'Input

Le nuvole di punti LiDAR grezze sono proiettate in una mappa BEV 2D ($320 \times 320$ celle). L'input è composto da 11 canali:

• 5 Caratteristiche Geometriche/Riflettanza: Altezza massima, occupazione binaria, riflettanza media, altezza minima e deviazione standard dell'altezza.
• 6 Bins dell'Asse Z: Una mappa di occupazione binaria che discretizza l'asse verticale (da 0 a 2,4m) per preservare la struttura verticale.

Architettura della Rete

Il modello segue un design U-Net adattato per il calcolo a spiking:

• Encoder: Quattro blocchi di downsampling (DB1–DB4) che utilizzano neuroni Leaky Integrate-and-Fire (LIF). Ogni blocco include strati convoluzionali, Normalizzazione di Gruppo (GN) e connessioni residue (skip connections).
• Decoder: Quattro blocchi di upsampling (UB) che aggregano caratteristiche multi-scala per ripristinare la risoluzione spaziale.
• Teste di Output: Tre teste parallele che operano su caratteristiche a piena risoluzione:
  • Testa dei Punti Chiave (Keypoint Head): Prevede i centri degli oggetti tramite mappe di calore Gaussiane.
  • Testa della Scatola (Box Head): Prevede le dimensioni della scatola di delimitazione ($\log_{10}$ di altezza, larghezza, lunghezza).
  • Testa di Rotazione (Rotation Head): Prevede l'orientamento di direzione come una classificazione su 31 bin ($6^\circ$ ciascuno).

Addestramento e Funzioni di Perdita

La rete è addestrata utilizzando la libreria snntorch con gradienti surrogati per gestire la non differenziabilità della generazione di spike. Le innovazioni chiave includono:

1. Strategia di Input Self-Coding: Invece di codifiche Poisson o di latenza create manualmente, lo stesso frame BEV viene presentato identicamente attraverso $T=13$ passi temporali. Questo permette ai neuroni LIF di integrare le prove nel tempo, superando gli schemi di codifica tradizionali.
2. Perdita Temporale a Due Punti per i Punti Chiave: Una combinazione di Focal Loss e Masked Dice Loss applicata sia a una finestra temporale precoce che all'intera finestra temporale. Questo impone coerenza spaziale e gestisce lo squilibrio di classe nelle mappe BEV sparse.
3. Perdita di Regressione Codificata per Popolazione: Per prevedere dimensioni continue della scatola di delimitazione da spike binari, il metodo utilizza un cluster locale di neuroni $k \times k$. L'obiettivo di regressione viene decodificato dalla media collettiva del tasso di firing di questa popolazione, eliminando la necessità di discretizzare gli obiettivi di regressione in bin.

Varianti di Inferenza

Il documento valuta due modalità di inferenza:

• Potenziale di Membrana (vmem): Legge il potenziale di membrana continuo al livello di output per la massima accuratezza.
• Completamente Binaria (spike): Opera esclusivamente su treni di spike binari a ogni livello, adatta al dispiegamento diretto su hardware neuromorfico che non espone gli stati interni della membrana.

3. Risultati Chiave

Valutati sul benchmark KITTI (Classe Auto, IoU=0.5 e 0.7):

• Accuratezza:

  • La variante vmem raggiunge 92,05/87,04/86,51 AP (Facile/Moderato/Difficile) a IoU=0.5, superando tutti i baseline CNN (ad esempio, PointPillars, PointRCNN) sulla metrica Facile e stabilendo un nuovo stato dell'arte tra i rilevatori SNN.
  • La variante completamente binaria a spike raggiunge 88,51/85,72/83,14 AP a IoU=0.5, superando tutti i precedenti rilevatori BEV basati su SNN (ad esempio, SpikiLi, DeepSCNN) utilizzando solo attivazioni binarie.
  • Il divario di prestazioni tra la variante a spike binari e la variante vmem è di circa 3–4 punti AP, quantificando il costo della lettura binaria ma rimanendo significativamente più ristretto dei tipici divari SNN-to-CNN.

• Efficienza Energetica:

  • Un'analisi energetica blocco per blocco utilizzando costanti tecnologiche a 45nm stima una riduzione di 3,33× nell'energia delle operazioni sinaptiche rispetto a una CNN equivalente sotto una simulazione conservativa basata su loop (dove l'input viene ripetuto $T=13$ volte).
  • Questa efficienza è guidata da due meccanismi: la sostituzione delle operazioni Multiply-Accumulate (MAC) con operazioni Accumulate-Only (AC) (risparmi di 5,1× per evento) e un'88,19% di sparsità di firing (tasso medio di firing di 0,1181).
  • Gli autori notano che su hardware neuromorfico dedicato, dove i passi temporali si svolgono naturalmente senza sovraccarico di loop, il vantaggio energetico effettivo potrebbe scalare a circa 43×.

4. Significato e Affermazioni

Il documento afferma di colmare il divario tra l'efficienza energetica teorica delle SNN e l'accuratezza pratica richiesta per la percezione nella guida autonoma. I suoi contributi principali sono:

1. Fattibilità delle SNN End-to-End per il Rilevamento 3D: Dimostrare che le SNN possono eguagliare l'accuratezza delle CNN a precisione completa in compiti complessi di rilevamento 3D senza fare affidamento sulla conversione CNN-to-SNN.
2. Nuove Funzioni di Perdita nel Dominio degli Spike: Introdurre regressione codificata per popolazione e perdite temporali a due punti che permettono un flusso di gradiente efficace e una stima di valori continui direttamente da spike binari, rimuovendo la necessità di discretizzazione o attivazioni intermedie continue.
3. Guadagni Energetici Quantificabili: Fornire un'analisi energetica rigorosa, blocco per blocco, che traccia i risparmi a specifici stadi architetturali e tipi di operazioni (MAC vs AC), validando la fattibilità delle SNN per il dispiegamento automobilistico vincolato dall'energia.

Gli autori concludono che, sebbene il lavoro attuale operi su frame statici, l'architettura è progettata per un dispiegamento sequenziale in cui i frame dei sensori in arrivo avanzano naturalmente le dinamiche a spiking, posizionando le SNN come un'architettura promettente per pipeline di sensing ad alto tasso e guidate da eventi nei veicoli autonomi di prossima generazione.