Efficient Event Camera Volume System

1. Il Problema

Le telecamere a eventi (event cameras) offrono vantaggi significativi per la robotica, come latenza estremamente bassa (microsecondi), alto intervallo dinamico (fino a 140 dB) e basso consumo energetico. Tuttavia, la loro natura asincrona e sparsa crea una sfida fondamentale per l'integrazione nei pipeline robotici standard, che si basano tipicamente su input densi (immagini a griglia).

Le soluzioni attuali presentano diversi limiti:

• Binning temporale: Metodi come i voxel grid o TORE (Time Ordered Recent Event) aggregano eventi in finestre temporali fisse, introducendo artefatti e perdendo la risoluzione temporale fine.
• Rigidità: Approcci come CES (che usano una singola trasformata, es. DFT) non si adattano alla variabilità della densità degli eventi nelle diverse scene.
• Compromessi: Esiste un trade-off tra precisione temporale, efficienza computazionale e compatibilità con le reti neurali standard.

2. Metodologia: EECVS

Il framework EECVS (Efficient Event Camera Volume System) propone una soluzione unificata che comprime adattivamente i flussi di eventi. La metodologia si basa su tre pilastri principali:

A. Modellazione del Segnale a Impulsi Dirac

A differenza dei metodi tradizionali che binarizzano il tempo, EECVS modella il flusso di eventi come una serie di impulsi Dirac nel tempo continuo:
$$s_w(t) = \sum_{i=1}^{N_w} p_i \delta(t - t_i)$$
dove $p_i$ è la polarità e $t_i$ il timestamp. Questo permette di valutare le trasformate direttamente sui timestamp degli eventi, eliminando gli artefatti del binning temporale e preservando la precisione microsecondica.

B. Selezione Adattiva Guidata dalla Densità

Il sistema stima la densità degli eventi ($\rho_w$) all'interno di finestre temporali e seleziona dinamicamente la trasformata più adatta in base al regime di attività:

1. Regime Sparso (Bassa densità): Viene utilizzata la Trasformata Wavelet Discreta (DWT). È ideale per rappresentare eventi isolati e strutture localizzate.
2. Regime Moderato: Viene utilizzata la Trasformata di Fourier nel Tempo Discreto (DTFT). Mantiene la fedeltà temporale per flussi di eventi con attività media.
3. Regime Denso (Alta densità): Viene utilizzata la Trasformata Discreta del Coseno (DCT). Offre la massima concentrazione di energia per attività intense e compatte.

Le soglie per queste selezioni sono calibrate automaticamente utilizzando i percentili della distribuzione della densità, rendendo il sistema robusto senza bisogno di tuning manuale.

C. Potatura dei Coefficienti e Rappresentazione Densa

Dopo la trasformazione, il sistema applica strategie di pruning specifiche per dominio per ridurre i coefficienti a un budget fisso $M$ (es. 16 coefficienti):

• Per la DCT: Si mantengono i primi $r$ coefficienti a bassa frequenza.
• Per DTFT e DWT: Si selezionano i $r$ coefficienti con la maggiore magnitudine.
  I coefficienti selezionati vengono poi impacchettati in una rappresentazione densa compatibile con i pipeline di percezione standard.

3. Contributi Chiave

1. Framework di Compressione Autonoma: EECVS è il primo framework che combina la modellazione a impulsi Dirac con una selezione di trasformata guidata dalla densità, eliminando gli artefatti temporali e adattandosi alle dinamiche della scena in tempo reale.
2. Analisi Sistematica di Ricostruzione: Dimostrazione empirica di come ogni trasformata preservi fedeltà temporale, dettaglio spaziale e contenuto informativo in diverse condizioni di densità.
3. Implementazione ROS2 e Validazione Reale: Un'implementazione modulare per ROS2 che supporta il deployment in tempo reale su robot, con valutazioni estese su compiti downstream (segmentazione).

4. Risultati Sperimentali

Il framework è stato valutato sui dataset EHPT-XC (alta densità, scenari reali) e MVSEC (densità moderata, guida autonoma).

• Qualità di Ricostruzione:

  • La DTFT ha ottenuto le prestazioni migliori in termini di fedeltà temporale (Earth Mover Distance - EMD più basso) in 8 su 9 scenari, con MSE e SSIM superiori.
  • In condizioni di scarsa illuminazione o eventi molto sparsi, la DWT ha mostrato una migliore allineamento temporale rispetto alla DTFT.
  • La DCT ha dimostrato stabilità e massima efficienza computazionale.

• Prestazioni Computazionali:

  • L'implementazione ROS2 ha raggiunto una latenza di 1.5 ms per la codifica DCT.
  • Il throughput della DCT è stato 2.7 volte superiore rispetto a DTFT e DWT (circa 2157 kevent/s contro ~800 kevent/s), rendendola ideale per scenari ad alta densità o vincolati dalla latenza.

• Validazione a Downstream (Segmentazione):

  • Utilizzando EventSAM per la segmentazione, EECVS ha dimostrato una generalizzazione eccezionale.
  • Su MVSEC, EECVS ha raggiunto un mIoU di 0.87 (a 24 canali), mentre le rappresentazioni a voxel (metodo standard) sono crollate a 0.44.
  • Su EHPT-XC, le prestazioni sono state competitive (mIoU ~0.78-0.85), mantenendo un vantaggio computazionale significativo.

5. Significato e Impatto

EECVS rappresenta un passo avanti cruciale per l'adozione delle telecamere a eventi nella robotica autonoma. Risolvendo il problema della conversione da dati sparsi a densi senza perdere informazioni temporali critiche, il framework:

• Colma il divario tra le capacità uniche di sensing delle telecamere a eventi e i requisiti dei pipeline di percezione standard.
• Abilita la robustezza in ambienti dinamici e con condizioni di luce estreme, dove i metodi fissi falliscono.
• Garantisce l'efficienza, permettendo l'elaborazione in tempo reale su hardware robotico con risorse limitate.

In sintesi, EECVS dimostra che un approccio di compressione adattivo, basato su principi di teoria del campionamento compresso e modellazione continua, supera i metodi statici attuali, offrendo sia alta fedeltà di ricostruzione che prestazioni computazionali superiori.