Toward Deep Representation Learning for Event-Enhanced Visual Autonomous Perception: the eAP Dataset

1. Il Problema

I sistemi di percezione visiva per la guida autonoma basati su telecamere a intervallo di tempo (SDR - Standard Dynamic Range) e su LiDAR incontrano limiti significativi in condizioni di illuminazione difficili (es. buio, controluce, tunnel) e con oggetti in movimento rapido. Le telecamere SDR soffrono di motion blur e sovra/sottoesposizione, mentre i LiDAR sono costosi e soffrono di sparsità dei punti.
Le telecamere a evento (event cameras) offrono una soluzione grazie alla loro alta risoluzione temporale e all'intervallo dinamico elevato (HDR), misurando le variazioni di luminosità in modo asincrono. Tuttavia, esiste una carenza critica di dataset su larga scala che combinino dati RGB e a evento con annotazioni precise per l'addestramento di modelli di deep learning avanzati. Senza questi dati, è difficile sviluppare modelli robusti per compiti critici come la rilevazione 3D dei veicoli e la stima del tempo di collisione (TTC - Time-to-Collision).

2. Metodologia e Proposte

Il lavoro introduce un approccio completo basato su tre pilastri principali:

A. Il Dataset eAP (event-enhanced Autonomous Perception)

È il dataset più grande mai creato per la percezione autonoma basato su telecamere a evento.

• Caratteristiche: Comprende 4,8 ore di dati raccolti in scenari autostradali, urbani e a bassa illuminazione (tunnel, notte).
• Sensori: Utilizza una configurazione multimodale con telecamere RGB ad alta risoluzione (1920x1200), telecamere a evento ad alta risoluzione (1280x720) e LiDAR densi (Livox) per annotazioni precise.
• Annotazioni: Include oltre 532.000 bounding box 3D e stime del TTC a livello di oggetto.
• Sincronizzazione: Garantisce una sincronizzazione temporale a livello di microsecondi tra tutti i sensori, fondamentale per la fusione RGB-Evento.

B. Rilevazione 3D dei Veicoli (3D Vehicle Detection)

Gli autori hanno proposto il primo approccio di rilevazione 3D basato su deep learning che fonde dati RGB e a evento.

• Architettura: Utilizza un modello basato sulla vista dall'alto (BEV - Bird's Eye View). Un encoder processa i dati fusi (RGB + Eventi) in una fase iniziale (early-fusion).
• Fusione: I dati RGB e gli eventi vengono convertiti in rappresentazioni voxel e fusi prima della trasformazione di vista (View Transform) per costruire una mappa BEV densa.
• Temporale: Il modello integra informazioni temporali (3 frame) per migliorare la robustezza, specialmente quando il flusso di eventi è sparso (bassa velocità relativa).

C. Stima del TTC (Time-to-Collision) - Framework Garl-TTC

Per la stima del TTC, è stato sviluppato un nuovo framework chiamato Garl-TTC (Geometry-Aware Representation Learning).

• Ispirazione Geometrica: Invece di regressare direttamente il TTC (compito altamente non lineare), il modello apprende il rapporto tra le altezze visive dell'oggetto in due istanti temporali. La relazione geometrica è: $\tau \propto \frac{\Delta t}{1 - \frac{h_{t1}}{h_{t2}}}$.
• Apprendimento della Rappresentazione: Il modello è guidato a imparare rappresentazioni "consapevoli della geometria" (height-ratio).
• Distillazione della Conoscenza: Per migliorare la precisione dei contorni degli oggetti (fondamentale per stimare l'altezza visiva), viene utilizzata una distillazione della conoscenza da un modello fondazionale (SAM - Segment Anything Model) durante l'addestramento. Questo agisce come supervisione per la segmentazione del primo piano (foreground) senza aggiungere costi computazionali durante l'inferenza.

3. Risultati Chiave

Rilevazione 3D

• Performance: Il modello multimodale (RGB + Eventi) supera sia i modelli basati solo su RGB che quelli basati solo su eventi, specialmente in scenari HDR (illuminazione difficile).
• Robustezza: In condizioni di scarsa illuminazione, i modelli basati solo su RGB falliscono completamente, mentre l'approccio multimodale mantiene un alto recall.
• Generalizzazione: I risultati sono stati validati su due architetture diverse (una basata su anchor e CenterNet3D senza anchor), confermando la validità dell'approccio.

Stima del TTC

• Accuratezza: Il metodo Garl-TTC raggiunge uno stato dell'arte (SOTA) con un errore MiD (Motion-in-Depth) significativamente inferiore rispetto ai metodi basati su ottimizzazione geometrica (es. CMax, ETTCM) e ad altri metodi di deep learning.
• Scenari Critici: Eccelle negli scenari a basso TTC (0-3 secondi), cruciali per la sicurezza, dove i metodi precedenti falliscono spesso.
• Generalizzazione Cross-Dataset: Il modello addestrato su eAP, senza fine-tuning, ottiene risultati superiori su benchmark esterni come EvTTC e FCWD, dimostrando una forte capacità di generalizzazione.
• Efficienza: Il modello esegue l'inferenza a 200 FPS (circa 4.55 ms) su un dispositivo edge NVIDIA Orin NX, rendendolo adatto per sistemi di guida autonoma in tempo reale.

4. Contributi Principali

1. Dataset eAP: La creazione del dataset più grande e diversificato per la percezione autonoma multimodale (RGB + Eventi), con annotazioni 3D e TTC.
2. Prima Rilevazione 3D Multimodale: La dimostrazione che la fusione di eventi e RGB migliora drasticamente la rilevazione 3D in condizioni di illuminazione estrema.
3. Framework Garl-TTC: L'introduzione del primo framework di deep learning "geometricamente consapevole" per la stima del TTC basato su eventi, che supera i limiti dei modelli basati su fitting geometrico manuale.
4. Performance in Tempo Reale: La validazione di un modello deep learning ad alta precisione che opera a 200 FPS su hardware embedded, colmando il divario tra ricerca accademica e applicazione reale.

5. Significato e Impatto

Questo lavoro colma un vuoto fondamentale nella ricerca sulla percezione autonoma: la mancanza di dati su larga scala per addestrare modelli di deep learning che sfruttino le telecamere a evento.

• Sicurezza: Migliora la capacità dei veicoli autonomi di rilevare ostacoli e stimare collisioni in condizioni dove le telecamere tradizionali falliscono (buio, tunnel, abbagliamento).
• Paradigma di Apprendimento: Sposta l'attenzione dai modelli geometrici manuali (spesso fragili e semplificati) a rappresentazioni profonde apprese dai dati, che catturano meglio la complessità del mondo reale.
• Fondazione Futura: Il dataset eAP e i modelli rilasciati serviranno come benchmark per future ricerche su fusione multimodale, apprendimento temporale a lungo termine e ottimizzazione per dispositivi edge.

In sintesi, il paper dimostra che l'integrazione di telecamere a evento con tecniche avanzate di deep representation learning, supportata da un dataset su larga scala, può portare a sistemi di percezione autonoma più sicuri, robusti e veloci.