Riepilogo Tecnico: InterFuserDVS

Enunciato del Problema

I sistemi di guida autonoma affrontano sfide significative nelle scene ad alto intervallo dinamico (HDR) e negli scenari ad alta velocità a causa delle limitazioni intrinseche delle suite sensoriali tradizionali. Le telecamere RGB standard soffrono di sfocatura da movimento e di un intervallo dinamico limitato, fallendo spesso in condizioni come l'uscita da un tunnel buio verso la luce solare intensa. Sebbene il LiDAR fornisca una profondità accurata, è sparso e le sue prestazioni si degradano in condizioni meteorologiche avverse (pioggia, nebbia). Inoltre, gli approcci esistenti di apprendimento end-to-end spesso faticano con la "confusione causale" e mancano della robustezza geometrica necessaria per manovre critiche per la sicurezza nel traffico denso. Vi è un bisogno critico di un'architettura di fusione sensoriale in grado di sfruttare modalità complementari per garantire una percezione robusta e un processo decisionale sicuro in condizioni di illuminazione avverse e dinamiche.

Metodologia

Il documento propone InterFuserDVS, un'architettura estesa del modello InterFuser all'avanguardia che integra i Sensori di Visione Dinamica (DVS), o telecamere a eventi, come modalità primaria insieme alle telecamere RGB e al LiDAR.

1. Panoramica dell'Architettura

Il sistema impiega un backbone globale basato su Transformer per fondere le caratteristiche tokenizzate da tre tipi di sensori distinti:

• Telecamere RGB: Input multi-vista (Anteriore, Sinistra, Destra) ritagliati a una risoluzione di 800×600.
• LiDAR: Nuvole di punti voxelizzate in un'immagine pseudo Bird's Eye View (BEV) a 2 bin (224×224).
• DVS (Telecamere a Eventi): Gli eventi asincroni grezzi $(x, y, t, p)$ sono accumulati in finestre temporali fisse per generare "frame di eventi". Questi frame a canale singolo rappresentano conteggi normalizzati di eventi o somme di polarità, catturando la dinamica del movimento e i bordi con una risoluzione in microsecondi.

2. Estrazione e Fusione delle Caratteristiche

• Backbone: Gli input RGB e DVS sono elaborati da varianti di ResNet (es. ResNet-18/50), mentre il LiDAR utilizza PointNet++ adattato per la BEV.
• Trasferimento Cross-Modale: Una scelta progettuale chiave è inizializzare i pesi dell'encoder DVS utilizzando un backbone RGB pre-addestrato. Questo sfrutta la correlazione spaziale tra bordi di intensità (RGB) e bordi temporali (DVS) per facilitare una convergenza rapida e stabilizzare l'addestramento iniziale.
• Fusione Basata su Token: Le caratteristiche vengono appiattite e proiettate in token di dimensione $D$. Vengono aggiunti embedding posizionali 2D apprendibili per preservare il contesto spaziale. Tutti i token vengono concatenati in un'unica sequenza ed elaborati da un Encoder Transformer a 6 livelli con 8 teste di attenzione. Ciò consente al modello di eseguire un ragionamento globale, pesando dinamicamente l'importanza dei sensori in base al contesto ambientale (es. utilizzando DVS per il movimento e LiDAR per la profondità).

3. Output e Pianificazione

Il Decoder Transformer prevede:

• Punti di Riferimento (Waypoints): Una sequenza di coordinate 2D per la pianificazione della traiettoria.
• Stato dei Semafori: Classificazione dello stato del semaforo (Rosso, Verde, Giallo).
• Mappe di Densità degli Oggetti: Una griglia BEV a 7 canali che prevede l'esistenza dell'oggetto, l'offset, le dimensioni, l'orientamento e la velocità.

4. Controllore di Sicurezza Ibrido

Per garantire la sicurezza, il sistema integra un controllore di sicurezza basato su regole che sovrascrive i comandi PID del modello end-to-end quando necessario:

• Conformità ai Semafori: Una macchina a stati gestisce il rilevamento dei semafori rossi/gialli. Un meccanismo di "Attraversamento Forzato" previene i deadlock se il veicolo rimane bloccato per >50 secondi.
• Evitamento delle Collisioni: Il controllore utilizza le mappe di densità degli oggetti previste per generare una griglia di occupazione locale. Verifica la traiettoria pianificata rispetto a questa griglia a più passi temporali futuri ($t=0.5s$ a $2.0s$). Se la distanza di sicurezza scende sotto una soglia dipendente dalla velocità, il sistema attiva la frenata di emergenza.
• Esecuzione del Controllo: I comandi finali di sterzata, acceleratore e freno sono generati tramite controllori PID laterali e longitudinali, con velocità di target regolate dinamicamente in base alla curvatura del percorso e alla vicinanza degli ostacoli.

Contributi Chiave

1. Architettura Potenziata da Eventi: L'integrazione di un backbone di elaborazione DVS dedicato all'interno del framework InterFuser, utilizzando una strategia di transfer learning da RGB a DVS per superare la scarsità di dati e l'instabilità dell'addestramento.
2. Strategia di Fusione Basata su Token: Un Encoder Transformer unificato che fonde le caratteristiche spaziali da RGB/LiDAR con le caratteristiche temporali ad alta frequenza da DVS, consentendo un pesaggio dinamico dei sensori.
3. Politica di Sicurezza Ibrida: Un controllore robusto che combina le previsioni di traiettoria end-to-end con la convalida euristica (macchine a stati per i semafori e controllo delle collisioni basato su modelli utilizzando mappe di occupazione).
4. Prestazioni all'Avanguardia: Dimostrazione di un'affidabilità eccezionale sulla classifica CARLA, ottenendo un completamento perfetto del percorso in ambienti urbani impegnativi.

Risultati Sperimentali

Il metodo è stato valutato sulla Classifica CARLA (Route Lunghe Town05), un benchmark che coinvolge navigazione complessa, cambi di corsia e traffico denso.

• Punteggio di Guida (DS): Ha ottenuto 77.20, un punteggio competitivo tra i metodi all'avanguardia.
• Completamento del Percorso (RC): Ha ottenuto 100%, indicando che l'agente non si è mai bloccato, perso o scaduto. Questo supera diverse metodologie contemporanee (es. InterFuser all'88.23%, ReasonNet all'89.89%) in termini di affidabilità del completamento.
• Metriche di Sicurezza:
  • Tasso di Collisione: Tasso di collisione con pedoni estremamente basso (0.008/km) e tasso di collisione con veicoli competitivo (0.036/km).
  • Infrazioni: Tasso di infrazione ai semafori rossi di 0.01/km (attribuito alla logica di "Attraversamento Forzato" per garantire il completamento del percorso).
• Analisi Qualitativa: Gli studi di caso hanno dimostrato che DVS migliora significativamente le prestazioni in:
  • Giri a Sinistra Non Protetti: Rilevando il movimento laterale rapido del traffico in arrivo tramite un'alta densità di eventi.
  • Sorpasso: Validando il "passaggio" nelle corsie opposte rilevando l'assenza di eventi ad alta frequenza (veicoli in avvicinamento).
  • Frenata di Emergenza: Reagendo ai pedoni che emergono da occlusioni (es. dietro camion parcheggiati) più velocemente delle baseline solo RGB rilevando il contrasto del movimento degli arti prima che le caratteristiche visive statiche si risolvano.

Significato e Affermazioni

Il documento afferma che InterFuserDVS convalida la visione basata su eventi come una modalità vitale piuttosto che un sensore di nicchia per la prossima generazione di veicoli autonomi. L'integrazione di DVS offre due vantaggi critici:

1. Alto Intervallo Dinamico: Garantisce robustezza in scenari con ombre dure o abbagliamento solare dove le telecamere RGB falliscono.
2. Risoluzione Temporale: Cattura esplicitamente oggetti in movimento rapido, consentendo al modello di affidarsi ai dati di eventi per la pianificazione del movimento durante manovre dinamiche.

Gli autori concludono che, sebbene le implementazioni attuali convertano gli eventi in frame, il futuro risiede nella Fusione Asincrona di Eventi utilizzando Reti Neurali a Spike (SNN) e Trasformatori di Fusione Asincrona (AFT) per sfruttare appieno le informazioni di movimento a livello di microsecondi e l'efficienza energetica dell'hardware neuromorfico. Il lavoro attuale funge da passo fondamentale, dimostrando che trattare i flussi di eventi come input temporali ad alta fedeltà migliora significativamente la sicurezza e l'affidabilità delle politiche di guida autonoma end-to-end.