Sintesi Tecnica: EventDrive

Definizione del Problema

Le telecamere a eventi offrono una precisione temporale al microsecondo, un elevato intervallo dinamico e robustezza al motion blur, rendendole teoricamente ideali per la guida autonoma in condizioni difficili (ad es. scarsa illuminazione, movimenti rapidi). Tuttavia, la ricerca esistente sugli eventi rimane frammentata, concentrandosi principalmente su compiti supervisionati di basso livello come la rilevazione, la segmentazione o la stima del flusso ottico. Esiste un divario significativo nell'utilizzo della sensoristica a eventi per il ragionamento di alto livello, il processo decisionale e l'intero ciclo di guida. Mentre la comunità RGB ha fatto progressi nei modelli visivi-linguistici unificati (VLM) che accoppiano percezione, ragionamento e controllo, i primi tentativi di incorporare gli eventi nei VLM sono stati limitati a scene generiche e semplici didascalie, fallendo nel rispondere alle complesse esigenze di ragionamento e decisione della guida reale.

Metodologia

1. EventDrive: Un Benchmark Unificato

Gli autori introducono EventDrive, il primo benchmark full-stack che integra flussi di eventi, fotogrammi RGB sincronizzati e supervisione linguistica attraverso l'intero processo di guida autonoma. Il benchmark decompone la guida in quattro fasi di ragionamento sequenziali, ciascuna formulata come compito basato sul linguaggio:

• Percezione: Valuta il contesto a livello di scena (tipo di scena, visibilità, flusso del traffico, meteo, semafori, condizioni stradali).
• Comprensione: Valuta la semantica centrata sugli oggetti (presenza, aspetto, stato del moto, relazioni ego/ambiente, grounding).
• Predizione: Inferisce l'intento di moto a breve orizzonte (velocità e direzione) degli agenti circostanti.
• Pianificazione: Stima l'intento del veicolo ego e i futuri waypoint basandosi sulle traiettorie passate.

Costruzione del Dataset:
EventDrive aggrega 471.543 campioni evento–fotogramma–linguaggio da tre dataset sorgente: DSEC, M3ED e PKU-DAVIS-SOD. Gli autori utilizzano una pipeline semi-automatica tramite Qwen3-VL per generare didascalie strutturate e convertirle in diverse coppie QA a scelta multipla, compiti di grounding e previsioni di traiettoria. Una suddivisione "Hard" è stata specificamente curata per includere sequenze con scarsa illuminazione e motion blur per testare rigorosamente i vantaggi della sensoristica a eventi.

2. EventDrive-VLM: Un Modello Unificato

Per sfruttare questo benchmark, gli autori propongono EventDrive-VLM, un VLM guidato dagli eventi progettato per interpretare e ragionare su dati di eventi asincroni. L'architettura affronta due sfide principali:

• Encoder di Eventi a Orizzonte Dinamico: Gli stream di eventi variano ampiamente nella densità temporale. Il modello impiega una strategia di Voxelizzazione Multi-Orizzonte, creando tensori di eventi a molteplici risoluzioni temporali ($B = \{20, 50, 100\}$ bin). Un meccanismo di gating Mixture-of-Experts (MoE) seleziona dinamicamente l'orizzonte temporale più informativo per una data scena, consentendo al modello di catturare dinamiche ad alta frequenza durante movimenti rapidi pur garantendo una aggregazione stabile nei regimi a basso movimento.
• Allineamento Event Q-Former: Per colmare il divario tra le caratteristiche sparse degli eventi e lo spazio semantico dell'LLM, il modello utilizza un Event Q-Former. Inve invece di concatenare i token, impiega l'attenzione incrociata tra query di eventi apprendibili e le caratteristiche aggregate degli eventi. Ciò estrae token consapevoli del moto e allineati al linguaggio che si integrano fluidamente con gli embedding di fotogrammi e testo.
• Curriculum di Addestramento a Due Stadi:
  1. Pre-adattamento Evento-Linguaggio: L'LLM e l'encoder visivo RGB sono congelati. L'encoder degli eventi, il Q-Former e i livelli di proiezione vengono addestrati sui dati delle didascalie per allineare le rappresentazioni degli eventi allo spazio dell'LLM.
  2. Instruction Tuning: I blocchi transformer dell'LLM vengono sbloccati e l'intero percorso degli eventi viene perfezionato su tutti i dati di didascalia e QA per abilitare un ragionamento multimodale coerente attraverso tutti i compiti di guida.

Contributi Chiave

1. Benchmark EventDrive: Il primo dataset e benchmark unificato per la guida autonoma che copre percezione, comprensione, predizione e pianificazione all'interno di un framework coerente multimodale (evento-fotogramma-linguaggio).
2. EventDrive-VLM: Un framework di addestramento generale che equipaggia i grandi VLM con la capacità di interpretare, allineare e ragionare su rappresentazioni di eventi asincroni utilizzando l'encoding di orizzonte dinamico e l'allineamento basato su query.
3. Protocollo di Valutazione Comprensivo: Una valutazione rigorosa che dimostra come gli indizi temporali migliorino il ragionamento multimodale, stabilendo una base per l'intelligenza guidata dagli eventi.

Risultati Sperimentali

Gli esperimenti su EventDrive rivelano distinte forze delle modalità e la necessità di fusione:

• Modelli Solo-Frame: Funzionano bene nella percezione in condizioni normali, ma degradano drasticamente in scenari di scarsa illuminazione e motion blur. Mostrano un ragionamento spaziale limitato e una debole inferenza del moto (ad es. bassa accuratezza nella predizione di velocità/direzione).
• Modelli Solo-Eventi: Eccellono nella predizione di velocità e direzione grazie agli indizi temporali ad alta frequenza, ma mancano della ricchezza semantica necessaria per la comprensione basata sull'aspetto (ad es. tipo di scena, aspetto dell'oggetto).
• EventDrive-VLM (Fusione): Il modello di fusione evento-frame raggiunge prestazioni state-of-the-art in tutte le famiglie di compiti. Stabilizza la percezione in condizioni avverse, migliora significativamente il grounding e il ragionamento relazionale, e fornisce una predizione del moto e una stima dell'intento ego superiori rispetto ai baseline a singola modalità.
• Performance sulla Split "Hard": Nei sottoinsiemi impegnativi (scarsa illuminazione, forte blur), il modello fuso mantiene prestazioni robuste, mentre i modelli solo-frame subiscono cali significativi nel grounding e nel ragionamento spaziale, e i modelli solo-eventi faticano con i compiti semantici.

Significato

Il paper afferma che EventDrive e EventDrive-VLM dimostrano che la sensoristica a eventi non è meramente un sensore ausiliario, ma una modalità critica per un'intelligenza di guida affidabile. Integrando gli indizi degli eventi asincroni con i fotogrammi RGB e il linguaggio, il framework consente una percezione e un processo decisionale robusti in scenari in cui i sensori convenzionali falliscono. Il lavoro colma il divario tra la sensoristica a eventi di basso livello e il ragionamento di guida autonoma di alto livello, fornendo un percorso scalabile verso sistemi autonomi più sicuri, interpretabili e robusti. Gli autori sottolineano che l'integrazione di modalità temporali e spaziali produce un ragionamento più affidabile rispetto a una singola modalità, particolarmente in ambienti dinamici e avversi.