OmniV2X: A Generative Foundation Planner for Efficient End-to-End Cooperative Driving

Sintesi Tecnica: OmniV2X

Problematica

I sistemi di guida autonoma end-to-end (E2E) sono fondamentalmente limitati dalla percezione egocentrica, in particolare negli ambienti urbani complessi dove le occlusioni fisiche limitano la visibilità. Sebbene la guida cooperativa Vehicle-to-Everything (V2X) offra una soluzione estendendo la percezione attraverso la condivisione delle infrastrutture, gli attuali metodi cooperativi E2E affrontano tre colli di bottiglia sistemici:

1. Elevato Overhead di Comunicazione: La trasmissione di feature dense in Bird's-Eye View (BEV) o di rappresentazioni intermedie specifiche del modello richiede una larghezza di banda sostanziale e ostacola la standardizzazione tra i diversi veicoli connessi e automatizzati (CAV).
2. Scarsità di Dati: I dataset cooperativi del mondo reale sono limitati a causa dell'alto costo della sincronizzazione delle infrastrutture, rendendo difficile l'addestramento da zero di modelli multi-agente robusti.
3. Rigidità Computazionale e di Allineamento: Gli approcci attuali si affidano a una rigida fusione spazio-temporale, richiedendo una supervisione esaustiva dei bounding box 3D e una calibrazione precisa. Ciò crea un forte accoppiamento tra le pipeline ego e infrastrutturali, portando a elevati costi computazionali e scarsa scalabilità.

Metodologia

OmniV2X propone un cambio di paradigma dalla rigida fusione di feature spaziali alla modellazione sequenziale generativa condizionale. Invece di fondere le feature multi-agente in una griglia spaziale condivisa, il framework tratta gli input eterogenei come sequenze di contesto indipendenti per un pianificatore generativo.

Architettura

Il sistema è composto da tre componenti primarie:

1. Tokenizzazione del Contesto Indipendente:

   • Contesto Visivo: Utilizza un backbone DINOv3-ViT congelato per estrarre le feature visive frontali. Queste vengono proiettate in uno spazio latente unificato senza una esplicita proiezione 3D (BEV), imparando a mappare direttamente le sequenze latenti 2D verso spostamenti cinematici.
   • Contesto di Navigazione: Codifica comandi di alto livello (es. "Gira a Sinistra") tramite embedding appresi, escludendo lo stato ego (velocità/sterzata) per evitare che il modello apprenda politiche di estrapolazione della velocità banali.
   • Contesto Infrastrutturale V2X: Elabora i messaggi di condivisione dei dati dei sensori (SDSM) conformi allo standard SAE-J3224. Gli oggetti rilevati sono rappresentati come vettori di stato a 13 dimensioni (posizione, dimensioni, orientamento, velocità, classe) e codificati tramite un Transformer leggero.
   • Costruzione della Sequenza: Tutte le modalità sono indipendentemente normalizzate e concatenate con embedding di segmento apprendibili per formare una sequenza di condizionamento unificata $C$.

2. Pianificatore Fondazionale Generativo:

   • Il motore centrale è un Rectified Flow Transformer ottimizzato per la generazione di spostamenti continui.
   • Target: Il modello predice spostamenti posizionali passo-passo piuttosto che coordinate assolute, per evitare correlazioni spaziali spurie e la memorizzazione dei percorsi.
   • Meccanismo di Condizionamento: Per affrontare il collo di bottiglia computazionale in cui la lunghezza del contesto ($L$) supera di gran lunga l'orizzonte della traiettoria ($H$), OmniV2X impiega l'Iniezione di Cross-Attention. I waypoint generati eseguono la self-attention ($O(H^2)$) interrogando la sequenza di contesto tramite cross-attention ($O(LH)$). Ciò elimina la complessità quadratica $O(L^2)$ della standard prefix conditioning, consentendo l'inferenza in tempo reale su hardware edge.

3. Pipeline di Addestramento a Due Stadi:

   • Stadio 1 (Pre-training): Il modello viene pre-addestrato su dataset single-agent su larga scala (nuPlan) per apprendere la cinematica di guida generale e un prior di guida fondamentale.
   • Stadio 2 (Adattamento): Il modello viene affinato su dataset cooperativi (DAIR-V2X-Seq). Poiché l'input è una sequenza unificata, i token V2X vengono semplicemente aggiunti al contesto pre-addestrato, permettendo un trasferimento di conoscenza altamente efficiente dal punto di vista dei dati senza modifiche all'architettura.

Contributi Chiave

1. Framework V2X Scalabile: OmniV2X bypassa la rigida fusione spazio-temporale, trattando gli input eterogenei come sequenze di contesto indipendenti. Questo design consente l'integrazione fluida di messaggi V2X conformi agli standard SAE senza richiedere spazi di feature condivisi.
2. Trasferimento di Conoscenza Efficiente nei Dati: Sfruttando uno spazio di feature stabile nel dominio, il modello trasferisce la conoscenza dalla guida single-agent a scenari cooperativi. Ottiene guadagni significativi di performance utilizzando meno del 10% del dataset V2X target rispetto all'addestramento da zero.
3. Efficienza di Inferenza: Il framework elimina l'oneroso encoding delle feature BEV dense. Consuma meno di 1,4 kBPS di larghezza di banda di comunicazione (usando lo standard SDSM) e richiede solo 550 MB di memoria GPU durante l'inferenza, raggiungendo fino a 29 FPS su dispositivi edge.
4. Valutazione Completa: Il documento fornisce una validazione estesa sul benchmark DAIR-V2X-Seq, studi di ablazione sui tipi di modelli generativi e test di robustezza contro il rumore di localizzazione e la latenza, insieme a test sul campo nel mondo reale.

Risultati Sperimentali

Valutato sul benchmark DAIR-V2X-Seq, OmniV2X dimostra prestazioni state-of-the-art:

• Accuratezza della Pianificazione: Raggiunge un errore L2 medio di 0,86 m (rispetto a 1,49 m del precedente migliore, UniMM-V2X) e riduce il tasso di collisione medio a 0,06%.
• Efficienza di Comunicazione: Riduce i requisiti di larghezza di banda di comunicazione a 1.408 BPS, una riduzione di oltre 574× rispetto ai metodi basati su feature (che trasmettono circa 8,09 × 10⁵ BPS).
• Efficienza delle Risorse: Richiede 550 MB di memoria GPU per l'inferenza, ovvero meno dell'8,5% della memoria richiesta da UniMM-V2X (6.483 MB).
• Efficienza dei Dati: Quando affinato con solo l'1% del dataset V2X, il modello pre-addestrato raggiunge un errore L2 di 0,89 m, superando un modello addestrato da zero con il 100% dei dati (1,56 m).
• Robustezza: Il sistema mantiene un'alta robustezza sotto rumore di localizzazione (fino a 1,0 m/0,1 rad) e latenza V2X (500 ms), e gestisce con successo eventi di occlusione nei test sul campo reali.

Significato e Rivendicazioni

Gli autori affermano che OmniV2X stabilisce un nuovo paradigma per la guida cooperativa end-to-end decuplicando la percezione multi-agente dall'allineamento spaziale rigido. Il significato risiede nella sua capacità di:

• Superare il collo di bottiglia della "scarsità di dati" della guida cooperativa sfruttando efficacemente l'abbondante disponibilità di dati single-agent.
• Abilitare il deployment pratico e in tempo reale riducendo drasticamente l'impronta di larghezza di banda di comunicazione e di memoria computazionale.
• Fornire un framework scalabile e standardizzato che aderisce agli standard di comunicazione SAE, facilitando l'interoperabilità tra diversi modelli di veicoli e infrastrutture.

Il documento conclude che, sebbene l'attuale performance sia limitata dal collo di bottiglia dell'apprendimento per imitazione (basato su dati di conduzione umana), il proposto pianificatore fondazionale generativo colma con successo il divario tra guida single-agent e cooperativa, offrendo una via percorribile verso l'autonomia V2X sicura e in tempo reale.