Riepilogo Tecnico: Drive-JEPA

Definizione del Problema

La guida autonoma end-to-end mira a mappare le osservazioni dei sensori grezzi direttamente in azioni di guida utilizzando un modello neurale unificato. Tuttavia, il settore affronta due colli di bottiglia primari:

1. Utilità Limitata del Pretraining Video: Sebbene il pretraining video auto-supervisionato sia sempre più utilizzato per apprendere rappresentazioni trasferibili, gli approcci esistenti (ad esempio, modelli generativi a livello di pixel o modelli del mondo latenti) hanno prodotto solo miglioramenti limitati. Gli obiettivi a livello di pixel sono computazionalmente costosi e possono concentrarsi su dettagli visivi irrilevanti, mentre gli approcci latenti soffrono spesso di collasso della rappresentazione o non dimostrano chiari benefici derivanti dallo scaling.
2. Ambiguità Multimodale e Collo di Bottiglia della Supervisione: Gli scenari di guida sono intrinsecamente multimodali, eppure i dataset standard forniscono un'unica traiettoria umana per scena. Questa scarsità limita l'apprendimento di comportamenti diversificati. Le soluzioni esistenti si affidano o a vocabolari discreti fissi (limitando la generalizzazione a scenari fuori vocabolario) o a metodi basati sulla diffusione che rimangono vincolati alla supervisione a singola traiettoria, portando al collasso della modalità o a una diversità limitata.

Metodologia: Drive-JEPA

Gli autori propongono Drive-JEPA, un framework che integra la Video Joint-Embedding Predictive Architecture (V-JEPA) con la distillazione di traiettorie multimodali per affrontare questi colli di bottiglia. Il framework si compone di tre componenti principali:

1. Pretraining di Video di Guida (Adattamento V-JEPA)

Per apprendere rappresentazioni predittive allineate alla pianificazione, gli autori adattano V-JEPA al dominio della guida.

• Architettura: Un encoder Vision Transformer (ViT) viene preaddestrato su un dataset su larga scala di video di guida (curato da CoVLA, DrivingDojo e OpenScene).
• Obiettivo: Il modello apprende a predire la rappresentazione latente di una vista target mascherata partendo da una vista sorgente mascherata. Questo obiettivo auto-supervisionato include un operatore di stop-gradient e un encoder EMA (Exponential Moving Average) per prevenire il collasso della rappresentazione.
• Scaling: A differenza dei precedenti modelli del mondo latenti, questo approccio scala con successo il pretraining a 330 ore di video con un costo computazionale inferiore, producendo feature che sono intrinsecamente allineate con la pianificazione delle traiettorie.

2. Distillazione di Traiettorie Multimodali

Per superare il collo di bottiglia della supervisione a singola traiettoria, il framework distilla la conoscenza da simulatori basati su regole in un pianificatore centrato sulle proposte (proposal-centric).

• Generazione di Proposte: Invece di un vocabolario fisso, il modello genera proposte di traiettoria online utilizzando un'attenzione deformabile ancorata ai waypoint. Queste proposte vengono iterateamente raffinate aggregando le feature Bird's-Eye-View (BEV) attorno ai waypoint predetti.
• Distillazione Pseudo-Teacher: Un vocabolario di traiettorie viene costruito tramite clustering k-means dei dati storici. Per ogni scena, un simulatore basato su regole (basato sui protocoli NAVSIM v2) valuta le traiettorie in questo vocabolario rispetto ai vincoli di sicurezza e comfort (punteggio EPDMS). Le traiettorie ad alto punteggio e diversificate vengono selezionate come "pseudo-teacher".
• Perdita di Training (Training Loss): Il generatore di proposte è addestrato per minimizzare la distanza sia dalla traiettoria umana reale (ground-truth) sia dall'insieme di traiettorie diversificate generate dal simulatore (pseudo-teacher), incoraggiando così un output multimodale senza dipendere da una singola dimostrazione umana.

3. Selezione delle Traiettorie Consapevole del Momento (Momentum-Aware)

Per selezionare la traiettoria finale dall'insieme diversificato di proposte, uno scorer neurale valuta i candidati in base al rischio di collisione, alla conformità alle regole del traffico e al comfort.

• Meccanismo di Comfort: Per mitigare l'incoerenza temporale (jitter) spesso introdotta dalle proposte diversificate, il modulo di selezione incorpora una penalità consapevole del momento (momentum-aware penalty). Esso confronta le proposte correnti con la traiettoria selezionata nel frame precedente ($t-1$) e penalizza le distorsioni elevate.
• Selezione Finale: La traiettoria con lo score ricalibrato più alto (che combina lo scorer appreso e il termine di comfort) viene selezionata per l'esecuzione.

Contributi Chiave

1. Pretraining V-JEPA per la Guida: Il lavoro introduce l'applicazione di V-JEPA alla guida end-to-end, dimostrando che il pretraining video su larga scala con obiettivi predittivi potenzia significativamente le prestazioni sia in contesti basati sulla percezione che in quelli privi di percezione (perception-free).
2. Distillazione di Traiettorie Multimodali: Una strategia di supervisione innovativa che distilla traiettorie diversificate generate dal simulatore in un framework centrato sulle proposte, superando efficacemente il limite della supervisione a singola traiettoria umana.
3. Selezione Consapevole del Momento: Un modulo di selezione leggero che migliora il comfort di guida e la stabilità temporale penalizzando la distorsione della traiettoria tra i frame.
4. Prestazioni State-of-the-Art: Il metodo raggiunge nuovi risultati state-of-the-art sui principali benchmark senza fare affidamento su complesse annotazioni di percezione.

Risultati Sperimentali

Il framework è stato valutato su NAVSIM v1, NAVSIM v2 e Bench2Drive.

• NAVSIM v1 (Perception-Free): Utilizzando solo una telecamera frontale e un decoder transformer leggero con feature preaddestrate con V-JEPA, il modello ha raggiunto 89.0 PDMS, superando significativamente i precedenti metodi perception-free (ad esempio, Epona a 86.1, LAW a 83.8).
• NAVSIM v1 (Framework Completo): Con il framework completo Drive-JEPA (inclusi distillazione e selezione), il modello ha raggiunto 93.7 PDMS (backbone ViT/L), superando il precedente migliore (DriveSuprim con 93.5).
• NAVSIM v2: Il metodo ha raggiunto 87.8 EPDMS, stabilendo un nuovo stato dell'arte. Notevolmente, ha performato bene su metriche di Comfort Esteso (EC) e altre metriche di conformità alle regole dove i metodi precedenti faticavano.
• Bench2Drive: Nelle simulazioni in loop chiuso di CARLA, Drive-JEPA ha ottenuto un Driving Score (DS) di 64.52, superando altri metodi proposal-centric come iPad (60.52) di 4 punti, validando l'efficacia della distillazione multimodale.

Significato e Rivendicazioni

Il paper sostiene che Drive-JEPA riesce a unificare il pretraining video auto-supervisionato con la generazione di traiettorie multimodali per affrontare i limiti fondamentali degli attuali sistemi di guida end-to-end.

• Efficacia del Pretraining: I risultati evidenziano che il pretraining V-JEPA fornisce rappresentazioni forti e trasferibili che permettono anche a decoder semplici di superare pipeline complesse basate sulla percezione in contesti perception-free.
• Diversità vs Stabilità: Il lavoro dimostra che la distillazione guidata dal simulatore può generare traiettorie diverse e sicure senza sacrificare la stabilità temporale, a condizione che venga utilizzato un meccanismo di selezione consapevole del momento.
• Scalabilità: L'approccio dimostra che scalare il pretraining video con una predizione latente efficiente (V-JEPA) è una via percorribile, evitando i costi computazionali della generazione a livello di pixel e evitando i problemi di collasso dei modelli latenti ingenui.

Gli autori sottolineano che il loro metodo stabilisce un nuovo benchmark per la guida end-to-end, in particolare in scenari in cui la dipendenza da esplicite annotazioni di percezione è minimizzata, e che l'integrazione della conoscenza del simulatore offre una strada robusta per apprendere comportamenti di guida multimodali.