DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

Problematica

I modelli di guida Vision-Language-Action (VLA) esistenti sfruttano le capacità di ragionamento e la conoscenza del mondo dei grandi modelli Vision-Language (VLM) pre-addestrati per prevedere le traiettorie di guida a partire da immagini multi-vista e comandi linguistici. Tuttavia, questi modelli soffrono di una mancanza di intelligenza spaziale orientata alla guida. Gli approcci attuali si basano principalmente su token di immagini prospettiche e prior linguistici, che sono dipendenti dal punto di vista e non riescono a codificare esplicitamente la geometria metrica e la struttura della scena dall'alto verso il basso (top-down) necessaria per una pianificazione del movimento precisa.

Questa limitazione si manifesta in due aree chiave:

1. Debolezza della Geometria Visiva: Le policy si affidano a indizi di aspetto 2D piuttosto che a rappresentazioni geometriche robuste, rendendole vulnerabili alle lacune di copertura percettiva nelle dimostrazioni degli esperti.
2. Disallineamento Percettivo: Sebbene le immagini sintetiche o rasterizzate possano fornire strutture geometriche più pulite e controfatti diversificati, l'unione diretta con immagini reali introduce un gap di dominio. I metodi esistenti spesso non riescono a garantire che il decoder di azione presti attenzione agli stessi indizi rilevanti per la pianificazione (ad esempio, corsie, agenti) sia nel dominio reale che in quello sintetico.

Metodologia: DriveStack-VLA

Gli autori propongono DriveStack-VLA, un framework di addestramento unificato in tre fasi basato su un grande backbone VLM (nello specifico Qwen3-VL-4B). Il framework integra un pianificatore multimodal LLM con uno stack visivo potenziato per affrontare i colli di bottiglia geometrici, del dataset e del campionamento delle traiettorie.

1. Componenti di Modellazione Visiva Duale
Per rafforzare l'ancoraggio spaziale, il modello impiega due meccanismi specifici:

• Iniezione BEV DeepStack: Gli autori iniettano rappresentazioni Bird-Eye-View (BEV) direttamente nel decoder LLM utilizzando una connessione in stile "DeepStack". Un encoder BEV (basato su BEVFormer) estrae una mappa di caratteristiche top-down, che viene proiettata in token e concatenata con i token della telecamera prospettica in specifici layer del decoder. Ciò fornisce all'LLM dei priori geometrici metrici stabili per contesti a lungo raggio.
• Allineamento Render-Teacher: Per sfruttare i benefici delle immagini rasterizzate senza introdurre uno shift di dominio, gli autori trattano le immagini rasterizzate come una modalità "teacher". Allineano il focus percettivo delle immagini reali con quello delle immagini rasterizzate attraverso due perdite (loss):
  • Allineamento dei Token della Telecamera Mascherato: Una maschera morbida guidata dal rendering declassa il peso dei token di sfondo (che sono spesso neri nelle immagini rasterizzate) durante l'allineamento delle caratteristiche, assicurando che il modello si concentri sugli agenti e sulle corsie in primo piano.
  • Distillazione dell'Attenzione Action-to-Vision: La distribuzione dell'attenzione dai token di azione ai token visivi nel passaggio dell'immagine reale viene distillata dal passaggio dell'immagine rasterizzata, costringendo il modello ad prestare attenzione agli indizi critici per la sicurezza nelle immagini reali proprio come fa con i dati sintetici più puliti.

2. Pipeline di Addestramento in Tre Fasi

• Fase 1: Supervised Fine-Tuning (SFT): L'attore viene addestrato utilizzando i componenti di modellazione visiva duale descritti sopra. Il modello impara a generare token di azione da immagini multi-vista, istruzioni e stati dell'ego.
• Fase 2: Reinforcement Fine-Tuning (RFT): Per migliorare la qualità delle traiettorie campionate, gli autori applicano la Group Relative Policy Optimization (GRPO). La policy viene aggiornata sulla base di una ricompensa congiunta composta da una ricompensa di guida (che valuta l'assenza di collisioni, i margini di sicurezza e la conformità all'area percorribile) e una ricompensa di formato (per garantire la rigorosa decodificabilità dei token di azione).
• Fase 3: Scoring e Raffinamento (Self-Critic): Un modulo critic leggero viene addestrato per classificare le traiettorie candidate e perfezionare condizionalmente la migliore.
  • Testa di Scoring: Riutilizza gli stati nascosti dell'ultimo layer dell'LLM per produrre un punteggio di qualità per le traiettorie candidate.
  • Testa di Raffinamento: Se il punteggio del miglior candidato è al di sotto di una soglia, questa testa predice un residuo limitato per raffinare la traiettoria, evitando la necessità di cicli lenti di generazione-critica-riscrittura durante l'inferenza.

Contributi Chiave

1. Framework DriveStack-VLA: Un framework di guida VLA unificato che affronta simultaneamente l'ancoraggio geometrico, la copertura del dataset e il campionamento delle traiettorie.
2. Iniezione BEV DeepStack: Un metodo innovativo per incorporare priori geometrici top-down direttamente nel decoder LLM, migliorando la stabilità della pianificazione a lungo raggio.
3. Allineamento Render-Teacher: Una tecnica per allineare l'attenzione visivo-azione tra immagini reali e rasterizzate, consentendo al modello di beneficiare dell'aumento geometrico sintetico senza soffrire di disallineamento di dominio.
4. Self-Critic Leggero: Un modulo che consente la classificazione delle traiettorie e il raffinamento condizionale senza ridondante generazione di testo o complessi cicli di inferenza.

Risultati Sperimentali

Gli autori hanno valutato DriveStack-VLA sia su benchmark real-log-driven che su benchmark simulati in loop chiuso:

• NAVSIMv1: Ha raggiunto un 91.6 PDMS (Predictive Driver Model Score) con RFT, superando tutti i precedenti metodi basati su VLM e stabilendo un nuovo stato dell'arte.
• NAVSIMv2: Ha raggiunto un 91.0 EPDMS (Extended Predictive Driver Model Score) con il filtro della penalità umana abilitato, stabilendo un nuovo stato dell'arte in entrambi gli scenari di valutazione.
• Bench2Drive (Closed-Loop): Ha ottenuto un punteggio di guida di 79.49 e un tasso di successo del 56.36%, dimostrando una forte trasferibilità a simulazioni urbane complesse senza richiedere RFT.
• Navhard: Ha mantenuto una prestazione robusta (34.9 EPDMS) su questo benchmark impegnativo che coinvolge scenari fuori distribuzione.

Significatività e Rivendicazioni

Il paper sostiene che DriveStack-VLA colmi con successo il divario tra le capacità di ragionamento dei grandi modelli linguistici e i rigorosi requisiti spaziali della guida autonoma. Iniettando caratteristiche BEV e allineando il focus percettivo tra dati reali e sintetici, il modello supera i limiti di "debolezza della geometria visiva" degli approcci VLA precedenti. Gli autori sottolineano che il loro metodo raggiunge risultati quantitativi allo stato dell'arte sia nei benchmark open-loop (NAVSIM) che in quelli closed-loop (Bench2Drive), validando che un'architettura VLA unificata può gestire efficacemente compiti di pianificazione critici per la sicurezza quando dotata di appropriati strategie di ancoraggio geometrico e allineamento.