HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving

1. Il Problema

I sistemi di guida autonoma attuali, basati su pipeline a cascata (percezione, previsione, pianificazione, controllo), sono spesso fragili ai confini dei moduli e faticano in scenari sociali complessi o interazioni semantiche.
L'integrazione di modelli Vision-Language-Action (VLA) promette di colmare il divario semantico, ma le implementazioni esistenti presentano limiti critici in scenari safety-critical:

• Ragionamento numerico impreciso: Difficoltà nel gestire valori numerici esatti per il controllo.
• Consapevolezza spaziale 3D debole: I modelli VLA standard spesso mancano di una comprensione geometrica profonda dello spazio 3D.
• Sensibilità al contesto e coerenza temporale: Tendenza a generare traiettorie incoerenti nel tempo o reazioni eccessive a piccoli cambiamenti nel contesto.
• Accoppiamento lasco: Nelle architetture duali (VLM + controllo), c'è spesso una disconnessione tra l'output linguistico ad alto livello e il controllo del veicolo a basso livello, portando a reazioni inaffidabili.

2. Metodologia: HiST-VLA

Gli autori propongono HiST-VLA, un modello VLA gerarchico progettato per la generazione affidabile di traiettorie end-to-end. L'architettura si articola in tre componenti principali:

A. Backbone Spatio-Temporal VLA

Questo modulo integra la comprensione geometrica 3D con il ragionamento temporale:

• Codifica Visiva Consapevole dello Spazio: Utilizza un encoder visivo (ViT) combinato con stime di profondità monoculare per proiettare le patch 2D nel frame di riferimento 3D del veicolo. Le coordinate 3D vengono codificate e fuse con le feature visive.
• Sparser Dinamico di Token (Dynamic Token Sparser): Per migliorare l'efficienza computazionale, il modello non filtra i token ma li fonde. Sfrutta i punteggi di auto-attenzione per identificare i token più informativi (top-k) e fondere quelli ridondanti in quelli salienti tramite un modulo di fusione basato su transformer. Questo riduce la ridondanza senza perdere feature semantiche critiche.
• Modellazione Temporale: Il prompt di testo include non solo l'istruzione utente, ma anche lo stato storico del veicolo (velocità, accelerazione) e le informazioni di navigazione per gli ultimi $k$ frame. Questo trasforma il modello da una funzione reattiva $\pi(a_t|s_t)$ a una funzione più informata $\pi(a_t|s_t, s_{t-1}, ..., s_{t-k})$, migliorando la coerenza temporale.
• Ragionamento CoT (Chain-of-Thought) e Meta-Azioni Granulari: Il modello genera un ragionamento strutturato prima di agire. Invece di comandi grossolani (es. "Svolta a sinistra"), utilizza uno schema di meta-azioni granulari derivato dalle caratteristiche cinematiche reali (es. "Leggera decelerazione e leggera svolta a sinistra", "Cambio corsia a sinistra").
• Output: Genera un comando di guida granulare, una traiettoria grezza ($\tau_0$) e un punteggio di confidenza ($\epsilon$).

B. Planner Gerarchico

Una volta ottenuta la traiettoria grezza dal VLA, un planner basato su transformer la affina in più fasi:

1. Regolarizzazione Consapevole della Confidenza (VAE): Utilizza un Variational Autoencoder (VAE) per perturbare e regolarizzare la traiettoria grezza nello spazio latente. La varianza del rumore è adattiva: maggiore è l'incertezza (bassa confidenza), maggiore è la perturbazione, focalizzando la raffinazione sulle aree critiche.
2. Allineamento Semantico: Le feature latenti vengono fuse con l'embedding del comando di guida granulare tramite cross-attention.
3. Scoring e Ottimizzazione: Un modulo "Scorer" (addestrato su NAVSIM v2) valuta le traiettorie candidate in base a sicurezza, efficienza e comfort (senza bisogno di simulazione fisica). La traiettoria finale ($\tau^*$) è ottimizzata per massimizzare questo punteggio, garantendo la fattibilità cinematica e la conformità alle regole.

3. Contributi Chiave

1. Architettura HiST-VLA: Un framework integrato che unisce grounding spaziale 3D, coerenza temporale e raffinamento multi-stadio delle traiettorie, eliminando la necessità di moduli E2E esterni o annotazioni costose.
2. Rappresentazione Spazio-Temporale Efficiente: Introduzione del Dynamic Token Sparser che riduce la ridondanza computazionale fondendo i token in base alla similarità, mantenendo le feature semantiche critiche.
3. Pianificazione Gerarchica Allineata alla Semantica: Una pipeline multi-stadio che allinea i comandi di guida granulari con il movimento, utilizzando regolarizzazione basata sulla confidenza e scoring multi-criterio per garantire sicurezza e comfort.

4. Risultati Sperimentali

Il modello è stato valutato sul benchmark NAVSIM v2, che include test open-loop (Navtest) e pseudo closed-loop (Navhard).

• Navtest (Open-loop): HiST-VLA ha raggiunto un punteggio EPDMS di 88.6, stabilendo un nuovo stato dell'arte (SOTA). Questo risultato supera significativamente metodi precedenti come DriveSuprim (87.1), DiffusionDrive (84.3) e ZTRS (86.2), avvicinandosi alle prestazioni di un agente umano esperto (90.3).
• Navhard (Pseudo Closed-loop): In scenari più difficili e perturbati, il modello ha ottenuto un EPDMS di 50.9, superando nettamente DiffusionDrive (26.0) e Transfuser (23.1).
• Efficienza: L'uso dello Dynamic Token Sparser ha ridotto il carico computazionale del 23.7% (da 9.105 a 7.630 GFLOPs) migliorando contemporaneamente le prestazioni.
• Ablation Study: Gli studi dimostrano che ogni componente (codifica spaziale, prompting temporale, meta-azioni granulari, planner gerarchico) contribuisce sinergicamente. Rimuovere le meta-azioni granulari, ad esempio, fa crollare il punteggio da 88.6 a 83.3.

5. Significato e Impatto

HiST-VLA rappresenta un passo significativo verso la guida autonoma affidabile basata su modelli linguistici.

• Affidabilità: Dimostra che i modelli VLA possono essere resi sicuri per scenari critici attraverso un grounding spaziale esplicito e una pianificazione gerarchica, superando i limiti di "allucinazione" e imprecisione dei modelli base.
• Interpretabilità: L'uso del ragionamento CoT e dei comandi granulari rende il processo decisionale del veicolo più trasparente e allineato alle intenzioni umane.
• Efficienza: La capacità di ridurre la ridondanza dei token senza sacrificare le prestazioni rende questi modelli più pratici per l'implementazione in tempo reale su hardware embedded.
• Paradigma Ibrido: Conferma che un'architettura ibrida, dove un VLA genera intenzioni semantiche e un planner specializzato le traduce in traiettorie fisiche precise, è superiore sia ai sistemi puramente E2E che alle architetture duali lasche.