🤖 AI

VERDI: VLM-Embedded Reasoning for Autonomous Driving

Il paper presenta VERDI, un framework di addestramento che distilla il ragionamento e la conoscenza di senso comune dei modelli visione-linguaggio (VLM) in una pila di guida autonoma modulare, permettendo di ottenere prestazioni superiori e una maggiore sicurezza senza i costi computazionali dell'inferenza di grandi VLM.

Autori originali: Bowen Feng, Zhiting Mei, Julian Ost, Filippo Ghilotti, Baiang Li, Roger Girgis, Anirudha Majumdar, Felix Heide

Pubblicato 2026-04-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Bowen Feng, Zhiting Mei, Julian Ost, Filippo Ghilotti, Baiang Li, Roger Girgis, Anirudha Majumdar, Felix Heide

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un'auto a guidare da sola. Fino a poco tempo fa, c'erano due modi principali per farlo, e entrambi avevano dei grossi difetti.

I Due Metodi "Vecchio Stile" (e perché non funzionano bene)

L'Apprendista che impara a memoria (Modelli End-to-End tradizionali):
Immagina un'auto che guarda migliaia di video di guidatori umani e cerca di copiarne i movimenti. È come un bambino che impara a guidare guardando il genitore: se il genitore sterza, il bambino sterza.
- Il problema: Il bambino non sa perché il genitore ha sterzato. Se il genitore frena perché c'è un cane, il bambino frena. Ma se il bambino vede un cane in un posto nuovo e non ha mai visto quel cane prima, potrebbe andare nel panico o non capire cosa fare. Non ha "senso comune".
Il Genio Lento (Modelli con Intelligenza Artificiale "Cerebro" o VLM):
Qui si usa un'Intelligenza Artificiale super potente (come un cervello umano digitale) che guarda la strada, pensa: "Oh, c'è un camion, meglio rallentare e girare a sinistra", e poi comanda l'auto.
- Il problema: Questo "genio" è così intelligente che è anche lentissimo e costosissimo da far girare. È come avere un professore di fisica quantistica che ti aiuta a parcheggiare: sa tutto, ma impiega 10 minuti a decidere se girare il volante. In una situazione di emergenza (come un bambino che attraversa la strada), 10 minuti sono un'eternità. Inoltre, a volte questo genio "allucina": vede cose che non ci sono (come un autobus che non esiste) e prende decisioni sbagliate.

La Soluzione: VERDI (Il "Tutor" che insegna, non guida)

Gli autori di questo paper hanno avuto un'idea geniale. Invece di far guidare l'auto dal "Genio Lento" ogni volta che deve sterzare, hanno deciso di usare il Genio solo per insegnare all'auto come pensare.

Hanno creato un sistema chiamato VERDI (che sta per VLM-Embedded Reasoning for autonomous DrIving).

Ecco come funziona, con una metafora:

L'Analogia del "Tutor Privato"

Immagina che l'auto autonoma sia uno studente (un modello di guida veloce e leggero) e il "Genio Lento" sia un tutor privato (il modello VLM enorme).

La Fase di Studio (Addestramento):
Durante l'allenamento, il tutor guarda la strada insieme allo studente. Il tutor non si limita a dire "gira a sinistra". Spiega perché:
- "Vedi quel camion bianco? È fermo."
- "Vedi quel pedone? Sta attraversando."
- "Quindi, la mia decisione di rallentare è basata su questi fatti."
Mentre il tutor parla, lo studente ascolta e cerca di imitare non solo il movimento, ma anche il ragionamento. Lo studente impara a collegare ciò che vede (il camion) al pensiero ("devo rallentare").
La Fase di Esame (Guida Reale):
Una volta finito l'allenamento, il tutor se ne va. Non serve più.
Lo studente (l'auto) è diventato così bravo che ora, quando vede il camion, pensa da solo: "Oh, c'è un camion, meglio rallentare", esattamente come avrebbe fatto il tutor, ma in una frazione di secondo.

L'auto ha "internalizzato" il senso comune e il ragionamento del tutor, ma è rimasta leggera e veloce.

Cosa ha scoperto VERDI?

Gli scienziati hanno provato questo metodo e i risultati sono stati sorprendenti:

È più sicuro: L'auto evita incidenti molto meglio delle auto che imparano solo copiando i movimenti (fino al 10% in più di sicurezza).
È più intelligente: Se l'auto incontra una situazione strana che non ha mai visto prima (un "caso limite"), non va nel panico. Usa il ragionamento che ha imparato dal tutor per capire cosa fare, proprio come farebbe un guidatore umano esperto.
È veloce: Non deve aspettare che il "genio" pensi. Decide in tempo reale, come un'auto normale.
Non allucina: Poiché l'auto non usa più il "genio" mentre guida, non rischia di vedere autobus fantasma o di confondersi. Ha imparato a vedere la realtà attraverso gli occhi del tutor, ma con la velocità di un'auto.

In Sintesi

VERDI è come un metodo di insegnamento rivoluzionario. Non insegna all'auto a fare solo i movimenti (come un robot), né la costringe a usare un supercomputer lento mentre guida. Invece, usa un supercomputer per insegnare all'auto a ragionare come un umano esperto. Una volta imparata la lezione, l'auto guida da sola, veloce, sicura e con il "senso comune" di un guidatore umano.

È la differenza tra un bambino che imita a memoria e un pilota esperto che sa perché sta facendo ciò che fa.

1. Il Problema

I sistemi di guida autonoma (AD) attuali, pur essendo performanti nei benchmark, faticano a gestire scenari reali complessi caratterizzati da osservabilità parziale, ambiguità semantica e casi limite ("edge cases").

Limiti dei modelli End-to-End (E2E) supervisionati: I modelli E2E modulari differenziabili esistenti si basano sull'apprendimento supervisionato da dati di guida umana. Tuttavia, mancano di una comprensione semantica profonda e di capacità di ragionamento, poiché apprendono solo le traiettorie senza comprendere il "perché" delle decisioni del conducente.
Limiti dei modelli Vision-Language (VLM) in inferenza: L'uso diretto di grandi modelli VLM (es. 70B parametri) per il ragionamento in tempo reale è impraticabile a causa dell'alta latenza (inferenza lenta) e dell'elevato consumo di memoria. Inoltre, l'uso di VLM monolitici rende difficile la decomposizione della sicurezza e aumenta il rischio di allucinazioni spaziali (errori di percezione della profondità e della geometria).

2. Metodologia: VERDI

Il paper propone VERDI (VLM-Embedded Reasoning for autonomous DrIving), un framework di addestramento che distilla le capacità di ragionamento e la conoscenza del senso comune dei VLM all'interno di uno stack di guida autonoma modulare ed end-to-end.

L'approccio si basa su tre pilastri principali:

Architettura Ibrida di Addestramento: Durante la fase di addestramento, il sistema opera su due pipeline parallele per ogni traiettoria:
1. Pipeline di Guida E2E: Un modello differenziabile (basato su VAD) che elabora gli input sensoriali (immagini multi-view) e genera traiettorie future attraverso moduli di percezione, previsione e pianificazione.
2. Pipeline di Ragionamento Latente: Un VLM (es. Qwen-2.5-VL-72B) viene interrogato con prompt "Chain-of-Thought" per spiegare il processo decisionale (cosa è stato visto, cosa fanno gli altri agenti, quali azioni intraprendere) basato sulla traiettoria ground-truth e le immagini.
Allineamento delle Feature nel Latente Space: L'innovazione chiave è l'allineamento delle rappresentazioni latenti.
- Le risposte testuali del VLM vengono codificate in vettori di embedding semantici ( $f_M$ ).
- I feature map intermedi del modello E2E (output dei moduli di percezione, previsione e pianificazione) vengono proiettati nello stesso spazio latente tramite un Progressive Feature Projector (PFP) ( $f_P$ ).
- Viene introdotta una Loss di Allineamento (similarità del coseno) che minimizza la distanza tra le feature del modello di guida e le feature del ragionamento del VLM.
- Questo processo insegna al modello E2E a "internalizzare" il ragionamento strutturato e il senso comune del VLM senza dover eseguire il VLM stesso durante l'inferenza.
Inferenza Efficiente: Al momento dell'inferenza (deployment), la pipeline del VLM viene rimossa. Il modello E2E leggero esegue la pianificazione in tempo reale, avendo già appreso le capacità di ragionamento durante l'addestramento.

3. Contributi Chiave

Distillazione del Ragionamento: Sviluppo di un metodo per trasferire le capacità di ragionamento semantico e il senso comune dei VLM in moduli specifici (percezione, previsione, pianificazione) di un modello E2E differenziabile.
Allineamento Cross-Modale: Introduzione di un meccanismo per allineare le sottotask di guida con le corrispondenti descrizioni linguistiche nello spazio latente, migliorando la comprensione semantica del modello.
Prestazioni Superiori senza Latenza VLM: Dimostrazione che è possibile ottenere prestazioni di guida più sicure e robuste, paragonabili o superiori ai modelli basati su VLM in inferenza, ma mantenendo la velocità e l'efficienza computazionale dei modelli E2E tradizionali.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark open-loop (nuScenes) e closed-loop (HugSim).

Open-Loop (nuScenes):
- VERDI supera i metodi E2E di base (come VAD-Base) riducendo l'errore di distanza $\ell_2$ fino all'11% (0.65 vs 0.72).
- Mantiene una velocità di inferenza di 4.5 FPS, molto superiore ai metodi che utilizzano VLM in inferenza (es. DriveVLM a 2.43 FPS o OmniDrive a 0.44 FPS).
Closed-Loop (HugSim Simulator):
- VERDI ottiene il punteggio di guida complessivo (HDScore) più alto tra tutti i metodi di base.
- Rispetto al baseline diretto (VAD-Base), registra un miglioramento del 10% nel tasso di Non-Collision (NC), dimostrando una maggiore sicurezza.
- Supera di gran lunga modelli VLA (Vision-Language-Action) più grandi e lenti come Alpamayo, ottenendo un HDScore di 0.200 contro 0.041 (un miglioramento di circa il 79.5%), con un'efficienza di inferenza 10 volte superiore.
Analisi Qualitativa:
- VERDI mostra una migliore percezione degli agenti (es. rilevamento di veicoli nascosti o pedoni) e una previsione di movimento più accurata, evitando errori di pianificazione aggressiva che portano a collisioni.
- Il modello adotta comportamenti più cauti e razionali in scenari complessi, evitando collisioni che i modelli supervisionati puri non riescono a prevenire.

5. Significato e Impatto

VERDI rappresenta un passo significativo verso la risoluzione del compromesso tra sicurezza/intelligenza e efficienza nella guida autonoma.

Superamento delle Allucinazioni: A differenza dei VLM usati direttamente in inferenza (che possono allucinare la geometria 3D o la profondità), VERDI utilizza la rappresentazione BEV (Bird's Eye View) del modello E2E per la geometria, distillando solo la parte semantica e logica del VLM.
Deployabilità: Risolve il problema della latenza, rendendo possibile l'uso di ragionamento complesso in tempo reale su hardware embedded, senza richiedere hardware costoso per l'inferenza di modelli LLM/VLM di grandi dimensioni.
Sicurezza: Dimostra che l'integrazione di capacità di ragionamento umano-like nei modelli di guida può portare a una riduzione significativa degli incidenti, specialmente in scenari non visti durante l'addestramento (long-tail scenarios).

In sintesi, VERDI non sostituisce il modello di guida con un VLM, ma lo potenzia "insegnandogli" a ragionare come un VLM, offrendo il meglio di entrambi i mondi: la velocità dell'end-to-end e l'intelligenza del ragionamento linguistico.