Riassunto Tecnico: Adaptive-WAM

Problema

I grandi modelli di diffusione video offrono ricchi priori spazio-temporali per la pianificazione dell'autonomia, tuttavia gli attuali Modelli Mondo-Azione (WAM) spesso sostengono l'intero costo computazionale della generazione iterativa di video futuri e della decodifica VAE, anche quando il deployment richiede solo una traiettoria dell'ego a bassa dimensionalità. Gli approcci attuali tipicamente accoppiano predizione e azione attraverso un percorso di backbone predeterminato o un ciclo di denoising iterativo, creando una rigidità non necessaria. La domanda centrale affrontata è: Quanto del modello di diffusione video deve essere eseguito per prendere una decisione di guida affidabile?

Gli autori identificano due assi spesso confusi:

1. Timestep della Diffusione Video: Controlla il livello di rumore latente.
2. Profondità del DiT: Controlla il numero di blocchi transformer valutati.

Un'analisi preliminare su NAVSIM rivela che le prestazioni di pianificazione sono ampiamente insensibili ai livelli di rumore video (timestep), ma mostrano una variazione significativa dipendente dalla profondità. Inoltre, traiettorie forti possono essere decodificate da strati intermedi, e diverse profondità risolvono set di scene parzialmente sovrapposti, suggerendo che un'esecuzione a profondità fissa sia subottimale.

Metodologia: Adaptive-WAM

Il paper propone Adaptive-WAM, un pianificatore multi-exit consapevole della qualità, costruito su un backbone Wan2.2-TI2V-5B. L'architettura scinde il processo di generazione video dal processo di decisione della pianificazione durante l'inferenza.

Architettura e Flusso di Inferenza

1. Backbone: Il modello utilizza il Wan2.2 video DiT. Durante l'inferenza, elabora l'immagine corrente della telecamera frontale e una descrizione testuale (derivata dai metadati della mappa, velocità dell'ego e storia delle manovre) a un indice di rumore video fisso ($s^* = 17$). Non consuma video futuri con verità di base (ground-truth) né esegue cicli completi di denoising iterativo durante il deployment.
2. Testine di Traiettoria Multi-Exit: Sei blocchi intermedi del DiT (layer 5, al 9, 15, 18, 22 e 30) fungono da punti di uscita (exit points). Ad ogni uscita $\ell$, uno strato di proiezione converte la rappresentazione nascosta $h_\ell$ in token di condizionamento della traiettoria, che vengono poi immessi in una testa di diffusione della traiettoria indipendente in stile ReCogDrive a 5 step. Ogni testa genera una singola traiettoria candidata.
3. Routing Adattivo Guidato dalla Qualità:
   • Uno scorer della qualità della traiettoria leggero (basato su un encoder DINOv2-Small fine-tuned e un MLP) valuta ogni traiettoria decodificata.
   • Lo scorer predice le componenti della metrica di pianificazione (NC, DAC, DDC, TTC, EP, Comfort) piuttosto che un ordinamento totale rigoroso, riconoscendo che i premi di pianificazione sono spesso saturi e legati tra loro.
   • Logica Decisionale: Il sistema mantiene un pool di traiettorie decodificate. Se il punteggio di qualità predetto più alto ($\hat{q}$) tra le uscite tentate supera una soglia $\eta$, l'inferenza termina e viene restituita la migliore traiettoria accumulata. Altrimenti, il sistema continua l'esecuzione dallo stato nascosto memorizzato verso l'uscita successiva più profonda.
   • Se nessuna uscita soddisfa la soglia, il sistema restituisce per default la traiettoria con il punteggio più alto dall'uscita finale (layer 30).

Strategia di Addestramento

• Adattamento al Dominio Video: Il backbone Wan è adattato tramite LoRA (Low-Rank Adaptation), mentre le proiezioni e le teste della traiettoria sono completamente ottimizzate. L'obiettivo combina la perdita nativa di diffusione video con le perdite di diffusione della traiettoria per tutte le uscite.
• Addestramento dello Scorer: Lo scorer è fine-tuned sulle traiettorie generate utilizzando una cross-entropy binaria a etichetta morbida (soft-label) rispetto ai target delle componenti forniti dal valutatore. Opera con isolamento del gradiente dall'attore per evitare di alterare la distribuzione della traiettoria.
• RL Solo per il Planner: Dopo l'apprendimento per imitazione, il backbone e lo scorer vengono congelati. Le teste della traiettoria sono rifinite usando DiffGRPO (un metodo di apprendimento per rinforzo specifico per il planner), trattando l'intera catena di denoising a 5 step come un'unica azione.

Contributi Chiave

1. Diagnosi Sistematica: Il paper dimostra che le prestazioni di pianificazione della guida sono robuste ai livelli di rumore video ma altamente sensibili alla profondità del DiT. Rivela che le feature intermedie forniscono un forte substrato di pianificazione e che diverse profondità risolvono set di scene distinti e non ridondanti.
2. Architettura Multi-Exit Consapevole della Qualità: Adaptive-WAM introduce un meccanismo per allocare dinamicamente la profondità del backbone in base alla qualità della pianificazione attualmente decodificata, evitando la necessità di una generazione video completa o di un'esecuzione a profondità fissa.
3. Trade-off Efficienza-Prestazioni: Il metodo raggiunge prestazioni di pianificazione allo stato dell'arte tra i modelli mondo confrontati, riducendo significativamente la latenza di inferenza saltando la computazione non necessaria per le scene "facili".

Risultati Sperimentali

NAVSIM v1 e v2

• NAVSIM v1: Il pianificatore adattivo a traiettoria singola raggiunge 90.8 PDMS. Una variante a uscita fissa con 64 proposte (usando il blocco 22) raggiunge 92.6 PDMS, superando la baseline DriveVA.
• NASIM v2: Adaptive-WAM raggiunge 89.9 EPDMS, ottenendo i migliori risultati riportati tra i pianificatori di modelli mondo video con vista frontale confrontati.
• Latenza: Su una GPU A100, il pianificatore adattivo media una latenza end-to-end di 170 ms. Questo è circa il 10% più veloce di un pianificatore a blocco 15 fisso (190 ms) e il 47% più veloce di un pianificatore a profondità totale fissa (320 ms).

Trasferimento Zero-Shot

Senza fine-tuning sul dominio target, il modello si trasferisce su nuScenes, raggiungendo un errore L2 medio di 0.88 m e un tasso di collisione dello 0.08%. Questa prestazione è competitiva con DriveVA (0.84 m, 0.06%) ma con costi di inferenza sostanzialmente inferiori, poiché Adaptive-WAM evita la generazione completa del video.

Studi di Ablazione

• Backbone: L'addestramento congiunto LoRA del backbone Wan è critico; congelare il backbone o utilizzare il caching separato recupera solo una frazione delle prestazioni.
• Scorer: DINOv2-Small è sufficiente per lo scorer della qualità; l'uso delle feature del backbone Wan per lo scoring offre guadagni trascurabili (0.03 punti) a un costo computazionale molto più elevato.
• Profondità: Sebbene il blocco 15 sia generalmente l'uscita fissa più forte, la politica adattiva supera il modello superando la selezione dinamica di strati più profondi per le scene difficili.

Significato e Claim

Il paper sostiene che le feature intermedie del video-DiT sono rappresentazioni di pianificazione robuste che non richiedono la sintesi completa dell'immagine per essere efficaci. Accoppiando teste di traiettoria multi-profondità con un controllore di qualità consapevole dei legami (tie-aware), Adaptive-WAM dimostra una via pratica dal grande modello generativo del mondo verso policy di guida efficienti e in tempo reale.

Gli autori sottolineano che il loro approccio:

• Evita il ciclo iterativo di denoising classifier-free e la decodifica VAE richiesti per la sintesi del video futuro.
• Alloca dinamicamente la computazione in base alla qualità della traiettoria piuttosto che impegnarsi in una singola profondità di lettura.
• Raggiunge risultati allo stato dell'arte su NAVSIM mantenendo una latenza media inferiore rispetto alle baseline più forti a profondità fissa.

Il lavoro suggerisce che, per la pianificazione dell'autonomia, il "modello mondo" non ha bisogno di renderizzare completamente il futuro; deve solo calcolare abbastanza feature latenti per decodificare una traiettoria affidabile.