💻 computer science

Discrete-WAM: Unified Discrete Vision-Action Token Editing for World-Policy Learning

Discrete-WAM introduce un framework latente discreto unificato che allinea i token di visione e azione per abilitare il ragionamento causale composizionale, la generazione controllabile e la pianificazione controfattuale per la guida autonoma attraverso la modellazione congiunta della dinamica del mondo e delle policy decisionali tramite un processo di diffusione discreta condiviso.

Autori originali: Ziyang Yao, Haochen Liu, Yuncheng Jiang, Zeyu Zhu, Zibin Guo, Jingru Wang, Tianle Liu, Jianwei Cui, Kuiyuan Yang, Hongwei Xie, Jingwei Zhao, Guang Chen, Hangjun Ye

Pubblicato 2026-06-05

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ziyang Yao, Haochen Liu, Yuncheng Jiang, Zeyu Zhu, Zibin Guo, Jingru Wang, Tianle Liu, Jianwei Cui, Kuiyuan Yang, Hongwei Xie, Jingwei Zhao, Guang Chen, Hangjun Ye

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come guidare un'auto. La maggior parte dei metodi attuali è come insegnare a uno studente a guidare mostrandogli il video di un conducente perfetto e dicendo: "Copia esattamente ciò che vedi". Il robot impara a imitare i movimenti, ma non capisce davvero perché il conducente abbia girato il volante o come quella svolta cambi ciò che accadrà dopo. Sta solo memorizzando un modello.

Altri metodi cercano di costruire un "modello del mondo" (world model) — una simulazione mentale del futuro. Ma questi sono spesso come cercare di prevedere il tempo usando una nuvola di dati sfocata e continua. È difficile scomporre quella nuvola in passaggi specifici e logici come "se giro a sinistra, l'auto accanto a me si sposterà a destra".

Discrete-WAM (da Xiaomi) è un nuovo approccio che cerca di risolvere entrambi i problemi. Ecco come funziona, spiegato in modo semplice:

1. L'approccio "Lego" (Token Discreti)

Inve Instead di vedere il mondo come un video fluido e sfocato o un'equazione matematica complessa, Discrete-WAM scompone tutto in mattoncini Lego (chiamati "token discreti").

Visual: Ogni parte dell'immagine della telecamera viene trasformata in un mattoncino Lego specifico.
Azioni: Ogni movimento che l'auto compie (accelerare, curvare) è anch'esso un mattoncino Lego specifico.
La Magia: Poiché sia l'immagine che l'azione sono fatti dello stesso tipo di mattoncini Lego, l'IA può mescolarli e abbinarli facilmente. Può guardare l'immagine di una strada, prendere un mattoncino "gira a sinistra" e incastrarlo sull'immagine per vedere quale sarà il futuro.

2. Il tasto "Modifica" (Generazione Unificata)

Pensa all'IA non come a una macchina che si limita a prevedere il futuro, ma come a un editor con uno strumento "Trova e Sostituisci".

Il Processo: L'IA parte da una bozza grezza del futuro (una supposizione sfocata della strada e del percorso dell'auto).
Raffinamento Iterativo: Successivamente, passa attraverso questa bozza più volte, come uno scrittore che edita una storia. In ogni round, guarda i "mattoncini Lego" che sembrano sbagliati o incerti e li sostituisce con altri migliori.
Perché aiuta: Questo permette all'IA di testare diversi scenari "cosa succederebbe se". Può chiedere: "E se giro a sinistra qui?" e istantaneamente modificare l'immagine del futuro per mostrarne il risultato, poi chiedere: "E se giro a destra?" e modificare anche quello. Non deve impegnarsi su un unico percorso immediatamente.

3. Il "Capitano e l'Equipaggio" (Pianificazione Gerarchica)

Il documento introduce un modo intelligente per prendere decisioni, dividendo il lavoro in due ruoli:

Il Capitano (Decisione di alto livello): Questa parte dell'IA prende le scelte grandi e semplici: "Voglio cambiare corsia" oppure "Voglio fermarmi". È come un capitano che urla un ordine generale.
L'Equipaggio (Azione di basso livello): Una volta che il Capitano dà l'ordine, l'Equipaggio capisce i movimenti fluidi e dettagliati per realizzarlo. Gestiscono lo sterzo specifico e le regolazioni di velocità.
Il Vantaggio: Questo evita che l'IA si confonda. Se prova a capire ogni minimo movimento delle ruote tutto in una volta, potrebbe bloccarsi. Separando la "grande idea" dai "dettagli fini", l'IA rimane stabile e sicura.

4. Il "Simulatore di Sicurezza" (Ragionamento Controfattuale)

Poiché l'IA può modificare il futuro così facilmente, agisce come un simulatore di volo per l'auto.

Può eseguire una simulazione in cui l'auto guida normalmente e vedere se è sicura.
Poi, può "modificare" la simulazione per chiedere: "E se un pedone attraversa la strada?" o "E se freno troppo tardi?".
Se la simulazione mostra un incidente (una "sorpresa" che l'IA non si aspettava), il sistema sa che quel percorso è pericoloso. Questo aiuta l'auto a evitare incidenti prima che accadano, testando scenari pericolosi nella sua mente per primo.

I Risultati

Il documento ha testato questo sistema su enormi dataset di scenari di guida reali.

Prestazioni: Ha guidato allo stesso livello, o meglio, dei sistemi attuali più avanzati.
Sicurezza: È stato più bravo ad evitare collisioni e a rispettare le regole del traffico.
Creatività: A differenza di altri sistemi che si limitano a copiare ciò che hanno visto, questo sistema è in grado di generare nuovi percorsi di guida sicuri che non aveva mai visto prima, dimostrando di comprendere realmente le regole della strada.

In breve: Discrete-WAM insegna a un'auto a guida autonoma a pensare in "mattoncini Lego". Questo le permette di modificare il futuro come un editor video, separare le grandi decisioni dai piccoli dettagli e avviare simulazioni mentali per verificare se una manovra è sicura prima di compierla realmente.

Riassunto Tecnico: Discrete-WAM

Problema

La guida autonoma richiede fondamentalmente di ragionare su come le azioni dell'ego modellino l'evoluzione del mondo circostante, piuttosto che limitarsi a reagire alle osservazioni istantanee. Gli attuali sistemi end-to-end (E2E) si affidano tipicamente a mappature dirette stato-azione tramite il behavior cloning, catturando correlazioni statistiche senza modellare esplicitamente la dinamica condizionata all'azione. Sebbene i modelli di mondo a spazio latente continuo offrano una forte continuità, spesso mancano della struttura compositiva necessaria per il ragionamento causale attraverso futuri controfattuali. Inoltre, gli approcci esistenti spesso trattano la modellazione del mondo, l'apprendimento della policy e il processo decisionale come compiti separati o obiettivi ausiliari, fallendo nel stabilire corrispondenze causali coerenti tra osservazioni, azioni e stati futuri indotti all'interno di un processo generativo unificato.

Metodologia: Discrete-WAM

Gli autori propongono Discrete-WAM, una politica di mondo visione-azione latente unificata che rappresenta gli stati visivi futuri e le azioni dell'ego come token discreti allineati. Questo framework consente il ragionamento causale compositivo attraverso futuri alternativi tramite un'architettura di diffusione discreta condivisa.

1. Rappresentazione Discreta Unificata

Discrete-WAM converte le osservazioni continue e le azioni in uno spazio di token discreti condiviso:

Tokenizzazione della Visione: Le osservazioni video continue vengono codificate in token semantici discreti utilizzando un tokenizer VQ-VAE pre-addestrato.
Tokenizzazione dell'Azione: Il moto futuro continuo viene convertito in una rappresentazione compatibile con i token discreti su un vocabolario di accelerazione. Gli autori impiegano una strategia di interpolazione soft-label su una griglia di accelerazione 2D per evitare errori di quantizzazione deterministica hard, permettendo ai valori di controllo continui di essere preservati attraverso somme pesate di prototipi vicini.
Token Decisionali: Le condizioni decisionali di alto livello (ad esempio, intento di manovra, corsia target) sono rappresentate come token decisionali sparsi e a bassa frequenza ( $D_t$ ).

2. Modellazione della Policy Gerarchica

Invece di generare direttamente azioni future dense dal contesto della scena, Discrete-WAM decompone la generazione della policy in un processo gerarchico:

Alto Livello: Il modello predice uno scheletro decisionale sparso ( $D_t$ ) che cattura l'intento di manovra grossolano e le scelte di guida multimodali.
Basso Livello: Un pianificatore di token d'azione basato su diffusione discreta genera traiettorie fluide e temporalmente coerenti condizionate dalla decisione predetta.
Questa separazione permette al modello di selezionare decisioni multimodali ad alto livello pur realizzando traiettorie fluide a basso livello, prevenendo il collasso delle modalità di guida alternative.

3. Framework Generativo Unificato

Discrete-WAM formula la guida autonoma come modellazione di sequenze su uno spazio di token discreti condiviso, supportando tre modalità di addestramento complementari sotto un'unica architettura:

Modellazione del Mondo: Predice i token visivi futuri ( $V_{t+1:t+H}$ ) condizionati dal contesto della scena ( $C_t$ ) e dai token d'azione futuri ( $A_{t+1:t+H}$ ).
Modellazione Mondo-Policy: Addestra congiuntamente la predizione di visione e azione all'interno di una sequenza di token intercalata, incoraggiando l'accoppiamento della generazione della policy con l'evoluzione del mondo.
Modellazione della Policy: Predice la decisione di alto livello ( $D_t$ ) seguita dalla sequenza di azioni ( $A_{t+1:t+H}$ ) condizionata dalla decisione.

4. Addestramento e Post-Addestramento

Pre-addestramento Unificato: Il modello subisce un pre-addestramento multi-stadio utilizzando un obiettivo di token-editing. Impara a recuperare i token corrotti (visivi o d'azione) basandosi sul contesto storico e sugli input di condizionamento. La funzione di perdita combina la cross-entropy per la classificazione dei token con perdite di ricostruzione del moto continuo (accelerazione, traiettoria e posizione) per garantire la coerenza fisica.
Post-Addestramento (RL): Per affrontare comportamenti rari o critici per la sicurezza, gli autori applicano la Grouped Relative Policy Optimization (GRPO). Il modello campiona traiettorie candidate, le valuta con una funzione di ricompensa online (che incorpora metriche di sicurezza e critiche alle regole) e aggiorna la policy per raffinare le combinazioni decisione-traiettoria.

5. Inferenza e Editing

Durante l'inferenza, Discrete-WAM utilizza la generazione iterativa di pianificazione ed editing sugli stati futuri. Una strategia di scheduling (ad esempio, replace_confidence) aggiorna selettivamente i token in base alla confidenza di predizione e all'entropia, consentendo un ragionamento non causale e globalmente coerente sui futuri condizionati all'azione senza impegnarsi in un singolo rollout in avanti.

Contributi Chiave

Politica di Mondo Visione-Azione Unificata: L'introduzione di un framework che rappresenta le osservazioni e le azioni dell'ego in uno spazio latente discreto condiviso, consentendo una modellazione semantica allineata e un ragionamento strutturato sui futuri condizionati all'azione.
Framework di Diffusione Discreta: Un approccio di pre-addestramento unificato per la modellazione del mondo e dell'azione che cattura congiuntamente la dinamica futura condizionata all'azione all'interno di un unico processo generativo, andando oltre gli obiettivi separati.
Pianificazione Condizionata da Decisioni Gerarchiche: Una dimostrazione che la decomposizione della policy in scheletri decisionali di alto livello e raffinamento dell'azione di basso livello migliora le prestazioni di pianificazione, consentendo al contempo la generazione controllabile, il ragionamento controfattuale e la valutazione consapevole della sicurezza.

Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di guida autonoma su larga scala, specificamente NAVSIM-v1 e NAVSIM-v2.

Prestazioni di Pianificazione: Discrete-WAM ha ottenuto prestazioni di pianificazione competitive o superiori rispetto a forti baseline end-to-end. Su NAVSIM-v2, ha raggiunto un punteggio EPDMS di 90.4, superando metodi come WAM-Flow (87.0) e SparseDriveV2 (90.1). Su NAVSIM-v1, ha raggiunto un PDMS di 92.2, superando i pianificatori allo stato dell'arte.
Generazione del Mondo: In termini di qualità generativa (FID e FVD), Discrete-WAM ha superato gli esistenti modelli di mondo per la guida generativa (ad esempio, Vista, DrivingWorld), ottenendo un FID di 6.6 e un FVD di 80.0, nonostante sia ottimizzato per la pianificazione a breve orizzonte.
Studi di Ablazione:
- Pre-addestramento Unificato: I modelli inizializzati con pre-addestramento unificato e perfezionati tramite LoRA (LoRA-SFT) hanno superato quelli addestrati da zero o con full fine-tuning, indicando il valore del preservare la conoscenza pre-addestrata del mondo-policy.
- Modellazione delle Decisioni: L'inclusione dei token decisionali ( $D_t$ ) ha migliorato significativamente le metriche di pianificazione, confermando che la guida a livello decisionale fornisce un efficace prior comportamentale.
- Post-Addestramento: Il post-addestramento RL ha ulteriormente migliorato l'EPDMS da 90.0 a 90.4, dimostrando il beneficio dell'esplorazione delle combinazioni decisione-traiettoria.
- Ragionamento Controfattuale: Il modello ha dimostrato una forte correlazione negativa tra "sorpresa" (divergenza KL tra i rollout fattuali e controfattuali) e le metriche di sicurezza della pianificazione (PDMS), indicando la sua capacità di catturare dinamiche di scena critiche per la sicurezza.

Significato e Rivendicazioni

Il paper sostiene che Discrete-WAM offre una via principesca verso un processo decisionale più affidabile nella guida autonoma, passando dalla semplice imitazione reattiva al ragionamento strutturato mondo-policy. Unificando la modellazione del mondo, l'apprendimento della policy e il processo decisionale in uno spazio di token discreti, il framework supporta:

Generazione Controllabile: La capacità di modificare aspetti specifici delle osservazioni e delle traiettorie future.
Ragionamento Controfattuale: La capacità di ragionare su futuri alternativi e valutare i rischi per la sicurezza prima dell'esecuzione.
Predizione Consapevole della Sicurezza: La capacità di identificare scenari ad alta sorpresa che corrispondono a collisioni o violazioni delle regole.

Gli autori postulano che questo approccio affronti colli di bottiglia fondamentali nella formulazione della rappresentazione e nella modellazione generativa, fornendo una base scalabile per l'intelligenza incarnata che può generalizzare attraverso diversi scenari di guida.