🤖 AI

OmniDrive: An LLM-Choreographed Multi-Agent World Model with Unified Latent Co-Compression for Multi-View Driving Video Generation

Questo articolo introduce DRIVE-CHOREO, un modello di mondo multi-agente coreografato da un LLM che unifica controlli di guida eterogenei e geometria multi-vista attraverso una sequenza di token latenti condivisa e una strategia di co-compressione, raggiungendo uno stato dell'arte in termini di coerenza e dimostrando una significativa utilità a valle per i compiti di guida autonoma.

Autori originali: Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

Pubblicato 2026-06-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come guidare un'auto mostrandogli dei video della strada. Il robot deve capire tre cose contemporaneamente: ciò che il conducente sta dicendo (linguaggio), dove si trovano le auto e le strade (geometria) e ciò che le telecamere vedono effettivamente (pixel).

Per molto tempo, i ricercatori di IA hanno faticato a far lavorare queste tre cose insieme in modo fluido. È come cercare di dirigere un'orchestra dove i violinisti leggono uno spartito, i batteristi ascoltano un podcast e i cantanti improvvisano senza un direttore. Il risultato è spesso una performance disordinata in cui l'auto può improvvisamente teletrasportarsi, il cielo può cambiare colore tra una telecamera e l'altra, o il robot ignora i semafori.

Il documento presenta OMNIDRIVE, un nuovo sistema che agisce come un regista cinematografico esperto per risolvere questo caos. Ecco come funziona, suddiviso in concetti semplici:

1. Il Problema: La troupe "disconnessa"

Gli attuali modelli di IA per i video di guida solitamente gestiscono il "cosa" (linguaggio) e il "dove" (mappe) separatamente dal "come appare" (video).

Il problema: Cercano di incollare queste parti separate dopo che il video è stato quasi interamente creato. È come cercare di incollare una mappa su uno schermo cinematografico dopo che il film è già iniziato. Il risultato è spesso un "drift" (deriva), dove la telecamera di sinistra vede un albero, ma quella di destra vede un edificio, o l'auto compie salti strani.

2. La Soluzione: Il Direttore con i "Tre Agenti"

OMNIDRIVE sostituisce la colla disordinata con un team di tre agenti specializzati di IA (alimentati da un grande modello linguistico) che lavorano insieme prima e durante la creazione del video. Immaginateli come una troupe di produzione cinematografica:

L'Architetto (Lo Sceneggiatore): Gli dai un comando semplice come "Guida attraverso una città piovosa di notte". L'Architetto traduce questo in uno script rigido e strutturato chiamato WORLDSCRIPT. Elenca esattamente il meteo, dove sta andando l'auto ego (la tua auto) e dove si trovano le altre auto.
Il Cartografo (Lo Scenografo): Questo agente prende lo script e disegna una "pianta" o una mappa sparsa. Non disegna l'intero video; disegna solo le linee della strada, le corsie e i rettangoli attorno alle altre auto. Trasforma il testo in una mappa visiva che corrisponde alle angolazioni delle telecamere.
L'Auditore (L'Ispettore del Controllo Qualità): Mentre il video viene creato, questo agente osserva le diverse viste delle telecamere. Se la telecamera anteriore vede un'auto rossa ma quella laterale ne vede una blu, l'Auditore grida: "Ehi, questo non corrisponde!" e dice al sistema di correggerlo immediatamente.

3. Il Tocco Magico: "Co-Compressione Latente"

Questa è l'innovazione più tecnica ma cruciale del documento. Di solito, l'IA guarda le sei telecamere di un'auto separatamente, come guardare attraverso sei finestre diverse una alla volta.

OMNIDRIVE fa qualcosa di diverso. Prende il video da tutte e sei le telecamere e la "pianta" del Cartografo, e li cuce tutti insieme in un unico, lungo striscia di dati prima ancora che l'IA inizi a generare il video.

L'analogia: Immagina di avere sei diversi pezzi di un puzzle. Invece di cercare di incastrarli dopo averli dipinti, li incolli tutti su un unico grande pannello prima. Poi, dipingi l'intero pannello in una volta sola. Poiché sono fisicamente connessi sul pannello, il colore (il video) scorre naturalmente da una telecamera all'altra senza interruzioni o errori.
Il risultato: L'IA "vede" il mondo 3D come un unico oggetto unificato piuttosto che come sei immagini 2D separate. Ciò assicura che se un'auto è a sinistra, sia anche a destra, esattamente dove dovrebbe essere.

4. Il Risultato: Un Film Perfettamente Allineato

Poiché linguaggio, mappa e video sono tutti "coreografati" insieme fin dal primo passo:

Niente più "Ghosting": Le auto non scompaiono o si teletrasportano tra le viste delle telecamere.
Consistenza Perfetta: L'illuminazione e le ombre corrispondono perfettamente in tutte e sei le telecamere.
Uso nel Mondo Reale: Il documento dimostra che se addestri il cervello di un'auto a guida autonoma solo su video creati da OMNIDRIVE, l'auto in realtà guida meglio rispetto alle auto addestrate solo su riprese reali.

Riassunto

OMNIDRIVE è come un super-conduttore per la generazione di video di guida. Invece di lasciare che il linguaggio, le mappe e le telecamere litighino tra loro, costringe tutti a sedersi allo stesso tavolo, parlare la stessa lingua e muoversi in perfetta sincronia. Il risultato è una simulazione di guida così realistica e coerente che può effettivamente insegnare alle auto reali come guidare in sicurezza.

Riepilogo Tecnico: OMNIDRIVE

1. Definizione del Problema

I modelli del mondo per la guida autonoma affrontano due tensioni persistenti e non risolte che ostacolano la generazione di video multi-view ad alta fedeltà e controllabili:

Iniezione di Controllo Eterogeneo: I sistemi esistenti faticano a unificare modalità di controllo fondamentalmente diverse. Gli indizi geometrici (HD-map, 3D box, pose della telecamera) sono ancorati spazialmente alla griglia dei pixel, mentre gli indizi semantici (testo libero, meteo, stile) sono globalmente diffusi. Gli approcci attuali tipicamente innestano rami separati (ad esempio, ControlNet per la geometria, cross-attention per il testo) che rimangono scollegati finché il processo di diffusione non tenta di riconciliarli post-hoc.
Fusione Cross-View Post-Hoc: La maggior parte dei metodi comprime ogni vista della telecamera indipendentemente tramite VAE 3D separati e li fonde solo successivamente tramite cross-view attention. Ciò produce latenti locali per ogni telecamera che mancano di una consapevolezza geometrica 3D globale, portando a problemi persistenti come il drift cross-view, lo sfarfallio fotometrico e la teletrasportazione di oggetti, anche quando le metriche di qualità della singola vista (FID) sono competitive.

Gli autori sostengono che la causa radice di entrambi i fallimenti sia l'assenza di un interlingua simbolica condivisa che allinei linguaggio, geometria e pixel a livello di token latente.

2. Metodologia

OMNIDRIVE inquadra la generazione di video multi-view controllabile come un problema di coreografia latente, orchestrata da un sistema multi-agente e unificata attraverso una nuova strategia di compressione.

A. Sistema Multi-Agente Coreografato da LLM

Invece di una pipeline monolitica prompt-to-encoder, OMNIDRIVE impiega tre agenti specializzati Qwen2.5-VL che co-autorevano una singola sequenza di token consapevole della posizione:

ARCHITECT: Analizza i prompt liberi dell'utente in uno WORLDSCRIPT strutturato (JSON). Questo script codifica lo stato globale (meteo, tempo), la traiettoria dell'ego, l'elenco degli agenti (classi, posizioni, comportamenti) e la topologia stradale. L'output è incorporato come token semantici ( $C_{sem}$ ).
CARTOGRAPHER: Radica lo WORLDSCRIPT in una geometria ancorata spazialmente. Renderizza programmaticamente immagini di layout sparse (HD-map rasterizzate, 3D box proiettati, ego ribbon) per ogni telecamera e istante temporale. Questi layout sono codificati in token geometrici ( $C_{geo}$ ) che condividono gli identici indici posizionali dei token visivi.
AUDITOR: Durante l'addestramento, questo agente consuma i ritagli multi-view decodificati e lo WORLDSCRIPT per generare critiche strutturate (punteggi di coerenza e tag di modalità di fallimento) tra coppie di telecamere. Questi sono incorporati come token di revisione ( $C_{rev}$ ) per fornire supervisione ausiliaria.

B. Co-Compressione Latente

Per risolvere il problema della coerenza cross-view, OMNIDRIVE introduce la Co-Compressione Latente, che sostituisce la codifica indipendente per telecamera con un processo unificato:

Permutazione Vista-Tempo ( $\Pi$ ): Il cubo video delle sei telecamere $\times$ tempo viene appiattito in un flusso pseudo-temporale in cui la dimensione temporale è definita come $\tilde{t} = (n-1)T + t$ . Questa permutazione è applicata identicamente al video RGB e alle immagini di layout geometrico del CARTOGRAPHER.
3D VAE Unificato: Un singolo 3D VAE (pre-addestrato su video generici) codifica il tensore permutato. Poiché la permutazione è metricamente preservativa e ortogonale, mantiene la costante di Lipschitz dell'encoder.
Padding Consapevole dei Blocchi di Vista (VBP): Per evitare che il campo recettivo convoluzionale attraversi diverse viste della telecamera (il che mescolerebbe contesti spaziali non correlati), viene applicato un operatore di masking apprendibile. Ciò assicura che i kernel temporali aggreghino solo informazioni dallo stesso istante attraverso le viste, riducendo la varianza inter-telecamera.
Endpoint di Rumore Condiviso: Per le viste catturate allo stesso istante fisico, l'endpoint del rumore ( $z_1$ ) nella formulazione di flow-matching è condiviso, riducendo ulteriormente la varianza fotometrica.

C. Generazione Coreografata (MM-DiT)

Il latente co-compresso viene patchificato e concatenato con i token autorevoli degli agenti ( $C_{sem}, C_{geo}, C_{tmp}, C_{rev}$ ) in una sequenza unificata $S$ .

Schema Posizionale: I token geometrici ( $C_{geo}$ ) condividono gli stessi indici posizionali 3D $(\tilde{t}, i, j)$ dei token visivi ( $X$ ), imponendo un grounding geometrico a livello di pixel. I token semantici sono traslati, e i token temporali sono sinusoidali.
Attenzione Biassata: Un bias controllabile è applicato al meccanismo di attenzione multi-modale, stringendo specificamente l'attenzione tra i token visivi e i token geometrici ( $X$ e $C_{geo}$ ) tramite un guadagno scalare $\gamma_{geo}$ . Questo collassa la cross-attention multi-branch in un singolo meccanismo di self-attention con esplicito allineamento posizionale.

D. Addestramento e Inferenza

Funzione di Perdita: Il modello è addestrato utilizzando la Conditional Flow Matching ( $L_{CFM}$ ) combinata con un termine di smoothness equivariante ( $L_{sm}$ ) che penalizza i salti latenti non fisici, e una perdita AUDITOR ( $L_{rev}$ ) che allinea i disaccordi di velocità tra le viste con i punteggi di coerenza del critico.
Inferenza: La generazione avviene tramite un solver ODE di rectified-flow (step di Heun). L'AUDITOR può essere invocato opzionalmente al test per valutare i campioni intermedi e innescare un singolo step di raffinamento se i punteggi di coerenza scendono sotto una soglia.

3. Contributi Chiave

Architettura OMNIDRIVE: Il primo modello del mondo per la guida multi-agente che unifica comprensione del linguaggio, layout geometrico e generazione di pixel in una singola griglia di token consapevole della posizione.
Co-Compressione Latente: Una nuova strategia di permutazione vista-tempo che trasforma i vincoli 3D inter-telecamera in dipendenze convoluzionali locali all'interno di un 3D VAE condiviso, eliminando la necessità di fusione post-hoc.
Condizionamento Coreografato da LLM: Un framework in cui tre agenti specializzati (ARCHITECT, CARTOGRAPHER, AUDITOR) autorevano una sequenza di condizionamento legata alla griglia visiva a livello di token, consentendo un controllo fine e disaccoppiato.
Prestazioni allo Stato dell'Arte: Il modello stabilisce nuovi benchmark sul dataset nuScenes per la coerenza multi-view e la controllabilità.

4. Risultati Sperimentali

Valutato sul set di validazione nuScenes (6 telecamere, 32 frame, risoluzione 880×1280):

Qualità e Coerenza: OMNIDRIVE raggiunge un FVD di 45.7 e un punteggio di coerenza multi-view (PC) del 65.6%, superando significativamente i baseline come MagicDrive-V2 (FVD 64.8, PC 62.8%) e UniMLVG. Riduce l'errore fotometrico epipolare (EPC) di circa il 28% rispetto al secondo classificato.
Controllabilità: Il modello raggiunge un BEV mAP di 21.55 e un mIoU di 18.87 sui dati generati, superando tutti gli altri metodi.
Utilità a Valle: Un detector (BEVFormer-S) addestrato esclusivamente su 20k clip sintetiche generate da OMNIDRIVE raggiunge 36.8 mAP e 44.0 NDS sui dati reali di validazione nuScenes. Ciò rappresenta un miglioramento di +2.4 NDS rispetto a un baseline addestrato solo su dati reali, validando l'alta utilità del corpus sintetico.
Efficienza: OMNIDRIVE opera sulla frontiera di Pareto tra qualità e latenza, generando clip in 9.6 secondi (2.4× più veloce di UniMLVG) con un minor uso di memoria.

5. Significato e Rivendicazioni

Il paper sostiene che OMNIDRIVE risolva il lungo scambio tra fedeltà e controllabilità nei modelli del mondo per la guida. Stabilendo una "interlingua simbolica condivisa" dove linguaggio simbolico, geometria renderizzata e latenti dei pixel condividono un sistema di coordinate completamente allineato, il sistema consente:

Controllabilità Reale: Gli utenti possono scambiare singoli campi nello WORLDSCRIPT (ad esempio, meteo, traiettoria) per alterare solo l'attributo target senza influenzare gli altri, dimostrando un controllo fine e disaccoppiato.
Grounding Geometrico: L'approccio di co-compressione assicura che i vincoli geometrici siano rispettati a livello latente, prevenendo il "drift cross-view" e la "teletrasportazione di oggetti" comuni negli schemi di encoding indipendenti.
Utilità Pratica: I dati generati non sono solo visivamente plausibili ma funzionalmente preziosi, migliorando direttamente le prestazioni dei modelli di percezione a valle addestrati su dati del mondo reale.

Gli autori posizionano OMNIDRIVE come un passo fondamentale verso una "controllabilità genuina" nei modelli del mondo generativi, andando oltre i flussi di controllo disconnessi verso un processo di generazione unificato e coordinato dagli agenti.