💻 computer science

InfiniVerse: Occupancy Guided Unbounded Scene Generation for Autonomous Driving

InfiniVerse è una pipeline unificata che genera scene urbane a lungo raggio realistiche, controllabili e temporalmente coerenti per la guida autonoma ricostruendo l'occupanza 3D da un singolo fotogramma, estendendola autoregressivamente e perfezionandola attraverso un paradigma gerarchico di "sketch-and-refine" che allinea le uscite della diffusione video con le rappresentazioni spaziali 3D.

Autori originali: Xiaoyu Ye, Leheng Li, Xinyu Ji, Yingjie Cai, Hongda He, Xu Yan, Guanyi Zhao, Ying-Cong Chen, Bingbing Liu, Shuguang Cui, Zhen Li

Pubblicato 2026-07-01

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xiaoyu Ye, Leheng Li, Xinyu Ji, Yingjie Cai, Hongda He, Xu Yan, Guanyi Zhao, Ying-Cong Chen, Bingbing Liu, Shuguang Cui, Zhen Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un architetto che cerca di costruire un film infinito e realistico di una strada cittadina affinché un'auto a guida autonoma possa imparare da esso. Di solito, questo è incredibilmente difficile. Se chiedi semplicemente a un computer di "continuare a creare il video", alla fine inizierà ad allucinare: le strade potrebbero torcersi in forme impossibili, gli edifici potrebbero svanire o l'auto potrebbe guidare nel vuoto. Se provi a costringerlo a seguire una mappa rigida, il video sembrerà rigido e finto.

InfiniVerse è un nuovo sistema che risolve questo problema agendo come un maestro costruttore che lavora sia con uno schizzo grezzo che con una telecamera ad alta definizione.

Ecco come funziona, passo dopo passo:

1. Lo "Scheletro 3D" (La Griglia di Occupazione)

Per prima cosa, il sistema osserva un singolo scatto di una strada (rilevato da diverse angolazioni, come le telecamere di un'auto). Invece di vedere solo un'immagine piatta, costruisce uno "scheletro 3D" del mondo. Immagina questo come una gigantesca griglia invisibile di blocchi dove il computer decide: "Questo blocco è una strada, questo è un edificio, questo è aria vuota".

Perché questo è importante: Questo fornisce al sistema una struttura fisica solida a cui aggrapparsi, affinché non perda la strada man mano che il video si allunga.

2. Lo "Schizzo Grezzo" (Estensione Autoregressiva)

Ora, immagina di voler far percorrere all'auto una nuova strada che non esiste nella foto originale. Disegni una linea semplice (uno "schizzo") su una mappa che mostra dove vuoi andare.

InfiniVerse usa questo schizzo per estendere lo scheletro 3D in avanti. Riempie nuovi blocchi della città lungo il tuo percorso.
A questo stadio, la città è ancora un po' a blocchi e a bassa risoluzione (come un mondo di Minecraft), ma ha la forma e la disposizione corrette.

3. La "Telecamera High-Def" (Generazione Video)

Successivamente, il sistema prende questo scheletro 3D a blocchi e chiede a un potente generatore di video AI: "Fai in modo che questo sembri un vero film fotorealistico."

Trasforma i blocchi grezzi in asfalto liscio, auto lucide e alberi realistici.
Fondamentalmente, lo fa mantenendo la telecamera in movimento esattamente lungo il percorso che hai schizzato.

4. Il "Ciclo di Feedback" (Il Tocco Magico)

Questa è la parte più importante. Di solito, i generatori di video AI si "ubriacano" con la propria creatività e si allontanano dalla realtà dopo un po'. InfiniVerse evita questo con una conversazione a due vie:

Il 3D guida il 2D: Lo scheletro 3D grezzo dice al generatore di video: "Resta sulla strada; non far fluttuare l'edificio".
Il 2D guida il 3D: Dopo che il video è stato creato, il sistema guarda le immagini bellissime e realistiche e le proietta indietro nello scheletro 3D. Dice: "Ehi, il video mostra un albero qui, quindi aggiorna lo scheletro 3D per includere un albero".

Questo crea un ciclo chiuso. La struttura 3D impedisce al video di diventare strano, e il video realistico mantiene accurata la struttura 3D. Si controllano costantemente a vicenda.

Il Risultato

Il documento afferma che questo sistema può generare video di guida lunghi e continui che rimangono realistici e fisicamente coerenti molto più a lungo rispetto ai metodi precedenti.

Nessuna Mappa Magica Necessaria: Non ha bisogno di una mappa perfetta e pre-esistente del mondo; costruisce il mondo man mano che procede, basandosi su una sola foto iniziale.
Stabilità: Non soffre del "drift" (deriva) dove la strada curva contro un muro o il cielo diventa verde.
Controllo: Puoi dirgli di svoltare a sinistra, andare dritto o svoltare a destra, e lui costruirà una città realistica che segue quel percorso.

In breve, InfiniVerse è come un regista che si autocorrige, che costruisce la scenografia (3D) e riprende la scena (2D) simultaneamente, controllando costantemente che gli attori siano ancora sul set e che il set sembri ancora il film. Ciò gli permette di creare infiniti, realistici scenari di guida su cui le auto a guida autonoma possono esercitarsi.

Riepilogo Tecnico: InfiniVerse

Definizione del Problema

La generazione di ambienti urbani realistici, controllabili e temporalmente coerenti rimane una sfida critica e non risolta nella guida autonoma. Mentre i metodi esistenti possono sintetizzare clip a breve raggio, essi faticano con la generazione a lungo termine (long-horizon generation).

Metodi autoregressivi impliciti (ad es. modelli di diffusione video) producono immagini ad alta fedeltà ma mancano di una struttura 3D esplicita, portando all'accumulo di deriva geometrica e a "allucinazioni" nel tempo.
Approcci guidati da prior espliciti (ad es. quelli che si affidano a BEV/mappe HD) impongono la coerenza spaziale ma sono limitati dall'intervallo dei prior di input e faticano a renderizzare video di lunga durata o a mantenere l'allineamento tra la geometria generata e l'aspetto visivo.

Esiste la necessità di una pipeline unificata che possa generare scene dinamiche a lungo raggio, allineate tra 2D e 3D e controllabili, a partire da un singolo fotogramma senza fare affidamento su mappe rigide e predefinite.

Metodologia: InfiniVerse

InfiniVerse è un framework unificato che unisce la modellazione dell'occupanza 3D e la generazione video 2D attraverso un paradigma gerarchico di "sketch-and-refine" (bozzetto e raffinamento). Il sistema opera in due fasi primarie, collegate da un meccanismo di feedback a ciclo chiuso bidirezionale.

1. Generazione di Voxel Guidata da Immagini (Ricostruzione Iniziale)

Backbone: Il sistema utilizza XCube, un modello generativo 3D su larga scala basato su griglie di voxel sparsi gerarchici e diffusione latente.
Condizionamento: I fotogrammi multi-view in input vengono elaborati tramite una pipeline di unproiezione LSS (Lift-Splat-Shoot). Le caratteristiche estratte da DINO-V2 vengono codificate in una griglia di voxel 3D densa.
Output: Questa fase ricostruisce una scena di occupanza iniziale ( $O_0$ ) dettagliata con semantica e geometria fine, codificata in una rappresentazione latente triplanare per l'efficienza.

2. Generazione di Voxel Guidata da Sketch (Estensione Grossolana)

Meccanismo: Per estendere la scena lungo traiettorie arbitrarie definite dall'utente, il sistema impiega una testa di diffusione guidata da sketch.
Processo: Dato un reticolo iniziale e una sequenza di traiettoria, il modello predice il volume di occupanza successivo. Questo viene decomposto in:
- Sketching a livello grossolano (Coarse-level): Genera un layout globale della scena a una risoluzione ridotta (ad es. volume $128^3$ ) per catturare la struttura complessiva in modo efficiente.
- Finestra Scorrevole (Sliding Window): Utilizza un ciclo di denoising con il contesto dei patch precedenti per garantire transizioni fluide e coerenza locale lungo la traiettoria.

3. Generazione a Ciclo Chiuso Bidirezionale (Raffinamento)

L'innovazione principale è un ciclo reciproco tra l'occupanza 3D e il video 2D:

Da Voxel a Video (da Grossolano a Fine):
- La griglia di occupanza grossolana viene convertita in Immagini Multi-Piano (MPI) per codificare sia le informazioni semantiche che quelle geometriche (inclusi i contenuti occlusi).
- Un modello di diffusione video (basato su CogVideoX1.5-5B, perfezionato con LoRA) traduce queste MPI in sequenze video multi-view ad alta fedeltà.
- Controllo: Il sistema inietta le caratteristiche MPI nel decoder UNet tramite convoluzioni 1×1 e utilizza l'attenzione cross-view/cross-frame per mantenere la coerenza tra le telecamere e nel tempo.
Da Video a Voxel (Raffinamento):
- I video RGB ad alta fedeltà generati vengono ri-proiettati nello spazio 3D.
- Questo funge da segnale di feedback condizionato da immagine per raffinare la rappresentazione di occupanza, correggendo la deriva e migliorando i dettagli geometrici.
- Ciò crea un processo di raffinamento a ciclo chiuso in cui la scena 3D e il video 2D si vincolano e si potenziano a vicenda.

4. Addestramento e Controllo

Funzioni di Perdita (Loss Functions): Il modello è addestrato con un obiettivo di denoising unificato. Viene introdotta una perdita di ricostruzione pesata per regione per dare priorità alle superfici stradali e agli attori dinamici (veicoli, pedoni).
Controllo tramite Testo: L'aspetto di alto livello (meteo, stile) è controllato tramite encoder testuali (ad es. "neve", "tempesta di sabbia") iniettati nel processo di diffusione.
Rollout Ultra-lungo: Un campionatore a finestra scorrevole con ri-ancoraggio periodico delle caratteristiche previene la deriva su sequenze arbitrariamente lunghe (fino a oltre 300 fotogrammi).

Contributi Chiave

Pipeline Unificata: Propone InfiniVerse, un sistema che genera scene 3D a lungo raggio geometricamente accurate e semanticamente coerenti a partire da un singolo fotogramma multi-view, eliminando la necessità di mappe HD esplicite o prior BEV.
Paradigma Gerarchico Sketch-and-Refine: Introduce un processo a due stadi che decompone la generazione a lungo termine in uno sketching strutturale grossolano e un raffinamento fine condizionato dall'immagine, migliorando coerenza e controllabilità.
Allineamento Reciproco 2D-3D: Stabilisce un ciclo di feedback bidirezionale in cui l'occupanza 3D guida la generazione video, e il video generato raffina la rappresentazione 3D, riducendo significativamente la deriva geometrica e le allucinazioni.
Prestazioni allo Stato dell'Arte: Dimostra prestazioni superiori sia in termini di qualità di generazione che di durata su benchmark standard.

Risultati Sperimentali

Il metodo è stato valutato sui dataset Waymo Open Dataset e nuScenes.

Metriche Quantitative:
- FID (Fréchet Inception Distance): Ha raggiunto 6.40 su nuScenes, superando significativamente i metodi esistenti (ad es. Uniscene 6.45, MagicDrive-V2 20.91).
- FVD (Fréchet Video Distance): Ha raggiunto 67.97, dimostrando una superiore coerenza temporale.
- Stabilità a Lungo Termine (Long-Horizon Stability): All'aumentare della lunghezza del rollout (fino a 300 fotogrammi), InfiniVerse mostra un trend di degradazione molto più lento in FID e FVD rispetto ai baseline come Vista.
Risultati Qualitativi:
- Il sistema genera con successo video di lunga durata con aspetto realistico, condizioni meteorologiche e attori dinamici.
- Mantiene un rigoroso allineamento tra molteplici modalità: RGB, semantica, profondità, occupanza e LiDAR.
- Gli sketch definiti dall'utente (ad es. svolta a sinistra, corsia dritta) guidano efficacementmente la traiettoria e il layout della scena.

Significato e Rivendicazioni

L'articolo sostiene che InfiniVerse affronti le limitazioni fondamentali delle attuali generazioni di scene di guida unificando il ragionamento strutturale 3D esplicito con il realismo visivo della diffusione video.

Superamento della Deriva: Accoppiando la modellazione del mondo guidata dall'occupanza con la generazione video, il framework risolve il problema delle "allucinazioni" comune nei metodi puramente autoregressivi impliciti.
Scalabilità: L'approccio consente la sintesi di scenari di guida arbitrariamente lunghi senza i vincoli degli intervalli delle mappe predefinite.
Applicazione: Il sistema fornisce un paradigma scalabile per la generazione di ambienti urbani controllabili, offrendo una direzione promettente per la generazione di dati, la simulazione e la valutazione su larga scala nei sistemi di guida autonoma.

Gli autori sottolineano che il loro metodo raggiunge questi risultati partendo da un singolo fotogramma, senza richiedere mappe ground-truth o prior espliciti, segnando un cambiamento verso una sintesi di scene più flessibile e robusta per la guida autonoma.