SEM-ROVER: Semantic Voxel-Guided Diffusion for Large-Scale Driving Scene Generation

1. Il Problema

La generazione di scene di guida outdoor su larga scala è fondamentale per la simulazione, la sintesi dei dati e l'editing controllato delle scene. Tuttavia, le soluzioni esistenti presentano limiti significativi:

• Incoerenza Geometrica: I metodi basati su modelli generativi di immagini o video (distillati nello spazio 3D) spesso falliscono nel mantenere la coerenza geometrica tra diverse viste e non producono una rappresentazione 3D persistente.
• Scalabilità: I modelli basati su convoluzioni 3D o rappresentazioni dense richiedono risorse computazionali e di memoria proibitive per scene estese.
• Limiti di Rendering: Molti approcci sono vincolati a traiettorie di camera predefinite o richiedono ottimizzazione per scena, rendendo difficile il rendering da punti di vista arbitrari o l'editing strutturato.

L'obiettivo è creare un framework che generi scene 3D coerenti, scalabili a grandi aree e capaci di rendering fotorealistico senza ottimizzazione per singola scena.

2. Metodologia

SEM-ROVER affronta il problema generando direttamente nello spazio 3D utilizzando una rappresentazione discreta chiamata $\Sigma$-Voxfield.

A. Rappresentazione: $\Sigma$-Voxfield

Invece di utilizzare voxel densi o campi impliciti, SEM-ROVER utilizza una griglia di voxel dove ogni voxel occupato contiene un numero fisso di campioni di superficie colorati (token).

• Struttura: Ogni voxel $v_\Sigma$ è definito da $n$ punti 3D con coordinate $(x, y, z)$ e colori RGB $(r, g, b)$, campionati sulla superficie della scena all'interno di quel voxel.
• Vantaggi: Questa rappresentazione discreta codifica sia la geometria locale che l'aspetto (fotometria) mantenendo un allineamento nelle coordinate mondiali. La cardinalità fissa permette di trattare ogni voxel come un "token" per l'architettura Transformer.
• Rendering 2D: Per migliorare la completezza del rendering 2D senza aumentare il numero di punti, ogni punto del $\Sigma$-Voxfield viene convertito in una gaussiana 2D allineata con la normale della superficie locale (calcolata via PCA).

B. Modello Generativo: Diffusione Condizionata Semantica

Il cuore del sistema è un modello di diffusione basato su Transformer che opera su insiemi locali di token $\Sigma$-Voxfield.

• Input: Il modello riceve un sottoinsieme locale di voxel adiacenti ($X_\xi$), i loro token di superficie e le etichette semantiche (es. strada, edificio, vegetazione).
• Condizionamento: Utilizza codifiche posizionali 3D (sinusoidali) per catturare la struttura spaziale e etichette semantiche per guidare la generazione.
• Architettura: Un Diffusion Transformer 1D (DiT) che prevede il rumore da rimuovere dai token di superficie, operando su finestre locali per mantenere i costi computazionali costanti.

C. Scalabilità: Outpainting Spaziale Progressivo

Per generare scene di grandi dimensioni (es. >100.000 $m^2$), il modello non genera l'intera scena in una volta.

• Strategia: Utilizza una tecnica di outpainting spaziale progressiva. Il modello genera nuove regioni basandosi sui voxel già generati nelle zone sovrapposte (condizionamento tramite lo scheduler Repaint).
• Efficienza: Poiché il modello opera sempre su insiemi locali di dimensione massima fissa ($N_\xi$), il costo computazionale e di memoria rimane costante indipendentemente dalla dimensione totale della scena.

D. Rendering Deferred

Il $\Sigma$-Voxfield generato è una rappresentazione grezza. Per ottenere immagini fotorealistiche:

• Viene utilizzato un modulo di rendering deferred basato su un modello di diffusione 2D (modificato Stable Diffusion).
• Questo modulo prende come input l'immagine renderizzata grezza dal $\Sigma$-Voxfield e un mask di visibilità (per cielo e sfondo) e genera l'immagine finale ad alta fedeltà, correggendo le discretizzazioni e riempiendo le aree mancanti (come il cielo).
• Viene implementata coerenza temporale utilizzando varianti autoregressive (ASD) o video (VSD) per sequenze di immagini.

3. Contributi Chiave

1. $\Sigma$-Voxfield: Una nuova rappresentazione 3D discreta a cardinalità fissa che unisce geometria e fotometria, ideale per la modellazione generativa.
2. Diffusione 3D Diretta: Un modello Transformer-based che genera direttamente i token di superficie nello spazio 3D, condizionato semanticamente, garantendo coerenza multi-vista.
3. Scalabilità Senza Ottimizzazione: Un approccio di outpainting progressivo che permette di generare scene di dimensioni arbitrarie con un budget computazionale fisso, senza necessità di ottimizzazione per scena (a differenza dei metodi NeRF o 3DGS tradizionali).
4. Pipeline di Rendering Ibrida: L'accoppiamento della generazione 3D con un motore di rendering deferred basato su diffusione per ottenere immagini fotorealistiche da un buffer 3D persistente.

4. Risultati Sperimentali

Il metodo è stato valutato su dataset su larga scala come Waymo Open Dataset (WOD) e PandaSet.

• Qualità di Rendering: SEM-ROVER supera gli stati dell'arte (come GEN3C e InfiniCube) nei metrici FID e KID, specialmente nelle viste nuove (novel views). Questo dimostra una maggiore coerenza geometrica 3D rispetto ai metodi basati su video o ricostruzione intermedia.
• Efficienza Computazionale:
  • Memoria: Il metodo richiede solo 8 GB di VRAM, contro i 75 GB di InfiniCube e i 43 GB di GEN3C.
  • Tempo: Genera una scena in circa 20 minuti, con costi simili a InfiniCube ma con una qualità superiore.
• Coerenza Multi-vista: Le scene generate mantengono la consistenza strutturale e l'aspetto attraverso diverse traiettorie di camera, inclusi punti di vista laterali dove altri metodi falliscono.
• Applicazioni: Il sistema supporta l'editing semantico (rimozione/inserimento veicoli) e l'inpainting di scene, mantenendo la coerenza con il contesto circostante.

5. Significato e Impatto

SEM-ROVER rappresenta un passo avanti significativo nella generazione di scenari di guida autonomi.

• Superamento dei limiti attuali: Risolve il compromesso tra coerenza 3D, scalabilità e qualità del rendering, offrendo una soluzione "feed-forward" che non richiede ottimizzazione iterativa per ogni scena.
• Flessibilità: La natura persistente del buffer 3D ($\Sigma$-Voxfield) permette un editing strutturale e un rendering da qualsiasi angolazione, cruciale per la simulazione di scenari di guida rari o pericolosi.
• Efficienza: La capacità di generare ambienti urbani vasti con risorse hardware moderate (una singola GPU di fascia alta) rende questa tecnologia accessibile per applicazioni industriali su larga scala.

In sintesi, SEM-ROVER propone un paradigma unificato che combina la potenza dei modelli di diffusione con rappresentazioni 3D strutturate, aprendo la strada alla creazione di mondi virtuali di guida realistici, coerenti e scalabili.