Enhancing Novel View Synthesis via Geometry Grounded Set Diffusion

1. Il Problema: Limiti della Sintesi di Nuove Viste (NVS)

Il lavoro affronta le sfide poste dalla Sintesi di Nuove Viste (Novel View Synthesis - NVS) in scenari di guida autonoma, in particolare quando si utilizzano modelli basati su 3D Gaussian Splatting (3DGS).

• Il contesto: Il 3DGS offre coerenza temporale e fedeltà geometrica superiori rispetto alle tecniche precedenti (come NeRF), rendendolo ideale per simulatori di guida.
• La limitazione: Tuttavia, quando un agente (es. un veicolo) si sposta da traiettorie di addestramento osservate a nuove traiettorie (estrapolazione), il 3DGS tende a degradare. Questo porta a:
  • Artefatti di rendering (es. "floaters" o oggetti fantasma).
  • Incoerenze geometriche e perdita di dettagli ad alta frequenza.
  • Hallucinations (immagini plausibili ma errate) in condizioni di basso segnale o occlusioni severe.
• I limiti delle soluzioni esistenti: I metodi precedenti basati su diffusione (es. DiFix3D) agiscono principalmente come miglioratori di immagini basati solo su RGB. Manca loro una guida geometrica esplicita, il che li porta a "allucinare" contenuti che non corrispondono alla realtà fisica della scena, specialmente quando il rapporto segnale-rumore è basso.

2. Metodologia: SetDiff

Gli autori propongono SetDiff, un framework di diffusione basato su insiemi (set-based) e radicato nella geometria, progettato per migliorare le viste renderizzate dal 3DGS.

A. Condizionamento Geometrico (Geometry Grounding)

A differenza dei modelli di diffusione tradizionali che operano solo su dati RGB, SetDiff integra informazioni geometriche esplicite estratte direttamente dalla rappresentazione 3DGS nel processo di denoising:

1. Mappe di Coordinate (C-maps): Invece di usare solo il colore, il sistema renderizza mappe 3D coordinate (xyz) per ogni pixel. Queste mappe forniscono corrispondenze 3D allineate ai pixel, aiutando il modello a capire dove la geometria è coerente, incerta o conflittuale tra le diverse viste.
2. Embedding dei Raggi di Plücker: Vengono utilizzati codifici dei raggi (Plücker ray embeddings) che catturano la posizione e la direzione della telecamera per ogni pixel. Questo permette al modello di comprendere la geometria della telecamera e gestire le relazioni spaziali tra viste diverse.
3. Fusione: Queste informazioni geometriche vengono codificate e aggiunte agli latenti del modello di diffusione, fornendo una guida strutturale robusta che riduce le hallucinations.

B. Architettura basata su Insiemi (Set Diffusion)

SetDiff supera l'approccio sequenziale o "frame-by-frame" dei metodi precedenti:

• Elaborazione di Insiemi Variabili: Il modello processa simultaneamente un insieme variabile di viste di riferimento (pulite, dalle traiettorie note) e viste target (rumorose, dalle nuove traiettorie).
• Set Mixer: Viene introdotto un meccanismo di attenzione globale (Set Mixer) che unisce tutti i token delle immagini di riferimento e target in un unico insieme. Questo permette al modello di aggregare informazioni complementari da più angolazioni e momenti temporali, cercando i dettagli mancanti in qualsiasi vista disponibile.
• Efficienza: L'architettura utilizza un U-Net 2D (distillato da Stable Diffusion) che non richiede convoluzioni spazio-temporali complesse, permettendo un'elaborazione parallela efficiente e scalabile.

3. Contributi Chiave

1. Strategia di Condizionamento Geometrico: Introduzione di un metodo che estrae e integra mappe di coordinate 3D e pose della telecamera nel denoiser, migliorando drasticamente la fedeltà fotometrica e riducendo gli artefatti quando i rendering RGB sono degradati.
2. Architettura a Insiemi Variabili: Un modello di diffusione in grado di gestire un numero arbitrario e ordinato di immagini di riferimento e target, permettendo una propagazione efficace dei contenuti attraverso le immagini e un'aggregazione visiva multi-vista più forte.
3. Risultati SOTA: Stabilimento di nuovi record dello stato dell'arte (SOTA) in quattro dataset critici per la guida autonoma e scenari generali, dimostrando robustezza anche in condizioni di estrapolazione severa.

4. Risultati Sperimentali

Il metodo è stato valutato su quattro dataset: EUVS, Para-Lane, nuScenes e DL3DV.

• Prestazioni Quantitative: SetDiff supera costantemente i metodi di base (3DGS puro) e i miglioratori basati su diffusione esistenti (come DiFix3D e VEGS).
  • Su EUVS, mostra miglioramenti significativi in PSNR, SSIM e LPIPS, specialmente nelle configurazioni di estrapolazione più difficili.
  • Su Para-Lane, riduce l'errore LPIPS di circa il 50% rispetto al 3DGS grezzo e supera i competitor di circa 1 dB in PSNR.
  • Su nuScenes e DL3DV, dimostra una capacità superiore di ricostruire dettagli mancanti e mantenere la coerenza strutturale anche con traiettorie temporali estese (fino a 5 secondi di estrapolazione).
• Prestazioni Qualitative: Le immagini generate mostrano una maggiore fedeltà ai contenuti visivi della scena, con texture più nitide e una gestione superiore delle occlusioni rispetto ai metodi che hallucinano contenuti.
• Efficienza: Nonostante l'elaborazione congiunta di più viste, SetDiff è efficiente grazie al batch processing parallelo. Su una GPU A100, raggiunge circa 1.8 FPS (rispetto a 1.2 FPS di DiFix), rendendolo adatto per l'integrazione in simulatori in tempo reale.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti cruciale per la creazione di simulatori di mondo (world models) realistici per la guida autonoma.

• Affidabilità: Risolvendo il problema della degradazione geometrica durante l'estrapolazione, SetDiff rende i simulatori basati su 3DGS più affidabili per l'addestramento e la valutazione in loop chiuso (closed-loop training).
• Generalizzazione: La capacità di gestire un numero variabile di telecamere e viste temporali rende il framework scalabile per scenari complessi e dinamici.
• Approccio Ibrido: Dimostra che combinare la potenza generativa dei modelli di diffusione con la precisione geometrica esplicita del 3DGS è la via migliore per ottenere sintesi di viste nuove sia realistiche che strutturalmente corrette, superando i limiti dei metodi puramente basati su dati o puramente geometrici.

In sintesi, SetDiff trasforma il 3DGS da un metodo di rendering sensibile alla posizione della telecamera in un sistema robusto per la sintesi di viste, abilitando scenari di simulazione più sicuri e realistici per i veicoli autonomi.