GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction

1. Il Problema: Ricostruzione 3D da Visioni Sparse

La ricostruzione di scene 3D complete a partire da un numero limitato di immagini di input (sparse-view) è una sfida fondamentale nella computer vision, con applicazioni che vanno dai tour virtuali alla telepresenza immersiva.
Le attuali metodologie, incluso lo stato dell'arte basato su 3D Gaussian Splatting (3DGS), faticano quando gli input sono pochi, portando a:

• Geometria rotta e artefatti visivi: Buchi neri (hole), ghosting e incoerenze strutturali nelle regioni non osservate.
• Limitazioni dei metodi basati su Diffusion: Gli approcci recenti che utilizzano modelli di diffusione per generare nuove viste (novel view synthesis) spesso si concentrano sull'interpolazione tra viste esistenti. Tuttavia, generare nuove prospettive da zero in scenari estremamente sparsi introduce incoerenze geometriche e fotometriche e richiede una pianificazione complessa delle traiettorie della camera, rendendo il processo computazionalmente costoso e lento.

2. Metodologia: GaMO (Geometry-aware Multi-view Outpainter)

Il paper propone GaMO, un framework che riformula il problema della ricostruzione da visioni sparse non come generazione di nuove viste, ma come outpainting multi-vista (espansione del campo visivo delle viste esistenti).

L'approccio si basa su tre fasi principali (illustrate nella Fig. 3 del paper):

A. Inizializzazione 3D Grezza (Coarse 3D Initialization)

• Viene utilizzata una ricostruzione iniziale (tramite DUSt3R) per creare un modello 3DGS grezzo.
• Da questo modello, vengono estratti priors geometrici:
  • Una mappa di opacità (Opacity Mask) per identificare le regioni vuote che necessitano di essere "riempite".
  • Un rendering grezzo (Coarse Render) che funge da riferimento strutturale e di aspetto.

B. Outpainting Multi-Vista Consapevole della Geometria

Questa è la fase centrale del metodo, che utilizza un modello di diffusione multi-vista pre-addestrato (MVGenMaster) in modalità zero-shot (senza fine-tuning).

• Condizionamento Multi-Vista: Il modello riceve come input le viste sparse, le loro rappresentazioni geometriche (embedding dei raggi Plücker) e le mappe di coordinate canoniche (CCM).
• Espansione del FOV: Invece di generare una nuova camera, il sistema espande il campo visivo (FOV) delle viste esistenti, utilizzando focali ridotte per coprire le aree periferiche non osservate.
• Fusione Latente con Maschera (Mask Latent Blending): Per garantire coerenza geometrica, durante il processo di denoising del modello di diffusione, le latenti generate vengono fuse con le latenti del rendering grezzo.
  • Viene utilizzata una pianificazione iterativa della maschera (Iterative Mask Scheduling): all'inizio del denoising, la maschera copre più area per permettere la generazione creativa; verso la fine, la maschera si restringe per allineare strettamente i contenuti generati alla geometria grezza esistente.
  • Resampling del Rumore: Dopo ogni fusione, viene applicato un resampling del rumore per eliminare artefatti ai bordi e garantire transizioni fluide.

C. Raffinamento 3DGS

• Le viste espulse (outpainted views) vengono utilizzate insieme alle viste originali per raffinare il modello 3DGS.
• Viene introdotta una loss percettiva (LPIPS) specifica per le regioni outpainted per guidare l'ottimizzazione verso una maggiore coerenza visiva e riempire i buchi senza introdurre artefatti.

3. Contributi Chiave

1. Paradigma dell'Outpainting: Il lavoro stabilisce che l'outpainting (espansione del FOV) è un paradigma superiore alla generazione di nuove viste per la ricostruzione da visioni sparse, poiché preserva la coerenza geometrica intrinseca delle viste originali ed evita l'allineamento errato di prospettive "allucinate".
2. Strategie Zero-Shot Geometriche: Sviluppo di un approccio di outpainting che integra priors geometrici (maschere di opacità e rendering grezzo) direttamente nel ciclo di denoising del modello di diffusione, senza necessità di addestramento specifico per la scena.
3. Efficienza Computazionale: Il metodo è significativamente più veloce delle pipeline basate su diffusione video o iterativa, riducendo il tempo di ricostruzione totale a meno di 10 minuti.

4. Risultati Sperimentali

Il metodo è stato valutato sui dataset Replica, ScanNet++ e Mip-NeRF 360 con configurazioni di input sparse (3, 6 e 9 viste).

• Qualità della Ricostruzione: GaMO supera costantemente gli stati dell'arte (inclusi 3DGS, FSGS, Difix3D, GuidedVD-3DGS) in termini di SSIM (coerenza strutturale) e LPIPS (qualità percettiva), riducendo drasticamente buchi e ghosting.
• Efficienza:
  • GaMO completa la ricostruzione in circa 8 minuti (su una GPU RTX 4090).
  • Confronto con GuidedVD-3DGS: GaMO è circa 25 volte più veloce (8 min vs 3h 20 min), pur mantenendo una qualità competitiva o superiore.
• Ablation Studies: Gli esperimenti dimostrano che la fusione latente con maschera e il resampling del rumore sono componenti critici per la qualità finale, migliorando il PSNR e la coerenza visiva.

5. Significato e Impatto

GaMO rappresenta un cambio di paradigma significativo nella ricostruzione 3D da visioni sparse. Dimostra che non è necessario "inventare" nuove prospettive per migliorare la ricostruzione; piuttosto, è più efficace espandere la copertura spaziale delle viste esistenti mantenendo vincoli geometrici rigidi.

• Praticità: La velocità di esecuzione e la natura zero-shot lo rendono applicabile in scenari reali dove il tempo di elaborazione e la disponibilità di dati sono limitati.
• Qualità: Risolve il problema cronico degli artefatti geometrici nelle regioni non osservate, offrendo ricostruzioni più complete e fedeli.
• Limitazioni: Il metodo non può recuperare contenuti completamente occlusi da tutte le viste di input (un limite intrinseco a tutti i metodi di generazione), ma future ricerche potrebbero esplorare l'uso di angolazioni di camera diverse (es. vista dall'alto) per mitigare questo problema.

In sintesi, GaMO offre una soluzione robusta, veloce e geometricamente coerente per trasformare pochi scatti fotografici in modelli 3D di alta qualità, superando i limiti delle tecniche di generazione di nuove viste tradizionali.