Training-Free Instance-Aware 3D Scene Reconstruction and Diffusion-Based View Synthesis from Sparse Images

1. Il Problema

La ricostruzione fedele di scene 3D a partire da un insieme limitato di immagini 2D (viste sparse) e non calibrate (senza pose note) rappresenta una sfida fondamentale nella visione artificiale.

• Limitazioni degli approcci attuali: I metodi basati su campi di radianza (come NeRF e 3DGS) offrono risultati fotorealistici ma richiedono solitamente un set di dati denso, un'ottimizzazione specifica per ogni scena (training on-scene) e una stima precisa delle pose della camera. Questo li rende computazionalmente costosi e poco pratici per acquisizioni casuali o applicazioni in tempo reale con dati scarsi.
• Mancanza di editing semantico: La maggior parte delle tecniche esistenti non supporta la manipolazione strutturata a livello di istanza (es. rimuovere un oggetto specifico) senza un ulteriore fine-tuning.
• Gap attuale: Non esisteva un sistema "training-free" (senza addestramento) capace di gestire viste sparse, fornire una comprensione semantica delle istanze e permettere il rendering e l'editing di nuove viste in modo efficiente.

2. Metodologia

Gli autori propongono una pipeline unificata, senza necessità di addestramento, composta da tre moduli interconnessi che trasformano immagini RGB sparse in una nuvola di punti 3D pulita, consapevole delle istanze e pronta per il rendering.

A. Ricostruzione Geometrica Robusta (3D Reconstruction)

• Base: Utilizza MV-DUSt3R, un modello feed-forward basato su transformer che predice mappe di profondità e parametri di camera (intrinseci ed estrinseci) direttamente da immagini non calibrate, generando una nuvola di punti densa.
• Filtraggio Anomalie: Poiché MV-DUSt3R può produrre punti rumorosi o incoerenti (outlier) a causa di occlusioni o errori di stima, il metodo introduce una strategia di rimozione delle anomalie basata sul warping.
  • Si proietta la profondità di una vista su un'altra vista (warping).
  • Se la profondità proiettata è significativamente inferiore alla profondità nativa della vista target (violando la coerenza geometrica), il punto viene identificato come anomalo e rimosso.
  • Il risultato è una nuvola di punti 3D pulita e densa, priva di outlier.

B. Percezione delle Istanze da 2D a 3D (Instance-Aware Perception)

• Segmentazione 2D: Si utilizzano modelli fondazionali (es. SAM) per generare maschere di segmentazione su ogni immagine di input.
• Unificazione delle Istanze: Per collegare le maschere 2D attraverso diverse viste e creare una rappresentazione 3D coerente, il metodo impiega una strategia di unificazione basata sul warping:
  • Le maschere 2D vengono proiettate nello spazio 3D e poi ri-proiettate su altre viste.
  • Si calcola l'Intersezione sull'Unione (mIoU) tra le maschere proiettate e quelle native delle altre viste.
  • Se l'overlap supera una soglia, le corrispondenti nuvole di punti vengono fuse.
  • Questo processo crea una nuvola di punti segmentata per istanza, dove ogni oggetto è un gruppo distinto di punti etichettati, permettendo la manipolazione a livello di oggetto.

C. Rendering Guidato dalla Diffusione (Diffusion-Based Rendering)

• Proiezione e Inpainting: La nuvola di punti viene proiettata sulla vista target desiderata, generando un'immagine RGB sparsa (con buchi dovuti a occlusioni o copertura insufficiente).
• Modello See3D: Per colmare i buchi e migliorare il realismo, si utilizza un modello di diffusione 3D-consapevole (See3D).
  • Il modello prende in input l'immagine proiettata sparsa, una maschera binaria che indica i pixel mancanti e le immagini di riferimento originali.
  • Sfrutta i prior generativi del modello di diffusione per "inpaint" (riempire) le regioni mancanti, producendo immagini fotorealistiche anche con geometria incompleta.
• Rendering per Scene Modificate: Se la nuvola di punti viene modificata (es. rimozione di un oggetto), le immagini di riferimento originali non sono più coerenti. Il metodo applica una strategia di mascheramento delle immagini di riferimento: le regioni corrispondenti all'oggetto rimosso nelle immagini originali vengono oscurate prima di essere inviate al modello di diffusione, garantendo coerenza geometrica e visiva nel risultato finale.

3. Contributi Chiave

1. Pipeline Training-Free: Il primo sistema unificato che ricostruisce, comprende semanticamente e renderizza scene 3D da immagini sparse senza ottimizzazione specifica per la scena o pre-processing delle pose.
2. Filtraggio Geometrico Robusto: Una strategia innovativa basata sul warping per eliminare i punti anomali nelle ricostruzioni sparse, migliorando drasticamente la qualità della geometria.
3. Segmentazione di Istanze Coerente: Un meccanismo di unificazione 2D-3D che garantisce assegnazioni di istanza coerenti tra le viste, superando i limiti dei metodi basati sul tracking temporale.
4. Rendering e Editing Flessibili: L'integrazione di un modello di diffusione permette di sintetizzare nuove viste fotorealistiche e supporta l'editing a livello di oggetto (es. rimozione) modificando solo la nuvola di punti, senza riaddestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come ScanNet e ScanNet++ con immagini sparse (10-20 input).

• Segmentazione di Istanze: Il metodo supera significativamente gli stati dell'arte (come PE3R e DEVA), ottenendo un AP (Average Precision) del 25.0 contro il 20.2 di PE3R, dimostrando una migliore coerenza delle istanze tra le viste.
• Ricostruzione di Profondità: Rispetto a MV-DUSt3R e PE3R, il metodo proposto ottiene un RMSE inferiore (0.209) e una maggiore coerenza temporale, grazie al filtraggio delle anomalie.
• Rendering di Nuove Viste: Il metodo ottiene i migliori risultati in termini di PSNR (18.15), SSIM (0.645) e LPIPS (0.434) rispetto a metodi basati su 3DGS e NeRF, che spesso falliscono con viste sparse o richiedono training.
• Editing: La capacità di rimuovere oggetti e generare viste coerenti senza artefatti è stata dimostrata visivamente, superando approcci basati su Gaussian Splatting che tendono a creare buchi grandi quando gli oggetti vengono rimossi.
• Efficienza: La pipeline è estremamente veloce rispetto ai metodi tradizionali (es. NeRF richiede ~150 minuti, mentre il metodo proposto richiede circa 3.5 minuti totali per 20 immagini di input e 10 di test), eliminando la fase di ottimizzazione.

5. Significato e Impatto

Questo lavoro apre una nuova direzione per la generazione di contenuti 3D interattivi e generalizzabili.

• Democratizzazione dell'3D: Rimuove la barriera dell'ottimizzazione specifica per scena, rendendo possibile la ricostruzione 3D di alta qualità anche con acquisizioni casuali e limitate.
• Ponte tra Geometria e Generazione: Integra efficacemente la ricostruzione geometrica classica (nuvole di punti) con i potenti prior generativi dei modelli di diffusione, risolvendo il problema della rendering di geometrie incomplete.
• Editing Semantico: Fornisce un framework pratico per l'editing di scene a livello di oggetto, un requisito cruciale per applicazioni di realtà virtuale, aumentata e produzione cinematografica, senza la necessità di complessi processi di riaddestramento.