Generalizable Sparse-View 3D Reconstruction from Unconstrained Images

1. Enunciato del Problema

La ricostruzione di scene 3D a partire da immagini sparse e non posizionate provenienti da internet ("in-the-wild") rimane una sfida significativa a causa di tre fattori principali:

1. Illuminazione Variabile: Le foto di internet spesso catturano la stessa scena in condizioni di illuminazione drasticamente diverse (ora del giorno, stagioni).
2. Oclusioni Transitorie: Le acquisizioni con dispositivi portatili contengono frequentemente oggetti in movimento (turisti, veicoli) che agiscono come distrattori dinamici piuttosto che come geometria statica della scena.
3. Viste Sparse: I dataset reali spesso mancano della copertura multi-vista densa richiesta dai metodi tradizionali.

Limitazioni dei Metodi Esistenti:

• Metodi basati su ottimizzazione (es. WildGaussians, NexusSplats): Richiedono un'estesa ottimizzazione per scena (ore di addestramento) e spesso falliscono quando le viste sono sparse o l'illuminazione differisce dalle condizioni di addestramento. Faticano a generalizzare a scene non viste.
• Metodi feed-forward: Sebbene veloci, sono tipicamente limitati a illuminazione fissa o richiedono pose della camera accurate. Spesso falliscono nel disaccoppiare la geometria dall'aspetto, portando ad artefatti sotto illuminazione variabile.

2. Metodologia: GenWildSplat

GenWildSplat è un framework feed-forward che ricostruisce scene 3D in un singolo passaggio (circa 3 secondi) senza ottimizzazione per scena. Integra la previsione della geometria, il controllo dell'aspetto e la gestione delle oclusioni in un'architettura unificata.

A. Architettura Principale

Il framework si basa su AnySplat, utilizzando un backbone transformer VGGT per elaborare immagini multi-vista sparse e non posizionate in mappe di caratteristiche ricche. Queste caratteristiche vengono decodificate da testine specializzate:

• Testina di Profondità: Prevede mappe di profondità per pixel.
• Testina della Camera: Stima le intrinseche ed estrinseche della camera.
• Testina Gaussiana: Prevede gli attributi canonici 3D Gaussiani (posizione, rotazione, scala, opacità e coefficienti armonici sferici indipendenti dall'aspetto).

B. Componenti Chiave

1. Rappresentazione dello Spazio Canonico:
   Il modello prevede un insieme "canonico" di Gaussiane 3D ($\mathcal{G}_c$) che rappresentano la geometria statica della scena, disaccoppiata da specifiche condizioni di illuminazione.

2. Adattatore di Aspetto (Controllo dell'Illuminazione):
   Per gestire l'illuminazione variabile, il modello introduce un Adattatore di Aspetto.

   • Un Encoder della Luce ($E_{Light}$) estrae un codice luminoso compatto ($L_i$) da ogni immagine di input.
   • Un MLP ($F_{light}$) modula i colori canonici delle Gaussiane ($c$) in base al codice luminoso target per produrre colori trasformati ($c_{L_i}$).
   • Ciò permette al modello di renderizzare la stessa scena in condizioni di illuminazione nuove modificando semplicemente il codice luminoso, senza ri-ottimizzare la geometria.

3. Modellazione delle Oclusioni:
   Per gestire oggetti transitori (persone, auto), il sistema sfrutta una rete di segmentazione semantica pre-addestrata (YOLOv8).

   • Genera maschere binarie che identificano le regioni transitorie.
   • Queste maschere vengono utilizzate per mascherare la funzione di perdita di supervisione, assicurando che il modello apprenda solo dai contenuti statici. Ciò previene il "spiegare via" strutture statiche (come alberi) come oclusioni ed evita il collasso del gradiente nelle regioni dinamiche.

C. Strategia di Apprendimento Curricolare

Addestrare direttamente su dati su larga scala e non vincolati è instabile a causa della natura mal posta dell'apprendimento congiunto di geometria, illuminazione e oclusioni. Gli autori impiegano un curriculum a tre stadi:

1. Stadio 1 (Illuminazione): Addestramento su una singola scena sintetica con variazioni di illuminazione per apprendere il disaccoppiamento dell'illuminazione senza confusi geometrici/occlusivi.
2. Stadio 2 (Multi-scena): Introduzione di scene sintetiche diverse per apprendere prior geometrici e di aspetto robusti.
3. Stadio 3 (Oclusioni): Aggiunta di oggetti transitori sintetici con maschere ground-truth per insegnare al modello a ignorare gli elementi dinamici.

3. Contributi Chiave

• Primo Approccio Feed-Forward per Scene Wild: GenWildSplat è il primo metodo a integrare la modellazione dell'aspetto e la gestione delle oclusioni all'interno di un paradigma di ricostruzione 3D feed-forward per immagini sparse e non posizionate.
• Generalizzazione senza Ottimizzazione: Raggiunge prestazioni all'avanguardia (SOTA) su scene non viste in 3 secondi senza alcuna ottimizzazione al momento del test o sintonizzazione per scena.
• Trasferimento di Aspetto Cross-Scena: Disaccoppiando la geometria dall'illuminazione, il modello può trasferire stili di illuminazione da una scena all'altra (ad esempio, applicare l'illuminazione di una scena al tramonto a un edificio diverso), una capacità assente nei precedenti metodi di ottimizzazione congiunta.
• Gestione Robusta delle Oclusioni: L'uso di prior di segmentazione esterni per la supervisione mascherata garantisce un addestramento stabile e una ricostruzione pulita anche con pesanti oclusioni transitorie.

4. Risultati Sperimentali

Il metodo è stato valutato su PhotoTourism e sul dataset impegnativo MegaScenes (caratterizzato da viste sparse, illuminazione diversificata e pesanti oclusioni).

• Prestazioni Quantitative:
  • Supera le baseline basate su ottimizzazione (WildGaussians, NexusSplats, GS-W) su MegaScenes.
  • MegaScenes (6 Viste): Raggiunge 15.84 PSNR, 0.440 SSIM e 0.407 LPIPS, battendo significativamente il metodo successivo migliore (NexusSplats: 13.92 PSNR).
  • Tempo di Inferenza: 3 secondi contro ore per i metodi basati su ottimizzazione.
• Prestazioni Qualitative:
  • Produce rendering coerenti con la vista con meno artefatti (ad esempio, nessun cielo "a picchi" o distorsioni geometriche) rispetto alle baseline.
  • Gestisce con successo condizioni di illuminazione nuove e rimuove oggetti transitori (persone/auto) per rivelare la geometria statica sottostante.
• Studi di Ablazione:
  • Rimuovere l'Adattatore di Aspetto risulta in output con aspetto fisso e singolo.
  • Rimuovere la Gestione delle Oclusioni porta a oggetti transitori incorporati.
  • Rimuovere l'Apprendimento Curricolare causa collasso dei colori e instabilità.

5. Significato e Impatto

GenWildSplat rappresenta un grande passo avanti nella ricostruzione 3D generalizzabile.

• Applicabilità in Tempo Reale: Eliminando la necessità di ottimizzazione per scena, abilita la comprensione di scene 3D in tempo reale per AR/VR, navigazione e gemelli digitali utilizzando foto grezze di internet.
• Robustezza: Dimostra che prior pre-addestrati su larga scala (tramite apprendimento curricolare su dati sintetici) possono generalizzare efficacemente a condizioni complesse e reali "in-the-wild" dove i metodi tradizionali falliscono.
• Controllabilità: La capacità di controllare aspetto e illuminazione post-ricostruzione apre nuove possibilità per la creazione di contenuti e la modifica di scene senza ri-addestramento.

Limitazioni:
Il paper riconosce che il metodo fatica ancora con viste estremamente sparse (portando a geometrie mancanti), viste ben al di fuori della distribuzione di addestramento (causando artefatti), scene interne con maschere imperfette, e non modella ancora ombre proiettate o ricilluminazione fisicamente accurata.