Riassunto Tecnico: SSA-3DGS

Problema

I metodi di Novel View Synthesis (NVS), in particolare il 3D Gaussian Splatting (3DGS), si basano sull'assunto che le immagini di input siano pulite e coerenti tra più viste. Tuttavia, le riprese nel mondo reale contengono spesso artefatti nello spazio dello schermo (screen-space artifacts): occlusioni statiche fissate al piano dell'immagine 2D piuttosto che al mondo 3D. Esempi comuni includono difetti fisici del sensore, ostruzioni ambientali (pioggia, fango sul rivestimento della lente), ostruzioni di cattura (dita, cruscotti) ed elementi digitali sovrapposti (watermark, interfacce utente).

Poiché questi artefatti sono statici rispetto al sensore della fotocamera, essi "si muovono" rispetto alla geometria del mondo mentre la telecamera attraversa la scena. Gli algoritmi di ricostruzione 3D standard, che assumono la coerenza multi-vista, non riescono a rigettare questi artefatti. Invece, li incorporano erroneamente nella geometria 3D sotto forma di "floaters" (Gaussiane 3D vicine alla camera) o effetti dipendenti dalla vista, degradando gravemente la fedeltà dei render da nuove viste. I metodi di robustezza esistenti (ad es., NeRF-W, RobustNeRF, DeSplat) mirano principalmente a transitori nello spazio del mondo e faticano a distinguere il rumore statico dello spazio dello schermo dalla geometria della scena. Inoltre, le tecniche di restauro a immagine singola mancano di conoscenza strutturale 3D, portando a sfarfallii temporali e inconsistenze geometriche quando applicate come passaggio di pre-processing.

Metodologia: SSA-3DGS

Gli autori propongono SSA-3DGS, un framework non supervisionato che ottimizza congiuntamente una rappresentazione della scena 3D e un overlay 2D apprendibile per disgiungere gli artefatti dello spazio dello schermo dalla geometria sottostante.

Formulazione Core

Il metodo estende la pipeline standard di 3DGS introducendo un overlay 2D apprendibile condiviso tra tutte le viste di addestramento. Il colore del pixel predetto $\hat{C}(u)$ è modellato come un blending alfa tra la renderizzazione della scena 3D pulita $\hat{C}_{3D}(u)$ e l'overlay dell'artefatto:
$$\hat{C}(u) = A(u) \cdot W(u) + (1 - A(u)) \cdot \hat{C}_{3D}(u)$$
Dove:

• $W \in \mathbb{R}^{H \times W \times 3}$ è la Mappa del Colore dell'Artefatto apprendibile.
• $A \in \mathbb{R}^{H \times W \times 1}$ è la Mappa Alpha dell'Artefatto apprendibile.
• Sia $W$ che $A$ sono definiti in coordinate di pixel e rimangono costanti per tutte le pose della fotocamera, a differenza delle Gaussiane 3D che si proiettano diversamente per ogni vista.

Ottimizzazione e Regolarizzazione

La decomposizione è sotto-determinata; senza regolarizzazione, il modello potrebbe degenerare in soluzioni in cui la scena 3D viene eccessivamente schiarita o scurita da un overlay uniforme, o dove dettagli validi della scena vengono assorbiti dall'overlay. Per prevenire ciò, gli autori introducono una funzione di perdita composita:
$$\mathcal{L} = \mathcal{L}_{rgb} + \lambda_{sparse}\mathcal{L}_{sparse} + \lambda_{tv}\mathcal{L}_{TV}$$

1. Perdita Fotometrica ($\mathcal{L}_{rgb}$): Perdita L1 e SSIM standard tra la predizione composita e la verità fondamentale (ground truth).
2. Regolarizzazione di Sparità ($\mathcal{L}_{sparse}$): Incoraggia la mappa alpha $A$ a essere zero ovunque sia possibile. Questo orienta l'ottimizzazione a spiegare i pixel tramite la geometria 3D in primo luogo, usando l'overlay solo quando necessario. Impedisce inoltre la soluzione degenerata di "collasso dell'esposizione".
3. Perdita di Variazione Totale ($\mathcal{L}_{TV}$): Incoraggia l'overlay a consistere in regioni piecewise-smooth. Questo sopprime l'assorbimento di rumore ad alta frequenza e impone coerenza spaziale, riflettendo la natura di molti artefatti reali (ad es., watermark, schizzi di fango).

Inizializzazione

Invece di inizializzare l'overlay con costanti, il metodo semina $W$ e $A$ utilizzando le statistiche per pixel del set di addestramento. I pixel con intensità stabile attraverso le viste (probabilmente artefatti) partono quasi opachi, mentre i pixel con alta variazione multi-vista (probabilmente contenuto della scena) partono quasi trasparenti.

Contributi Chiave

1. Disgiunzione Non Supervisionata: Un metodo per recuperare una scena 3DGS pulita e segmentare simultaneamente l'artefatto dello spazio dello schermo da registrazioni multi-vista corrotte, senza maschere di ground-truth o supervisione manuale.
2. Schema di Regolarizzazione: Una combinazione innovativa di vincoli di sparsità e variazione totale che orienta l'ottimizzazione verso spiegazioni geometriche 3D, garantendo che lo strato dell'artefatto catturi solo il rumore reale dello spazio dello schermo.
3. Dataset del Mondo Reale: L'introduzione di un dataset del mondo reale auto-catturato contenente veri artefatti indotti fisicamente (fango sul rivestimento di una lente, occlusioni del rig) per testare il metodo oltre i compositi sintetici.

Risultati

Gli autori hanno valutato SSA-3DGS sul dataset Mip-NeRF 360 (con artefatti sintetici) e sul loro dataset del mondo reale auto-catturato.

• Prestazioni Quantitative: Sul benchmark sintetico, SSA-3DGS ha migliorato la fedeltà della ricostruzione fino a 9 dB di PSNR rispetto al vanilla 3DGS addestrato sugli stessi input corrotti. Ha superato costantemente il baseline 3DGS e il metodo robusto ai distruttori all'avanguardia, DeSplat.
  • Con la densificazione MCMC, SSA-3DGS ha raggiunto un PSNR medio di 28.43 dB su input corrotti, avvicinandosi alle prestazioni del 3DGS addestrato su dati puliti (29.57 dB).
  • Sulla scena reale "Mud" (Fango), il metodo ha migliorato il PSNR di 3.0 dB rispetto al più forte baseline (DeSplat).
• Prestazioni Qualitative: I risultati visivi dimostrano che SSA-3DGS rimuove con successo gli artefatti (watermark, cruscotti, fango, elementi UI) e recupera una geometria pulita, mentre i baseline spesso incorporano gli artefatti nella scena come floaters semi-trasparenti. Il metodo ricostruisce anche l'artefatto stesso come un overlay separato.
• Ablazione: Lo studio conferma che sia la regolarizzazione di sparsità che quella di variazione totale sono necessarie. Rimuoverle ha causato un calo di circa 1.0 dB nel PSNR e ha degradato i punteggi FLIP, con il modello che falliva nel separare correttamente l'artefatto dalla scena.

Significato e Rivendicazioni

Il paper sostiene che SSA-3DGS offra una via percorribile verso una ricostruzione 3D affidabile da catture "in-the-wild" non vincolate, modellando esplicitamente le imperfezioni di cattura. A differenza del denoising 2D generico applicato come pre-processing, che rompe la coerenza multi-vista, SSA-3DGS preserva la coerenza geometrica integrando la logica di separazione direttamente nel loop di ottimizzazione 3D.

Gli autori notano che il metodo si basa sul consenso multi-vista; pertanto, sono necessarie catture sufficientemente dense. Riconoscono un limite riguardante gli artefatti che sono solo approssimativamente statici (ad es., occludenti con riflessioni dipendenti dalla vista), che sono catturati solo parzialmente dal loro modello di overlay statico, sebbene il metodo degradi con grazia e superi i baseline in tali scenari. Il lavoro suggerisce che modellare esplicitamente le ostruzioni del piano del sensore sia un passo critico per una NVS robusta nelle applicazioni del mondo reale.