Sintesi Tecnica: Guida dello Sparse-View 3D Gaussian Splatting tramite l'Informazione di Fisher

Problematica

Il 3D Gaussian Splatting (3DGS) si è affermato come una tecnica leader per la sintesi di nuove viste (NVS), offrendo velocità di rendering in tempo reale e un'alta fedeltà rispetto ai Neural Radiance Fields (NeRF). Tuttavia, il 3DGS dipende fortemente da input densi per ottenere risultati soddisfacenti. Negli scenari a vista sparsa (ad esempio, da 3 a 9 immagini di input), il modello soffre di un grave overfitting dovuto a informazioni geometriche e di aspetto insufficienti. Ciò porta ad artefatti evidenti, degradazione della qualità di rendering e scarsa generalizzazione verso viste non viste.

Gli approcci esistenti per mitigare questo problema rientrano generalmente in due categorie:

1. Augmentation basata su Prior: Utilizzo di modelli pre-addestrati (ad esempio, stimatori di profondità) per generare pseudo ground truth. Tuttavia, questi metodi spesso si affidano al campionamento casuale di viewpoint o alla deformazione (warping) di singole viste di addestramento, il che non riesce a sfruttare appieno i prior geometrici stereoscopici e introduce aree "vuote" nei dati aumentati.
2. Tecniche di Regolarizzazione: Metodi come il Dropout vengono utilizzati per prevenire l'overfitting. Tuttavia, il Dropout tradizionale applica una probabilità di rimozione uniforme a tutti i Gaussiani. Questa mancanza di selettività può rimuovere involontariamente Gaussiani sotto-ottimizzati (ad esempio, quelli che rappresentano regioni occluse) preservando al contempo quelli sovra-ottimizzati, portando a instabilità e artefatti visivi come la sovra-compensazione.

Entrambi gli approcci soffrono di una casualità composta, introducendo incertezza e instabilità che limitano la fedeltà della sintesi finale.

Metodologia

Gli autori propongono un nuovo framework che utilizza l'Informazione di Fisher per guidare quantitativamente sia l'augmentation dei dati che la regolarizzazione, passando da euristiche casuali a una selezione basata su principi. Il metodo consiste in due componenti principali:

1. Stereo Augmentation con Informazione di Fisher (SAFI)

Per affrontare i problemi di "Augmentation Vuota e Casuale", SAFI seleziona attivamente le viste di addestramento più informative per curare pseudo ground truth di alta qualità.

• Campionamento del Viewpoint: Un nuovo viewpoint viene campionato perturbando la posa di una camera di addestramento esistente (rumore casuale su posizione e orientamento).
• Selezione delle Viste Informative: Invece di selezionare casualmente le viste di supporto o utilizzare una semplice distanza euclidea, il metodo impiega il Guadagno di Informazione (IG) derivato dall'Informazione di Fisher. Calcola la riduzione dell'incertezza del modello quando viene aggiunta una candidata vista.
  • L'IG è approssimato utilizzando la traccia della matrice Hessiana (derivata dall'Informazione di Fisher) per identificare le viste che massimizzano la somiglianza visiva e i vincoli geometrici rispetto al nuovo viewpoint.
  • Un set di viste di supporto viene selezionato in base a una soglia relativa al minimo IG, garantendo la coerenza geometrica multi-vista.
• Curatela della Pseudo Ground Truth: Utilizzando un modello di profondità pre-addestrato (Depth-Anything-3), le viste selezionate vengono proiettate all'indietro in una nuvola di punti 3D e rasterizzate dal nuovo viewpoint per creare un'immagine di pseudo ground truth di alta qualità. Questo dataset viene poi integrato nel set di addestramento.

2. Regolarizzazione Consapevole dell'Incertezza (UAR)

Per affrontare la "Regolarizzazione senza Selettività", UAR regola adattivamente la probabilità di dropout per ogni 3D Gaussian in base al suo stato di ottimizzazione.

• Quantificazione dell'Incertezza: Il metodo calcola un punteggio di incertezza ($U_i$) per ogni Gaussiano $G_i$ utilizzando la matrice dell'Informazione di Fisher. Un punteggio più alto indica che il Gaussiano è sotto-ottimizzato (perturbarlo ha scarso impatto sul rendering), mentre un punteggio più basso indica che è sovra-ottimizzato.
• Dropout Selettivo basato su Ranking: I Gaussiani vengono ordinati per incertezza. Il metodo dà priorità alla rimozione dei Gaussiani sovra-ottimizzati (bassa incertezza) preservando invece quelli sotto-ottimizzati (alta incertezza). Ciò assicura che le regioni occluse o sotto-addestrate ricevano un'ottimizzazione sufficiente.
• Soft-scale Dropout: A differenza del Dropout tradizionale che azzera completamente l'opacità dei Gaussiani selezionati (causando la penetrazione dei raggi nelle regioni occluse e forzando la sovra-compensazione), UAR impiega una strategia di soft-scale. I Gaussiani selezionati vedono la propria opacità scalata da un fattore di decadimento $\lambda \in (0, 1)$ invece di essere rimossi interamente. Ciò mantiene una presenza morbida nella rasterizzazione, proteggendo i Gaussiani occlusi da aggiornamenti errati.

Contributi Chiave

1. Strategia SAFI: Una nuova strategia di augmentation che sfrutta l'Informazione di Fisher per selezionare le viste più informative per la cura delle pseudo ground truth, massimizzando così l'utilità dei prior geometrici e riducendo la casualità nell'augmentation dei dati.
2. Strategia UAR: Un meccanismo di regolarizzazione consapevole dell'incertezza che misura quantitativamente lo stato di ottimizzazione di ogni 3D Gaussian e regola adattivamente le probabilità di dropout, portando a un'ottimizzazione più stabile e a una maggiore fedeltà di rendering.
3. Soft-scale Dropout: L'integrazione di un meccanismo di soft-scale dropout per prevenire gli artefatti di sovra-compensazione associati alle strategie di rimozione "hard" negli scenari a vista sparsa.

Risultati Sperimentali

Il metodo è stato valutato su tre benchmark standard: LLFF, Mip-NeRF 360 e DTU, in scenari a vista sparsa (3, 6 e 9 viste per LLFF/DTU; 12 e 24 viste per Mip-NeRF 360).

• Performance Quantitativa: Il metodo proposto raggiunge prestazioni state-of-the-art (SOTA) in quasi tutte le metriche (PSNR, SSIM, LPIPS).
  • Su LLFF (3-viste), supera il precedente miglior metodo (DropGaussian) di 0.36 dB in PSender PSNR.
  • Su DTU (3-viste), raggiunge 22.44 dB di PSNR, superando significativamente i baseline come 3DGS (10.99 dB) e DropGaussian (21.44 dB).
  • Su Mip-NeRF 360 (12-viste), migliora il PSNR di 0.35 dB rispetto al precedente SOTA.
• Stabilità: Il metodo riduce significativamente la deviazione standard del PSNR attraverso più esecuzioni (ad esempio, da 0.084 a 0.027 nei confronti dell'augmentation), dimostrando una migliore stabilità di ottimizzazione.
• Risultati Qualitativi: I confronti visivi mostrano che il metodo produce nuove viste con meno artefatti (ad esempio, aree vuote, artefatti fluttuanti) e una migliore fedeltà strutturale rispetto ai baseline come CoR-GS e DropGaussian.

Significato e Rivendicazioni

Il documento sostiene di aver stabilito un nuovo stato dell'arte nella sintesi di nuovi viewpoint a vista sparsa affrontando i problemi fondamentali di casualità e mancanza di selettività nelle attuali tecniche di augmentation e regolarizzazione. Fondando la selezione delle pseudo ground truth e l'applicazione della regolarizzazione nell'Informazione di Fisher, gli autori forniscono un approccio rigoroso per:

• Ridurre l'incertezza e l'instabilità inerenti al campionamento casuale e al dropout uniforme.
• Sfruttare appieno i prior geometrici attraverso vincoli stereo multi-vista.
• Differenziare tra Gaussiani sovra-ottimizzati e sotto-ottimizzati per prevenire artefatti visivi come la sovra-compensazione.

Gli autori concludono che il loro metodo mitiga efficacementamente l'overfitting nel 3DGS a vista sparsa, risultando in una fedeltà di rendering superiore e un'ottimizzazione stabile senza richiedere ulteriori dati di input densi.