Structure-Aware Gaussian Splatting for Large-Scale Scene Reconstruction

Problematica

Sebbene lo 3D Gaussian Splatting (3DGS) abbia dimostrato un potenziale straordinario per la sintesi di nuove viste (NVS) in scene di piccola scala, la sua applicazione a scene su larga scala (ad esempio, ambienti di scala urbana) affronta sfide significative. Le scene su larga scala contengono spesso regioni osservate in modo rado con nuvole di punti iniziali eccessivamente sparse. Quando questi punti a bassa frequenza sono supervisionati direttamente da immagini ad alta frequenza, il processo di addestramento induce una densificazione incontrollata e la generazione di primitivi ridondanti (floaters).

Questo problema deriva da uno squilibrio tra la risoluzione di rendering e la strategia di densificazione. Gli approcci esistenti si affidano tipicamente a strategie di scheduling hard-coded che sono predeterminate prima dell'addestramento. Questi programmi statici non riescono a percepire il reale comportamento di convergenza del contenuto di frequenza della scena. Di conseguenza, possono imporre una supervisione ad alta risoluzione prematura (destabilizzando l'ottimizzazione iniziale) o ritardare i raffinamenti essenziali (rallentando la convergenza), portando a una qualità di ricostruzione e a un'efficienza degradate.

Metodologia

Gli autori riformulano il problema della ricostruzione della scena dalla prospettiva del recupero della struttura del segnale. Propongono un framework unificato che sincronizza la supervisione delle immagini con le caratteristiche di frequenza della rappresentazione 3D Gaussian. La metodologia consiste in tre componenti principali:

1. Caratterizzazione della Frequenza del Segnale

Il paper deriva matematicamente la frequenza di campionamento media e la larghezza di banda effettiva della rappresentazione 3D Gaussian:

• Frequenza di Campionamento: Definita sulla base della lunghezza focale e della profondità di campionamento, riconoscendo che la risoluzione dell'immagine modula direttamente la frequenza di campionamento del segnale.
• Larghezza di Banda del Segnale della Scena: Il campo di opacità della scena è modellato come una somma pesata di 3D Gaussian. Analizzando la densità spettrale di potenza, gli autori derivano un'approssimazione della frequenza media della scena. Utilizzano la larghezza di banda a semipotenza (3dB) ($\omega_{3dB}$) dei singoli primitivi Gaussian per stimare il contenuto di frequenza globale della scena, evitando l'integrazione continua computazionalmente costosa su milioni di primitivi.

2. SIG: Sincronizzazione della Supervisione delle Immagini con le Frequenze Gaussiane

Sulla base delle metriche di frequenza derivate, gli autori propongono SIG, un nuovo scheduler che adatta il cambio della risoluzione dell'immagine e regola la densificazione delle Gaussiane:

• Resolution Scheduler Allineato alla Frequenza: Invece di conteggi di iterazioni fissi, lo scheduler monitora il gradiente della frequenza della scena ($\frac{d\omega}{diter}$). Quando la larghezza di banda della scena si stabilizza (indicando la convergenza al livello di frequenza corrente), la risoluzione dell'immagine di addestramento viene aumentata. Ciò assicura che la supervisione ad alta risoluzione venga introdotta solo quando le Gaussiane hanno recuperato una struttura a bassa frequenza sufficiente a supportarla.
• Densification Scheduler: Dopo ogni aggiornamento della risoluzione, lo scheduler esegue un numero controllato di round di densificazione. Questo evita la crescita incontrollata dei primitivi nelle fasi iniziali e assicura che il numero di Gaussiane cresca in modo appropriato con l'aumento della frequenza di campionamento.

3. Gaussiane Vincolate dalla Sfera (Sphere-Constrained Gaussians)

Per affrontare il problema dei floaters e della trascuratezza strutturale causata dall'ottimizzazione non vincolata, gli autori introducono le Gaussiane Vincolate dalla Sfera:

• Prior Geometrici: A ogni Gaussian è assegnata un'ancora (posizione iniziale dal punto di nuvola) e un offset massimo.
• Meccanismo di Pruning: Durante l'ottimizzazione, se lo spostamento di una Gaussian supera un vincolo sferico definito dalla sua ancora e da un fattore di scala, essa viene rimossa (pruned). Ciò sfrutta il prior spaziale della nuvola di punti inizializzata per mantenere l'integrità strutturale.
• Controllo Adattivo: I vincoli sono applicati diversamente in base all'operazione di densificazione:
  • Replicazione: La nuova Gaussian eredita la posizione corrente come nuova ancora (permettendo lo spostamento spaziale) ma eredita l'offset massimo.
  • Splitting: La nuova Gaussian eredita l'ancora originale e un offset massimo ridotto (0.7×) per garantire la stabilità nelle regioni ad alta frequenza.
• Regolarizzazione della Densificazione: Viene introdotta una perdita fotometrica basata sulla riproiezione per imporre la coerenza geometrico-cromatica tra i frame, aiutando specificamente nelle regioni prive di texture dove la supervisione standard è debole.

Contributi Chiave

1. Definizione Matematica della Frequenza: Il paper definisce la frequenza media delle rappresentazioni 3D Gaussian e propone uno scheduler (SIG) che sincronizza la supervisione delle immagini con queste frequenze, mitigando la ridondanza e accelerando l'addestramento.
2. Gaussiane Vincolate dalla Sfera: Un nuovo vincolo di ottimizzazione che sfrutta i prior strutturali delle nuvole di punti iniziali per limitare lo spazio di ottimizzazione, riducendo i floaters e preservando la geometria della scena.
3. Framework Unificato: L'integrazione dello scheduling allineato alla frequenza e dei vincoli geometrici raggiunge prestazioni allo stato dell'arte con miglioramenti significativi sia nell'efficienza che nella qualità di rendering per scene su larga scala.

Risultati Sperimentali

Il metodo è stato valutato su tre dataset su larga scala: Mill19, UrbanScene3D e MatrixCity (sintetico). L'approccio è stato confrontato con baseline basate su NeRF (Mega-NeRF, SwitchNeRF) e baseline basate su 3DGS (VastGS, CityGS, DOGS, BlockGS, DashGS).

• Qualità di Ricostruzione: Il metodo proposto (Ours-L) ha ottenuto un guadagno di +0.9 dB di PSNR sulla scena 'rubble' rispetto alla migliore baseline (CityGS). Ha inoltre dimostrato punteggi SSIM e LPIPS superiori in tutti i dataset, indicando una migliore somiglianza strutturale e qualità percettiva. I risultati qualitativi mostrano che il metodo cattura i dettagli ad alta frequenza senza generare i floaters comuni in altri metodi.
• Efficienza: Il framework ha migliorato significativamente la velocità di addestramento. Sulla scena 'rubble', ha ottenuto un velocizzazione di 1.5× rispetto a BlockGS e un velocizzazione di 1.4× rispetto a CityGS per blocco.
• Studi di Ablazione: Rimuovere lo Scheduler di Risoluzione Allineato alla Frequenza (w/o FARS) ha portato a cali significativi della qualità e a un aumento del tempo di addestramento a causa della sovra-densificazione. Rimuovere le Gaussiane Vincolate dalla Sfera (w/o SCG) ha causato una maggiore ridondanza (più punti) e una qualità inferiore, confermando la necessità dei vincoli geometrici.

Significatività e Affermazioni

Il paper afferma che il degrado nella ricostruzione 3DGS su larga scala è fondamentalmente causato da un disallineamento di frequenza tra il segnale di supervisione (immagini) e il segnale target (rappresentazione Gaussian). Passando da programmi statici e hard-coded a un approccio coerente con la frequenza e consapevole della geometria, gli autori dimostrano che:

• La risoluzione e la densificazione non devono essere trattate come concetti ortogonali, ma come meccanismi accoppiati guidati dallo stato di convergenza della scena.
• Sfruttare i prior spaziali delle nuvole di punti iniziali tramite vincoli sferici è essenziale per prevenire i floaters nelle regioni sparse senza dipendere da complessi decoder neurali che ostacolano l'addestramento per blocchi.
• Il framework proposto consente una costruzione più intrinseca di strutture gerarchiche (da grossolano a fine) che si allinea naturalmente con il processo di recupero del segnale, offendo una soluzione robusta per la ricostruzione di scene su larga scala.

Gli autori notano che, sebbene il loro metodo produca naturalmente Gaussiane grossolane e fini, il lavoro futuro potrebbe esplorare l'integrazione di queste con strategie di rendering esplicite del Level-of-Detail (LoD) per un'ulteriore ottimizzazione.