Pi-GS: Sparse-View Gaussian Splatting with Dense π^3 Initialization

Sintesi Tecnica: Pi-GS: Sparse-View Gaussian Splatting con Inizializzazione Densa $\pi^3$

Definizione del Problema
Il 3D Gaussian Splatting (3DGS) si è affermato come un metodo leader per la sintesi di nuove viste (NVS), offrendo rendering in tempo reale e un addestramento rapido. Tuttavia, le sue prestazioni dipendono fortemente da pose della telecamera accurate e da un'inizializzazione di nuvole di punti di alta qualità, tipicamente derivate da pipeline Structure from Motion (SfM). Negli scenari con viste scarse (ad esempio, da 3 a 12 immagini di input), l'SfM tradizionale spesso fallisce a causa della limitata sovrapposizione delle immagini, risultando in nuvole di punti scarse o inesistenti. Ciò porta a un'inizializzazione povera, ambiguità di profondità, overfitting sulle viste di addestramento e alla comparsa di "floaters" (artefatti) nella scena ricostruita. Sebbene esistano alternative basate sull'apprendimento, molte richiedono ancora viste di riferimento affidabili o soffrono di sensibilità agli errori di pose e profondità.

Metodologia
Il metodo proposto, Pi-GS, affronta queste sfide integrando una rete di stima di nuvole di punti densa e senza riferimento ($\pi^3$) con un framework 3DGS modificato (specificamente PGSR) e una serie di tecniche di regolarizzazione geometrica.

1. Inizializzazione Densa tramite $\pi^3$:
   Inveve di fare affidamento sull'SfM tradizionale (ad esempio, COLMAP), che produce nuvole di punti sparse in contesti a bassa sovrapposizione, Pi-GS utilizza una rete pre-addestrata, permutazione-equivariante e feed-forward ($\pi^3$), per stimare nuvole di punti dense e pose della telecamera direttamente dalle immagini di input. Gli esperimenti dimostrano che $\pi^3$ genera oltre un milione di punti per una scena in cui COLMAP ne produce solo circa 1.000, fornendo una base geometrica robusta per l'ottimizzazione.

2. Framework PGSR Adattato:
   Il metodo si basa su Planar-based Gaussian Splatting for Efficient and High-Fidelity Surface Reconstruction (PGSR). Per adattarsi alle viste scarse, gli autori disattivano il "multi-view observer trim" (che richiede che i punti siano visti da più telecamere) e il meccanismo di "opacity reset". Disattivare l'opacity reset evita la perdita di dettagli dello sfondo e la formazione di artefatti durante l'addestramento. Inoltre, viene disattivata la strategia di splitting per la densificazione dei Gaussiani, poiché l'inizializzazione densa da $\pi^3$ fornisce già un dettaglio geometrico sufficiente.

3. Supervisione della Profondità Consapevole dell'Incertezza:
   Per regolarizzare la geometria, Pi-GS impiega una perdita di correlazione di Pearson consapevole della confidenza ($L_{pearson}$). A differenza delle standard perdite $L_1$ o $L_2$ che possono forzare l'overfitting su stime di profondità rumorose, questa perdita incorpora i punteggi di confidenza forniti da $\pi^3$. Essa riduce il peso delle regioni incerte, permettendo al modello di recuperare dettagli ad alta frequenza mantenendo al contempo la coerenza strutturale.

4. Supervisione delle Normali Senza Artefatti:
   Le normali di superficie sono derivate dalle mappe di profondità. Tuttavia, poiché $\pi^3$ elabora le immagini in patch di pixel $14 \times 14$, le discontinuità del gradiente creano artefatti a griglia nelle mappe delle normali. Pi-GS introduce una strategia di masking che ignora i bordi interni di queste patch durante il calcolo della perdita, eliminando efficacementmente gli artefatti a griglia dalla ricostruzione finale. La supervisione utilizza una perdita $L_1$ tra le normali renderizzate e quelle stimate.

5. Depth Warping per Pseudo-Viste:
   Per migliorare ulteriormente la generalizzazione e ridurre l'overfitting, il metodo genera pseudo-viste tramite depth warping. Utilizzando l'interpolazione circolare tra le due pose di telecamera più vicine note, vengono sintetizzate nuove viste virtuali. I pixel con bassa confidenza vengono esclusi tramite masking durante questa proiezione. Queste pseudo-viste sono utilizzate per una supervisione fotometrica aggiuntiva (SSIM e $L_1$) con un peso basso (0.1) durante l'addestramento.

Contributi Chiave

• Inizializzazione Densa Senza Riferimento: L'integrazione di $\pi^3$ elimina la dipendenza dalle pipeline SfM tradizionali per il 3DGS a viste scarse, fornendo un prior geometrico denso che supera i fallimenti di inizializzazione.
• Perdita di Pearson Consapevole della Confidenza: Una nuova formulazione della perdita di profondità che sfrutta le stime di incertezza per bilanciare la coerenza strutturale con il recupero di dettagli ad alta frequenza, evitando l'overfitting su predizioni di profondità rumorose.
• Ottimizzazione Robusta per Viste Scarse: Un framework PGSR modificato che disabilita specifiche strategie di densificazione e trimming non adatte ai dati scarsi, combinato con una supervisione delle normali mascherata per eliminare gli artefatti a griglia.
• Coerenza Geometrica: L'uso di depth warping e pseudo-viste migliora la coerenza tra le viste e riduce i "floaters" senza fare affidamento su prior generativi o allucinazione di viste.

Risultati Sperimentali
Pi-GS è stato valutato su quattro dataset standard: Tanks and Temples, MipNeRF360, LLFF e DTU, sia in configurazioni a 3 viste che a 12 viste.

• Prestazioni: Il metodo raggiunge prestazioni state-of-the-art nella maggior parte delle metriche (PSNR, SSIM, LPIPS) rispetto ai recenti metodi per viste scarse come Intern-GS, InstantSplat, SparseGS e DNGaussian.
• Miglioramenti Qualitativi: I risultati visivi dimostrano una significativa riduzione dei floaters, un migliore allineamento dei Gaussiani con la geometria superficiale sottostante e un miglior preservamento delle texture ad alta frequenza rispetto allo standard 3DGS e PGSR.
• Studi di Ablazione: Gli esperimenti confermano che ogni componente contribuisce alle prestazioni finali. Nello specifico, l'inizializzazione densa fornisce il guadagno maggiore, seguita dalla regolarizzazione della profondità, dalla regolarizzazione delle normali e dal depth warping. Lo studio nota inoltre che abilitare lo splitting dei Gaussiani in questo contesto degrada leggermente le prestazioni, giustificandone la disattivazione.
• Accuratezza delle Pose: Le pose della telecamera stimate da $\pi^3$ sono state validate con un Absolute Trajectory Error (ATE) di 0.0293 sul dataset Tanks and Temples, confermando la loro idoneità per una ricostruzione ad alta fedeltà.

Significato e Limitazioni
Il paper sostiene che Pi-GS faccia progredire significativamente la ricostruzione 3D a viste scarse, spostando la dipendenza dalle pipeline SfM iterative e soggette a fallimenti verso un'inizializzazione geometrica feed-forward robusta. Concentrandosi sulla coerenza geometrica e sulla generalizzazione piuttosto che sull'allucinazione di viste, il metodo produce nuove viste coerenti con un migliore allineamento superficiale.

Gli autori riconoscono specifiche limitazioni:

• Vincoli di Memoria: L'elaborazione di un gran numero di viste di input con $\pi^3$ consuma una quantità significativa di memoria GPU, rendendolo attualmente impraticabile per l'hardware consumer con dataset molto grandi.
• Errori di Stima della Profondità: Stime di profondità imprecise in scene specifiche e impegnative (ad esempio, la scena "leaves" di LLFF) possono ancora influenzare la qualità della ricostruzione.
• Regioni Non Osservate: Come altri metodi non generativi, Pi-GS non può ricostruire la geometria in regioni completamente non osservate dalle viste di input, sebbene ricostruisca accuratamente le regioni osservate senza eccessivo smoothing.

Il lavoro futuro suggerito dagli autori include l'ottimizzazione congiunta delle pose della telecamera e della scena Gaussiana, nonché il potenziale di integrare prior generativi per gestire più efficacemente le aree occluse.