Stochastic Ray Tracing for the Reconstruction of 3D Gaussian Splatting

1. Il Problema

Il 3D Gaussian Splatting (3DGS) è diventato uno standard per la sintesi di nuove viste grazie alla sua velocità di rendering e ricostruzione. Tuttavia, i metodi esistenti si basano quasi esclusivamente sulla rasterizzazione, che presenta limitazioni intrinseche:

• Assunzioni rigide di telecamera a foro stenopeico.
• Ombre inaccurate e mancanza di supporto nativo per riflessioni e rifrazioni.
• Difficoltà nel gestire scene "ricabili" (relightable) senza approssimazioni.

I metodi basati sul Ray Tracing risolvono questi problemi permettendo ombre fisicamente accurate, riflessioni e modelli di telecamera non lineari. Tuttavia, il Ray Tracing tradizionale per 3DGS è estremamente lento perché richiede di ordinare (sorting) tutti i Gaussiani intersecati da ogni raggio prima di calcolare il colore (blending deterministico). Inoltre, i metodi attuali per scene ricabili ricadono spesso su tecniche di rasterizzazione (come le shadow map) per approssimare le ombre, compromettendo la generalità promessa dal Ray Tracing.

2. Metodologia

Gli autori propongono una formulazione stocastica, differenziabile e senza ordinamento (sorting-free) per il Ray Tracing di 3DGS. Il cuore della metodologia è un stimatore Monte Carlo non distorto (unbiased) che calcola i gradienti del colore del pixel senza dover ordinare i Gaussiani.

A. Rendering Stocastico (Forward Pass)

Invece di valutare tutti i Gaussiani lungo un raggio, l'algoritmo campiona un sottoinsieme ridotto:

1. Si attraversano i Gaussiani in ordine arbitrario.
2. Si seleziona un indice $I$ con una probabilità proporzionale al peso di blending ($\alpha$).
3. Il colore del pixel viene stimato calcolando il colore solo del Gaussiano selezionato $g_I$.
4. Questo processo è ripetuto più volte per ridurre la varianza, eliminando la necessità di ordinamento ($O(N \log N)$ diventa $O(N)$).

B. Stima dei Gradienti Stocastici (Backward Pass)

La sfida principale è rendere questo processo differenziabile per la ricostruzione. La selezione stocastica crea un ramo discontinuo che l'automated differentiation (AD) standard non gestisce correttamente.

• Soluzione: Gli autori derivano analiticamente i gradienti rispetto ai colori ($\partial C / \partial c_i$) e alle opacità ($\partial C / \partial \alpha_i$).
• Stimatore Unbiased: Utilizzano lo stesso campionamento stocastico del forward pass per stimare i gradienti.
  • Per il gradiente del colore: assegnano un valore di 1 alla componente selezionata.
  • Per il gradiente dell'opacità: calcolano la differenza tra il colore del Gaussiano selezionato ($c_I$) e quello di un secondo Gaussiano selezionato stocasticamente dietro al primo ($c_K$), normalizzato per l'opacità.
• Questo approccio evita il calcolo esplicito di somme su tutti i Gaussiani posteriori, mantenendo la complessità bassa e senza ordinamento.

C. Gestione di Scene Ricabili (Relightable 3DGS)

Il framework estende la formulazione stocastica alle scene ricabili:

• Il colore di ogni Gaussiano non è fisso ma dipende dall'illuminazione incidente, calcolato tramite una funzione di riflettanza neurale (decoder).
• Per calcolare l'illuminazione, vengono tracciati raggi d'ombra (shadow rays).
• L'algoritmo stima la trasmissività lungo il raggio d'ombra utilizzando la stessa logica stocastica del forward pass, permettendo ombre fisicamente accurate e interazioni con l'illuminazione ambientale (IBL) senza bisogno di passaggi di shadow mapping dedicati.

3. Contributi Chiave

1. Algoritmo Stocastico Non Distorto: Un nuovo metodo per stimare i gradienti dei colori dei pixel rispetto a tutti i parametri dei Gaussiani, abilitando il Ray Tracing differenziabile senza ordinamento.
2. Framework Unificato per Scene Ricabili: Estensione del metodo per gestire l'illuminazione dinamica e le ombre tramite raggi d'ombra stocastici, superando le approssimazioni delle shadow map.
3. Prestazioni e Qualità: Il metodo raggiunge la velocità di ricostruzione della rasterizzazione (3DGS standard) superando significativamente i metodi di Ray Tracing basati sull'ordinamento, mantenendo una qualità visiva comparabile o superiore.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard per la sintesi di nuove viste (MipNeRF360, Tanks & Temples, Deep Blending) e per scene ricabili (NRHints).

• Sintesi di Nuove Viste (Standard):
  • Il metodo proposto è circa 2x più veloce del Ray Tracing basato su ordinamento (3DGRT) e ha tempi di ricostruzione simili alla rasterizzazione (3DGS).
  • La qualità (PSNR, SSIM, LPIPS) è paragonabile a quella della rasterizzazione e leggermente inferiore o in linea con il Ray Tracing ordinato, ma con un costo computazionale drasticamente ridotto.
• Scene Ricabili:
  • Il metodo supera nettamente gli stati dell'arte (come RNG e GS3) in termini di fedeltà della ricostruzione, specialmente nella qualità delle ombre e della geometria.
  • Essendo basato su Ray Tracing puro, gestisce illuminazione ambientale complessa e ombre morbide senza artefatti tipici delle shadow map.
• Confronto con StochasticSplats:
  • Il paper dimostra che l'estimatore di gradienti di StochasticSplats (un lavoro precedente) soffre di alta varianza a causa di termini di opacità quasi singolari, rendendolo inadatto per la ricostruzione end-to-end. L'approccio proposto è più stabile e produce risultati visivamente superiori.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale per colmare il divario tra velocità e fisicità nella grafica 3D:

• Democratizzazione del Ray Tracing: Rende il Ray Tracing praticabile per la ricostruzione di scene in tempo reale, un compito finora dominato dalla rasterizzazione.
• Generalità Fisica: Permette di ricostruire scene con proprietà ottiche realistiche (riflessioni, rifrazioni, ombre accurate) che erano precedentemente approssimate o impossibili da ottenere con 3DGS.
• Efficienza Computazionale: Elimina il collo di bottiglia dell'ordinamento dei Gaussiani, permettendo di scalare a scene complesse mantenendo tempi di training accettabili.

In sintesi, gli autori hanno creato il primo framework che utilizza il Ray Tracing stocastico sia per la ricostruzione che per il rendering di scene 3DGS standard e ricabili, offrendo un compromesso ottimale tra fedeltà fisica ed efficienza computazionale.