Riepilogo Tecnico: Voronoi Sferico

Enunciato del Problema

I metodi basati su campi di radianza, in particolare lo Splatting Gaussiano 3D (3DGS), hanno ottenuto risultati notevoli nella sintesi di nuove visualizzazioni. Tuttavia, la loro modellazione dell'aspetto dipendente dalla vista si basa spesso sugli Armonici Sferici (SH). Sebbene gli SH siano computazionalmente efficienti e facili da ottimizzare grazie al loro supporto globale e all'ortogonalità, soffrono di limitazioni fondamentali:

1. Fallimento ad Alta Frequenza: Gli SH faticano a rappresentare segnali ad alta frequenza, come riflessi speculari netti (glint), senza richiedere un numero proibitivo di coefficienti.
2. Artefatti: Tentare di ricostruire funzioni discontinue o nette con gli SH porta ad artefatti di ringing di Gibbs.
3. Riflessi Speculari: Gli SH falliscono fondamentalmente nel catturare riflessi speculari, che sono critici per superfici lucide realistiche.

Rappresentazioni esplicite alternative, come le Gaussianhe Sferiche (SG) e le Beta Sferiche (SB), offrono una migliore localizzazione e possono modellare discontinuità. Tuttavia, introducono una complessità di ottimizzazione significativa. Il loro supporto compatto porta a gradienti instabili, sensibilità all'inizializzazione e una tendenza a convergere in minimi locali, rendendole difficili da ottimizzare nella pratica.

Metodologia

Gli autori propongono il Voronoi Sferico (SV), una nuova rappresentazione esplicita per funzioni sferiche ispirata ai diagrammi di Voronoi differenziabili. SV partiziona il dominio direzionale in regioni apprendibili con confini lisci, fornendo un quadro unificato per la modellazione dell'aspetto.

1. Rappresentazione Voronoi Sferica

A differenza delle basi globali (SH) o dei kernel sovrapposti (SG/SB), SV modella una funzione $f(\omega)$ sulla sfera come una combinazione pesata di valori associati a $K$ siti direzionali $s_k$:
$$f_{SV}(\omega) = \sum_{k=1}^{K} w_k(\omega; \tau_k) c_k$$
I pesi $w_k$ sono calcolati tramite una funzione softmax:
$$w_k(\omega; \tau) = \frac{\exp(\tau_k s_k \cdot \omega)}{\sum_{k'} \exp(\tau_{k'} s_{k'} \cdot \omega)}$$

• Parametri: Ogni sito ha una direzione $s_k$, un valore $c_k$ e un parametro di temperatura $\tau_k$.
• Adattività: La temperatura $\tau$ controlla la nitidezza della partizione. Un $\tau$ basso produce transizioni lisce, mentre un $\tau$ alto si avvicina a una tassellazione Voronoi rigida. Ciò permette a SV di rappresentare sia l'illuminazione diffusa liscia che i lobi speculari netti.
• Stabilità dell'Ottimizzazione: La formulazione softmax garantisce gradienti ben definiti per tutti i siti, evitando la "competizione" e gli aggiornamenti mal condizionati osservati in SG e SB quando i lobi non sono allineati.

2. Applicazione ai Campi di Radianza

Gli autori applicano SV in due contesti distinti:

A. Parametrizzazione della Direzione di Vista (Aspetto Diffuso)
Nelle pipeline standard dei campi di radianza, SV sostituisce la rappresentazione della direzione di vista (tipicamente SH). Ogni primitiva Gaussiana è dotata di siti e valori SV apprendibili. Ciò fornisce una base più espressiva per il colore dipendente dalla vista rispetto agli SH di basso ordine, migliorando la qualità della ricostruzione per superfici diffuse e moderatamente lucide senza richiedere decoder neurali.

B. Parametrizzazione Basata sulla Riflessione (Aspetto Speculare)
Per affrontare il fallimento degli SH nella modellazione delle riflessioni, gli autori estendono SV per gestire riflessioni variabili spazialmente utilizzando Sonde di Luce Apprendibili.

• Pipeline di Rendering Differito: Basandosi su 2DGS, il metodo separa geometria e illuminazione. Un passaggio di geometria rende buffer per posizione, normali, ruvidità e colore diffuso.
• Sonde di Luce: Un insieme di sonde distribuite spazialmente viene appreso in tutta la scena. Ogni sonda codifica un campo di riflessione locale come una funzione SV esplicita, interrogata nella direzione di vista riflessa $\omega_r$.
• Interpolazione Spaziale: Per un punto sulla superficie, il modello interroga le $k$ sonde più vicine e interpola i loro contributi SV basandosi sulla distanza inversa.
• Controllo della Ruvidità: La ruvidità della superficie $R$ modula la temperatura SV $\tau$ ($\tau = (1-R)\tau_{max} + R\tau_{min}$). Una bassa ruvidità (superfici lucide) risulta in un alto $\tau$ (riflessi netti), mentre un'alta ruvidità (superfici diffuse) risulta in un basso $\tau$ (lobi ampi).
• Campo Lontano vs Campo Vicino: Il colore speculare finale è una miscela di una cubemap di campo lontano apprendibile (illuminazione distante) e l'interpolazione delle sonde di campo vicino (riflessioni intere locali).

3. Accelerazione

Per mitigare il costo computazionale della valutazione di migliaia di siti SV per pixel, gli autori introducono uno schema di partizionamento basato su cubemap. La sfera è discretizzata in una cubemap a bassa risoluzione, dove ogni texel è pre-assegnato a un piccolo sottoinsieme di siti candidati. A runtime, il softmax è calcolato solo su questo insieme locale di candidati, riducendo la complessità da $O(K)$ a $O(|S(t)|)$.

Contributi Chiave

1. Rappresentazione Voronoi Sferica: Una nuova rappresentazione esplicita per funzioni sferiche basata su una partizione Voronoi soft differenziabile. Supera la limitazione di banda degli SH e l'instabilità di ottimizzazione di SG/SB.
2. Modellazione della Radianza Direzionale: L'applicazione di SV alla radianza dipendente dalla vista nello Splatting Gaussiano, dimostrando miglioramenti coerenti nella qualità della ricostruzione rispetto alle basi sferiche standard su molteplici benchmark.
3. Modellazione delle Riflessioni: Una formulazione completamente esplicita e differenziabile per riflessioni variabili spazialmente utilizzando Sonde di Luce Voronoi. Ciò ottiene risultati allo stato dell'arte su benchmark riflettenti senza fare affidamento su decoder neurali impliciti.

Risultati Sperimentali

Il documento valuta SV su dataset sintetici e del mondo reale:

• Modellazione della Radianza (Direzione di Vista): Su benchmark inclusi Mip-NeRF 360, NeRF-Synthetic, DeepBlending e Tanks&Temples, SV supera costantemente SH, SG, SB e persino il forte baseline neurale Zip-NeRF in termini di PSNR, SSIM e LPIPS.
• Modellazione delle Riflessioni: Su dataset riflettenti (Ref-NeRF, GlossySynthetic, Ref-Real), il metodo basato su SV ottiene prestazioni allo stato dell'arte. Supera Ref-GS (che utilizza un decoder MLP per riflessioni di campo vicino) su Ref-NeRF e GlossySynthetic, e rimane competitivo su Ref-Real.
• Studi di Ablazione:
  • SV produce costantemente una maggiore accuratezza di ricostruzione rispetto a SG, SB e sonde basate su cubemap quando il numero di parametri è fissato.
  • Il metodo mantiene velocità di rendering in tempo reale (0.45× la velocità del 3DGS standard), che è più veloce di altri metodi di modellazione delle riflessioni come Ref-GS.
  • Il tempo di addestramento è competitivo (2.43× 3DGS), significativamente inferiore a formulazioni pesanti come GaussianShader.

Significato

Il documento sostiene che rappresentazioni esplicite attentamente progettate possono servire come alternative potenti ed efficienti ai modelli di aspetto neurali. Sfruttando la decomposizione adattiva della sfera e il comportamento di ottimizzazione stabile del Voronoi Sferico, il metodo abilita effetti di alta qualità dipendenti dalla vista e riflessi speculari, mantenendo l'interpretabilità e le prestazioni pratiche di rendering. Il lavoro dimostra che sono necessari cambiamenti fondamentali nel modo in cui la componente direzionale dei campi di radianza è modellata per superare il plateau nell'accuratezza fotometrica e l'incapacità di riprodurre complesse superfici lucide.