Technische Samenvatting: Sferische Voronoi

Probleemstelling

Radiance field-methoden, met name 3D Gaussian Splatting (3DGS), hebben opmerkelijk succes behaald in de synthese van nieuwe weergaven. Hun modellering van weergave-afhankelijke verschijning berust echter vaak op Sferische Harmonischen (SH). Hoewel SH rekenkundig efficiënt en eenvoudig te optimaliseren zijn vanwege hun globale ondersteuning en orthogonaliteit, lijden ze onder fundamentele beperkingen:

1. Fouten bij hoge frequenties: SH hebben moeite om signalen met hoge frequenties weer te geven, zoals scherpe spiegelende highlights (glints), zonder een verbodsfoutelijk groot aantal coëfficiënten te vereisen.
2. Artefacten: Pogingen om discontinuïteiten of scherpe functies met SH te reconstrueren leiden tot Gibbs-ringing-artefacten.
3. Spiegelende reflecties: SH falen fundamenteel in het vastleggen van spiegelende reflecties, die cruciaal zijn voor realistische glanzende oppervlakken.

Alternatieve expliciete representaties, zoals Sferische Gaussians (SG) en Sferische Betas (SB), bieden betere lokalisatie en kunnen discontinuïteiten modelleren. Ze introduceren echter aanzienlijke optimalisatiecomplexiteit. Hun compacte ondersteuning leidt tot instabiele gradiënten, gevoeligheid voor initialisatie en een neiging om vast te lopen in lokale minima, waardoor ze in de praktijk moeilijk te optimaliseren zijn.

Methodologie

De auteurs stellen Sferische Voronoi (SV) voor, een nieuwe expliciete representatie voor sferische functies, geïnspireerd door differentieerbare Voronoi-diagrammen. SV partitioneert het directionele domein in leerbare regio's met gladde grenzen, waardoor een unificerend kader voor verschijningsmodellering wordt geboden.

1. Sferische Voronoi Representatie

In tegenstelling tot globale bases (SH) of overlappende kernen (SG/SB), modelleert SV een functie $f(\omega)$ op de sfeer als een gewogen combinatie van waarden geassocieerd met $K$ directionele locaties $s_k$:
$$f_{SV}(\omega) = \sum_{k=1}^{K} w_k(\omega; \tau_k) c_k$$
De gewichten $w_k$ worden berekend via een softmax-functie:
$$w_k(\omega; \tau) = \frac{\exp(\tau_k s_k \cdot \omega)}{\sum_{k'} \exp(\tau_{k'} s_{k'} \cdot \omega)}$$

• Parameters: Elke locatie heeft een richting $s_k$, een waarde $c_k$ en een temperatuurparameter $\tau_k$.
• Adaptiviteit: De temperatuur $\tau$ controleert de scherpte van de partitionering. Een lage $\tau$ levert gladde overgangen op, terwijl een hoge $\tau$ neigt naar een harde Voronoi-tessellatie. Dit stelt SV in staat om zowel gladde diffuse verlichting als scherpe spiegelende lobben weer te geven.
• Optimalisatiestabiliteit: De softmax-formulering zorgt voor goed gedefinieerde gradiënten voor alle locaties, waardoor de "concurrentie" en slecht geconditioneerde updates worden vermeden die bij SG en SB worden waargenomen wanneer lobben niet uitgelijnd zijn.

2. Toepassing op Radiance Fields

De auteurs passen SV toe in twee verschillende scenario's:

A. Parameterisatie van Weergaverichting (Diffuse Verschijning)
In standaard radiance field-pijplijnen vervangt SV de weergaverichtingsrepresentatie (doorgaans SH). Elke Gaussische primitieve is uitgerust met leerbare SV-locaties en waarden. Dit biedt een expressievere basis voor weergave-afhankelijke kleur dan lage-orde SH, waardoor de reconstructiekwaliteit voor diffuse en matig glanzende oppervlakken verbetert zonder neurale decoders te vereisen.

B. Reflectie-gebaseerde Parameterisatie (Spiegelende Verschijning)
Om het falen van SH bij het modelleren van reflecties aan te pakken, breiden de auteurs SV uit tot het hanteren van ruimtelijk variërende reflecties met behulp van leerbare lichtprobes.

• Deferred Rendering-pijplijn: Op basis van 2DGS scheidt de methode geometrie en verlichting. Een geometriefase rendeert buffers voor positie, normaalvectoren, ruwheid en diffuse kleur.
• Lichtprobes: Een set ruimtelijk verdeelde probes wordt door de scène heen geleerd. Elke probe codeert een lokaal reflectieveld als een expliciete SV-functie, opgevraagd in de gereflecteerde weergaverichting $\omega_r$.
• Ruimtelijke Interpolatie: Voor een oppervlakspunt vraagt het model de $k$-dichtstbijzijnde probes op en interpolatie hun SV-bijdragen op basis van omgekeerde afstand.
• Ruwheidscontrole: De oppervlakteruwheid $R$ moduleert de SV-temperatuur $\tau$ ($\tau = (1-R)\tau_{max} + R\tau_{min}$). Lage ruwheid (glanzende oppervlakken) resulteert in hoge $\tau$ (scherpe reflecties), terwijl hoge ruwheid (diffuse oppervlakken) resulteert in lage $\tau$ (brede lobben).
• Verre veld versus Nabij veld: De uiteindelijke spiegelende kleur is een mengsel van een leerbare verre veld-cubemap (verre verlichting) en de nabij veld-probe-interpolatie (lokale onderlinge reflecties).

3. Versnelling

Om de rekenkosten van het evalueren van duizenden SV-locaties per pixel te mitigeren, introduceren de auteurs een cubemap-gebaseerd partitioneringsschema. De sfeer wordt gediskretiseerd in een lage-resolutie cubemap, waarbij elke texel vooraf een kleine subset van kandidaat-locaties toegewezen krijgt. Tijdens runtime wordt de softmax alleen berekend over deze lokale kandidaatset, waardoor de complexiteit wordt gereduceerd van $O(K)$ naar $O(|S(t)|)$.

Belangrijkste Bijdragen

1. Sferische Voronoi Representatie: Een nieuwe expliciete representatie voor sferische functies gebaseerd op een differentieerbare zachte Voronoi-partitie. Het overwint de bandbeperking van SH en de optimalisatie-instabiliteit van SG/SB.
2. Directionele Radiantie Modellering: De toepassing van SV op weergave-afhankelijke radiantie in Gaussian Splatting, waarbij consistente verbeteringen in reconstructiekwaliteit worden aangetoond ten opzichte van standaard sferische bases over meerdere benchmarks.
3. Reflectiemodellering: Een volledig expliciete en differentieerbare formulering voor ruimtelijk variërende reflecties met behulp van Voronoi-lichtprobes. Dit bereikt state-of-the-art resultaten op reflectieve benchmarks zonder afhankelijk te zijn van impliciete neurale decoders.

Experimentele Resultaten

Het artikel evalueert SV op zowel synthetische als real-world datasets:

• Radiantiemodellering (Weergaverichting): Op benchmarks waaronder Mip-NeRF 360, NeRF-Synthetic, DeepBlending en Tanks&Temples, presteert SV consistent beter dan SH, SG, SB en zelfs de sterke neurale baseline Zip-NeRF wat betreft PSNR, SSIM en LPIPS.
• Reflectiemodellering: Op reflectieve datasets (Ref-NeRF, GlossySynthetic, Ref-Real) bereikt de op SV gebaseerde methode state-of-the-art prestaties. Het overtreft Ref-GS (dat een MLP-decoder gebruikt voor nabij veld-reflecties) op Ref-NeRF en GlossySynthetic, en blijft concurrerend op Ref-Real.
• Ablatiestudies:
  • SV levert consistent hogere reconstructienauwkeurigheid op dan SG, SB en cubemap-gebaseerde probes wanneer het aantal parameters vaststaat.
  • De methode behoudt real-time renderingssnelheden (0,45× de snelheid van standaard 3DGS), wat sneller is dan andere reflectiemodelleringsmethoden zoals Ref-GS.
  • De trainingstijd is concurrerend (2,43× 3DGS), aanzienlijk lager dan zware formuleringen zoals GaussianShader.

Betekenis

Het artikel betoogt dat zorgvuldig ontworpen expliciete representaties krachtige en efficiënte alternatieven kunnen zijn voor neurale verschijningsmodellen. Door gebruik te maken van de adaptieve decompositie van de sfeer en het stabiele optimalisatiegedrag van Sferische Voronoi, stelt de methode hoge kwaliteit van weergave-afhankelijke effecten en spiegelende reflecties mogelijk, terwijl interpreteerbaarheid en praktische renderingprestaties behouden blijven. Het werk toont aan dat fundamentele veranderingen in hoe het directionele component van radiance fields wordt gemodelleerd, noodzakelijk zijn om het plateau in fotometrische nauwkeurigheid en het onvermogen om complexe glanzende oppervlakken weer te geven, te overwinnen.