Technische Zusammenfassung: Sphärische Voronoi

Problemstellung

Radiance-Field-Methoden, insbesondere 3D Gaussian Splatting (3DGS), haben bemerkenswerte Erfolge bei der Synthese neuer Ansichten erzielt. Dennoch basiert ihre Modellierung ansichtsabhängiger Erscheinungen häufig auf Spherical Harmonics (SH). Obwohl SH aufgrund ihrer globalen Unterstützung und Orthogonalität recheneffizient und einfach zu optimieren sind, leiden sie unter grundlegenden Einschränkungen:

1. Versagen bei hohen Frequenzen: SH haben Schwierigkeiten, hochfrequente Signale wie scharfe spekulare Highlights (Glanzlichter) darzustellen, ohne eine unvertretbar große Anzahl an Koeffizienten zu benötigen.
2. Artefakte: Der Versuch, diskontinuierliche oder scharfe Funktionen mit SH zu rekonstruieren, führt zu Gibbs-Ringing-Artefakten.
3. Spekularreflexionen: SH sind grundsätzlich nicht in der Lage, spekulare Reflexionen zu erfassen, die für realistische glänzende Oberflächen entscheidend sind.

Alternative explizite Darstellungen wie Spherical Gaussians (SG) und Spherical Betas (SB) bieten eine bessere Lokalisierung und können Diskontinuitäten modellieren. Sie führen jedoch zu erheblicher Optimierungskomplexität. Ihr kompakter Träger führt zu instabilen Gradienten, Empfindlichkeit gegenüber der Initialisierung und einer Tendenz, in lokalen Minima zu konvergieren, was sie in der Praxis schwer zu optimieren macht.

Methodik

Die Autoren schlagen Spherical Voronoi (SV) vor, eine neue explizite Darstellung für sphärische Funktionen, inspiriert von differenzierbaren Voronoi-Diagrammen. SV unterteilt den Richtungsraum in lernbare Regionen mit glatten Grenzen und bietet einen einheitlichen Rahmen für die Erscheinungsmodellierung.

1. Sphärische Voronoi-Darstellung

Im Gegensatz zu globalen Basen (SH) oder überlappenden Kernen (SG/SB) modelliert SV eine Funktion $f(\omega)$ auf der Kugel als gewichtete Kombination von Werten, die mit $K$ Richtungsstellen $s_k$ assoziiert sind:
$$f_{SV}(\omega) = \sum_{k=1}^{K} w_k(\omega; \tau_k) c_k$$
Die Gewichte $w_k$ werden über eine Softmax-Funktion berechnet:
$$w_k(\omega; \tau) = \frac{\exp(\tau_k s_k \cdot \omega)}{\sum_{k'} \exp(\tau_{k'} s_{k'} \cdot \omega)}$$

• Parameter: Jede Stelle besitzt eine Richtung $s_k$, einen Wert $c_k$ und einen Temperaturparameter $\tau_k$.
• Adaptivität: Die Temperatur $\tau$ steuert die Schärfe der Partitionierung. Ein niedriges $\tau$ erzeugt weiche Übergänge, während ein hohes $\tau$ eine harte Voronoi-Tessellation annähert. Dies ermöglicht SV, sowohl glatte diffuse Beleuchtung als auch scharfe spekulare Loben darzustellen.
• Optimierungsstabilität: Die Softmax-Formulierung gewährleistet wohldefinierte Gradienten für alle Stellen und vermeidet die „Konkurrenz" und schlecht konditionierten Updates, die bei SG und SB auftreten, wenn Loben nicht ausgerichtet sind.

2. Anwendung auf Radiance Fields

Die Autoren wenden SV in zwei unterschiedlichen Szenarien an:

A. Parameterisierung der Blickrichtung (Diffuse Erscheinung)
In Standard-Radiance-Field-Pipelines ersetzt SV die Darstellung der Blickrichtung (typischerweise SH). Jede Gaußsche Primitive wird mit lernbaren SV-Stellen und Werten ausgestattet. Dies bietet eine ausdrucksstärkere Basis für ansichtsabhängige Farben als niederordentliche SH und verbessert die Rekonstruktionsqualität für diffuse und mäßig glänzende Oberflächen, ohne neuronale Decoder zu benötigen.

B. Reflexionsbasierte Parameterisierung (Spekulare Erscheinung)
Um das Versagen von SH bei der Modellierung von Reflexionen zu adressieren, erweitern die Autoren SV, um räumlich variierende Reflexionen mit lernbaren Lichtsonden (Learnable Light Probes) zu behandeln.

• Deferred-Rendering-Pipeline: Aufbauend auf 2DGS trennt die Methode Geometrie und Beleuchtung. Ein Geometrie-Pass rendert Puffer für Position, Normalen, Rauheit und diffuse Farbe.
• Lichtsonden: Eine Menge räumlich verteilter Sonden wird in der gesamten Szene gelernt. Jede Sonde kodiert ein lokales Reflexionsfeld als explizite SV-Funktion, die in der reflektierten Blickrichtung $\omega_r$ abgefragt wird.
• Räumliche Interpolation: Für einen Oberflächenpunkt fragt das Modell die $k$-nächsten Sonden ab und interpoliert deren SV-Beiträge basierend auf dem Kehrwert der Distanz.
• Rauheitssteuerung: Die Oberflächenrauheit $R$ moduliert die SV-Temperatur $\tau$ ($\tau = (1-R)\tau_{max} + R\tau_{min}$). Niedrige Rauheit (glänzende Oberflächen) führt zu hohem $\tau$ (scharfe Reflexionen), während hohe Rauheit (diffuse Oberflächen) zu niedrigem $\tau$ (breite Loben) führt.
• Fernfeld vs. Nahfeld: Die finale spekulare Farbe ist eine Mischung aus einer lernbaren Fernfeld-Kubemap (ferne Beleuchtung) und der Nahfeld-Sondeninterpolation (lokale Interreflexionen).

3. Beschleunigung

Um die Rechenkosten der Auswertung Tausender SV-Stellen pro Pixel zu mindern, führen die Autoren ein kubemap-basiertes Partitionierungsschema ein. Die Kugel wird in eine niedrig aufgelöste Kubemap diskretisiert, wobei jedem Texel eine kleine Teilmenge an Kandidaten-Stellen vorab zugewiesen wird. Zur Laufzeit wird die Softmax nur über diese lokale Kandidatenmenge berechnet, was die Komplexität von $O(K)$ auf $O(|S(t)|)$ reduziert.

Hauptbeiträge

1. Sphärische Voronoi-Darstellung: Eine neue explizite Darstellung für sphärische Funktionen, basierend auf einer differenzierbaren weichen Voronoi-Partition. Sie überwindet die Bandbegrenzung von SH und die Optimierungsinstabilität von SG/SB.
2. Modellierung der Richtungsstrahlung: Die Anwendung von SV auf ansichtsabhängige Strahlung in Gaussian Splatting, die konsistente Verbesserungen der Rekonstruktionsqualität gegenüber Standard-Sphärischen-Basen über mehrere Benchmarks hinweg demonstriert.
3. Modellierung von Reflexionen: Eine vollständig explizite und differenzierbare Formulierung für räumlich variierende Reflexionen mittels Voronoi-Lichtsonden. Dies erzielt State-of-the-Art-Ergebnisse bei Reflexions-Benchmarks, ohne auf implizite neuronale Decoder zurückzugreifen.

Experimentelle Ergebnisse

Die Arbeit evaluiert SV sowohl auf synthetischen als auch auf realen Datensätzen:

• Strahlungsmodellierung (Blickrichtung): Auf Benchmarks einschließlich Mip-NeRF 360, NeRF-Synthetic, DeepBlending und Tanks&Temples übertrifft SV SH, SG, SB und sogar die starke neuronale Baseline Zip-NeRF konsistent hinsichtlich PSNR, SSIM und LPIPS.
• Reflexionsmodellierung: Auf reflexiven Datensätzen (Ref-NeRF, GlossySynthetic, Ref-Real) erreicht die SV-basierte Methode State-of-the-Art-Leistung. Sie übertrifft Ref-GS (das einen MLP-Decoder für Nahfeld-Reflexionen verwendet) auf Ref-NeRF und GlossySynthetic und bleibt auf Ref-Real konkurrenzfähig.
• Ablationsstudien:
  • SV liefert bei festgehaltener Parameteranzahl konsistent höhere Rekonstruktionsgenauigkeit als SG, SB und kubemap-basierte Sonden.
  • Die Methode behält Echtzeit-Rendering-Geschwindigkeiten bei (0,45× der Geschwindigkeit von Standard-3DGS), was schneller ist als andere Reflexionsmodellierungsmethoden wie Ref-GS.
  • Die Trainingszeit ist konkurrenzfähig (2,43× 3DGS) und deutlich niedriger als bei schweren Formulierungen wie GaussianShader.

Bedeutung

Die Arbeit argumentiert, dass sorgfältig entworfene explizite Darstellungen als leistungsfähige und effiziente Alternativen zu neuronalen Erscheinungsmodellen dienen können. Durch die Nutzung der adaptiven Zerlegung der Kugel und des stabilen Optimierungsverhaltens von Spherical Voronoi ermöglicht die Methode hochwertige ansichtsabhängige Effekte und spekulare Reflexionen bei gleichzeitiger Wahrung der Interpretierbarkeit und praktischen Rendering-Leistung. Die Arbeit zeigt, dass fundamentale Änderungen in der Modellierung der Richtungskomponente von Radiance Fields notwendig sind, um das Plateau der photometrischen Genauigkeit zu überwinden und die Unfähigkeit, komplexe glänzende Oberflächen wiederzugeben, zu beheben.