Resumen Técnico: Voronoi Esférico

Enunciado del Problema

Los métodos de campos de radiación, particularmente el Splatting Gaussiano 3D (3DGS), han logrado un éxito notable en la síntesis de nuevas vistas. Sin embargo, su modelado de la apariencia dependiente de la vista a menudo depende de Armónicos Esféricos (SH). Aunque los SH son computacionalmente eficientes y fáciles de optimizar debido a su soporte global y ortogonalidad, sufren limitaciones fundamentales:

1. Fallo en Alta Frecuencia: Los SH luchan por representar señales de alta frecuencia, como brillos especulares agudos (destellos), sin requerir un número prohibitivamente grande de coeficientes.
2. Artefactos: Intentar reconstruir funciones discontinuas o agudas con SH conduce a artefactos de oscilación de Gibbs.
3. Reflexiones Especulares: Los SH fallan fundamentalmente en capturar reflexiones especulares, que son críticas para superficies brillantes realistas.

Las representaciones explícitas alternativas, como los Gaussianos Esféricos (SG) y las Betas Esféricas (SB), ofrecen una mejor localización y pueden modelar discontinuidades. Sin embargo, introducen una complejidad de optimización significativa. Su soporte compacto conduce a gradientes inestables, sensibilidad a la inicialización y una tendencia a converger en mínimos locales, lo que las hace difíciles de optimizar en la práctica.

Metodología

Los autores proponen Voronoi Esférico (SV), una nueva representación explícita para funciones esféricas inspirada en diagramas de Voronoi diferenciables. SV divide el dominio direccional en regiones aprendibles con límites suaves, proporcionando un marco unificado para el modelado de apariencia.

1. Representación Voronoi Esférica

A diferencia de las bases globales (SH) o los núcleos superpuestos (SG/SB), SV modela una función $f(\omega)$ en la esfera como una combinación ponderada de valores asociados a $K$ sitios direccionales $s_k$:
$$f_{SV}(\omega) = \sum_{k=1}^{K} w_k(\omega; \tau_k) c_k$$
Los pesos $w_k$ se calculan mediante una función softmax:
$$w_k(\omega; \tau) = \frac{\exp(\tau_k s_k \cdot \omega)}{\sum_{k'} \exp(\tau_{k'} s_{k'} \cdot \omega)}$$

• Parámetros: Cada sitio tiene una dirección $s_k$, un valor $c_k$ y un parámetro de temperatura $\tau_k$.
• Adaptabilidad: La temperatura $\tau$ controla la nitidez de la partición. Un $\tau$ bajo produce transiciones suaves, mientras que un $\tau$ alto se aproxima a una teselación Voronoi dura. Esto permite que SV represente tanto iluminación difusa suave como lóbulos especulares agudos.
• Estabilidad de Optimización: La formulación softmax asegura gradientes bien definidos para todos los sitios, evitando la "competencia" y las actualizaciones mal condicionadas observadas en SG y SB cuando los lóbulos no están alineados.

2. Aplicación a Campos de Radiación

Los autores aplican SV en dos configuraciones distintas:

A. Parametrización de la Dirección de Vista (Apariencia Difusa)
En las tuberías estándar de campos de radiación, SV reemplaza la representación de la dirección de vista (típicamente SH). Cada primitiva gaussiana se equipa con sitios SV y valores aprendibles. Esto proporciona una base más expresiva para el color dependiente de la vista que los SH de bajo orden, mejorando la calidad de reconstrucción para superficies difusas y moderadamente brillantes sin requerir decodificadores neuronales.

B. Parametrización Basada en Reflexiones (Apariencia Especular)
Para abordar el fallo de los SH en el modelado de reflexiones, los autores extienden SV para manejar reflexiones que varían espacialmente utilizando Sondas de Luz Aprendibles.

• Tubería de Renderizado Diferido: Basándose en 2DGS, el método separa la geometría y la iluminación. Un pase de geometría renderiza búferes para posición, normales, rugosidad y color difuso.
• Sondas de Luz: Se aprende un conjunto de sondas distribuidas espacialmente a lo largo de la escena. Cada sonda codifica un campo de reflexión local como una función SV explícita, consultada en la dirección de vista reflejada $\omega_r$.
• Interpolación Espacial: Para un punto de superficie, el modelo consulta las $k$ sondas más cercanas e interpola sus contribuciones SV basándose en la distancia inversa.
• Control de Rugosidad: La rugosidad de la superficie $R$ modula la temperatura SV $\tau$ ($\tau = (1-R)\tau_{max} + R\tau_{min}$). Una baja rugosidad (superficies brillantes) resulta en un $\tau$ alto (reflexiones agudas), mientras que una alta rugosidad (superficies difusas) resulta en un $\tau$ bajo (lóbulos amplios).
• Campo Lejano vs. Campo Cercano: El color especular final es una mezcla de un mapa cúbico de campo lejano aprendible (iluminación distante) y la interpolación de sondas de campo cercano (reflexiones internas locales).

3. Aceleración

Para mitigar el costo computacional de evaluar miles de sitios SV por píxel, los autores introducen un esquema de partición basada en mapas cúbicos. La esfera se discretiza en un mapa cúbico de baja resolución, donde cada texel se asigna previamente a un pequeño subconjunto de sitios candidatos. En tiempo de ejecución, el softmax se calcula solo sobre este conjunto local de candidatos, reduciendo la complejidad de $O(K)$ a $O(|S(t)|)$.

Contribuciones Clave

1. Representación Voronoi Esférica: Una nueva representación explícita para funciones esféricas basada en una partición Voronoi suave diferenciable. Supera la limitación de banda de los SH y la inestabilidad de optimización de SG/SB.
2. Modelado de Radiación Direccional: La aplicación de SV a la radiación dependiente de la vista en el Splatting Gaussiano, demostrando mejoras consistentes en la calidad de reconstrucción sobre bases esféricas estándar en múltiples puntos de referencia.
3. Modelado de Reflexiones: Una formulación completamente explícita y diferenciable para reflexiones que varían espacialmente utilizando Sondas de Luz Voronoi. Esto logra resultados de vanguardia en puntos de referencia reflectantes sin depender de decodificadores neuronales implícitos.

Resultados Experimentales

El artículo evalúa SV en conjuntos de datos sintéticos y del mundo real:

• Modelado de Radiación (Dirección de Vista): En puntos de referencia que incluyen Mip-NeRF 360, NeRF-Synthetic, DeepBlending y Tanks&Temples, SV supera consistentemente a SH, SG, SB e incluso a la fuerte línea base neuronal Zip-NeRF en términos de PSNR, SSIM y LPIPS.
• Modelado de Reflexiones: En conjuntos de datos reflectantes (Ref-NeRF, GlossySynthetic, Ref-Real), el método basado en SV logra un rendimiento de vanguardia. Supera a Ref-GS (que utiliza un decodificador MLP para reflexiones de campo cercano) en Ref-NeRF y GlossySynthetic, y se mantiene competitivo en Ref-Real.
• Estudios de Ablación:
  • SV produce consistentemente una mayor precisión de reconstrucción que SG, SB y sondas basadas en mapas cúbicos cuando se fijan los conteos de parámetros.
  • El método mantiene velocidades de renderizado en tiempo real (0.45× la velocidad del 3DGS estándar), lo cual es más rápido que otros métodos de modelado de reflexiones como Ref-GS.
  • El tiempo de entrenamiento es competitivo (2.43× 3DGS), significativamente menor que formulaciones pesadas como GaussianShader.

Significado

El artículo argumenta que representaciones explícitas cuidadosamente diseñadas pueden servir como alternativas poderosas y eficientes a los modelos de apariencia neuronal. Al aprovechar la descomposición adaptativa de la esfera y el comportamiento de optimización estable del Voronoi Esférico, el método permite efectos dependientes de la vista de alta calidad y reflexiones especulares, manteniendo al mismo tiempo la interpretabilidad y el rendimiento práctico de renderizado. El trabajo demuestra que son necesarios cambios fundamentales en cómo se modela el componente direccional de los campos de radiación para superar la meseta en la precisión fotométrica y la incapacidad de reproducir superficies brillantes complejas.