Resumo Técnico: Voronoi Esférico

Declaração do Problema

Métodos de campo de radiação, particularmente o Splatting Gaussiano 3D (3DGS), alcançaram sucesso notável na síntese de novas visualizações. No entanto, sua modelagem da aparência dependente da visualização frequentemente depende de Harmônicos Esféricos (SH). Embora os SH sejam computacionalmente eficientes e fáceis de otimizar devido ao seu suporte global e ortogonalidade, eles sofrem de limitações fundamentais:

1. Falha em Alta Frequência: Os SH lutam para representar sinais de alta frequência, como reflexos especulares nítidos (brilhos), sem exigir um número proibitivamente grande de coeficientes.
2. Artefatos: Tentar reconstruir funções descontínuas ou nítidas com SH leva a artefatos de oscilação de Gibbs.
3. Reflexões Especulares: Os SH falham fundamentalmente em capturar reflexões especulares, que são críticas para superfícies brilhantes realistas.

Representações explícitas alternativas, como Gaussianas Esféricas (SG) e Betas Esféricas (SB), oferecem melhor localização e podem modelar descontinuidades. No entanto, introduzem complexidade significativa de otimização. Seu suporte compacto leva a gradientes instáveis, sensibilidade à inicialização e uma tendência a convergir para mínimos locais, tornando-as difíceis de otimizar na prática.

Metodologia

Os autores propõem o Voronoi Esférico (SV), uma nova representação explícita para funções esféricas inspirada em diagramas de Voronoi diferenciáveis. O SV particiona o domínio direcional em regiões aprendíveis com limites suaves, fornecendo um framework unificado para modelagem de aparência.

1. Representação Voronoi Esférica

Diferentemente de bases globais (SH) ou kernels sobrepostos (SG/SB), o SV modela uma função $f(\omega)$ na esfera como uma combinação ponderada de valores associados a $K$ sítios direcionais $s_k$:
$$f_{SV}(\omega) = \sum_{k=1}^{K} w_k(\omega; \tau_k) c_k$$
Os pesos $w_k$ são computados via uma função softmax:
$$w_k(\omega; \tau) = \frac{\exp(\tau_k s_k \cdot \omega)}{\sum_{k'} \exp(\tau_{k'} s_{k'} \cdot \omega)}$$

• Parâmetros: Cada sítio possui uma direção $s_k$, um valor $c_k$ e um parâmetro de temperatura $\tau_k$.
• Adaptabilidade: A temperatura $\tau$ controla a nitidez da partição. Um $\tau$ baixo produz transições suaves, enquanto um $\tau$ alto aproxima uma tesselação Voronoi rígida. Isso permite que o SV represente tanto iluminação difusa suave quanto lóbulos especulares nítidos.
• Estabilidade de Otimização: A formulação softmax garante gradientes bem definidos para todos os sítios, evitando a "competição" e atualizações mal condicionadas observadas em SG e SB quando os lóbulos estão desalinhados.

2. Aplicação a Campos de Radiação

Os autores aplicam o SV em dois cenários distintos:

A. Parametrização de Direção de Visualização (Aparência Difusa)
Em pipelines padrão de campo de radiação, o SV substitui a representação da direção de visualização (tipicamente SH). Cada primitiva Gaussiana é equipada com sítios e valores SV aprendíveis. Isso fornece uma base mais expressiva para cor dependente da visualização do que SH de baixa ordem, melhorando a qualidade de reconstrução para superfícies difusas e moderadamente brilhantes sem exigir decodificadores neurais.

B. Parametrização Baseada em Reflexão (Aparência Especular)
Para abordar a falha dos SH na modelagem de reflexões, os autores estendem o SV para lidar com reflexões espacialmente variáveis usando Sondas de Luz Aprendíveis.

• Pipeline de Renderização Adiada: Baseando-se no 2DGS, o método separa geometria e iluminação. Uma passagem de geometria renderiza buffers para posição, normais, rugosidade e cor difusa.
• Sondas de Luz: Um conjunto de sondas distribuídas espacialmente é aprendido ao longo da cena. Cada sonda codifica um campo de reflexão local como uma função SV explícita, consultada na direção de visualização refletida $\omega_r$.
• Interpolação Espacial: Para um ponto na superfície, o modelo consulta as $k$ sondas mais próximas e interpola suas contribuições SV com base na distância inversa.
• Controle de Rugosidade: A rugosidade da superfície $R$ modula a temperatura SV $\tau$ ($\tau = (1-R)\tau_{max} + R\tau_{min}$). Baixa rugosidade (superfícies brilhantes) resulta em alto $\tau$ (reflexões nítidas), enquanto alta rugosidade (superfícies difusas) resulta em baixo $\tau$ (lóbulos amplos).
• Campo Longínquo vs. Campo Próximo: A cor especular final é uma mistura de um cubemap de campo longínquo aprendível (iluminação distante) e a interpolação de sondas de campo próximo (inter-reflexões locais).

3. Aceleração

Para mitigar o custo computacional de avaliar milhares de sítios SV por pixel, os autores introduzem um esquema de particionamento baseado em cubemap. A esfera é discretizada em um cubemap de baixa resolução, onde cada texel é pré-atribuído a um pequeno subconjunto de sítios candidatos. Em tempo de execução, o softmax é computado apenas sobre este conjunto local de candidatos, reduzindo a complexidade de $O(K)$ para $O(|S(t)|)$.

Contribuições Principais

1. Representação Voronoi Esférica: Uma nova representação explícita para funções esféricas baseada em uma partição Voronoi suave diferenciável. Ela supera a limitação de banda dos SH e a instabilidade de otimização de SG/SB.
2. Modelagem de Radiação Direcional: A aplicação do SV à radiação dependente da visualização no Splatting Gaussiano, demonstrando melhorias consistentes na qualidade de reconstrução sobre bases esféricas padrão em múltiplos benchmarks.
3. Modelagem de Reflexão: Uma formulação totalmente explícita e diferenciável para reflexões espacialmente variáveis usando Sondas de Luz Voronoi. Isso alcança resultados state-of-the-art em benchmarks reflexivos sem depender de decodificadores neurais implícitos.

Resultados Experimentais

O artigo avalia o SV em conjuntos de dados sintéticos e do mundo real:

• Modelagem de Radiação (Direção de Visualização): Em benchmarks incluindo Mip-NeRF 360, NeRF-Synthetic, DeepBlending e Tanks&Temples, o SV supera consistentemente SH, SG, SB e até a forte base neural Zip-NeRF em termos de PSNR, SSIM e LPIPS.
• Modelagem de Reflexão: Em conjuntos de dados reflexivos (Ref-NeRF, GlossySynthetic, Ref-Real), o método baseado em SV alcança desempenho state-of-the-art. Ele supera o Ref-GS (que usa um decodificador MLP para reflexões de campo próximo) no Ref-NeRF e GlossySynthetic, e permanece competitivo no Ref-Real.
• Estudos de Ablação:
  • O SV consistentemente produz maior precisão de reconstrução do que SG, SB e sondas baseadas em cubemap quando as contagens de parâmetros são fixas.
  • O método mantém velocidades de renderização em tempo real (0,45× a velocidade do 3DGS padrão), o que é mais rápido do que outros métodos de modelagem de reflexão como o Ref-GS.
  • O tempo de treinamento é competitivo (2,43× 3DGS), significativamente menor do que formulações pesadas como GaussianShader.

Significância

O artigo argumenta que representações explícitas cuidadosamente projetadas podem servir como alternativas poderosas e eficientes a modelos de aparência neural. Ao aproveitar a decomposição adaptativa da esfera e o comportamento de otimização estável do Voronoi Esférico, o método permite efeitos dependentes da visualização de alta qualidade e reflexões especulares, mantendo interpretabilidade e desempenho prático de renderização. O trabalho demonstra que mudanças fundamentais na forma como o componente direcional dos campos de radiação é modelado são necessárias para superar o platô na precisão fotométrica e a incapacidade de reproduzir superfícies brilhantes complexas.