Resumo Técnico: Floating Radiance Networks (FlaRe)

Problema

Avanços recentes em representações de cena neurais alcançaram síntese de visão de novos ângulos fotorrealistas, mas existe um compromisso persistente entre a expressividade dos campos neurais contínuos e a eficiência, endereçabilidade e compatibilidade gráfica da geometria explícita.

• Campos de Radiância Neural (NeRFs) modelam cenas como funções volumétricas contínuas, alcançando alta fidelidade visual, mas sofrem com o custoso ray marching denso e uma integração difícil com pipelines gráficos convencionais.
• 3D Gaussian Splatting (3DGS) permite renderização em tempo real via primitivas anisotrópicas explícitas e rasterização. No entanto, seus coeficientes de aparência por primitiva não definem uma função de radiância espacial contínua sobre a pegada de cada primitiva, limitando sua capacidade de modelar efeitos dependentes de visão complexos, como reflexões e refrações, sem extensões especializadas.
• Métodos Híbridos Existentes frequentemente combinam características neurais com estruturas explícitas, mas permanecem vinculados a procedimentos de renderização específicos, agregam características através de elementos da cena ou exigem extensões específicas para tarefas como edição, traçado de raio (ray-tracing) ou extração de geometria.

O desafio central é combinar radiância localmente contínua com geometria endereçável de forma independente e rastreável por raio, para criar um modelo de cena unificado que faça a ponte entre a renderização neural e os gráficos convencionais.

Metodologia: Floating Radiance Networks (FlaRe)

O FlaRe introduz uma representação de cena neural construída a partir de primitivas gaussianas generalizadas planas flutuantes, onde cada primitiva carrega uma função de radiância neural local compacta.

1. Representação da Cena

A cena é representada por um conjunto de $N$ primitivas gaussianas generalizadas planas anisotrópicas. Cada primitiva $i$ é parametrizada por:

• Atributos Geométricos: Um centro treinável $\mu_i$, uma matriz de covariância singular $\Sigma_i$ (derivada de um quatérnio de rotação $q_i$ e escala $s_i$), e um parâmetro de forma $\kappa_i$.
• Atributos de Aparência: Uma cor constante independente de visão $c_{const,i}$, uma opacidade constante $\alpha_{const,i}$, e um descritor latente treinável $z_i \in \mathbb{R}^{96}$.
• Kernel: A opacidade é modulada por um Kernel Gaussiano Generalizado Isotrópico Planar, definido como:
  $$N(\mu, \Sigma, \kappa)(u, v) = \exp\left(-\frac{(u^2 + v^2)^\kappa}{2^\kappa}\right)$$
  Esta formulação permite fronteiras mais nítidas e superfícies de alta curvatura em comparação com os kernels gaussianos clássicos. Crucialmente, a natureza isotrópica do kernel em coordenadas normalizadas permite o uso de um único polígono canônico para todas as primitivas, independentemente do parâmetro de forma $\kappa$, simplificando os testes de interseção acelerados por hardware.

2. Auto-Decoder Global Compartilhado

Ao contrário de métodos que armazenam cores estáticas por primitiva, o FlaRe prevê cor e opacidade espacialmente variadas e dependentes de visão usando um auto-decoder MLP leve e compartilhado.

• Entrada: O decoder recebe o descritor latente por primitiva $z_i$, coordenadas de superfície locais $(u, v)$ e a direção de visão $\vec{d}$.
• Codificação:
  • Codificação LUT (Lookup Table): As coordenadas locais $(u, v)$ são mapeadas usando uma codificação de Tabela de Consulta (LUT) multirresolução livre de colisões. Isso substitui as buscas em hash-grids de alta dimensão por um mapeamento direto um-para-um, reduzindo o overhead enquanto mantém a equivalência funcional às codificações baseadas em hash.
  • Codificação Posicional: A direção de visão é codificada via codificação posicional padrão.
• Saída: A rede prevê $c_{MLP,i}$ (cor) e $\alpha_{MLP,i}$ (opacidade).
• Arquitetura: Uma rede leve com duas camadas ocultas (ativação Hardswish) e uma camada de saída ramificada em quatro canais (três ReLU, um Sigmoid).

3. Renderização e Traçado de Raio (Ray-Tracing)

O FlaRe é projetado para traçado de raio acelerado por hardware:

• Interseção: Raios interceptam os proxies de polígonos canônicos das primitivas usando interseção raio-triângulo padrão de GPU.
• Composição: Para cada raio, as interseções ordenadas são coletadas. A cor final do pixel é computada via composição alfa:
  $$c = \sum_{i=1}^{|G(r)|} c_{const,i} c_{MLP,i} \alpha_i \prod_{j<i} (1 - \alpha_j)$$
  onde a opacidade efetiva $\alpha_i$ é modulada pelo valor do kernel gaussiano generalizado.
• Capacidades Recursivas: Como a representação é explicitamente rastreável por raio, ela suporta nativamente raios secundários para reflexões, refrações, transparências e sombras sem necessidade de retreinamento ou conversão da cena para outro formato.

4. Edição e Manipulação

• Edição de Geometria: As primitivas são endereçáveis individualmente. Deformar o mesh proxy permite a manipulação geométrica direta. O sistema recupera os parâmetros atualizados da Gaussiana (centro, rotação, escala) a partir da geometria deformada sem retreinamento.
• Extração de Mesh: A estrutura planar explícita suporta a extração de malhas via fusão TSDF (Truncated Signed Distance Field), auxiliada por regularizadores de distorção de profundidade e consistência de normais.
• Estilização: A edição de aparência é realizada diretamente no espaço do descritor aprendido ($z_i$), permitindo transferência de estilo guiada por imagem que preserva a estrutura da cena.

Principais Contribuições

1. Representação Unificada: Introdução das Floating Radiance Networks, que combina primitivas planas explícitas rastreáveis por raio com funções de radiância neural locais contínuas.
2. Formulação Compacta: Um design que integra descritores latentes por primitiva, um auto-decoder compartilhado, codificação LUT multirresolução livre de colisões e proxies de malha compatíveis com hardware.
3. Capacidades Versáteis: Demonstração de traçado de raio recursivo, deformação de primitivas, extração de malhas e reconstrução de aparência sob orçamentos restritos de primitivas, tudo dentro de uma única representação.

Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks padrão (Mip-NeRF 360, Tanks and Temples, Deep Blending) e comparados contra Campos de Radiância (RF), métodos baseados em Gaussianas (GS) e Campos Neurais Explícitos (ENF).

• Síntese de Novos Ângulos de Visão: O FlaRe alcança qualidade competitiva, muitas vezes superando o 3DGS, 3DGRT e outras linhas de base de ENF em PSNR. No Mip-NeRF 360, alcança o segundo maior PSNR geral. No Deep Blending, lidera o grupo ENF.
• Eficiência: O FlaRe oferece um forte compromisso entre qualidade e eficiência. Ele supera o IRIS em qualidade utilizando substancialmente menos memória e permitindo renderização interativa. Melhora em relação ao Radiance Meshes em ambos os benchmarks com aproximadamente 12$\times$ menos uso de memória.
• Fidelidade Visual: Resultados qualitativos mostram que o FlaRe reconstrói mais fielmente reflexões e realces especulares em comparação ao 3DGS e Radiance Meshes, atribuído à predição contínua de radiância em cada interseção raio-primitiva.
• Redução de Primitivas: Sob orçamentos agressivos de redução de primitivas, o FlaRe iguala ou supera bases como PUP-3DGS e LP-3DGS, indicando que seus descritores neurais locais retêm forte capacidade de aparência mesmo com menos primitivas.
• Capacidades Gráficas: O método demonstra com sucesso o traçado de raio recursivo (reflexões e refrações aninhadas), integração perfeita com malhas convencionais e extração direta de malhas.

Significância e Alegações

O artigo posiciona o FlaRe como um passo em direção a representações de cena unificadas que não precisam ser especializadas para um único paradigma de renderização. Ao trazer renderização neural de alta fidelidade, traçado de raio recursivo, manipulação geométrica e edição de aparência para um único modelo, o FlaRe aborda a fragmentação na pesquisa atual de representação de cena neural.

Os autores alegam que esta abordagem une a lacuna entre a renderização neural e os gráficos convencionais, permitindo:

• Consultas Diretas por Raio: A própria representação é diretamente consultável, eliminando a necessidade de modelos de cena separados para efeitos como reflexões ou sombras.
• Editabilidade: A estrutura explícita permite deformação direta e extração de malha sem retreinamento.
• Compactação: O uso de decoders compartilhados e descritores compactos permite uma reconstrução de alta qualidade com um conjunto menor de primitivas em comparação com abordagens puramente rasterizadas ou volumétricas.

O artigo reconhece limitações, observando que o conjunto finito de primitivas planas pode limitar a precisão geométrica de campo distante em cenas externas amplas e não delimitadas, e que o treinamento e a renderização interativa exigem GPUs modernas com capacidades de traçado de raio acelerado por hardware.