Resumen Técnico: Redes de Radiancia Flotante (FlaRe)

Declaración del Problema

Los avances recientes en las representaciones de escenas neuronales han logrado la síntesis de vistas nuevas fotorrealistas, pero persiste un compromiso entre la expresividad de los campos neuronales continuos y la eficiencia, direccionabilidad y compatibilidad gráfica de la geometría explícita.

• Campos de Radiancia Neuronal (NeRFs) modelan las escenas como funciones volumétricas continuas, logrando una alta fidelidad visual pero sufriendo de un costoso ray marching denso y una difícil integración con los canales de gráficos convencionales.
• 3D Gaussian Splatting (3DGS) permite el renderizado en tiempo real mediante primitivas anisotrópicas explícitas y rasterización. Sin embargo, sus coeficientes de apariencia finitos por primitiva no definen una función de radiancia espacial continua sobre la huella de cada primitiva, lo que limita su capacidad para modelar efectos dependientes de la vista complejos como reflexiones y refracciones sin extensiones especializadas.
• Los Métodos Híbridos Existentes a menudo combinan características neuronales con estructuras explícitas, pero permanecen ligados a procedimientos de renderizado específicos, agregan características a través de elementos de la escena o requieren extensiones específicas para tareas de edición, trazado de rayos o extracción de geometría.

El desafío central es combinar la radiancia localmente continua con geometría direccionable de forma independiente y trazable mediante rayos para crear un modelo de escena unificado que puentee el renderizado neuronal y los gráficos convencionales.

Metodología: Redes de Radiancia Flotante (FlaRe)

FlaRe introduce una representación de escena neuronal construida a partir de primitivas gaussianas generalizadas planas flotantes, donde cada primitiva porta una función de radiancia neuronal local compacta.

1. Representación de la Escena

La escena está representada por un conjunto de $N$ primitivas gaussianas generalizadas planas anisotrópicas. Cada primitiva $i$ está parametrizada por:

• Atributos Geométricos: Un centro entrenable $\mu_i$, una matriz de covarianza singular $\Sigma_i$ (derivada de un cuaternión de rotación $q_i$ y una escala $s_i$), y un parámetro de forma $\kappa_i$.
• Atributos de Apariencia: Un color constante independiente de la vista $c_{const,i}$, una opacidad constante $\alpha_{const,i}$, y un descriptor latente entrenable $z_i \in \mathbb{R}^{96}$.
• Kernel: La opacidad está modulada por un Kernel Gaussiano Generalizado Plano Isotrópico, definido como:
  $$N(\mu, \Sigma, \kappa)(u, v) = \exp\left(-\frac{(u^2 + v^2)^\kappa}{2^\kappa}\right)$$
  Esta formulación permite bordes más nítidos y superficies de alta curvatura en comparación con los kernels gaussianos clásicos. Crucialmente, la naturaleza isotrópica del kernel en coordenadas normalizadas permite el uso de un único polígono canónico para todas las primitivas, independientemente del parámetro de forma $\kappa$, simplificando las pruebas de intersección aceleradas por hardware.

2. Auto-Decodificador Global Compartido

A diferencia de los métodos que almacenan colores estáticos por primitiva, FlaRe predice el color y la opacidad espacialmente variables y dependientes de la vista utilizando un auto-decodificador MLP ligero y compartido.

• Entrada: El decodificador toma el descriptor latente por primitiva $z_i$, las coordenadas locales de la superficie $(u, v)$, y la dirección de visión $\vec{d}$.
• Codificación:
  • Codificación LUT: Las coordenadas locales $(u, v)$ se mapean mediante una tabla de búsqueda (LUT) de resolución múltiple libre de colisiones. Esto reemplaza las búsquedas de hash-grid de alta dimensión con un mapeo directo de uno a uno, reduciendo la sobrecarga mientras mantiene la equivalencia funcional a las codificaciones basadas en hash.
  • Codificación Posicional: La dirección de visión se codifica mediante codificación posicional estándar.
• Salida: La red predice $c_{MLP,i}$ (color) y $\alpha_{MLP,i}$ (opacidad).
• Arquitectura: Una red ligera con dos capas ocultas (activación Hardswish) y una capa de salida que se ramifica en cuatro canales (tres ReLU, un Sigmoid).

3. Renderizado y Trazado de Rayos

FlaRe está diseñado para el trazado de rayos acelerado por hardware:

• Intersección: Los rayos intersectan con los proxies de polígonos canónicos de las primitivas utilizando la intersección ray-triangle estándar de la GPU.
• Composición: Para cada rayo, se recolectan las intersecciones ordenadas. El color final del píxel se calcula mediante composición alfa:
  $$c = \sum_{i=1}^{|G(r)|} c_{const,i} c_{MLP,i} \alpha_i \prod_{j<i} (1 - \alpha_j)$$
  donde la opacidad efectiva $\alpha_i$ es modulada por el valor del kernel gaussiano generalizado.
• Capacidades Recursivas: Debido a que la representación es explícitamente trazable mediante rayos, soporta de forma nativa rayos secundarios para reflexiones, refracciones, transparencia y sombras sin necesidad de reentrenar o convertir la escena a un formato diferente.

4. Edición y Manipulación

• Edición de Geometría: Las primitivas son direccionables individualmente. Deformar el proxy mesh permite la manipulación geométrica directa. El sistema recupera los parámetros gaussianos actualizados (centro, rotación, escala) a partir de la geometría deformada sin reentrenamiento.
• Extracción de Malla: La estructura plana explícita soporta la extracción de mallas mediante fusión TSDF (Campo de Distancia Signada Truncada), apoyada por regularizadores de distorsión de profundidad y consistencia de normales.
• Estilización: La edición de la apariencia se realiza directamente en el espacio del descriptor aprendido ($z_i$), permitiendo la transferencia de estilo guiada por imagen que preserva la estructura de la escena.

Contribuciones Clave

1. Representación Unificada: Introducción de las Redes de Radiancia Flotante, que combina primitivas planas explícitas trazables por rayos con funciones de radiancia neuronal locales continuas.
2. Formulación Compacta: Un diseño que integra descriptores latentes por primitiva, un auto-decodificador compartido, codificación LUT de resolución múltiple libre de colisiones y proxies de malla compatibles con hardware.
3. Capacidades Versátiles: Demostración de trazado de rayos recursivo, deformación de primitivas, extracción de mallas y estilización de apariencia, todo dentro de una única representación.

Resultados Experimentales

Los experimentos se realizaron en benchmarks estándar (Mip-NeRF 360, Tanks and Temples, Deep Blending) y se compararon contra Campos de Radiancia (RF), métodos basados en Gaussianos (GS) y Campos Neuronales Explícitos (ENF).

• Síntesis de Vistas Nuevas: FlaRe logra una calidad competitiva, superando a menudo a 3DGS, 3DGRT y otros baselines de ENF en PSNR. En Mip-NeRF 360, alcanza el segundo PSNR más alto globalmente. En Deep Blending, lidera el grupo ENF.
• Eficiencia: FlaRe ofrece un fuerte equilibrio calidad-eficiencia. Supera a IRIS en calidad utilizando sustancialmente menos memoria y permitiendo el renderizado interactivo. Mejora sobre Radiance Meshes en ambos benchmarks con aproximadamente 12$\times$ menos uso de memoria.
• Fidelidad Visual: Los resultados cualitativos muestran que FlaRe reconstruye de manera más fiel las reflexiones y los brillos especulares en comparación con 3DGS y Radiance Meshes, debido a la predicción continua de la radiancia en cada intersección rayo-primitiva.
• Reducción de Primitivas: Bajo presupuestos agresivos de reducción de primitivas, FlaRe iguala o supera a baselines como PUP-3DGS y LP-3DGS, indicando que sus descriptores neuronales locales retienen una fuerte capacidad de apariencia incluso con menos primitivas.
• Capacidades Gráficas: El método demuestra con éxito el trazado de rayos recursivo (reflexiones y refracciones anidadas), la integración fluida con mallas convencionales y la extracción directa de mallas.

Significado y Reivindicaciones

El artículo posiciona a FlaRe como un paso hacia las representaciones de escena unificadas que no necesitan especializarse para un único paradigma de renderizado. Al aportar renderizado neuronal de alta fidelidad, trazado de rayos recursivo, manipulación geométrica y edición de apariencia en un solo modelo, FlaRe aborda la fragmentación en la investigación actual de representaciones de escena neuronal.

Los autores afirman que este enfoque cierra la brecha entre el renderizado neuronal y los gráficos convencionales, permitiendo:

• Consultas Directas de Rayos: La representación misma es directamente consultable, eliminando la necesidad de modelos de escena separados para efectos como reflexiones o sombras.
• Editabilidad: La estructura explícita permite la deformación directa y la extracción de mallas sin reentrenamiento.
• Compacidad: El uso de decodificadores compartidos y descriptores compactos permite una reconstrucción de alta calidad con un conjunto menor de primitivas en comparación con los enfoques puramente rasterizados o volumétricos.

El artículo reconoce limitaciones, señalando que el conjunto finito de primitivas planas puede limitar la precisión geométrica de campo lejano en escenas exteriores extensas y no acotadas, y que el entrenamiento y el renderizado interactivo requieren GPUs modernas con capacidades de trazado de rayos acelerado por hardware.