ShinyNeRF: Digitizing Anisotropic Appearance in Neural Radiance Fields

1. Planteamiento del Problema

La preservación y difusión del patrimonio cultural requieren la digitalización precisa de objetos con materiales complejos, como metales cepillados, telas texturizadas o vidrio tratado. Estos materiales exhiben reflexiones especulares anisotrópicas, donde el brillo cambia no solo según el ángulo de visión, sino también según la orientación de la superficie (tangente).

• Limitaciones actuales: Los métodos de Neural Radiance Fields (NeRF) existentes (como NeRF estándar, Ref-NeRF o Gaussian Splatting) suelen asumir reflectancia isotrópica (invariante a la rotación alrededor de la normal).
• El desafío: Cuando se aplican a materiales anisotrópicos, estos métodos fallan en modelar los brillos alargados correctamente. Para compensar la falta de anisotropía, a menudo distorsionan la geometría reconstruida o utilizan características aprendidas no interpretables, lo que impide la edición física de los materiales y la comprensión real de sus propiedades.
• Falta de datos: No existían conjuntos de datos públicos con propiedades de materiales anisotrópicos (normales, tangentes y parámetros de anisotropía) que sirvieran como ground truth para una evaluación rigurosa.

2. Metodología: ShinyNeRF

ShinyNeRF es un marco de trabajo que extiende los NeRF para modelar tanto reflexiones isotrópicas como anisotrópicas dentro de un marco físico unificado.

A. Modelo de Reflectancia Anisotrópica

En lugar de aprender características latentes oscuras, ShinyNeRF estima explícitamente los parámetros físicos del material en cada punto 3D:

1. Normales de superficie ($\hat{n}'$).
2. Concentración especular ($\kappa$): Controla la nitidez del brillo (similar a la rugosidad).
3. Coeficiente de anisotropía ($e$): Controla la elongación del brillo (de 0 a 1).
4. Ángulo de orientación de la tangente ($\phi$): Define la dirección de la anisotropía.

B. Aproximación ASG a Mezcla vMF

El núcleo del método es la modelización de la distribución de radiancia saliente utilizando una Distribución Gaussiana Esférica Anisotrópica (ASG).

• Dado que integrar una ASG directamente es costoso, el método aproxima la ASG como una mezcla de distribuciones isotrópicas von Mises-Fisher (vMF).
• Se utiliza una red neuronal auxiliar pre-entrenada (ASG2vMF) que, dados los parámetros de ancho de banda ($\lambda, \mu$) derivados de $e$ y $\kappa$, predice los pesos, direcciones medias y concentraciones de una mezcla simétrica de $N$ funciones vMF (típicamente $N=29$).
• Esta aproximación permite calcular un Codificador de Dirección Integrada (IDE) de forma analítica y eficiente, manteniendo la dimensionalidad compacta y requiriendo solo un paso de inferencia por rayo.

C. Construcción de la Base Ortogonal (ONB)

Para manejar la anisotropía, el sistema construye una base ortonormal (Normal, Tangente, Bitangente) a partir de la normal predicha y el ángulo de tangente $\phi$.

• Se utiliza una rotación controlable en el plano normal para alinear la base de la ASG con la dirección de reflexión real.
• Esto permite que el modelo aprenda la orientación de la textura (ej. las líneas de cepillado en un metal) directamente a partir de las imágenes de entrada.

D. Función de Pérdida

El entrenamiento combina la pérdida fotométrica estándar ($L_{rgb}$) con regularizaciones geométricas avanzadas:

• Pérdida de Normal Asimétrica: Alinea las normales predichas con las normales geométricas derivadas de la densidad.
• Pérdida de Orientación: Penaliza normales que apuntan hacia atrás (lejos de la cámara).
• Pérdida de Distorsión y Propuesta: Mejora la calidad de la geometría y la eficiencia de muestreo (inspirado en mip-NeRF 360 y Zip-NeRF).

3. Contribuciones Clave

1. Formulación de Reflectancia Anisotrópica para NeRF: Primer modelo que integra un modelo de reflectancia ASG parametrizado por anisotropía, concentración y orientación de tangente en un NeRF, con marcos de reflexión diferenciables.
2. Benchmark Sintético con Ground Truth: Liberación de dos conjuntos de datos nuevos (ASPH y CHAO) que incluyen geometría 3D, texturas, normales, tangentes y parámetros de anisotropía, permitiendo la evaluación cuantitativa de la estimación de materiales.
3. Interpretabilidad y Edición: A diferencia de otros métodos, ShinyNeRF permite la edición física directa de los materiales (cambiar la dirección, intensidad o nitidez de los brillos) gracias a la estimación explícita de parámetros físicos.

4. Resultados y Evaluación

Los experimentos se realizaron en tres conjuntos de datos: ASD (objetos variados), ASPH (esferas con variaciones sistemáticas de anisotropía) y CHAO (objetos de patrimonio cultural real: una tetera y un casco).

• Calidad de Renderizado (RGB): ShinyNeRF alcanza el PSNR más alto en promedio (31.46 dB) comparado con Ref-NeRF, Spec-Gaussian y AniSDF, indicando una reconstrucción de color superior.
• Precisión Geométrica: Logra un equilibrio óptimo entre reconstrucción libre de artefactos y precisión geométrica global. Métodos que ignoran la anisotropía (como Ref-NeRF) tienden a deformar la geometría para explicar los brillos, resultando en errores de normales más altos.
• Estimación de Materiales: Es el único método que predice tangentes y coeficientes de anisotropía.
  • En objetos altamente especulares (ASPH), la estimación de tangentes es muy precisa (MAE ~1.36°).
  • En objetos con anisotropía débil, la orientación de la tangente es menos crítica para el renderizado, lo que explica variaciones en el error, pero sin afectar la calidad visual.
• Visualización: Los resultados cualitativos muestran que ShinyNeRF captura brillos anisotrópicos nítidos y alargados (como en el metal cepillado) sin introducir artefactos geométricos, algo que los métodos isotrópicos no logran.

5. Significado y Conclusión

ShinyNeRF representa un avance significativo en la digitalización del patrimonio cultural y la síntesis de vistas nuevas.

• Fidelidad Física: Permite pasar de una representación puramente visual a una representación física interpretable de materiales complejos.
• Aplicabilidad: Facilita la restauración digital, la edición de materiales y la visualización realista de objetos históricos que poseen texturas anisotrópicas (metales, tejidos).
• Limitaciones: El método asume un rango limitado de anisotropía debido a la aproximación pre-entrenada y tiene un costo computacional mayor que las técnicas aceleradas (como Gaussian Splatting), aunque es más rápido que Ref-NeRF.

En resumen, ShinyNeRF resuelve el problema de la anisotropía en NeRF mediante una formulación física robusta, ofreciendo tanto una calidad de renderizado superior como la capacidad única de editar las propiedades materiales de los objetos digitalizados.