Low-Cost Neural Radiance Fields

Resumen Técnico: Campos Radiantes Neuronales de Bajo Costo

Enunciado del Problema
Los Campos Radiantes Neuronales (NeRF) han establecido un estándar elevado para la síntesis de nuevas vistas, pero sufren de tiempos de entrenamiento prohibitivos y una fuerte dependencia de vistas de entrada densas. Estas limitaciones restringen la accesibilidad de NeRF para usuarios con recursos computacionales o disponibilidad de datos limitados. El desafío principal abordado en este trabajo es cómo acelerar el entrenamiento de NeRF y reducir los requisitos de datos sin sacrificar significativamente la calidad de reconstrucción.

Metodología
Los autores realizaron un estudio comparativo de tres variantes aceleradas de NeRF: DS-NeRF, TensoRF y HashNeRF, bajo regímenes de cómputo y datos restringidos. El estudio implicó la implementación de estas líneas base y la propuesta de modificaciones específicas de arquitectura y entrenamiento:

1. TensoRF con Supervisión de Profundidad (TensoRF-DS):

   • Enfoque: Los autores integraron un término de función de pérdida supervisado por profundidad en el marco de TensoRF. Los valores de profundidad de verdad terrenal se derivaron de puntos clave de COLMAP (ubicaciones 3D y coordenadas de píxeles 2D).
   • Función de Pérdida: Se calculó una pérdida de profundidad de Error Cuadrático Medio (MSE) ($L_{\hat{D}}$) entre la profundidad estimada por el modelo y la verdad terrenal derivada de COLMAP. Esto se combinó con la pérdida de color NeRF estándar ($L_{\hat{C}}$) utilizando un hiperparámetro de ponderación $\lambda_i$.
   • Conjunto de Datos: Los experimentos se realizaron en el conjunto de datos LLFF, utilizando un régimen de "bajos datos" con solo 9 imágenes (4 de entrenamiento, 4 de prueba, 1 de validación) en comparación con el conjunto de datos completo.

2. Ablación y Submuestreo de TensoRF:

   • Submuestreo: Para ajustarse a los presupuestos de memoria y reducir el tiempo de ejecución, los autores submuestrearon las imágenes de entrada por un factor de 4.
   • Ablación de Arquitectura: El Perceptrón Multicapa (MLP) de decodificación de características de TensoRF se modificó añadiendo o eliminando capas lineales para determinar el impacto en la Relación Pico Señal-Ruido (PSNR) y el tiempo de ejecución.

3. Variantes Arquitectónicas de HashNeRF:

   • Enfoque: Los autores propusieron cuatro modificaciones arquitectónicas a las redes de color y densidad tras la codificación hash de múltiples resoluciones.
   • Variaciones:
     • Reemplazar capas lineales con capas convolucionales 1D para reducir parámetros.
     • Añadir conexiones residuales desde la entrada inicial a capas subsiguientes en los MLP de sigma y color.
     • Añadir conexiones residuales desde capas alternas (dos capas antes) para preservar la información espacial.
     • Profundizar la red para ajustar finamente las variaciones de color.
   • Evaluación: Los modelos se evaluaron en la escena sintética Lego y se compararon con la línea base utilizando PSNR y tiempo de entrenamiento con presupuestos de iteraciones fijas (500 y 1000 iteraciones).

Resultados Clave

• TensoRF-DS: La adición de supervisión de profundidad a TensoRF en condiciones de bajos datos produjo una mejora insignificante. Mientras que la línea base de bajos datos sufrió una caída significativa en el rendimiento (PSNR de prueba de 15.23 frente a 26.32 para datos completos), la variante supervisada por profundidad solo mejoró el PSNR de prueba en 0.01 (15.24). Las visualizaciones indicaron que, aunque las salidas de color eran similares, la estructura de profundidad subyacente permaneció incompleta, y los gradientes de la pérdida de profundidad afectaron solo a una pequeña porción del espacio de vóxeles debido a la escasez de puntos clave de COLMAP en comparación con las comparaciones de píxeles.
• Submuestreo de TensoRF: El submuestreo de las entradas por un factor de 4 permitió que el modelo alcanzara un PSNR de prueba de 31.297 en solo 2,500 iteraciones (entrenado en menos de 10 minutos), comparable al rendimiento del NeRF original pero con un costo computacional significativamente reducido. Los estudios de ablación sobre el MLP de decodificación de características no mostraron ganancias significativas de rendimiento al alterar la cantidad de capas, lo que sugiere que la arquitectura predeterminada ya es eficiente.
• Variantes de HashNeRF: Entre las cuatro variantes arquitectónicas propuestas, la red más profunda (Variación 4) alcanzó el PSNR más alto de 27.119 en 1,000 iteraciones. Sin embargo, esto permaneció por debajo de los 28.2 PSNR reportados por los autores originales de HashNeRF bajo su configuración predeterminada. Cuando se permitió entrenar hasta la convergencia, la red propuesta superó a la línea base, pero bajo evaluación iso-tiempo (iteraciones fijas), no superó concluyentemente a la línea base publicada.

Significado y Afirmaciones
El artículo concluye que bajo evaluación iso-tiempo, ninguna de las extensiones propuestas superó concluyentemente a las líneas base publicadas. Sin embargo, el trabajo sirve para caracterizar qué extensiones son viables para configuraciones restringidas y para resaltar preguntas de diseño para futuras investigaciones.

• Practicidad del Submuestreo: El estudio valida el submuestreo como una técnica efectiva para mejorar la eficiencia computacional sin comprometer significativamente la calidad, haciendo a TensoRF más accesible para investigadores con hardware limitado.
• Limitaciones de la Supervisión de Profundidad: Los resultados destacan que simplemente añadir supervisión de profundidad a TensoRF con datos dispersos es insuficiente; la escasez de puntos de profundidad de verdad terrenal limita la propagación de gradientes necesaria para mejorar la reconstrucción volumétrica.
• Direcciones Futuras: Los autores sugieren que el trabajo futuro podría implicar el cálculo de mallas de verdad terrenal 3D en más puntos para utilizar mejor la supervisión de profundidad, extender el presupuesto de iteraciones para verificar si las brechas de rendimiento se cierran con más entrenamiento, y realizar estudios de ablación más exhaustivos sobre los componentes de TensoRF.

En última instancia, el artículo se posiciona como un estudio comparativo que identifica los límites de las adaptaciones actuales de NeRF de bajo costo, señalando que, aunque no se lograron mejoras específicas bajo restricciones estrictas de tiempo, los experimentos proporcionan una base para comprender cómo se comportan estos modelos en entornos con recursos limitados.