Geometry-Aware Scene Configurations for Novel View Synthesis

Resumen Técnico: Configuraciones de Escena Conscientes de la Geometría para la Síntesis de Nuevas Vistas

Enunciado del Problema
Los avances recientes en Campos Radiantes Neuronales (NeRF) permiten experiencias 3D inmersivas a partir de observaciones de imágenes, pero enfrentan desafíos significativos al aplicarse a escenas interiores a gran escala capturadas mediante trayectorias casuales con dispositivos de mano. Estos escenarios a menudo presentan patrones de observación irregulares, datos escasos y diseños complejos que contienen desorden, oclusión y superficies planas y homogéneas. Las representaciones de escena escalables estándar suelen asignar su capacidad representativa limitada (bases, como bloques de NeRF o cuadrículas de características) utilizando estrategias uniformes: ya sea dividiendo el espacio uniformemente o distribuyendo las bases a lo largo de la trayectoria de la cámara. Estos enfoques no tienen en cuenta la naturaleza no uniforme de la geometría interior ni las estadísticas específicas de las mediciones de entrada, lo que conduce a un uso ineficiente de los recursos y a una calidad de renderizado degradada, particularmente en escenarios de extrapolación o regiones sin textura. Además, los métodos existentes a menudo luchan con artefactos flotantes en regiones con restricciones insuficientes debido a la falta de consistencia geométrica.

Metodología
Los autores proponen un marco sistemático y adaptativo a la escena que aprovecha los priores geométricos disponibles para optimizar tanto la colocación de las bases de representación como la configuración de vistas de entrenamiento. El método consta de tres etapas principales:

1. Extracción de Andamio Geométrico: El proceso comienza extrayendo un andamio geométrico aproximado a partir de las imágenes multivista de entrada. Esto puede lograrse mediante métodos de reconstrucción de superficies implícitas (por ejemplo, MonoSDF) o predictores de profundidad feed-forward (por ejemplo, MapAnything). Este andamio sirve como una estimación consistente de la superficie subyacente de la escena.
2. Optimización de la Colocación de Bases Consciente de la Geometría: En lugar de una distribución uniforme, el método optimiza las posiciones de un conjunto limitado de bases (bloques de NeRF o sondas de campo de luz neuronal). Primero registra estadísticas de observación en el andamio geométrico calculando "pesos de cobertura" para los puntos de la superficie. Estos pesos acumulan información de visibilidad de todas las cámaras de entrenamiento, ponderados por la distancia y la alineación de la normal de la superficie. Luego, se minimiza una función de energía para desplazar las posiciones de las bases hacia regiones con alta densidad de observación y geometría compleja, asegurando que la capacidad fija de las bases se asigne donde más se necesita.
3. Regularización Geométrica Adaptativa a la Escena: Para abordar regiones con mediciones insuficientes (por ejemplo, paredes planas o áreas ocluidas), el método introduce puntos de vista virtuales conscientes de la escena. Utilizando una estrategia de planificación de la siguiente mejor vista que considera la diversidad espacial y la co-visibility de características, el sistema selecciona puntos de vista virtuales para cubrir la escena. Las profundidades renderizadas desde estas vistas virtuales, guiadas por el andamio geométrico, se utilizan para imponer una regularización de profundidad robusta durante el entrenamiento. Esto suprime los artefactos flotantes y estabiliza la optimización en regiones escasamente observadas.

Contribuciones Clave

• Distribución de Bases Adaptativa a la Escena: Los autores introducen una estrategia de optimización que coloca las bases basándose en la correlación entre la geometría de la escena y las estadísticas de medición, superando a los métodos de asignación uniformes o basados en trayectorias.
• Optimización de Colocación Basada en Energía: Se define una nueva función de energía en el andamio geométrico para acumular estadísticas de observación, permitiendo la colocación óptima de un conjunto limitado de bases para cubrir la trayectoria de entrada de manera eficiente.
• Regularización mediante Puntos de Vista Virtuales: El artículo sugiere un método para generar y utilizar puntos de vista virtuales adaptativos a la escena para proporcionar supervisión plausible en regiones no observadas, regularizando efectivamente la reconstrucción sin requerir capturas adicionales del mundo real.
• Evaluación Exhaustiva: El marco se valida en escenas interiores del mundo real de los conjuntos de datos ScanNet++ y Zip-NeRF, demostrando mejoras significativas sobre líneas base como NeLF-Pro, LocalRF y varias variantes de Splatting Gaussiano 3D (3DGS).

Resultados
Los resultados experimentales en los conjuntos de datos ScanNet++ y Zip-NeRF demuestran que el método propuesto mejora significativamente la calidad de la reconstrucción en términos de PSNR, SSIM y LPIPS, particularmente en escenarios de extrapolación desafiantes donde las líneas base a menudo fallan.

• Rendimiento: Cuando se aplica a NeLF-Pro y LocalRF, el método logra un rendimiento de vanguardia entre los enfoques basados en NeRF, superando a menudo a las variantes de 3DGS en tareas de extrapolación donde 3DGS sufre de artefactos graves.
• Eficiencia: El enfoque logra estas ganancias sin aumentar el uso de memoria en comparación con las arquitecturas de línea base subyacentes, ya que reutiliza el mismo número de parámetros pero optimiza su disposición espacial.
• Robustez: Los estudios de ablación confirman que tanto la optimización de la colocación de bases como la regularización geométrica (utilizando vistas virtuales) contribuyen independientemente al rendimiento. El método también muestra robustez ante imprecisiones en el andamio geométrico, manteniendo mejoras incluso cuando la geometría previa es ruidosa.

Significado y Afirmaciones
El artículo afirma que al modelar explícitamente la interacción entre la geometría subyacente y los puntos de vista de la cámara capturados previamente, es posible maximizar la utilización de recursos limitados para la reconstrucción de escenas interiores a gran escala. Los autores enfatizan que, aunque el Splatting Gaussiano 3D ofrece velocidad, las representaciones basadas en NeRF retienen ventajas en eficiencia de memoria y consistencia geométrica para escenas a gran escala y sin límites, particularmente en regiones sin textura. Las estrategias adaptativas a la escena propuestas se presentan como una mejora generalizable aplicable a diversas representaciones de síntesis de nuevas vistas, ofreciendo una solución principista al desafío no trivial de asignar capacidad representativa en entornos interiores complejos. El trabajo no afirma resolver fallos catastróficos en SfM o calibración aguas arriba, sino que se centra en mejorar la fidelidad de la reconstrucción dado un andamio geométrico exitoso.