Resumen Técnico: SeasonScapes

Declaración del Problema

La reconstrucción 3D de paisajes a gran escala a partir de vistas dispersas y sin restricciones sigue siendo un desafío significativo en visión por computadora. Los métodos existentes luchan contra errores de calibración de cámaras, cobertura limitada de la escena y alta complejidad escénica que involucra iluminación dinámica y variaciones de apariencia estacional. Aunque existen conjuntos de datos a gran escala para entornos urbanos estáticos, hay una brecha notable en conjuntos de datos de alta calidad y ricos temporalmente para paisajes montañosos naturales y sin límites que capturen tanto los cambios estacionales como los ciclos de iluminación diurna. Además, los sistemas tradicionales basados en mallas (por ejemplo, Google Earth) dependen de geometría estática y texturas satelitales mezcladas, fallando en modelar la apariencia dependiente de la vista o condiciones de iluminación diversas con consistencia fotométrica.

Metodología

Los autores proponen SeasonScapes, un marco y conjunto de datos diseñados para reconstruir paisajes 3D a gran escala y reiluminables a partir de imágenes dispersas de cámaras web. La pipeline integra datos multimodales (cámaras web, imágenes satelitales y modelos de elevación) a través de las siguientes etapas:

1. Preprocesamiento de Datos e Inicialización

• Geometría Base: El proceso comienza con un Modelo Digital de Elevación (IDEM) de baja resolución y una imagen en color satelital ($I_S$) de la región objetivo (por ejemplo, los Altos Berneses). Se genera una nube de puntos 3D mapeando las alturas de píxeles desde el IDEM y coloreándolas con $I_S$. Se construye una malla 3D ($M$) utilizando reconstrucción de superficie de Poisson.
• Desenvolvimiento UV: La superficie de la malla se desenvuelve utilizando la biblioteca xatlas para crear un mapa de texturas UV, separando el almacenamiento de texturas de la geometría.
• Alineación de Cámaras Web: Los flujos de cámaras web panorámicas (cilíndricas de 360°) se dividen en 4–6 subimágenes perspectivas. Estas se gradúan en color para lograr consistencia y se alinean con la malla 3D.
• Optimización de Cámaras: Las poses iniciales de la cámara se derivan de coordenadas GPS pero se refinan mediante un enfoque basado en aprendizaje. Los autores establecen manualmente correspondencias 2D–3D y optimizan los parámetros intrínsecos (longitud focal) y extrínsecos (rotación) minimizando la pérdida de píxeles L1 entre los puntos 3D proyectados y los puntos de imagen 2D objetivo.

2. Texturizado y Repintado de Malla 3D

Para abordar oclusiones y cobertura dispersa, el marco emplea un proceso de texturizado en dos etapas:

• Pintado Inicial: Las imágenes de cámaras web preprocesadas se proyectan sobre el mapa UV de la malla. Se utiliza una estrategia de superposición progresiva, donde las nuevas texturas se mezclan con las existentes basándose en una máscara UV, asegurando que las regiones previamente pintadas se preserven.
• Repintado Iterativo: Para las regiones no cubiertas por vistas de cámaras web, el sistema utiliza un modelo de difusión consciente de la profundidad (ControlNet) para rellenar áreas faltantes.
  • Trayectoria: El sistema define una trayectoria de vista novel con poses específicas.
  • Condicionamiento: Para cada paso, se renderiza una imagen RGBD. Se genera una máscara sin color utilizando filtrado en el espacio de color HSV para identificar regiones faltantes.
  • Difusión: Una pipeline ControlNet condiciona el repintado sobre el mapa de profundidad, un IP-Adapter (para guía de apariencia desde cámaras web cercanas) y un prompt de texto.
  • Proyección: La imagen generada repintada se proyecta de nuevo sobre el mapa de textura UV local y se superpone con la textura anterior.

3. Representación 3D Reiluminable

La etapa final implica entrenar un modelo Wild Gaussian (una extensión de 3D Gaussian Splatting) utilizando el conjunto de datos completado y temporalmente diverso.

• Embeddings Dinámicos: El modelo incorpora embeddings temporales para capturar variaciones estacionales y diurnas.
• MLP de Apariencia: Una Red Neuronal Perceptrón Multicapa (MLP) transforma los atributos de color base de cada Gaussiano basándose en la dirección del rayo de visión y el tiempo, permitiendo la reconstrucción de propiedades escénicas dinámicas y capacidades de reiluminación.

Contribuciones Clave

1. Conjunto de Datos SeasonScapes: Un conjunto de datos multimodal de alta calidad y gran escala que cubre 3.000 km² de terreno alpino. Incluye más de 85.000 imágenes de cámaras web de 32 ubicaciones en 13 instantes temporales, capturando ciclos estacionales completos y cambios diurnos. Proporciona anotaciones precisas de marcas de tiempo y correspondencias 2D–3D calibradas entre imágenes a nivel del suelo y datos satelitales georreferenciados.
2. Marco SeasonScapes: Una pipeline novel para crear paisajes 3D reiluminables. Maneja de manera única escenas a gran escala y sin límites introduciendo trayectorias de repintado con splines lineales o cúbicos entre coordenadas GPS y realizando pintado consciente de oclusiones mediante indexación UV y renderizado de profundidad, en lugar de depender exclusivamente de filtrado basado en normales.
3. Modelado Dinámico Reiluminable: La integración de embeddings dinámicos en el entrenamiento de Gaussianos reiluminables, permitiendo un modelado efectivo de cambios temporales (estaciones y hora del día) en escenas exteriores a gran escala.

Resultados y Evaluación

Los autores evaluaron la pipeline en tres escenas de prueba diversas: Grindelwald (escala pequeña), Jungfrau (escala media) y Altos Berneses (escala grande).

• Métricas Cuantitativas: El rendimiento se midió utilizando LPIPS, PSNR y SSIM. La escena de Grindelwald logró un LPIPS de 0.159, mientras que las escenas más grandes de Jungfrau y Berneses mostraron valores de LPIPS más altos (0.191 y 0.216, respectivamente). Los autores atribuyen la degradación del rendimiento en escenas más grandes al aumento de la proporción de regiones no vistas que requieren síntesis.
• Estudios de Ablación: Eliminar la etapa de pintado inicial resultó en una caída significativa del rendimiento (hasta un 33.1% en LPIPS para Grindelwald), destacando la necesidad del enfoque de dos etapas. Eliminar el control de profundidad condujo a "alucinaciones de montaña" en regiones distantes, mientras que el IP-Adapter demostró modular principalmente los tonos de color.
• Comparación Cualitativa: En comparación con Google Earth, el enfoque de SeasonScapes demostró una coloración superior en caras de acantilados empinados al capturar mejor vistas casi ortogonales, evitando la distorsión y la pérdida de detalles comunes en las perspectivas satelitales cenitales. El método también mostró mayor adaptabilidad a variaciones estacionales.

Significado y Limitaciones

El artículo posiciona a SeasonScapes como un paso adelante en la creación de gemelos digitales de entornos naturales que no solo son geométricamente precisos, sino también fotométricamente consistentes a lo largo del tiempo. Al combinar datos dispersos de cámaras web con priores de difusión, el método permite el modelado de transiciones ambientales a largo plazo y cambios de iluminación a corto plazo, avanzando más allá de las reconstrucciones estáticas basadas únicamente en satélites.

Los autores reconocen las limitaciones actuales:

• El proceso manual de correspondencia 2D–3D consume mucho tiempo.
• ControlNet lucha con el repintado de regiones faltantes muy pequeñas.
• Las salidas de Gaussianos reiluminables ocasionalmente exhiben artefactos borrosos, probablemente debido a errores de calibración y a las restricciones de expresividad del marco Wild Gaussian.

El trabajo proporciona una base para aplicaciones en monitoreo ambiental, modelado meteorológico y turismo virtual, ofreciendo una representación más dinámica y realista de paisajes naturales que los conjuntos de datos estáticos existentes.