ChronoGS: Disentangling Invariants and Changes in Multi-Period Scenes

Resumen Técnico: ChronoGS

Definición del Problema
El artículo aborda el desafío de reconstruir escenas multi-temporales, definidas como conjuntos de capturas de la misma región espacial adquiridas en intervalos de tiempo discretos (por ejemplo, con meses o años de diferencia) donde la escena experimenta cambios significativos en geometría y apariencia. Los métodos existentes fallan en este escenario porque se basan en supuestos incompatibles:

• Métodos estáticos (por ejemplo, 3DGS estándar, NeRF) asumen una única geometría invariante en el tiempo. Cuando se aplican a datos multi-temporales, producen artefactos de "promedio temporal", desdibujando estructuras distintas de diferentes periodos.
• Métodos dinámicos (por ejemplo, 4DGS, D-NeRF) asumen un movimiento suave y continuo en el tiempo. Tienen dificultades con los cambios discontinuos y abruptos (por ejemplo, nueva construcción, crecimiento de vegetación, demolición) característicos de los datos multi-temporales a largo plazo, a menudo alucinando estados intermedios o fallando en interpolar correctamente.

Metodología: ChronoGS
Los autores proponen ChronoGS, una representación gaussiana modulada temporalmente que reconstruye todos los periodos dentro de un andamio de anclaje unificado. La innovación central es la separación de las estructuras invariantes de las variaciones específicas de cada periodo.

1. Andamio de Anclaje Unificado:

   • La escena se representa mediante un conjunto de anclajes 3D ($A$) inicializados a partir de la unión de nubes de puntos dispersas de todos los periodos.
   • Este andamio actúa como un prior geométrico global, asegurando la consistencia espacial entre los periodos.
   • Mecanismo de Activación Geométrica: Para manejar cambios geométricos (por ejemplo, la aparición o desaparición de un edificio), el modelo aprende a activar o desactivar gaussianas basándose en la opacidad predicha. Si la geometría de un anclaje está ocluida o no existe en un periodo específico, su opacidad se predice como cero (o negativa), eliminándola efectivamente del renderizado para ese periodo mientras se mantiene la integridad estructural del andamio.

2. Representación de Características Modulada Temporalmente:
   Cada anclaje $a_i$ mantiene tres componentes de características distintos para modelar diferentes aspectos de la escena:

   • Característica Base Invariante al Periodo ($f^{base}_i$): Codifica la geometría y apariencia estables y compartidas comunes a todos los periodos.
   • Conjunto de Características Locales Variables por Periodo ($f^{var}_i$): Un conjunto de características que almacena detalles específicos de cada periodo para cada anclaje, permitiendo adaptación local (por ejemplo, cambios de textura en una pared específica).
   • Característica Global Variable por Periodo ($g(t)$): Una característica a nivel de escena compartida entre todos los anclajes para modelar factores globales como iluminación estacional, clima o cambios generales en la iluminación.

3. Codificación y Decodificación Temporal:

   • El tiempo se representa mediante una codificación one-hot para los periodos observados, con interpolación lineal para pasos de tiempo intermedios.
   • Un decodificador MLP ligero fusiona la característica base, la característica local interpolada y la característica global para predecir los atributos (desplazamiento de posición, escala, rotación, opacidad, color) de $K$ primitivas gaussianas por anclaje.
   • Este diseño permite al modelo cambiar entre estados específicos de cada periodo mientras comparte el esqueleto estructural subyacente.

4. Optimización:
   El modelo se entrena conjuntamente en todos los periodos utilizando una pérdida fotométrica híbrida ($L_1$ + SSIM). Emplea crecimiento y poda dinámica de anclajes para refinar el andamio, asegurando que cubra la unión de la geometría de todos los periodos sin redundancia.

Contribuciones Clave

1. Marco Novel: ChronoGS se presenta como el primer trabajo que reconstruye escenas multi-temporales dentro de un marco unificado y diferenciable de gaussian-splatting que maneja conjuntamente cambios de geometría y apariencia no continuos.
2. Conjunto de Datos ChronoScene: Los autores introducen un nuevo conjunto de datos de referencia que contiene 12 escenas (8 reales, 4 sintéticas) con 8.891 imágenes. Captura evoluciones acopladas de geometría y apariencia (construcción, crecimiento de vegetación, cambios estacionales) a lo largo de grandes intervalos de tiempo, abordando una brecha en los benchmarks existentes que se centran en escenas estáticas o dinámicas a corto plazo.
3. Diseño Metodológico: La arquitectura específica de separar bases invariantes de variaciones temporales locales y globales, combinada con el mecanismo de activación geométrica, permite una reconstrucción consistente donde los métodos anteriores fallan.

Resultados Experimentales

• Rendimiento Cuantitativo: En el conjunto de datos ChronoScene, ChronoGS supera consistentemente a las líneas base (incluyendo 3DGS, Scaffold-GS, GS-W, NeuSC, 4DGS y Realtime4DGS) en las métricas PSNR, SSIM y LPIPS tanto para escenas reales como sintéticas. Logra renderizados más nítidos y una geometría más precisa.
• Eficiencia: A pesar de manejar variaciones temporales complejas, ChronoGS mantiene una huella de memoria compacta (por ejemplo, 0.52 GB para escenas reales) y requiere menos iteraciones de entrenamiento en comparación con entrenar modelos estáticos separados para cada periodo.
• Análisis Cualitativo: Las comparaciones visuales muestran que ChronoGS evita con éxito el ghosting y el desdibujado observados en modelos estáticos entrenados con datos mixtos, así como las estructuras intermedias alucinadas en modelos dinámicos. Reconstruye fielmente la geometría y apariencia específicas de cada periodo.
• Estudios de Ablación: Los experimentos confirman que los tres componentes de características (base, local variable, global variable) son esenciales. Eliminar cualquiera de ellos conduce a una estabilidad degradada, fidelidad local o consistencia a nivel de escena.

Significado y Afirmaciones
El artículo afirma que ChronoGS establece una base para futuras investigaciones en la comprensión de escenas multi-temporales. Al ir más allá de los supuestos de geometría estática o movimiento suave, proporciona una solución robusta para aplicaciones del mundo real donde las escenas evolucionan de forma discontinua durante largos periodos, como la cartografía urbana, el seguimiento del progreso de la construcción y la monitorización ambiental. Los autores posicionan su trabajo como un paso necesario para manejar los "cambios acoplados" de geometría y apariencia que las pipelines existentes no pueden resolver.