WeatherCity: Urban Scene Reconstruction with Controllable Multi-Weather Transformation

WeatherCity es un marco innovador para la reconstrucción de escenas urbanas 4D que permite la transformación controlada y de alta fidelidad a múltiples condiciones climáticas mediante una representación gaussiana especializada y un modelo físico dinámico, superando las limitaciones de los métodos existentes para aplicaciones en conducción autónoma.

Lo esencial

¡Imagina que tienes una cámara mágica que no solo graba lo que ves en la calle, sino que también puede recrear el mundo entero en 3D y luego cambiar el clima a tu antojo! Eso es básicamente lo que hace WeatherCity.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: La "Fotografía Rígida"

Hasta ahora, si grababas un video de una ciudad bajo la lluvia y querías ver cómo se vería esa misma calle nevada, los programas antiguos tenían dos opciones malas:

• Opción A (Reconstrucción 3D): Creaban una copia exacta de la ciudad, pero si grabaste con lluvia, la ciudad siempre tendría lluvia. No podías cambiar nada. Era como tener un diorama de plástico: bonito, pero estático.
• Opción B (Edición de Fotos 2D): Intentaban pintar sobre el video con un pincel digital. Pero esto solía salir mal: los coches se deformaban, las líneas de la carretera se movían o la nieve parecía pegada con pegamento. Era como intentar poner una pegatina de nieve sobre una foto de un coche en movimiento; se veía falso y se rompía al moverte.

2. La Solución: WeatherCity (El "Chef de Clima")

WeatherCity es como un chef de cocina molecular que toma los ingredientes de una ciudad real y puede cocinarla en cualquier "sabor" de clima.

Paso 1: La "Base de la Ciudad" (El Esqueleto)

Primero, el sistema toma las fotos reales y construye un esqueleto 3D de la ciudad. Imagina que es como un modelo de LEGO o una escultura digital.

• Lo genial es que separa las cosas: sabe qué es la carretera, qué es un coche y qué es un árbol.
• Pero aquí está el truco: en lugar de pintar el modelo con un solo color, le da un "cuerpo invisible" (una textura base) que es siempre el mismo, sin importar el clima.

Paso 2: Los "Trajes Mágicos" (Los Decodificadores)

Aquí entra la magia. WeatherCity le pone a ese esqueleto 3D trajes intercambiables.

• Si quieres lluvia, le pone un traje de "lluvia".
• Si quieres nieve, le cambia al traje de "nieve".
• Si quieres niebla, le pone el traje de "niebla".

Lo importante es que el cuerpo (la ciudad) no cambia, solo la ropa (el clima). Esto evita que los coches se deformen o que los edificios se muevan. Es como si pudieras vestir a un maniquí con ropa de verano o de invierno sin que el maniquí se rompa.

Paso 3: El "Efecto Realista" (La Física)

Muchos programas solo pintan la nieve encima. WeatherCity es más inteligente: simula la física.

• Lluvia y Nieve: No son solo imágenes planas. Son millones de partículas digitales (como gotas de lluvia o copos de nieve) que caen, se mueven con el viento y rebotan. Si hay viento, la lluvia se inclina; si hay nieve, los copos bailan.
• Niebla: Usa una ley de la física (Ley de Beer-Lambert) para que la niebla sea más densa cuanto más lejos mires, tal como ocurre en la vida real. No es una capa gris uniforme, es una niebla que "se come" la distancia poco a poco.

3. ¿Para qué sirve todo esto?

Imagina que eres un ingeniero que diseña coches autónomos (coches que se conducen solos).

• El problema: Un coche necesita aprender a conducir en toda situación: lluvia torrencial, nieve cegadora, niebla densa. Pero es peligroso y caro probar estos coches en condiciones reales extremas.
• La solución con WeatherCity: Puedes tomar un video normal de una ciudad tranquila, convertirlo en una simulación 3D perfecta y luego generar miles de escenarios de clima extremo en segundos.
  • "¿Cómo reacciona el coche si llueve muy fuerte?" -> Cambio de traje: Lluvia Pesada.
  • "¿Qué pasa si hay una tormenta de nieve?" -> Cambio de traje: Nieve Pesada.

En resumen

WeatherCity es como tener un videojuego de mundo abierto donde puedes grabar la realidad y luego usar un "botón de clima" para cambiar el mundo entero de forma realista, sin romper la geometría de los edificios ni deformar los coches.

• Antes: Cambiar el clima era como poner un filtro de Instagram que arruinaba la foto.
• Ahora (WeatherCity): Es como tener un director de cine que puede cambiar el clima de una escena en tiempo real, manteniendo a los actores (los coches y edificios) perfectamente intactos y realistas.

¡Es una herramienta increíble para entrenar a los robots para que nunca se pierdan, sin importar si afuera está lloviendo o nevando!

Resumen técnico

Resumen Técnico: WeatherCity

1. El Problema

La simulación de alta fidelidad en 4D (espacio + tiempo) es fundamental para el desarrollo de vehículos autónomos, ya que permite entrenar sistemas en casos extremos (como clima adverso) y realizar pruebas de bucle cerrado. Sin embargo, existen limitaciones críticas en el estado actual de la tecnología:

• Dependencia de la observación: Los métodos de reconstrucción 4D existentes (como NeRF o 3D Gaussian Splatting) solo pueden reproducir las condiciones climáticas presentes durante la captura de datos. No pueden simular lluvia, nieve o niebla si no estaban presentes en el video original.
• Inconsistencia en la edición 2D: Los métodos de edición de imágenes basados en IA (como GANs o modelos de difusión) suelen introducir artefactos, alucinaciones de contenido (cambiar la posición de marcas viales o edificios) y carecen de coherencia temporal en secuencias de video.
• Falta de control granular: Las técnicas actuales no permiten un control preciso sobre la intensidad del clima (ej. lluvia ligera vs. tormenta) ni la simulación de efectos dinámicos realistas (partículas en movimiento).
• Limitaciones en 3D: Los enfoques previos de edición climática en 3D (como ClimateNeRF) suelen limitarse a efectos estáticos (nieve acumulada) y no pueden simular fenómenos dinámicos como la caída de lluvia o nieve, ni modelar objetos dinámicos (vehículos, peatones) correctamente bajo nuevas condiciones.

2. Metodología

WeatherCity propone un marco unificado que integra la reconstrucción 4D, la edición de clima y la simulación dinámica. Su arquitectura consta de cuatro componentes principales:

A. Edición de Fondo de Imagen Guiada por Texto

• Utiliza un modelo base de edición de imágenes guiado por texto (Qwen-Image) para transformar las imágenes crudas de entrada en secuencias con condiciones climáticas objetivo (lluvia, nieve, niebla).
• Se diseñan prompts (instrucciones) cuidadosamente elaborados para garantizar que el contenido de la escena (edificios, vehículos, posición) se preserve estrictamente, mientras se modifica solo la atmósfera.

B. Representación "Weather Gaussian" con Características Compartidas

• Se introduce una nueva representación basada en Gaussianos 3D que separa la geometría y textura intrínseca de la escena de los atributos de apariencia específicos del clima.
• Estructura: Se utiliza un gráfico de escena dinámico (basado en OmniRe) con nodos para el cielo, fondo estático, objetos rígidos (vehículos) y no rígidos (peatones).
• Desacoplamiento: Cada primitiva Gaussiana tiene una característica compartida ($f_i$) que codifica la textura y material intrínsecos. Para cada condición climática $w$, un decodificador específico de clima (una MLP) transforma esta característica compartida en un color específico ($c_i^w$).
• Beneficio: Esto asegura que la estructura geométrica de la escena permanezca consistente entre diferentes climas, permitiendo cambiar de "soleado" a "lluvioso" sin deformar los objetos.

C. Optimización de Consistencia de Contenido

• Para evitar que la edición 2D inicial introduzca inconsistencias temporales o geométricas, se introduce una Pérdida de Consistencia de Contenido ($L_{cc}$).
• Utiliza una red VGG preentrenada para extraer características de contenido y minimizar la distancia entre las imágenes renderizadas bajo nuevo clima y las imágenes originales, asegurando que la semántica y la estructura no se alteren.
• Se combinan pérdidas RGB, de profundidad (LiDAR) y de opacidad para un entrenamiento robusto.

D. Simulación Dinámica de Clima Basada en Física

• Partículas (Lluvia y Nieve): Se modelan mediante elipsoides Gaussianos. La lluvia se representa con Gaussianos alargados para simular estelas y desenfoque de movimiento; la nieve se modela con estructuras cristalinas.
• Control de Movimiento: Las partículas siguen ecuaciones físicas que incluyen velocidad de caída, viento (vector global) y turbulencia (específica para nieve), permitiendo un control fino sobre la intensidad y dirección.
• Niebla: Se implementa mediante la Ley de Beer-Lambert, calculando la atenuación de la luz en función de la profundidad, lo que genera un efecto de niebla realista y dependiente de la distancia.
• Renderizado Unificado: Todas las partículas climáticas se integran directamente en el gráfico de escena Gaussiana y se renderizan junto con la escena base, garantizando oclusiones correctas y mezcla física coherente.

3. Contribuciones Clave

1. Marco Unificado 4D: Es el primer sistema que integra reconstrucción 4D, edición de clima y simulación dinámica en un solo flujo de trabajo, elevando la edición de imágenes 2D a simulaciones 4D consistentes.
2. Representación Weather Gaussian: Propone una arquitectura de decodificadores múltiples que desacopla la geometría de la escena de los efectos climáticos, permitiendo una edición flexible sin perder la coherencia estructural.
3. Simulación Física Dinámica: Diseña un sistema de partículas basado en física para lluvia, nieve y niebla, ofreciendo un control granular sobre la intensidad y el comportamiento físico, algo que los métodos puramente generativos no logran.
4. Control a Nivel de Objeto: Además del clima, el marco permite manipular objetos individuales (eliminar, insertar o reubicar vehículos) manteniendo la coherencia con el nuevo entorno climático.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos Waymo Open Dataset y nuScenes.

• Métricas Cuantitativas: WeatherCity supera a los baselines de última generación (ControlNet, TurboEdit, FRESCO, Qwen-Image y ClimateNeRF) en todas las métricas:
  • CLIP-S (Preservación de contenido): Logra puntuaciones más altas, indicando que la escena original se mantiene intacta.
  • CLIP-DS (Alineación con el prompt): Demuestra una mejor adherencia a las instrucciones de texto sobre el clima deseado.
  • Sem-CS (Consistencia Semántica): Mantiene la coherencia de las etiquetas semánticas (carreteras, vehículos) tras la edición.
• Calidad Visual:
  • Genera efectos de lluvia, nieve y niebla realistas con reflexiones especulares y acumulación de nieve en superficies.
  • Evita los artefactos comunes en otros métodos, como vehículos deformados, marcas viales distorsionadas o alucinaciones de estructuras.
  • Muestra una consistencia temporal superior, sin parpadeo entre frames, gracias a la simulación física de partículas.
• Rendimiento: El sistema alcanza una velocidad de renderizado de 25.67 FPS, lo que lo hace viable para simulaciones en tiempo real, superando significativamente a los métodos de edición de video (que suelen operar por debajo de 0.2 FPS).

5. Significado e Impacto

WeatherCity representa un avance significativo para la industria de la conducción autónoma y la realidad virtual:

• Entrenamiento Robusto: Permite generar datos de entrenamiento sintéticos de alta calidad para casos extremos (nieve densa, lluvia torrencial) que son difíciles o peligrosos de capturar en la vida real.
• Validación de Sistemas: Facilita la creación de entornos de prueba reproducibles y controlables para evaluar la robustez de los algoritmos de percepción y planificación.
• Futuro de la Simulación: Establece un nuevo estándar para la creación de entornos virtuales dinámicos y editables, demostrando que es posible combinar la fidelidad fotométrica de la reconstrucción 3D con la flexibilidad creativa de los modelos de difusión y la precisión de la física.

En resumen, WeatherCity cierra la brecha entre la reconstrucción de escenas estáticas y la simulación de mundos virtuales dinámicos y climáticamente controlables, ofreciendo una herramienta poderosa para la investigación y desarrollo en robótica y visión por computadora.