WeatherCity: Urban Scene Reconstruction with Controllable Multi-Weather Transformation

O artigo apresenta o WeatherCity, um novo framework para reconstrução de cenas urbanas 4D que permite a transformação e edição controlada de múltiplas condições climáticas com alta fidelidade e consistência temporal, superando as limitações de métodos existentes para simulação de clima em cenários autônomos.

O essencial

Imagine que você é um diretor de cinema, mas em vez de filmar em um estúdio, você está dirigindo um carro autônomo (um carro que se dirige sozinho). Para treinar esse carro, você precisa mostrar a ele milhões de situações: chuva torrencial, nevasca, neblina densa, sol forte, etc.

O problema é que filmar todas essas situações na vida real é caro, perigoso e demorado. E se você tentar usar inteligência artificial para "pintar" chuva em fotos de dias de sol, a IA costuma fazer besteira: ela pode distorcer o carro, mudar a cor da rua ou fazer a chuva cair de um jeito que não faz sentido físico.

É aqui que entra o WeatherCity.

O Que é o WeatherCity?

Pense no WeatherCity como um "Simulador de Clima Mágico para Cidades". Ele é um sistema que pega uma sequência de fotos reais de uma cidade e permite que você mude o tempo (clima) de forma controlada, realista e consistente, como se você estivesse dirigindo por um mundo virtual.

Aqui está como ele funciona, usando analogias simples:

1. A "Massinha de Modelar" Inteligente (Reconstrução 4D)

Antes de mudar o clima, o sistema precisa entender a cidade. Em vez de apenas olhar fotos 2D (como um quadro), o WeatherCity constrói uma escultura digital 3D da cena.

• A Analogia: Imagine que você pega uma foto de uma rua e a transforma em uma caixa de "massinha de modelar" digital. Cada carro, poste e prédio é uma peça dessa massinha que pode se mover.
• O Diferencial: A maioria dos sistemas antigos "cozinhou" o clima na foto. Se a foto foi tirada num dia de sol, o sistema só sabe fazer sol. O WeatherCity separa a "massinha" (a estrutura da cidade) da "pintura" (o clima). Assim, você pode manter a mesma cidade, mas mudar a "pintura" para chuva ou neve sem quebrar os prédios.

2. O "Chef de Cozinha" com Receitas (Edição Guiada por Texto)

Para mudar o clima, o sistema usa um "chef" de IA (um modelo de edição de imagem) que obedece a receitas escritas por você.

• A Analogia: Você diz ao chef: "Quero que pareça uma tempestade de neve, mas mantenha o carro vermelho no centro exatamente onde está".
• O Truque: O chef é muito bom em pintar, mas se ele pintar quadro por quadro (foto por foto), a animação fica tremida e estranha. O WeatherCity usa o chef apenas para criar a "ideia" do clima, mas depois passa essa ideia para o sistema 3D para garantir que tudo fique firme e consistente.

3. A "Chuva Física" (Simulação de Partículas)

Aqui está a parte mais genial. Em vez de apenas pintar gotas de chuva na tela, o WeatherCity cria partículas físicas reais dentro do mundo 3D.

• A Analogia: Imagine que, ao invés de pintar chuva num quadro, você solta milhões de gotas de água digitais que caem, batem no chão molhado e refletem a luz.
• O Controle: Você pode dizer: "Quero uma chuva leve" ou "Quero uma nevasca com vento forte". O sistema calcula a física: a neve vai flutuar e girar, a chuva vai cair reta ou torta dependendo do vento, e a neblina vai ficar mais densa quanto mais longe você olhar (como na vida real).

Por que isso é importante?

1. Segurança: Carros autônomos precisam aprender a dirigir em condições extremas. O WeatherCity permite criar infinitos cenários de tempestade para treinar o carro sem colocar ninguém em risco.
2. Realismo: Diferente de filtros de Instagram que apenas mudam cores, o WeatherCity entende que a chuva faz o asfalto brilhar e que a neblina esconde objetos distantes.
3. Controle Total: Você pode pedir para remover um carro da cena ou mudar o clima de "sol" para "chuva forte" em segundos, e o sistema mantém a lógica do mundo (os carros não somem magicamente, a luz muda corretamente).

Resumo em uma frase

O WeatherCity é como ter um estúdio de cinema infinito onde você pode pegar uma cidade real, transformá-la em um mundo 3D interativo e pedir para a IA mudar o clima para qualquer condição possível, garantindo que a física da chuva, neve e neblina seja perfeita para treinar carros autônomos.

Resumo técnico

Resumo Técnico: WeatherCity

1. O Problema

A simulação de alta fidelidade em 4D (espaço + tempo) é crucial para o desenvolvimento de veículos autônomos, permitindo o treinamento em casos extremos (como tempestades) e a avaliação em ambientes virtuais reprodutíveis. No entanto, existem limitações significativas nas abordagens atuais:

• Dependência de Observação: Métodos de reconstrução 4D existentes (como NeRF e 3D Gaussian Splatting) conseguem replicar cenas com alta fidelidade geométrica e fotométrica, mas estão limitados às condições climáticas presentes durante a captura dos dados. Eles não conseguem simular cenários desafiadores como chuva, neve ou neblina.
• Falhas na Edição de Imagem 2D: Técnicas de edição de imagem baseadas em IA (GANs ou Difusão) frequentemente introduzem artefatos, distorções geométricas (ex.: alterar a posição de faixas de rodagem ou deformar edifícios) e falta de consistência temporal em vídeos. Além disso, oferecem pouco controle sobre parâmetros finos de intensidade climática.
• Limitações em 3D: Métodos anteriores que tentam editar o clima em 3D (como ClimateNeRF ou WeatherGS) geralmente focam apenas em efeitos estáticos (ex.: neve acumulada) ou na remoção de chuva, falhando em simular fenômenos dinâmicos (ex.: gotas de chuva caindo, flocos de neve flutuando) com consistência física e temporal.

2. Metodologia

O WeatherCity propõe um framework unificado que integra reconstrução 4D dinâmica, edição de clima controlável por texto e simulação física. O pipeline consiste em quatro módulos principais:

A. Edição de Fundo Climático Guiada por Texto

• Utiliza um modelo de edição de imagem fundado por texto (especificamente o Qwen-Image) para transformar sequências de imagens brutas em diferentes condições climáticas alvo.
• Prompts de texto são cuidadosamente projetados para garantir a preservação estrita do conteúdo original da cena (geometria, objetos, posições) enquanto alteram apenas a atmosfera (céu, iluminação, reflexos).

B. Representação "Weather Gaussian" (Gaussianas de Clima)

• Baseia-se em um gráfico de cena Gaussiana dinâmica (inspirado no OmniRe), estruturado em nós: Céu, Fundo Estático, Objetos Rígidos (veículos) e Não-Rígidos (pedestres).
• Decodificação Desacoplada: Cada primitiva Gaussiana possui um recurso de aparência compartilhado ($f_i$) que codifica a textura e material intrínsecos da cena.
• Para cada condição climática $w$, um decodificador específico de clima (MLP) transforma esse recurso compartilhado na cor final $c^w_i$. Isso permite que a geometria e a estrutura da cena permaneçam consistentes entre diferentes climas, enquanto as aparências fotométricas mudam dinamicamente.

C. Otimização de Consistência de Conteúdo

• Para evitar que a edição 2D introduza inconsistências temporais ou geométricas, o framework utiliza uma função de perda composta:
  • Perda RGB: Compara a imagem renderizada com a imagem editada (ground truth sintético) e a imagem original.
  • Perda de Consistência de Conteúdo ($L_{cc}$): Utiliza uma rede VGG pré-treinada para extrair características semânticas, garantindo que a estrutura da cena renderizada sob diferentes climas corresponda à imagem original clara. Isso corrige distorções introduzidas pelo modelo de edição 2D.
  • Perda de Profundidade: Supervisiona a geometria usando mapas de profundidade esparsos do LiDAR.

D. Simulação Dinâmica de Clima Baseada em Física

• Partículas de Chuva e Neve: Modeladas como elipsoides Gaussianos.
  • Chuva: Um único elipsoide alongado para capturar o desfoque de movimento vertical.
  • Neve: Três elipsoides concêntricos para formar uma forma de cristal.
  • O movimento é controlado por equações físicas que incluem gravidade, vento (vetor global) e turbulência (específico para neve, criando um movimento de flutuação não linear).
• Neblina: Implementada através da Lei de Beer-Lambert, criando um efeito de neblina dependente da profundidade, onde a visibilidade diminui naturalmente com a distância.
• Renderização Unificada: As partículas de clima são integradas diretamente no gráfico de cena Gaussiana como nós adicionais, permitindo renderização conjunta com oclusão e composição corretas.

3. Principais Contribuições

1. Framework Unificado 4D: Primeiro sistema a integrar Reconstrução 4D, Edição de Clima e Simulação Dinâmica em um único pipeline, elevando a edição de imagem 2D para simulação 4D.
2. Representação Weather Gaussian: Uma nova representação que desacopla a geometria da cena das aparências dependentes do clima, garantindo consistência estrutural e permitindo a troca eficiente entre múltiplos climas.
3. Simulação Física Controlável: Um sistema de simulação dinâmica que permite controle fino sobre a intensidade da chuva, neve e densidade da neblina, gerando partículas realistas e efeitos atmosféricos fisicamente consistentes.
4. Edição de Objetos: O sistema suporta não apenas a mudança de clima, mas também a manipulação de objetos (remoção, inserção e reposicionamento de veículos) mantendo a consistência do cenário.

4. Resultados Experimentais

O método foi avaliado nos conjuntos de dados Waymo Open Dataset e nuScenes.

• Desempenho Quantitativo: O WeatherCity superou todos os baselines (ControlNet, TurboEdit, FRESCO, Qwen-Image puro e ClimateNeRF) em todas as métricas:
  • CLIP-S (Preservação de Conteúdo): Alta similaridade com a cena original.
  • CLIP-DS (Alinhamento com Prompt): Alta aderência às instruções de texto.
  • Sem-CS (Consistência Semântica): Preservação superior da estrutura da cena (ex.: faixas, edifícios) sem distorções.
• Qualidade Visual:
  • Gera reflexos realistas em estradas molhadas e acúmulo de neve em superfícies sem distorcer os objetos.
  • Simula partículas dinâmicas (chuva/neve) com coerência temporal, evitando o "flickering" (piscar) comum em métodos 2D.
  • A neblina apresenta atenuação de profundidade correta, ao contrário de métodos que aplicam uma camada uniforme.
• Eficiência: O sistema atinge 25,67 FPS (quadros por segundo), permitindo simulação em tempo real, enquanto os métodos de edição de imagem 2D operam em frações de FPS (ex.: 0,033 FPS).

5. Significância

O WeatherCity representa um avanço significativo para a indústria de veículos autônomos e simulação virtual. Ao permitir a geração de cenários urbanos 4D realistas, consistentes e controláveis sob diversas condições climáticas extremas, ele resolve o problema da escassez de dados de treinamento para casos de borda (edge cases). Além disso, a capacidade de editar objetos e clima simultaneamente com alta fidelidade geométrica abre novas possibilidades para testes de segurança em loop fechado e criação de ambientes virtuais dinâmicos, superando as limitações de métodos puramente 2D ou estáticos em 3D.