Resumo Técnico: SeasonScapes

Declaração do Problema

A reconstrução 3D de paisagens em grande escala a partir de vistas esparsas e não restritas permanece um desafio significativo na visão computacional. Os métodos existentes lutam com erros de calibração de câmera, cobertura limitada da cena e alta complexidade da cena envolvendo iluminação dinâmica e variações de aparência sazonal. Embora existam conjuntos de dados em grande escala para ambientes urbanos estáticos, há uma lacuna notável em conjuntos de dados de alta qualidade e temporalmente ricos para paisagens montanhosas naturais e ilimitadas que capturem tanto as mudanças sazonais quanto os ciclos de iluminação diurna. Além disso, os sistemas tradicionais baseados em malha (por exemplo, Google Earth) dependem de geometria estática e texturas de satélite mescladas, falhando em modelar a aparência dependente da vista ou condições de iluminação diversas com consistência fotométrica.

Metodologia

Os autores propõem SeasonScapes, um framework e conjunto de dados projetados para reconstruir paisagens 3D em grande escala e reilumináveis a partir de imagens esparsas de webcams. O pipeline integra dados multimodais (webcams, imagens de satélite e modelos de elevação) através das seguintes etapas:

1. Pré-processamento de Dados e Inicialização

• Geometria Base: O processo começa com um Modelo Digital de Elevação (IDEM) de baixa resolução e uma imagem colorida de satélite ($I_S$) da região-alvo (por exemplo, Terras Altas de Bernese). Uma nuvem de pontos 3D é gerada mapeando as alturas dos pixels do IDEM e colorindo-as com $I_S$. Uma malha 3D ($M$) é construída usando reconstrução de superfície de Poisson.
• Desenrolamento UV: A superfície da malha é desenrolada usando a biblioteca xatlas para criar um mapa de textura UV, separando o armazenamento de textura da geometria.
• Alinhamento de Webcam: Feeds de webcam panorâmicos (cilíndricos de 360°) são divididos em 4–6 subimagens de perspectiva. Estas são corrigidas quanto à cor para consistência e alinhadas com a malha 3D.
• Otimização de Câmera: As poses iniciais da câmera são derivadas de coordenadas GPS, mas refinadas por meio de uma abordagem baseada em aprendizado. Os autores estabelecem manualmente correspondências 2D–3D e otimizam parâmetros intrínsecos (distância focal) e extrínsecos (rotação) minimizando a perda de pixels L1 entre pontos 3D projetados e pontos de imagem 2D alvo.

2. Texturização e Preenchimento de Malha 3D

Para abordar oclusões e cobertura esparsa, o framework emprega um processo de texturização em duas etapas:

• Pintura Inicial: Imagens de webcam pré-processadas são projetadas no mapa UV da malha. Uma estratégia de sobreposição progressiva é usada, onde novas texturas são mescladas com as existentes com base em uma máscara UV, garantindo que as regiões previamente pintadas sejam preservadas.
• Preenchimento Iterativo: Para regiões não cobertas por vistas de webcam, o sistema usa um modelo de difusão consciente de profundidade (ControlNet) para preencher áreas faltantes.
  • Trajetória: O sistema define um caminho de nova vista com poses específicas.
  • Condicionamento: Para cada etapa, uma imagem RGBD é renderizada. Uma máscara sem cor é gerada usando filtragem no espaço de cor HSV para identificar regiões faltantes.
  • Difusão: Um pipeline ControlNet condiciona o preenchimento no mapa de profundidade, um IP-Adapter (para orientação de aparência a partir de webcams próximas) e um prompt de texto.
  • Projeção: A imagem preenchida gerada é projetada de volta no mapa de textura UV local e sobreposta à textura anterior.

3. Representação 3D Reiluminável

A etapa final envolve o treinamento de um modelo Wild Gaussian (uma extensão do 3D Gaussian Splatting) usando o conjunto de dados concluído e temporalmente diverso.

• Embeddings Dinâmicos: O modelo incorpora embeddings de tempo para capturar variações sazonais e diurnas.
• MLP de Aparência: Uma Rede Neural Perceptron de Múltiplas Camadas (MLP) transforma os atributos de cor base de cada Gaussiana com base na direção do raio de visão e no tempo, permitindo a reconstrução de propriedades dinâmicas da cena e capacidades de reiluminação.

Contribuições Principais

1. Conjunto de Dados SeasonScapes: Um conjunto de dados multimodal de alta qualidade e grande escala cobrindo 3.000 km² de terreno alpino. Inclui mais de 85.000 imagens de webcam de 32 locais em 13 timestamps, capturando ciclos sazonais completos e mudanças diurnas. Fornece anotações precisas de timestamp e correspondências 2D–3D calibradas entre imagens ao nível do solo e dados de satélite georreferenciados.
2. Framework SeasonScapes: Um pipeline inovador para criar paisagens 3D reilumináveis. Lida de forma única com cenas em grande escala e ilimitadas introduzindo trajetórias de preenchimento de spline linear ou cúbica entre coordenadas GPS e realizando pintura consciente de oclusão via indexação UV e renderização de profundidade, em vez de depender exclusivamente de filtragem baseada em normais.
3. Modelagem Dinâmica Reiluminável: A integração de embeddings dinâmicos no treinamento de Gaussianas reilumináveis, permitindo modelagem eficaz de mudanças temporais (estações e hora do dia) em cenas externas em grande escala.

Resultados e Avaliação

Os autores avaliaram o pipeline em três cenas de teste diversas: Grindelwald (pequena escala), Jungfrau (média escala) e Terras Altas de Bernese (grande escala).

• Métricas Quantitativas: O desempenho foi medido usando LPIPS, PSNR e SSIM. A cena de Grindelwald alcançou um LPIPS de 0,159, enquanto as cenas maiores Jungfrau e Bernese mostraram valores de LPIPS mais altos (0,191 e 0,216, respectivamente). Os autores atribuem a degradação de desempenho em cenas maiores à proporção aumentada de regiões não vistas que exigem síntese.
• Estudos de Ablação: A remoção da etapa de pintura inicial resultou em uma queda significativa de desempenho (até 33,1% em LPIPS para Grindelwald), destacando a necessidade da abordagem em duas etapas. A remoção do controle de profundidade levou a "alucinações de montanha" em regiões distantes, enquanto o IP-Adapter mostrou-se principalmente para modular tons de cor.
• Comparação Qualitativa: Comparado ao Google Earth, a abordagem SeasonScapes demonstrou coloração superior em faces de penhascos íngremes, capturando melhor vistas quase ortogonais, evitando a distorção e perda de detalhes comuns em perspectivas de satélite de cima para baixo. O método também mostrou maior adaptabilidade a variações sazonais.

Significado e Limitações

O artigo posiciona o SeasonScapes como um passo à frente na criação de gêmeos digitais de ambientes naturais que são não apenas geometricamente precisos, mas também fotometricamente consistentes ao longo do tempo. Ao combinar dados esparsos de webcam com priores de difusão, o método permite a modelagem de transições ambientais de longo prazo e mudanças de iluminação de curto prazo, avançando além de reconstruções estáticas baseadas apenas em satélite.

Os autores reconhecem limitações atuais:

• O processo manual de correspondência 2D–3D é demorado.
• O ControlNet luta com o preenchimento de regiões faltantes muito pequenas.
• As saídas de Gaussianas reilumináveis ocasionalmente exibem artefatos desfocados, provavelmente devido a erros de calibração e às restrições de expressividade do framework Wild Gaussian.

O trabalho fornece uma base para aplicações em monitoramento ambiental, modelagem climática e turismo virtual, oferecendo uma representação mais dinâmica e realista de paisagens naturais do que os conjuntos de dados estáticos existentes.