Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

Título: Skyfall-GS: Síntese de Cenas Urbanas 3D Imersivas a partir de Imagens de Satélite

1. O Problema

A síntese de cenas urbanas 3D em grande escala, exploráveis e geometricamente precisas é fundamental para aplicações como jogos, filmagem, planejamento de navegação e robótica. No entanto, existem desafios significativos:

• Falta de Dados 3D: A aquisição de escaneamentos 3D reais de cidades em grande escala é extremamente cara e trabalhosa.
• Limitações de Imagens de Internet: Coleções de imagens da internet enfrentam problemas de registro de pose de câmera e ruído excessivo (objetos transitórios, diferentes horários).
• Limitações da Reconstrução Direta de Satélite: Métodos tradicionais de reconstrução 3D aplicados diretamente a imagens de satélite sofrem com regiões invisíveis (fachadas de prédios ocultas) e parallax limitado, resultando em geometrias incorretas, artefatos de "flutuação" (floaters) e texturas borradas quando visualizadas de ângulos baixos (nível do solo).
• Limitações de Geração Pura: Métodos de geração de cidades baseados em difusão (como CityDreamer ou GaussianCity) frequentemente produzem geometrias simplificadas e não mantêm consistência com a textura observada no satélite, dependendo de mapas semânticos ou campos de altura que não capturam a realidade específica da cena.

O objetivo é criar um pipeline que utilize apenas imagens de satélite multi-visão para gerar cenas 3D navegáveis em tempo real, sem necessidade de dados de treinamento 3D específicos ou anotações custosas.

2. Metodologia: Skyfall-GS

O Skyfall-GS propõe um framework híbrido de duas etapas que combina a reconstrução geométrica baseada em satélite com o refinamento de aparência baseado em difusão. O nome "Skyfall" refere-se à estratégia de aprendizado curricular que faz a "câmera cair" do céu para o chão.

Etapa 1: Reconstrução Inicial (Reconstruction Stage)

• Entrada: Imagens de satélite multi-visão (diferentes datas e ângulos).
• Técnica: Utiliza 3D Gaussian Splatting (3DGS) como representação 3D.
• Desafios Específicos e Soluções:
  • Variação de Aparência: Imagens de diferentes datas têm iluminação e objetos transitórios distintos. O método emprega embeddings por imagem e por Gaussiana, processados por uma MLP leve, para modelar essas variações e fundi-las em uma representação estática no momento da inferência.
  • Artefatos de Flutuação: Devido à falta de parallax nas vistas de satélite, os Gaussians tendem a flutuar. O método introduz uma regularização de opacidade baseada em entropia para forçar uma distribuição binária (opaco ou transparente), eliminando Gaussians flutuantes.
  • Supervisão de Profundidade Pseudo-Câmera: Para melhorar a geometria em regiões planas e sem textura (como telhados), o sistema renderiza vistas de "câmeras pseudo" próximas ao solo e utiliza um estimador de profundidade monocular (MoGe) para supervisionar a profundidade do 3DGS, reduzindo artefatos.

Etapa 2: Refinamento Iterativo Baseado em Currículo (Synthesis Stage)

• Problema: A reconstrução inicial ainda falha em fachadas e regiões ocluídas, gerando texturas borradas.
• Solução: Uso de um Modelo de Difusão Texto-para-Imagem (T2I) pré-treinado (FLUX.1) para refinar as renderizações.
• Estratégia de Aprendizado Curricular (Curriculum Learning):
  • Em vez de tentar gerar todas as vistas de uma vez, o método utiliza um processo iterativo onde os ângulos de visão das câmeras começam em elevações altas (vistas aéreas, onde a reconstrução é boa) e descem progressivamente para elevações baixas (vistas de nível do solo).
  • Isso permite que o modelo aprenda gradualmente a preencher as regiões ocluídas (fachadas) à medida que a geometria se torna mais visível.
• Iterative Dataset Update (IDU):
  • O pipeline executa ciclos de renderizar-editar-atualizar. As renderizações degradadas do 3DGS são refinadas pelo modelo de difusão (usando prompt-to-prompt editing) para corrigir texturas e geometria.
  • Consistência 3D: Para evitar inconsistências entre vistas, o método gera múltiplas amostras refinadas ($N_s$) por vista. A otimização do 3DGS busca um consenso entre essas amostras, preservando a coerência geométrica 3D enquanto melhora o detalhe 2D.
  • Os conjuntos de dados de treinamento são atualizados iterativamente com essas renderizações refinadas, melhorando progressivamente a fidelidade visual e a consistência geométrica.

3. Contribuições Principais

1. Primeiro Método de Navegação Livre: O Skyfall-GS é o primeiro método a sintetizar cenas urbanas 3D imersivas e navegáveis em tempo real exclusivamente a partir de imagens de satélite multi-visão, sem treinamento específico de domínio 3D.
2. Refinamento Generativo Aberto: Utiliza priores visuais ricos de modelos de difusão de texto-para-imagem para recuperar aparências fotorealistas a partir de reconstruções de satélite degeneradas, superando a necessidade de dados de rua.
3. Estratégia de Refinamento Curricular: Uma abordagem inovadora que melhora a qualidade da reconstrução progressivamente, de vistas altas para baixas, resolvendo o problema de oclusão de fachadas de forma estável.
4. Desempenho em Tempo Real: O resultado final é uma representação 3DGS leve que permite renderização interativa a 60 FPS em hardware de consumo (ex: MacBook Pro M4).

4. Resultados e Avaliação

Os experimentos foram realizados em dois conjuntos de dados principais: DFC2019 (imagens WorldView-3 de Jacksonville, FL) e GoogleEarth (cenas de Nova York).

• Comparação Quantitativa: O Skyfall-GS superou consistentemente os baselines de reconstrução (Sat-NeRF, EOGS, CoR-GS, Mip-Splatting) e de geração de cidades (CityDreamer, GaussianCity).
  • Obteve os melhores resultados em métricas de distribuição (FIDCLIP, CMMD), indicando maior diversidade e realismo.
  • Superou em métricas de pixel (PSNR, SSIM, LPIPS) na maioria dos casos, exceto onde métodos de reconstrução pura produziam resultados excessivamente suaves (o que infla artificialmente o SSIM).
• Comparação Qualitativa:
  • Os métodos baseados apenas em reconstrução apresentavam fachadas borradas, neblina ou geometria distorcida em ângulos baixos.
  • Métodos de geração pura perdiam detalhes específicos da cena e simplificavam excessivamente a geometria.
  • O Skyfall-GS produziu contornos de prédios nítidos, texturas ricas e recuperou detalhes desafiadores (como calçadas vermelhas específicas e vegetação) que estavam ocultos na visão de satélite.
• Estudo com Usuários: Em estudos com participantes humanos, o Skyfall-GS foi preferido em 90-94% dos casos no DFC2019 e 79-82% no GoogleEarth em termos de precisão geométrica, alinhamento espacial e qualidade perceptual geral.
• Escalabilidade: O método demonstrou capacidade de escalar para ambientes de múltiplos blocos (ex: combinando duas áreas adjacentes de 1km x 512m) sem artefatos de costura.

5. Significado e Impacto

O Skyfall-GS representa um avanço significativo na criação de ambientes virtuais 3D. Ao eliminar a dependência de dados de treinamento 3D caros ou de anotações manuais, ele democratiza a criação de cidades virtuais realistas a partir de dados de satélite amplamente disponíveis.

• Aplicações: Abre portas para simulações de robótica, planejamento urbano, entretenimento virtual e navegação autônoma em ambientes urbanos complexos.
• Inovação Técnica: Demonstra a eficácia de combinar técnicas clássicas de fotogrametria (reconstrução 3D) com priores generativos modernos (difusão) em um ciclo iterativo, resolvendo o dilema entre "geometria correta" e "aparência realista".

Em resumo, o Skyfall-GS transforma imagens de satélite estáticas em mundos 3D dinâmicos e navegáveis, preenchendo as lacunas visuais e geométricas de forma inteligente e automatizada.