D2-CDIG: Controlled Diffusion Remote Sensing Image Generation with Dual Priors of DEM and Cloud-Fog

Resumo Técnico: D2-CDIG

Declaração do Problema
Os métodos existentes de geração controlada de imagens de sensoriamento remoto baseiam-se principalmente em técnicas tradicionais, como segmentação de objetos terrestres e detecção de bordas. Embora essas abordagens forneçam dados geográficos, elas não aproveitam plenamente as estruturas complexas do terreno ou as condições atmosféricas. Consequentemente, as imagens geradas frequentemente carecem de precisão e naturalidade ao simular terrenos complexos e fenômenos atmosféricos como nuvens, neblina e mudanças climáticas. Os modelos atuais lutam para capturar as interações intrincadas entre características de superfície e efeitos atmosféricos, levando a saídas irreais que não suportam tarefas downstream de alta precisão ou o treinamento de grandes modelos.

Metodologia
O artigo propõe D2-CDIG (Geração de Imagens de Sensoriamento Remoto com Difusão Controlada e Duplos Priors de MDE e Nuvem-Neblina), um framework que integra modelos de difusão com um mecanismo de controle de duplo prior. Construído sobre a arquitetura Stable Diffusion v1.5, o método introduz um design de ControlNet de dois ramos para desacoplar a geração de terreno e atmosfera:

1. Conhecimento de Duplo Prior: O sistema incorpora dois sinais de controle distintos:
   • Modelo Digital de Elevação (MDE): Serve como prior de solo para controlar a estrutura do terreno.
   • Informação de Nuvem-Neblina: Serve como prior atmosférico para controlar as condições meteorológicas.
2. Arquitetura de Duplo Ramo:
   • Ramo de Solo: Utiliza um codificador baseado em CNN (ResNet-18) para processar dados MDE. Ele injeta sinais de controle nos blocos inferiores e médios do U-Net (blocos 2, 4, 6, 8) para guiar a geometria local do terreno, bordas e texturas.
   • Ramo Atmosférico: Utiliza um codificador baseado em Transformer (ViT-Small) para processar máscaras de nuvem-neblina. Ele injeta sinais nos blocos superiores do U-Net (blocos 10, 12, 14, 16) para governar a composição global, estrutura semântica e morfologia das nuvens.
3. Estratégia de Injeção em Camadas: Os sinais de controle são injetados em níveis específicos de características para garantir consistência física. As características de solo ancoram a geração no início do processo, enquanto as características atmosféricas modulam a saída mais tarde, permitindo que o modelo considere a iluminação global e a topografia ao renderizar efeitos atmosféricos.
4. Controle Refinado de Nuvens: Um "controle deslizante de densidade de nuvens" ($\delta \in [0, 1]$) é introduzido, calibrado via uma função de lei de potência ($C_{cov} = 0.95 \cdot \delta^{0.85} \times 100\%$) para mapear a entrada do usuário para porcentagens precisas de cobertura física de nuvens.
5. Objetivo de Treinamento: O modelo é treinado usando uma função de perda conjunta que combina a perda padrão de previsão de ruído de difusão com perdas perceptuais para consistência de solo ($L_{ground}$) e similaridade atmosférica ($L_{atmosphere}$), ponderadas por hiperparâmetros $\alpha=0.6$ e $\beta=0.4$.

Principais Contribuições

• Geração Controlada por Duplo Prior: A introdução de um método que considera simultaneamente características de superfície (via MDE) e mudanças atmosféricas (via nuvem-neblina) usando uma rede de controle de dois ramos, preenchendo a lacuna de pesquisa na combinação de controle de terreno e atmosfera.
• Processo de Geração Desacoplado: O design de ramos paralelos de Solo e Atmosfera que permitem controle independente, porém coordenado, garantindo transições naturais entre condições de terreno e clima.
• Mecanismo de Controle Preciso de Nuvens: O desenvolvimento de um controle deslizante de densidade de nuvens e um sistema de parâmetros meteorológicos que permite aos usuários ajustar de forma flexível e precisa a espessura, forma e distribuição das nuvens durante a inferência.
• Injeção em Camadas: Uma estratégia de treinamento onde sinais de solo e atmosfera são injetados em diferentes níveis de características (baixo nível para terreno, alto nível para atmosfera) para garantir integração perfeita.

Resultados Experimentais
Os autores avaliaram o D2-CDIG contra baselines de última geração (SD v1.5, DiffusionSat, ControlNet, CRS-Diff, T2I-Adapter) em três tarefas: Texto-para-Imagem, MDE-para-Imagem e Geração Multi-Condicionada.

• Desempenho Quantitativo: O D2-CDIG alcançou os melhores resultados em todas as métricas. Na geração guiada por MDE, atingiu um SSIM de 0,303, PSNR de 16,930 dB e FID de 59,974, superando significativamente o segundo melhor método (CRS-Diff).
• Robustez: O modelo demonstrou estabilidade superior em níveis variados de cobertura de nuvens (5% a 70%). Com 50% de cobertura de nuvens, o D2-CDIG manteve um SSIM de 0,321 e FID de 63,175, enquanto os métodos de base mostraram degradação significativa.
• Utilidade Downstream: Em tarefas de segmentação de cobertura do solo usando um modelo DeepLabV3+ treinado com dados aumentados, as imagens geradas pelo D2-CDIG produziram um mIoU de 0,678, quase igualando o desempenho de modelos treinados em dados reais (0,683) e superando significativamente outras estratégias de aumento.
• Transferibilidade: O framework demonstrou transferibilidade zero-shot para dados Sentinel-2 (resolução de 10m), com desempenho melhorando substancialmente após ajuste fino.

Significado e Alegações
O artigo afirma que o D2-CDIG oferece uma solução flexível e precisa para a geração de imagens de sensoriamento remoto, abordando as limitações dos métodos tradicionais que ignoram fenômenos atmosféricos. Ao desacoplar a geração de terreno e atmosfera, o método produz imagens com maior riqueza de detalhes, realismo e consistência física. Os autores afirmam que o D2-CDIG fornece uma base de dados de alta qualidade para o treinamento de grandes modelos de sensoriamento remoto e tarefas downstream. Além disso, o método é projetado para ser agnóstico ao sensor, dependendo de entradas universalmente disponíveis de MDE e nuvem-neblina, em vez de bandas específicas de sensor, tornando-o aplicável em diversas plataformas de sensoriamento remoto. O trabalho visa preencher a lacuna entre a demanda e a oferta de dados, auxiliando cientistas e formuladores de políticas na tomada de decisões informadas sobre a superfície e a atmosfera em mudança do planeta.