HarmoniDiff-RS: Training-Free Diffusion Harmonization for Satellite Image Composition

1. Problema e Motivação

A composição de imagens de satélite é uma tarefa fundamental para aplicações de sensoriamento remoto, como aumento de dados, simulação de desastres e planejamento urbano. No entanto, diferentemente da composição de imagens naturais (onde o foco é o alinhamento semântico e deformações não rígidas de objetos como animais ou pessoas), a composição de imagens de satélite enfrenta desafios únicos:

• Rigidez Geométrica: Os objetos em imagens de satélite (edifícios, estradas, portos) possuem estruturas rígidas. Deformá-los para se adequar ao contexto, como feito em imagens naturais, resultaria em cenas irrealistas.
• Consistência Radiométrica: A integração deve garantir que a iluminação, cor e características espectrais do objeto inserido (fonte) correspondam perfeitamente à cena de fundo (alvo), sem distorcer a geometria original.
• Falta de Supervisão: Métodos existentes muitas vezes dependem de máscaras de segmentação precisas, que são raras em dados de satélite, ou exigem fine-tuning de modelos, o que é custoso.

O objetivo do trabalho é harmonizar uma região fonte rígida com uma cena alvo, garantindo suavidade nas bordas e consistência de aparência, sem alterar a geometria original e sem necessidade de treinamento do modelo principal.

2. Metodologia: HarmoniDiff-RS

O autores propõem o HarmoniDiff-RS, um framework baseado em difusão que opera inteiramente no espaço latente e é livre de treinamento (training-free). A metodologia baseia-se em três pilares principais:

A. Normalização por Deslocamento de Média Latente (Latent Mean Shift - LMS)

• Inspirado na ideia de que as estatísticas dos canais no espaço latente codificam atributos de estilo e aparência global, o método alinha as estatísticas radiométricas da fonte com as do alvo.
• Calcula-se a média por canal do latente do alvo e aplica-se um deslocamento (shift) ao latente da fonte para que suas médias coincidam. Isso garante consistência de iluminação e balanço de cores/espectral entre as duas imagens antes da geração.

B. Fusão Latente por Passos de Tempo (Timestep-wise Latent Fusion)

• O método explora as propriedades do modelo de difusão DDIM (Denoising Diffusion Implicit Models).
• Observação: Latentes invertidos em passos de tempo iniciais (próximos ao ruído) produzem composições mais harmoniosas, mas perdem a identidade do conteúdo original. Latentes em passos de tempo tardios preservam a estrutura e semântica, mas deixam bordas duras e visíveis.
• Estratégia: O sistema gera candidatos de composição em vários passos de tempo. Utiliza-se uma máscara de borda (edge-aware mask) para fundir seletivamente:
  • Latentes de passos iniciais (para suavizar as bordas e harmonizar a aparência).
  • Latentes de passos tardios (para preservar a integridade geométrica e semântica do objeto).
• Isso cria um conjunto de imagens compostas candidatas que equilibram fidelidade estrutural e suavidade visual.

C. Classificador de Harmonia Leve

• Para selecionar automaticamente o melhor resultado entre os candidatos gerados, um classificador leve (baseado em ResNet-18) é treinado.
• O classificador avalia a "harmonia visual" da região colada e seleciona a imagem com a maior pontuação de harmonia como saída final.

3. Contribuições Principais

1. Definição de uma Nova Tarefa: Formalizam a "composição de imagens de satélite" como um problema distinto da composição natural, focando em preservação geométrica e harmonização radiométrica em vez de deformação semântica.
2. Framework Training-Free: Apresentam o HarmoniDiff-RS, que utiliza priores generativos de modelos de difusão pré-treinados sem necessidade de fine-tuning ou otimização online, tornando-o escalável.
3. Mecanismo de Fusão Latente: Introduzem uma estratégia inovadora que combina as vantagens de latentes iniciais (harmonia) e tardios (fidelidade) através de fusão baseada em máscaras de borda.
4. Benchmarks e Métricas:
   • Constroem o RSIC-H, um novo conjunto de dados com 500 pares de composição fonte-alvo derivados do dataset fMoW, cobrindo diversas variações de estações, iluminação e sensores.
   • Propõem duas métricas quantitativas: Harmony Score (HS) (pontuação de harmonia visual) e Boundary Gradient Difference (BGD) (diferença de gradiente nas bordas para medir suavidade).

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset RSIC-H, comparando o método com técnicas tradicionais (Poisson Blending), inpainting baseado em SD2 e métodos de harmonização para imagens naturais (FreeCompose).

• Qualitativamente: O HarmoniDiff-RS produz composições sem costuras visíveis, adaptando perfeitamente a iluminação e as cores da fonte ao fundo, mantendo a estrutura rígida dos objetos. Métodos concorrentes falharam em remover bordas duras ou não conseguiram adaptar semanticamente a fonte ao contexto geográfico.
• Quantitativamente:
  • Melhor Pontuação de Harmonia (HS): 0.225 (superando todos os baselines).
  • Menor Diferença de Gradiente de Borda (BGD): 4.88 (indicando as transições mais suaves).
  • FID (Fréchet Inception Distance): O método obteve um FID de 92.38, ficando atrás apenas do Poisson Blending (que não altera pixels de alta frequência). Os autores explicam que a pequena penalidade no FID deve-se à compressão do VAE (Variational Autoencoder) inerente aos modelos de difusão, e não à qualidade da harmonização.

5. Significado e Limitações

• Significado: O trabalho demonstra que é possível realizar síntese e simulação de sensoriamento remoto de alta qualidade sem treinamento de modelos complexos, superando as limitações de métodos que exigem deformação de objetos ou segmentação precisa. É um avanço crucial para a geração de dados sintéticos realistas em sensoriamento remoto.
• Limitações:
  • Restrição do VAE: A reconstrução no espaço latente suaviza texturas de alta frequência (como telhados ou linhas de estrada), o que impacta levemente o FID.
  • Inconsistências de Sombra: O método tem controle limitado sobre sombras projetadas, podendo gerar inconsistências físicas em certos casos.
  • Mismatches Semânticos Graves: Se a fonte e o alvo forem semanticamente incompatíveis (ex: colocar um barco no meio de um deserto), a harmonização pode falhar ou criar estruturas não naturais.

Em conclusão, o HarmoniDiff-RS estabelece um novo estado da arte para a composição de imagens de satélite, oferecendo uma solução eficiente, escalável e de alta qualidade para tarefas de simulação e aumento de dados em sensoriamento remoto.