Generating Satellite Imagery Data for Wildfire Detection through Mask-Conditioned Generative AI

1. O Problema

A detecção de incêndios florestais baseada em Deep Learning (DL) enfrenta um gargalo fundamental: a escassez de imagens de satélite rotuladas de alta qualidade. Os eventos de incêndio são geograficamente esparsos, concentrados sazonalmente e variam espectroscopicamente dependendo do tipo de vegetação e da severidade. Embora existam grandes volumes de imagens de satélite públicas, a criação de conjuntos de dados rotulados exige o alinhamento de aquisições pré e pós-fogo, a geração de máscaras binárias (muitas vezes manuais e demoradas) e o recorte de cenas grandes.

O objetivo deste trabalho é investigar se é possível sintetizar imagens realistas de satélite pós-incêndio (Sentinel-2 RGB) utilizando um modelo de fundação baseado em difusão (EarthSynth), condicionado a máscaras de queimada existentes, sem a necessidade de re-treinamento específico para a tarefa.

2. Metodologia

Os autores utilizaram o modelo EarthSynth (baseado em Stable Diffusion v1.5 com ControlNet), treinado no conjunto de dados EarthSynth-180K. O estudo foi conduzido no conjunto de dados CalFireSeg-50, filtrando máscaras de queimada com fração de área entre 1% e 95%.

Configurações Experimentais

Foram desenhados seis experimentos controlados (E1–E6) para isolar três fatores principais:

1. Arquitetura do Pipeline:
   • Geração Completa (Mask-only): O modelo gera a imagem inteira do zero, condicionado apenas à máscara binária e ao prompt de texto.
   • Inpainting (Preenchimento): O modelo utiliza a imagem "antes" (pré-fogo) como contexto, regenerando apenas a região mascarada (queimada) enquanto preserva o restante da paisagem.
2. Estratégia de Prompt (Texto):
   • Prompts Manuais (P1-P3): Três variações de prompts escritos à mão, variando de minimalistas a estruturados e contextualizados com dados de cor.
   • Prompt Assistido por VLM: Uso do modelo de linguagem-vídeo Qwen2-VL para gerar prompts descritivos baseados na análise visual das imagens pré-fogo, máscara e pós-fogo real.
3. Pós-processamento:
   • Aplicação de um passo de correspondência de cores regional (region-wise color matching) para alinhar as estatísticas RGB das regiões geradas com as estatísticas de imagens reais pós-fogo.

Métricas de Avaliação

A qualidade foi avaliada quantitativamente em 10 amostras estratificadas usando quatro métricas complementares:

• Burn IoU (Interseção sobre União): Mede o alinhamento espacial entre a região escura gerada (inferida como queimada) e a máscara real.
• Distância de Cor na Região Queimada ($\Delta C_{burn}$): Distância Euclidiana entre a cor média da região queimada gerada e a real.
• Contraste de Escuridão (Darkness Contrast): Mede se a região queimada gerada é mais escura que a vegetação intacta circundante (sem necessidade de imagem de referência real).
• Plausibilidade Espectral: Verifica se a cor média gerada está dentro de uma faixa estatística aceitável baseada em um conjunto de dados de referência.

3. Contribuições Principais

• Framework de Aumento de Dados: Proposição de um framework de aumento generativo para imagens de satélite de incêndios, utilizando máscaras de queimada existentes como entrada condicional.
• Adaptação sem Re-treinamento: Demonstração da adaptação do EarthSynth ao domínio de incêndios florestais sem fine-tuning específico da tarefa, explorando o zero-shot ou few-shot via condicionamento.
• Análise Controlada: Avaliação sistemática de seis configurações que isolam os efeitos da arquitetura de geração (inpainting vs. geração total), estratégia de prompt e correção de cor.
• Validação Quantitativa e Qualitativa: Avaliação rigorosa através de métricas específicas e inspeção visual por especialistas, destacando a importância de ambos para avaliação de dados sintéticos em sensoriamento remoto.

4. Resultados Chave

• Superioridade do Inpainting: Pipelines baseados em inpainting (que preservam o contexto pré-fogo) superaram consistentemente a geração completa em todas as métricas.
  • O melhor desempenho de alinhamento espacial (Burn IoU = 0,456) e contraste de escuridão (20,44) foi alcançado pelo pipeline de inpainting com prompt estruturado (E2-P2).
  • A geração completa (E1) frequentemente falhou em produzir texturas florestais realistas fora da máscara e, em alguns casos, gerou regiões queimadas mais claras que a vegetação circundante (contraste negativo).
• Impacto dos Prompts:
  • Prompts mais detalhados e estruturados (P2 e P3) melhoraram significativamente os resultados, especialmente na geração completa.
  • Prompts assistidos por VLM (E5) foram competitivos com prompts manuais no cenário de inpainting, alcançando um Burn IoU de 0,425, mas não superaram o melhor prompt manual estruturado.
• Compensação (Trade-off) de Correspondência de Cores:
  • A aplicação de correspondência de cores (E3 e E4) reduziu drasticamente a distância de cor ($\Delta C_{burn}$), tornando as cores mais fiéis às estatísticas reais (ex: 63,22 no E4-P2).
  • No entanto, essa correção degradou o Contraste de Escuridão e o Burn IoU, indicando que forçar a cor correta pode "achatar" a imagem, reduzindo a saliência da queimada e a nitidez das bordas.
• Desempenho do VLM: O uso do VLM para gerar prompts foi eficaz no inpainting, mas não resolveu as limitações fundamentais da geração completa (E6), que continuou a produzir imagens globalmente inconsistentes e pouco realistas.

5. Significado e Conclusão

O estudo conclui que a geração de dados sintéticos para detecção de incêndios é viável, mas depende criticamente da preservação do contexto espacial. O uso de inpainting com imagens pré-fogo é essencial para manter a coerência da paisagem, enquanto a geração completa a partir de máscaras binárias tende a falhar na reprodução de texturas florestais realistas.

Embora a correspondência de cores melhore a fidelidade espectral, ela pode comprometer a clareza visual da queimada. Os resultados sugerem que, para aumentar conjuntos de dados de treinamento, a configuração de inpainting com prompts estruturados oferece o melhor equilíbrio entre alinhamento espacial e realismo visual.

Limitações e Trabalhos Futuros:

• A avaliação foi feita em uma amostra pequena (10 amostras).
• O modelo não foi fine-tuned especificamente para queimadas, o que pode explicar algumas inconsistências espectrais.
• O estudo limitou-se a bandas RGB (visíveis); futuras extensões para bandas multiespectrais (NIR, SWIR) seriam cruciais para modelos de detecção reais que utilizam índices como NBR.
• A utilidade final para melhorar modelos de segmentação downstream ainda precisa ser validada.

Em suma, o trabalho fornece uma base sólida para incorporar aumento de dados generativo em pipelines de detecção de incêndios, destacando que o contexto espacial (inpainting) é mais importante do que a complexidade do prompt ou a correção de cor isolada.