Sat-JEPA-Diff: Bridging Self-Supervised Learning and Generative Diffusion for Remote Sensing

Resumo Técnico: Sat-JEPA-Diff

1. O Problema

A previsão de imagens de satélite (fator temporal $t \to t+1$) é crucial para o monitoramento ambiental, mas enfrenta um dilema fundamental entre acurácia estrutural e detalhe textural:

• Métodos Determinísticos (ex: PredRNN, SimVP): Otimizam erros baseados em pixels (como MSE), o que leva ao problema de "regressão à média". Isso resulta em imagens desfocadas que perdem detalhes espectrais e bordas geográficas finas.
• Modelos Generativos (ex: DDPMs, LDMs): Produzem texturas realistas, mas frequentemente sofrem de "alucinações", gerando estruturas plausíveis, mas falsas (ex: topologias de estradas ou edifícios inexistentes), devido à falta de orientação semântica rigorosa.

O objetivo é criar um modelo que mantenha a precisão estrutural das previsões determinísticas enquanto incorpora a riqueza textural dos modelos generativos, sem introduzir artefatos espaciais.

2. Metodologia: Sat-JEPA-Diff

O framework proposto, Sat-JEPA-Diff, integra Self-Supervised Learning (SSL) com Modelos de Difusão Latente (LDM) em uma arquitetura de dois estágios sinérgicos:

A. Predição Temporal com IJEPA (Joint-Embedding Predictive Architecture)

• Em vez de reconstruir pixels, o modelo opera no espaço latente semântico.
• Utiliza um Encoder (Vision Transformer) para processar a imagem de entrada $I_t$ e gerar embeddings.
• Um Predictor (Transformer) prevê os embeddings semânticos futuros ($\hat{z}_{t+1}$).
• Objetivo: Aprender representações robustas a ruídos de sensores e variações atmosféricas, evitando a sobreajuste a ruídos que ocorre em autoencoders mascarados (MAE).
• Função de Perda Híbrida: Combina reconstrução L1, similaridade cosseno, penalidade de variância espacial (para evitar colapso espacial) e perda contrastiva (InfoNCE).

B. Geração Condicional com Difusão Latente

• Utiliza o Stable Diffusion 3.5 como backbone generativo, mantendo seus pesos principais congelados.
• Adapter de Condicionamento Leve: Um módulo treinado via LoRA (Low-Rank Adaptation) que traduz os embeddings semânticos do IJEPA em sinais de cross-attention para o modelo de difusão.
• Fusão de Sinais: O adapter combina:
  1. Sinais Semânticos: Os embeddings previstos pelo IJEPA ($\hat{z}_{t+1}$).
  2. Sinais Estruturais: Uma versão reduzida (32x32) da imagem original $I_t$, preservando a estrutura de baixa frequência.
  3. Porta de Fusão Aprendida: Um mecanismo ($\alpha$) que equilibra dinamicamente a contribuição semântica e estrutural.

3. Contribuições Principais

1. Ponte entre SSL e Difusão: Primeira abordagem que utiliza previsões de embeddings semânticos (via IJEPA) para condicionar rigorosamente um modelo de difusão latente em séries temporais de sensoriamento remoto.
2. Resolução do Dilema Desfoque-Alucinação: O modelo garante que as texturas geradas sejam baseadas em previsões estruturais semanticamente precisas, eliminando o desfoque dos métodos determinísticos e as alucinações estruturais dos modelos generativos puros.
3. Eficiência e Generalização: Ao congelar o backbone do Stable Diffusion e treinar apenas um adapter leve, o método é computacionalmente eficiente e demonstra generalização ao funcionar com diferentes encoders (ex: ViT e Panopticon).
4. Validação em Longo Prazo: Demonstra estabilidade temporal em rollouts autoregressivos (até 7 anos), mantendo a nitidez das bordas onde métodos baseados em MSE falham rapidamente.

4. Resultados e Desempenho

O modelo foi avaliado em um conjunto de dados global de Sentinel-2 (100 Regiões de Interesse, 2017-2024).

• Métricas Perceptuais (Superiores):
  • GSSIM (Similaridade de Estrutura Global): 0.8984 (o melhor resultado, superando a base determinística em >11%). Isso indica preservação superior de bordas e gradientes estruturais.
  • FID (Frechet Inception Distance): 0.1475, indicando alta qualidade de imagem gerada e proximidade com a distribuição real.
• Comparação com Baselines:
  • Superou significativamente modelos determinísticos (PredRNN, SimVP) em qualidade perceptual, embora tenha um PSNR ligeiramente menor (o que é esperado devido ao trade-off percepção-distorção, onde o modelo prioriza texturas realistas sobre a média exata de pixels).
  • Superou modelos generativos puros (SD 3.5, MCVD) em coerência estrutural, evitando a geração de estradas ou edifícios falsos.
• Análise Qualitativa: Em visualizações (ex: Istambul e Amazônia), o Sat-JEPA-Diff preservou redes de ruas intrincadas e bordas de florestas distintas, enquanto as bases determinísticas apresentaram desfoque espectral e perda de detalhes.

5. Significado e Impacto

O Sat-JEPA-Diff representa um avanço significativo na previsão de séries temporais de sensoriamento remoto. Ao deslocar o foco da previsão de pixels para a previsão de representações semânticas latentes, o trabalho oferece uma solução robusta para a lacuna entre a precisão estrutural e a riqueza textural.

Isso é particularmente relevante para aplicações críticas como monitoramento de desmatamento, planejamento urbano e resposta a desastres, onde a integridade das bordas geográficas e a realismo das texturas são essenciais. O código e o conjunto de dados foram disponibilizados publicamente no GitHub, facilitando a reprodução e o avanço futuro na área.

Futuro: Os autores planejam explorar a substituição dos embeddings aprendidos por descrições de cenas baseadas em visão e linguagem (Vision-Language) como sinais de condicionamento temporal.