Sat-JEPA-Diff: Bridging Self-Supervised Learning and Generative Diffusion for Remote Sensing

Probleemstelling

De paper adresseert een fundamenteel compromis in de spatiotemporele voorspelling van satellietbeelden (bijvoorbeeld het voorspellen van beeld $t+1$ op basis van $t$):

1. Deterministische methoden (zoals PredRNN en SimVP): Deze optimaliseren pixel-voor-pixel fouten (MSE/L1). Dit leidt echter tot het probleem van "regressie naar het gemiddelde" (regression to the mean), wat resulteert in wazige beelden die subtiele geografische en spectrale details verliezen.
2. Generatieve methoden (zoals Diffusiemodellen): Deze kunnen realistische texturen genereren, maar hebben de neiging om structurele anomalieën te "hallucineren" (bijv. verkeerde wegen of gebouwen) als ze niet voldoende semantisch worden gestuurd.

Het doel is een model te creëren dat zowel de structurele nauwkeurigheid van deterministische modellen behoudt als de textuurrijke realisme van generatieve modellen.

Methodologie: Sat-JEPA-Diff

Het voorgestelde framework, Sat-JEPA-Diff, combineert Self-Supervised Learning (SSL) met een Latent Diffusion Model (LDM) in een twee-staps proces:

1. Semantische Voorspelling (IJEPA Module):

   • In plaats van pixels te reconstrueren, gebruikt het model een Joint-Embedding Predictive Architecture (IJEPA).
   • Een Vision Transformer (ViT) encodeert het inputbeeld $I_t$ naar een latente representatie $z_t$.
   • Een transformer-based predictor voorspelt de toekomstige semantische embedding $\hat{z}_{t+1}$.
   • Dit gebeurt in een abstracte ruimte (gebaseerd op embeddings van het Alpha Earth Foundation Model), wat robuust is tegen ruis en atmosferische variaties.
   • Het trainingsverlies is een hybride combinatie van reconstructie, contrastieve doelen en een ruimtelijke variantie-penalty om "spatial collapse" te voorkomen.

2. Gestuurde Diffusie-Generatie:

   • De voorspelde semantische embeddings $\hat{z}_{t+1}$ worden gebruikt als conditionering voor een Stable Diffusion 3.5 backbone.
   • De kern van de Stable Diffusion wordt bevroren; alleen een lichtgewicht Cross-Attention Adapter (met LoRA) wordt getraind.
   • De adapter combineert twee signalen via een leerbare poort ($\alpha$):
     • Semantisch signaal: De IJEPA embeddings (voor accurate structuur).
     • Structureel signaal: Een ruwe, 32x32 gedownsamplede versie van het inputbeeld (voor lage-frequentie ruimtelijke structuur).
   • Dit zorgt ervoor dat de gegenereerde hoge-resolutie teksturen gebaseerd zijn op exacte semantische voorspellingen.

Kernbijdragen

• Nieuwe Architectuur: De eerste integratie van IJEPA (voor semantische voorspelling) met een Latent Diffusion Model voor spatiotemporele satellietvoorspelling.
• Oplossing voor het "Blur vs. Hallucination" Dilemma: Door de diffusie te conditioneren op stabiele, self-supervised voorspellingen, worden wazige uitkomsten vermeden zonder dat er onrealistische structuren worden gegenereerd.
• Efficiëntie: Het gebruik van een bevroren backbone met alleen LoRA-adapters maakt training haalbaar op beperkte hardware (één GPU) terwijl de kwaliteit van state-of-the-art modellen behouden blijft.
• Dataset: Toepassing op een wereldwijke Sentinel-2 dataset met embeddings van het Alpha Earth Foundation Model.

Resultaten

De prestaties zijn geëvalueerd op een globale Sentinel-2 dataset en vergeleken met deterministische baselines (PredRNN, SimVP) en andere generatieve modellen.

• Kwantitatieve Resultaten:

  • Sat-JEPA-Diff behaalt een GSSIM (Generalized Structural Similarity) van 0.8984, wat een stijging is van meer dan 11% ten opzichte van de beste baseline. GSSIM is cruciaal omdat het de behoud van randen en structurele gradiënten meet.
  • Het model behaalt een uitstekende FID (Fréchet Inception Distance) van 0.1475, wat aangeeft dat de gegenereerde beelden zeer realistisch zijn.
  • Hoewel de traditionele PSNR en SSIM iets lager zijn dan bij deterministische modellen (een bekend compromis tussen perceptie en vervorming), is dit een bewuste keuze voor realisme boven pixel-precisie.

• Kwalitatieve Resultaten:

  • Visuele vergelijkingen tonen aan dat deterministische modellen stedelijke dichtheid en landbouwgrenzen wazig maken.
  • Sat-JEPA-Diff behoudt scherpe randen, complexe straatnetwerken en duidelijke bosranden.
  • Autoregressieve stabiliteit: Bij lange-termijn voorspellingen (7 jaar vooruit) degradeert het model niet tot wazigheid, terwijl baselines na 2-3 stappen hun structuur verliezen.

Betekenis en Impact

Deze paper is significant voor het veld van Remote Sensing en Machine Learning omdat het een praktische oplossing biedt voor het probleem van wazige satellietvoorspellingen, wat essentieel is voor toepassingen zoals klimaatmonitoring, landbouwplanning en rampenbeheer. Door de brug te slaan tussen semantische redenering (SSL) en generatieve kwaliteit (Diffusie), stelt Sat-JEPA-Diff de standaard voor toekomstige "virtuele sensoren" die cloudbedekking kunnen overbruggen. De openbaarmaking van code en dataset op GitHub bevordert reproduceerbaarheid en verdere ontwikkeling in de gemeenschap.