Sat-JEPA-Diff: Bridging Self-Supervised Learning and Generative Diffusion for Remote Sensing

1. Il Problema

La previsione di immagini satellitari (spaziotemporale, da $t$ a $t+1$) è fondamentale per il monitoraggio ambientale, ma è ostacolata dalla frequente copertura nuvolosa. Esiste un compromesso fondamentale tra i metodi attuali:

• Metodi Deterministici (es. PredRNN, SimVP): Ottimizzano l'errore pixel-per-pixel (MSE/L1). Sebbene efficienti, soffrono del problema della "regressione verso la media", producendo output sfocati che perdono dettagli spettrali e caratteristiche geografiche sottili (bordi netti, strade).
• Modelli Generativi (es. Diffusion Models, GAN): Eccellono nel generare texture realistiche, ma tendono a creare "allucinazioni" strutturali (es. strade o edifici inesistenti) se privi di una guida semantica rigorosa, rendendo le previsioni strutturalmente inaffidabili.

L'obiettivo è colmare questo divario: ottenere la precisione strutturale dei metodi deterministici e la ricchezza testurale dei modelli generativi.

2. Metodologia: Sat-JEPA-Diff

Il framework proposto, Sat-JEPA-Diff, integra l'apprendimento auto-supervisionato (SSL) con modelli di diffusione latente (LDM) attraverso due moduli sinergici:

A. Predizione Temporale Semantica (Modulo IJEPA)

Invece di prevedere direttamente i pixel, il modello prevede le embedding semantiche future.

• Architettura: Utilizza una variante di IJEPA (Joint-Embedding Predictive Architecture).
• Funzionamento: Un encoder (Vision Transformer) elabora l'immagine corrente $I_t$ per ottenere embedding latenti $z_t$. Un predittore basato su Transformer stima le embedding future $\hat{z}_{t+1}$.
• Vantaggio: Operando nello spazio latente astratto, il modello è robusto al rumore del sensore e alle variazioni atmosferiche, evitando la sovrapposizione di dettagli spaziali non necessari.
• Loss: Viene utilizzata una funzione di perdita ibrida che combina ricostruzione L1, similarità coseno, penalità sulla varianza spaziale (per evitare il collasso spaziale) e contrasto (InfoNCE).

B. Generazione Condizionata (Modulo Diffusion)

Le embedding semantiche previste guidano un generatore di immagini ad alta fedeltà.

• Backbone: Viene utilizzato Stable Diffusion 3.5 (SD3.5), mantenendo il nucleo del transformer congelato.
• Adattatore di Condizionamento: Viene addestrato un adattatore leggero (basato su LoRA) che trasforma le embedding IJEPA in segnali di attenzione incrociata (cross-attention) per il modello di diffusione.
• Fusione Ibrida: L'adattatore fonde due segnali:
  1. Semantica: Le embedding previste da IJEPA ($\hat{z}_{t+1}$).
  2. Struttura: Una versione "grossolana" (downsampled a 32x32) dell'immagine originale $I_t$, che preserva la struttura spaziale a bassa frequenza.
     Un gate apprendibile ($\alpha$) bilancia dinamicamente questi due input.

3. Contributi Chiave

1. Nuovo Paradigma di Previsione: Sposta la previsione dallo spazio dei pixel allo spazio semantico latente, utilizzando le embedding come condizione per la generazione, risolvendo il trade-off tra sfocatura e allucinazione.
2. Integrazione SSL e Diffusion: Combina la robustezza semantica di IJEPA (adattato da Assran et al., 2023) con la capacità generativa di SD3.5, utilizzando embedding pre-calcolate dal modello fondazionale Alpha Earth.
3. Miglioramento Strutturale: Dimostra che è possibile generare texture realistiche mantenendo bordi geografici nitidi (strade, confini urbani) senza "inventare" strutture, grazie alla guida semantica rigorosa.
4. Risorsa Pubblica: Il codice e il dataset globale (Sentinel-2) sono resi disponibili su GitHub.

4. Risultati Sperimentali

Il modello è stato valutato su un dataset globale Sentinel-2 (100 Regioni di Interesse, 2017-2024).

• Metriche Quantitative:

  • GSSIM (Generalized Structural Similarity): Sat-JEPA-Diff ottiene 0.8984, superando di oltre l'11% i migliori baseline deterministici (es. PredRNN: 0.7836). Questo indica una preservazione superiore dei bordi e dei gradienti strutturali.
  • FID (Fréchet Inception Distance): 0.1475, indicando un'alta qualità percettiva e realismo delle texture, paragonabile ai modelli generativi puri ma con maggiore coerenza strutturale.
  • PSNR/SSIM: Sebbene leggermente inferiori ai modelli deterministici (a causa del trade-off percezione-distorsione), sono comunque competitivi, confermando che il modello non sacrifica la qualità strutturale per il realismo.

• Analisi Qualitativa:

  • I baseline deterministici mostrano sfocatura spettrale (es. densità urbana di Istanbul o confini agricoli in Amazzonia).
  • Sat-JEPA-Diff preserva reti stradali intricate e bordi forestali distinti.
  • Stabilità Temporale: In esperimenti di autoregressive rollout (previsione multi-step fino a 7 anni), i modelli deterministici collassano rapidamente in immagini sfocate, mentre Sat-JEPA-Diff mantiene contrasto e nitidezza strutturale.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo per l'osservazione della Terra (Earth Observation):

• Superamento dei Limiti Attuali: Risolve il problema cronico della sfocatura nei modelli di previsione video/satellitare senza introdurre artefatti strutturali tipici dei modelli generativi non guidati.
• Scalabilità: L'approccio dimostra che l'uso di modelli fondazionali (Foundation Models) per estrarre embedding semantiche, combinato con la diffusione latente, è una via efficace per la sintesi di dati satellitari ad alta risoluzione.
• Applicazioni Future: La capacità di prevedere scenari futuri realistici e strutturalmente accurati è cruciale per la pianificazione urbana, il monitoraggio dei disastri naturali e la gestione delle risorse agricole, specialmente in aree soggette a copertura nuvolosa.

In sintesi, Sat-JEPA-Diff offre una soluzione robusta che unisce la precisione semantica dell'apprendimento auto-supervisionato alla potenza generativa della diffusione, stabilendo un nuovo stato dell'arte per la previsione di immagini satellitari.