Densification and forecasting of Sentinel-2 time series from multimodal SAR and Optical satellite data using deep generative models

Questo articolo propone un framework di deep learning probabilistico che sfrutta dati ottici Sentinel-2 e dati SAR Sentinel-1 multimodali per generare immagini satellitari ottiche a date arbitrarie nel passato o nel futuro, affrontando efficacemente sia la densificazione temporale delle osservazioni oscurate dalle nuvole sia la previsione futura, modellando esplicitamente l'incertezza di generazione.

L'essenziale

Immagina di voler guardare un film su un campo agricolo che cambia con le stagioni, ma il proiettore è rotto. A volte la pellicola salta, a volte è coperta da un'interferenza (nuvole) e a volte le bobine mancano completamente. Hai due tipi di strisce di pellicola:

1. Pellicola Ottica (Sentinel-2): Immagini belle e colorate del campo, ma funzionano solo quando il cielo è sereno. Se c'è nuvolaglia, l'immagine è bianca e inutile.
2. Pellicola Radar (Sentinel-1): Immagini in bianco e nero, granulose, che possono "vedere" attraverso nuvole e pioggia, ma non mostrano i colori vivaci delle colture.

Il Problema:
Gli scienziati vogliono un film perfetto, continuo e colorato della Terra. Ma a causa delle nuvole, ci sono enormi lacune nella pellicola ottica. Gli strumenti esistenti possono provare a "riempire i vuoti" tra due immagini note (come indovinare cosa è successo nel mezzo di una scena saltata), ma non possono indovinare cosa succede dopo la fine del film e non possono dirti quanto sono sicuri delle loro ipotesi.

La Soluzione:
Gli autori hanno costruito un'intelligenza artificiale "Regista" intelligente che agisce come un montatore esperto. Prende la pellicola ottica rotta e la pellicola radar granulosa e le unisce per creare un film continuo, fluido e colorato per qualsiasi data, sia che si tratti di una data nel passato (riempiendo le lacune) o nel futuro (prevedendo cosa succederà dopo).

Ecco come funziona il Regista AI, usando semplici analogie:

1. I Due Occhi Specializzati

L'AI ha due "occhi" separati per osservare i dati.

• L'Occhio Ottico guarda le immagini colorate.
• L'Occhio Radar guarda le immagini in bianco e nero.
  Invece di costringere entrambi gli occhi a vedere nello stesso modo, l'AI permette loro di imparare il proprio linguaggio prima. È come avere un pittore e uno scultore che lavorano separatamente prima di collaborare; il pittore comprende il colore, lo scultore comprende la forma e la struttura.

2. Il Calendario "Viaggio nel Tempo"

L'AI non guarda solo le immagini; sa quando sono state scattate. Usa un speciale "Calendario Viaggio nel Tempo".

• Se l'AI deve prevedere un'immagine per martedì prossimo, chiede: "Com'era il campo lunedì scorso? E tre settimane fa?"
• Calcola la distanza tra il "ora" e il "allora". Questo aiuta a capire che un campo appare molto diverso in primavera rispetto all'autunno, anche se le immagini sono sfocate.

3. Il Faretto Intelligente (Cross-Attention)

Questo è il trucco più astuto dell'AI. Immagina un faretto su un palco con molti attori (le diverse immagini satellitari). L'AI deve decidere quali attori ascoltare per la scena finale.

• Scenario A (Cielo Sereno Vicino): Se c'è un'immagine colorata e chiara di ieri, il faretto brilla intensamente su quella. L'AI ignora le immagini radar perché non ne ha bisogno; il colore è già lì.
• Scenario B (Nuvolaglia Pesante): Se le ultime immagini colorate sono coperte da nuvole (interferenza bianca), l'AI capisce: "Non posso usare queste!". Sposta immediatamente il faretto sulle immagini Radar. Anche se sono in bianco e nero, mostrano la forma delle colture, aiutando l'AI a indovinare quali dovrebbero essere i colori.
• Scenario C (La Trappola delle Nuvole): Se un'immagine è stata scattata ieri ma è coperta da nuvole, l'AI impara a ignorarla completamente, anche se è "vicina" nel tempo. Sa che un'immagine nuvolosa è peggiore di un'immagine chiara di una settimana fa.

4. Il "Misuratore di Fiducia" (Incertezza)

La maggior parte degli strumenti AI ti dà solo un'immagine e spera nel meglio. Questa AI è diversa: ti consegna anche un "Misuratore di Fiducia" (una mappa di incertezza).

• Se l'AI sta indovinando basandosi su un'immagine chiara di ieri, il misuratore dice: "Sono sicuro al 100%".
• Se l'AI deve indovinare come apparirà il campo tra due mesi, o se sta indovinando attraverso una tempesta fitta, il misuratore dice: "Non sono così sicuro di questa parte".
• Perché questo è importante: È come un meteorologo che dice: "Pioverà, ma ne sono sicuro solo al 60%", invece di dire semplicemente "Pioverà". Questo aiuta gli utenti a sapere quando fidarsi dell'immagine e quando fare attenzione.

5. I Risultati

Il documento ha testato questo "Regista" su dati reali di terreni agricoli:

• Riempire le Lacune: Ha ricostruito con successo i giorni mancanti nel film, specialmente per le colture che cambiano rapidamente (come il grano in crescita), facendo un lavoro migliore rispetto a semplici trucchi matematici o modelli AI più vecchi.
• Prevedere il Futuro: Ha potuto indovinare come sarebbe apparso il campo settimane dopo l'ultima foto scattata. Non era perfetto (più si spingeva in là nelle previsioni, più l'immagine era sfocata), ma manteneva i colori e le forme generali corretti.
• L'Errore "Neve": Gli autori ammettono che l'AI si confonde con la neve. Poiché è stata addestrata sulle nuvole, a volte pensa che la neve sia solo un altro tipo di nuvola e cerca di "cancellarla" per mostrare il terreno sottostante, il che è sbagliato. Si confonde anche con le luci molto intense delle città.

Riepilogo

Questo documento presenta un nuovo modo per guardare la storia della Terra senza perdere un battito. Combinando fotocamere "colori" (che vengono bloccate dalle nuvole) con fotocamere "forme" (che vedono attraverso le nuvole), e insegnando all'AI a sapere quando fidarsi di quale fotocamera, hanno creato un sistema in grado di riempire le scene mancanti del film e prevedere le scene future. Fondamentalmente, ti dice anche quanto si fida delle proprie previsioni, agendo come un montatore responsabile che ammette: "Sto indovinando qui".

Sommario tecnico

Riepilogo Tecnico: Densificazione e Previsione delle Serie Temporali di Sentinel-2 da Dati Multimodali SAR e Ottici

Enunciato del Problema

Le serie temporali di immagini satellitari ottiche (SITS) sono fondamentali per applicazioni di osservazione della Terra come l'agricoltura, il monitoraggio climatico e l'analisi della superficie terrestre. Tuttavia, la loro utilità è severamente limitata da lacune nell'acquisizione e da campionamenti irregolari causati dalla copertura nuvolosa e dai bordi delle strisce. Sebbene gli approcci esistenti di deep learning abbiano affrontato con successo la rimozione delle nuvole e la densificazione temporale (interpolazione) all'interno della finestra temporale osservata, devono affrontare due limitazioni primarie:

1. Mancanza di Capacità di Previsione: La maggior parte dei metodi è limitata alla ricostruzione delle lacune all'interno dell'estensione temporale dei dati disponibili e non può prevedere osservazioni future (estrapolazione).
2. Assenza di Quantificazione dell'Incertezza: I modelli esistenti forniscono tipicamente stime puntuali senza quantificare esplicitamente l'affidabilità o la confidenza delle loro previsioni, aspetto cruciale per il processo decisionale a valle.
3. Vincoli sui Dati: Molti approcci si basano su input multimodali allineati temporalmente o su maschere delle nuvole esplicite, limitando la loro robustezza in scenari reali, sparsi e irregolari.

Metodologia

Gli autori propongono un framework probabilistico di deep learning progettato per generare immagini ottiche a date arbitrarie passate (interpolazione) o future (estrapolazione) partendo da serie temporali sparse, irregolari e multimodali (Ottico Sentinel-2 e SAR Sentinel-1). L'approccio è formulato come un problema di generazione di immagini condizionata all'obiettivo.

Panoramica dell'Architettura

Il modello è composto da tre componenti principali:

1. Estrazione di Caratteristiche Spaziali:

   • Encoder convoluzionali 2D separati elaborano i dati Sentinel-2 (RGB-NIR) e Sentinel-1 (VV/VH) indipendentemente per catturare pattern spaziali specifici della modalità.
   • Viene impiegato un meccanismo di Spatial Pyramid Pooling (SPP) per aggregare informazioni contestuali multiscala, preservando dettagli spaziali fini e prevenendo un eccessivo livellamento (over-smoothing).
   • Le sequenze di input vengono ridisegnate per elaborare ogni acquisizione indipendentemente nella dimensione spaziale prima della modellazione temporale.

2. Codifica Temporale e Cross-Attention:

   • Codifica Temporale: Il modello codifica esplicitamente il tempo per gestire il campionamento irregolare.
     • La data target ($d_{target}$) viene codificata utilizzando una rappresentazione continua basata sul giorno dell'anno (DOY) per catturare la stagionalità.
     • Le date di acquisizione di input ($d_i$) vengono codificate rispetto alla data target ($\Delta d = d_i - d_{target}$), catturando sia la distanza temporale che la direzione (passato/futuro).
   • Meccanismo di Cross-Attention: La codifica temporale della data target funge da query, mentre i token spaziotemporali provenienti da tutte le acquisizioni Sentinel-1 e Sentinel-2 disponibili fungono da chiavi e valori.
   • Questo meccanismo permette al modello di aggregare selettivamente informazioni dalle osservazioni temporalmente più rilevanti senza richiedere maschere delle nuvole esplicite o input allineati temporalmente. Il modello impara end-to-end a pesare le osservazioni affidabili e a ignorare quelle inaffidabili (ad esempio, pixel nuvolosi).

3. Decodificatore Probabilistico:

   • Invece di prevedere una singola immagine deterministica, il decodificatore prevede i parametri di una distribuzione di Laplace pixel per pixel (media $\mu$ e scala $b$) per ogni banda spettrale.
   • La distribuzione di Laplace è scelta per le sue code più pesanti, che sono più robuste a grandi errori di previsione e riducono l'eccessivo livellamento rispetto alle assunzioni Gaussiane.
   • Il modello restituisce sia l'immagine ottica ricostruita ($\mu$) sia una mappa di incertezza (derivata dal parametro di scala $b$).
   • L'addestramento viene eseguito minimizzando la verosimiglianza negativa della distribuzione di Laplace.

Contributi Chiave

1. Interpolazione ed Estrapolazione Unificate: A differenza di lavori precedenti limitati al riempimento delle lacune, questo framework genera immagini a date target arbitrarie, supportando sia la ricostruzione all'interno della finestra di osservazione sia la previsione oltre essa.
2. Modellazione Esplicita dell'Incertezza: La formulazione probabilistica fornisce stime di incertezza pixel per pixel ben calibrate, offrendo una misura di affidabilità della previsione che aumenta quando i dati sono sparsi o temporalmente distanti.
3. Fusione Multimodale Robusta: L'approccio sfrutta congiuntamente i dati SAR Sentinel-1 e ottici Sentinel-2 senza fare affidamento su maschere delle nuvole esterne o allineamento temporale rigoroso. Il meccanismo di cross-attention sfrutta adattivamente i dati SAR quando le osservazioni ottiche sono mancanti o contaminate.
4. Apprendimento End-to-End: Il modello impara a gestire il campionamento irregolare e la contaminazione da nuvole in modo implicito, eliminando la necessità di passaggi di pre-elaborazione come la maschera delle nuvole.

Risultati Sperimentali

Il metodo è stato valutato su un dataset di patch Sentinel-1 e Sentinel-2 (96x96 pixel) che coprono paesaggi diversi, con un focus sulle aree agricole.

Performance di Interpolazione

• Metriche Quantitative: Il modello proposto ha superato sia una baseline di interpolazione lineare sia il modello U-TILISE (solo sequenze ottiche da sequenza a sequenza) su tutti i tipi di copertura del suolo (Urbano, Foresta, Colture) in termini di MAE, RMSE e PSNR.
• Regioni Dinamiche: Il divario di performance è stato più significativo nelle aree di coltivazione, dove il modello ha catturato con successo dinamiche stagionali complesse e non lineari che l'interpolazione lineare e i modelli solo ottici non sono riusciti a modellare accuratamente.
• Analisi Qualitativa: In scenari con grandi lacune temporali, il modello ha prodotto ricostruzioni più nitide rispetto alle baseline. Crucialmente, le regioni con alta difficoltà di ricostruzione (ad esempio, grandi lacune) hanno mostrato un'incertezza prevista più elevata, dimostrando una stima coerente dell'incertezza.

Performance di Estrapolazione

• Il modello ha generato con successo osservazioni future plausibili, mantenendo la coerenza radiometrica nonostante la difficoltà intrinseca dell'estrapolazione.
• Sebbene gli errori fossero più elevati rispetto all'interpolazione, il modello ha preservato le principali dinamiche della vegetazione (ad esempio, l'evoluzione dell'NDVI) su grandi lacune (ad esempio, 1 mese e 20 giorni).
• Le mappe di incertezza hanno correttamente evidenziato le aree di minore confidenza durante l'estrapolazione.

Studi di Ablazione

• Multimodale vs Solo Ottico: L'inclusione dei dati SAR Sentinel-1 ha migliorato costantemente le performance (MAE/RMSE più bassi, PSNR più alti) rispetto a una variante solo ottica, confermando il valore delle informazioni strutturali del SAR in condizioni nuvolose o sparse.
• Codifica Temporale: L'uso della codifica temporale relativa ($\Delta d$) ha superato significativamente la codifica della data assoluta, suggerendo che informare esplicitamente la rete dell'offset temporale verso la data target è critico per le performance.
• Analisi dell'Attention: La visualizzazione dei pesi di attenzione ha rivelato che il modello sposta adattivamente il focus: si affida pesantemente ai dati ottici temporalmente vicini quando disponibili, ma aumenta significativamente l'attenzione verso l'acquisizione SAR più vicina quando i dati ottici sono mancanti o fortemente nuvolosi.

Significato e Limitazioni

Significato:
Il paper afferma che questo framework rappresenta un passo avanti nella generazione di serie temporali ottiche continue e affidabili affrontando le doppie sfide della previsione e della quantificazione dell'incertezza. La capacità di fornire stime di incertezza ben calibrate è evidenziata come un contributo chiave per applicazioni che richiedono supporto decisionale, analisi di scenari e valutazione del rischio. La fusione adattiva di dati SAR e ottici senza mascheratura manuale dimostra un approccio robusto alle irregolarità dei dati nel mondo reale.

Limitazioni:
Gli autori riconoscono diverse limitazioni:

• Riflettanza Estrema: Il modello tende a sottostimare valori di riflettanza molto alti (ad esempio, superfici artificiali, colture brillanti) a causa della regolarizzazione dalla distribuzione di addestramento.
• Neve e Montagne: Il modello manca di addestramento su regioni montuose o coperte di neve. Confonde frequentemente la neve con le nuvole, tentando di ricostruire la superficie sottostante (ad esempio, il suolo) piuttosto che preservare il segnale della neve, portando a previsioni fisicamente errate.
• Fuori Distribuzione: Il modello mostra una ridotta robustezza in condizioni non presenti nel set di addestramento (ad esempio, neve), sebbene l'alta incertezza associata serva come indicatore di avvertimento.

Gli autori concludono che, sebbene il framework sia efficace per il monitoraggio generale della superficie terrestre, il lavoro futuro dovrebbe concentrarsi sull'espansione dei dataset di addestramento per includere condizioni ambientali diverse (neve, montagne) e potenzialmente incorporare bande spettrali aggiuntive per discriminare meglio le superfici altamente riflettenti.