SSL4EO-S12 v1.1: A Multimodal, Multiseasonal Dataset for Pretraining, Updated

Questo lavoro presenta SSL4EO-S12 v1.1, un dataset aggiornato e multimodale di osservazione terrestre che corregge le imprecisioni della versione precedente, offre una struttura dati ottimizzata per il caricamento efficiente e include nuove modalità come elevazione e copertura del suolo per supportare il preaddestramento di modelli fondazione su larga scala.

L'essenziale

Immagina di voler insegnare a un bambino a riconoscere il mondo, le stagioni e i cambiamenti della natura. Per farlo, non gli dai solo una foto singola, ma gli mostri un album fotografico completo che copre tutto il globo, in ogni stagione, e da diverse "prospettive" (come se avesse occhi umani, occhi a raggi X e una mappa topografica).

Questo paper presenta proprio questo album fotografico, ma per le intelligenze artificiali (le "fondamenta" su cui si costruiscono i modelli di AI). Si chiama SSL4EO-S12 V1.1.

Ecco cosa c'è di nuovo e perché è importante, spiegato con metafore:

1. Il Problema: "Foto Sgranate e Sfasate"

Nella versione precedente (v1), l'album aveva due difetti principali:

• Le foto non combaciavano: Se guardavi la stessa città con un satellite ottico (che vede i colori) e uno radar (che vede attraverso le nuvole), le immagini erano leggermente spostate, come due puzzle che non si incastrano perfettamente.
• Era difficile da usare: I dati erano "grezzi", pieni di buchi (nuvole, errori) e difficili da caricare velocemente sul computer.

2. La Soluzione: "Il Ristampino Perfetto" (V1.1)

Gli autori hanno preso quell'album e lo hanno ristampato e corretto (da qui la "V1.1").

• Allineamento perfetto: Hanno ritagliato e ruotato le immagini in modo che il satellite radar e quello ottico si sovrappongano esattamente, pixel per pixel. È come se avessero allineato perfettamente due strati di acetato trasparente sopra una mappa.
• Pulizia totale: Hanno rimosso le "macchie" (i dati mancanti o le nuvole troppo spesse) e riempito i buchi in modo intelligente, rendendo i dati "pronti all'uso" (Analysis-Ready Data). Non devi più sporcarti le mani a pulire; l'AI può iniziare a studiare subito.

3. Nuovi "Occhi" per l'AI (Multimodalità)

Nella versione vecchia, l'AI vedeva solo la superficie (foto e radar). Nella nuova versione, abbiamo aggiunto tre nuovi sensi:

• L'Altezza (DEM): Come una mappa in rilievo 3D. L'AI ora sa se sta guardando una montagna o una valle, non solo i colori.
• La Vegetazione (NDVI): Una "lente verde" che dice all'AI quanto è sana la pianta o l'erba in quel punto.
• L'Uso del Suolo (LULC): Come un'etichetta che dice "qui c'è una città", "qui c'è un bosco" o "qui c'è acqua".

È come dare all'AI non solo una foto, ma anche un libro di geografia e un manuale di botanica attaccati alla foto stessa.

4. La Struttura: "Il Camionino Intelligente"

I dati sono enormi (quasi un milione di "ritagli" di immagini!). Per non far impazzire i computer, li hanno impacchettati in un formato speciale chiamato Zarr dentro dei file WebDataset.

• Metafora: Immagina di dover spostare un intero archivio di biblioteche. Invece di portare i libri uno a uno (che richiederebbe milioni di viaggi), li hai messi in camioncini compatti (i file tar) che arrivano direttamente alla porta del computer. L'AI può "leggere" i libri mentre il camion è ancora in movimento, senza dover scaricare tutto prima di iniziare.

5. Cosa ci permette di fare?

Con questo nuovo album, le intelligenze artificiali possono imparare molto meglio:

• Vedere i cambiamenti nel tempo: Non solo "cosa c'è qui", ma "come è cambiato questo posto da gennaio a dicembre".
• Capire il contesto: Capire che un'area allagata è un fiume in piena e non un lago permanente, grazie all'altezza del terreno e alla vegetazione.
• Essere più veloci e precise: I modelli addestrati su questi dati (come il modello TerraMind citato nel paper) hanno già dimostrato di essere più bravi a risolvere compiti complessi rispetto ai modelli precedenti.

In sintesi

SSL4EO-S12 V1.1 è un super-dataset gratuito (come un gigantesco libro di testo aperto a tutti) che offre all'intelligenza artificiale una visione completa, pulita e sincronizzata della Terra. È stato aggiornato per correggere errori passati e arricchito con nuove informazioni, permettendo alle AI di diventare "esperti di geografia" molto più intelligenti, pronti ad aiutarci a monitorare il clima, gestire le città e proteggere l'ambiente.

È disponibile gratuitamente online, pronto per essere usato da chiunque voglia costruire il futuro dell'osservazione terrestre.

Sommario tecnico

Panoramica del Problema

Il documento affronta le limitazioni della versione originale del dataset SSL4EO-S12, ampiamente utilizzato per l'addestramento di modelli fondazione (Foundation Models) nel campo dell'Osservazione della Terra (EO). Nonostante il successo della versione precedente, essa presentava due criticità principali:

1. Disallineamento Spaziale: Erano presenti imprecisioni nell'allineamento geografico tra le patch del satellite Sentinel-1 (S-1, radar SAR) e Sentinel-2 (S-2, ottico).
2. Mancanza di Dati Pronti all'Analisi (ARD): La struttura dei dati e la presenza di valori mancanti (NaN) rendevano difficile il caricamento diretto per l'addestramento di modelli su larga scala senza un pre-processing complesso.
   Inoltre, la versione originale mancava di modalità aggiuntive (come elevazione e uso del suolo) necessarie per l'addestramento multimodale avanzato.

Metodologia e Elaborazione dei Dati

Gli autori hanno sviluppato SSL4EO-S12 v1.1 attraverso un rigoroso processo di rielaborazione dei dati acquisiti tramite Google Earth Engine:

• Correzione Geospaziale e Proiezione:

  • Per evitare distorsioni (specialmente vicino ai poli), i dati non sono più proiettati su EPSG:4326, ma mantenuti nelle zone UTM native.
  • Viene scaricata un'area di interesse più ampia per S-1 e S-2 per gestire i disallineamenti durante la reproiezione.
  • Le patch S-1 (GRD) vengono reproiettate per corrispondere esattamente alle coordinate S-2 (L2A).
  • La dimensione delle patch è fissata a 264x264 pixel (divisibile per 6 per supportare risoluzioni di 10m, 20m e 60m), con tutti i canali upsampled a 10m tramite interpolazione del vicino più prossimo.

• Pulizia e Preprocessing ARD:

  • Filtraggio NaN: Vengono scartate le località con più dell'1% di valori mancanti per qualsiasi timestamp o canale. I valori NaN residui vengono riempiti con interpolazione del vicino più prossimo.
  • Maschere delle Nuvole: Le maschere native di S-2 sono considerate inaffidabili; vengono quindi sostituite con maschere generate dal modello SEnSeI v2 per una maggiore accuratezza.
  • Ottimizzazione RGB: Per le immagini S-2 RGB, viene applicata una mappatura non lineare basata sui quantili (2% e 98%) per evitare saturazione nelle aree luminose (nuvole, neve) e scurimento eccessivo, garantendo una rappresentazione visiva bilanciata in 8-bit.

• Aggiunta di Nuove Modalità:
  Il dataset è stato arricchito con modalità allineate spazialmente e temporalmente:

  • NDVI: Calcolato da S-2 L2A come indice di vegetazione.
  • Uso del Suolo (LULC): Derivato da ESRI, arricchito con maschere di nuvole/neve SEnSeI v2.
  • DEM (Digital Elevation Model): Dati di elevazione Copernicus a 30m, risampolati a 10m (presenti come singolo timestamp poiché il terreno è statico).

• Formato e Archiviazione:

  • I dati sono archiviati in formato Zarr (versione 2) all'interno di shard WebDataset (.tar) per un caricamento efficiente e lo streaming.
  • I dati sono organizzati in serie temporali di 4 timestamp (stagionali, 2019-2021) con copertura nuvolosa <10%.
  • Il dataset è diviso in set di addestramento e validazione (99%-1%) seguendo la partizione di TerraMesh per evitare sovrapposizioni spaziali.

Contributi Chiave

1. Allineamento Spaziale Corretto: Risoluzione definitiva del disallineamento tra S-1 e S-2 tramite reproiezione accurata nelle zone UTM.
2. Formato ARD (Analysis-Ready Data): Fornitura di dati pre-puliti, privi di NaN critici e con maschere di nuvole accurate, pronti per l'addestramento diretto di Foundation Models.
3. Estensione Multimodale: Inclusione di dati di elevazione (DEM), uso del suolo (LULC) e indici di vegetazione (NDVI), permettendo l'addestramento di modelli multimodali complessi.
4. Copertura Globale e Diversità: Il dataset copre 246.144 località (circa 1 milione di patch totali) intorno alle 10.000 città più popolose al mondo, includendo ambienti urbani, rurali, oceanici e stagioni con neve.
5. Accessibilità: Rilascio sotto licenza CC-BY-4.0 su Hugging Face, con codice per il caricamento tramite WebDataset e supporto per xarray/Dask.

Risultati Sperimentali

Gli autori hanno valutato l'impatto del nuovo dataset confrontando diversi modelli sul benchmark PANGAEA:

• Il modello TerraMind, addestrato su SSL4EO-S12 v1.1 utilizzando tutte le modalità (ottiche, radar, DEM, LULC, NDVI), ha ottenuto le prestazioni migliori nella maggior parte dei task di benchmark (es. SpaceNet7, AI4Farms, BurnScars, MADOS).
• I modelli multimodali hanno dimostrato una capacità di generalizzazione superiore rispetto alle versioni addestrate solo su dati S-2 (come MAE, DINO, MoCo) o solo su S-1/S-2 (CROMA).
• L'aggiunta di modalità semantiche e topografiche ha permesso l'implementazione di task di previsione dei token, migliorando l'apprendimento delle rappresentazioni.

Significato e Impatto

SSL4EO-S12 v1.1 rappresenta un passo fondamentale per la ricerca nell'Osservazione della Terra:

• Facilita l'Addestramento di Foundation Models: Rimuove le barriere tecniche legate alla pulizia e all'allineamento dei dati, permettendo ai ricercatori di concentrarsi sull'architettura del modello.
• Abilita l'Apprendimento Multimodale e Temporale: È uno dei pochi dataset che combina serie temporali multistagionali con dati eterogenei (SAR, Ottico, DEM, LULC), essenziale per task complessi come il rilevamento di cambiamenti, la segmentazione di inondazioni e la pianificazione urbana.
• Standardizzazione: Promuove l'uso di formati efficienti (Zarr/WebDataset) e pratiche di dati "analysis-ready", diventando un nuovo standard di riferimento per la comunità scientifica open-source.

In sintesi, v1.1 non è solo un aggiornamento, ma una trasformazione del dataset in una risorsa robusta e pronta all'uso per la prossima generazione di modelli di intelligenza artificiale geospaziale.