ChronoEarth-492K: A Large Scale and Long Horizon Spatiotemporal Hyperspectral Earth Observation Dataset and Benchmark

Sintesi Tecnica di ChronoEarth-492K: Un Dataset e un Benchmark Iperspettrali di Osservazione della Terra Spaziotemporali su Larga Scala e a Lungo Orizzonte

Enunciato del Problema
L'imaging iperspettrale (HSI) offre informazioni spettrali dense (centinaia di bande contigue) essenziali per la caratterizzazione a livello di materiale della superficie terrestre, superando le capacità dei sensori multispettrali. Sebbene i recenti progressi nell'apprendimento auto-supervisionato (SSL) abbiano sfruttato l'HSI per la rappresentazione spaziale statica, i dataset su larga scala esistenti rimangono "temporalmente superficiali". Sono prevalentemente progettati per la comprensione di scene statiche, mancando della copertura temporale continua e a lungo termine necessaria per modellare le dinamiche superficiali, come la deforestazione, le transizioni nell'uso del suolo e i cambiamenti degli ecosistemi. Di conseguenza, lo sviluppo e la valutazione sistematica di modelli fondazionali iperspettrali spaziotemporali a lungo orizzonte sono attualmente ostacolati dalla mancanza di dati adatti e di benchmark standardizzati.

Metodologia
Gli autori colmano questa lacuna attraverso la costruzione di ChronoEarth-492K e del ChronoEarth-Benchmark.

• Fonte Dati e Curatela: ChronoEarth-492K è costruito sulla missione EO-1 Hyperion della NASA (2001–2017), il più lungo archivio iperspettrale spaziale continuo al mondo. Gli autori hanno curato 492.354 patch armonizzate radiometricamente su 185.398 località globali.
• Preprocessing:
  • Armonizzazione Spettrale: Dalle 242 bande originali, sono state rimosse le bande instabili e a basso segnale (ad esempio, le regioni di assorbimento dell'acqua), mantenendo 155 bande spettralmente coerenti allineate a una griglia di lunghezze d'onda unificata.
  • Patching Globale: Le scene sono state ricampionate a una risoluzione uniforme di 30 m e divise in patch non sovrapposte di $128 \times 128$ pixel. È stato utilizzato un sistema di griglia globale deterministico basato sulle zone UTM per assegnare identificatori di posizione unici (UID) a ciascuna patch.
  • Allineamento Spaziotemporale: Le patch che condividono lo stesso UID in diversi timestamp sono state aggregate per formare sequenze temporali. Il dataset include 28.786 località con sequenze multi-temporali (≥3 osservazioni), consentendo sia analisi a breve che a lungo orizzonte.
• Costruzione del Benchmark: Il ChronoEarth-Benchmark integra sei prodotti geospaziali open-source (che coprono la copertura del suolo, i tipi di colture, la dinamica forestale e le proprietà del suolo) allineati alle osservazioni iperspettrali. Definisce tre categorie di attività:
  1. Attività Statiche: Predizione di etichette da una singola osservazione iperspettrale.
  2. Attività a Breve Orizzonte (SH): Aggregazione di osservazioni temporalmente adiacenti (ad esempio, $T \le 4$) per la predizione.
  3. Attività a Lungo Orizzonte (LH): Predizione di stati futuri (ad esempio, anno $n+1$) basata su sequenze storiche (ad esempio, anni 2001 fino a $n$).
  • Impostazioni di Generalizzazione: Il benchmark include divisioni di generalizzazione spaziotemporale e continentale per valutare la robustezza del modello sotto spostamenti di dominio (ad esempio, addestramento su Europa/America del Nord e test su Africa/L America Latina).
• Protocollo Sperimentale: Gli autori hanno valutato modelli fondazionali iperspettrali all'avanguardia (ad esempio, SpectralViT, LESSViT, DOFA, HyperSigma). Per gestire gli input temporali, hanno adottato un approccio in due fasi: (1) pre-addestramento statico sull'intero dataset e (2) pre-addestramento temporale di seconda fase su sequenze multi-temporali utilizzando un obiettivo di mascheramento causale (predizione del frame successivo). Le strategie di adattamento temporale includevano il max pooling, l'aggregazione basata sull'attenzione e il fine-tuning con SSL temporale.

Contributi Chiave

1. ChronoEarth-492K: Il primo dataset SSL iperspettrale su larga scala e temporalmente calibrato, che offre 17 anni di osservazioni globali con 492.354 patch e 28.786 sequenze multi-temporali.
2. ChronoEarth-Benchmark: Una suite di valutazione unificata che abbraccia attività temporali statiche, a breve orizzonte e a lungo orizzonte, insieme a impostazioni controllate di generalizzazione spaziale e temporale.
3. Baseline Empiriche: Valutazioni estese dei modelli fondazionali iperspettrali, che stabiliscono baseline di riferimento e dimostrano l'efficacia del pre-addestramento e della modellazione temporale in contesti diversi.

Risultati

• Prestazioni Statiche: Il pre-addestramento auto-supervisionato su ChronoEarth ha migliorato costantemente le prestazioni a valle rispetto all'addestramento supervisionato da inizializzazione casuale. Le architetture che modellano esplicitamente le interazioni spaziali-spettrali (ad esempio, LESSViT) hanno generalmente superato le altre nelle attività statiche.
• Generalizzazione: I modelli hanno mostrato un degrado delle prestazioni sotto spostamenti di distribuzione spaziali e temporali, con la variabilità geografica identificata come un fattore dominante che limita la generalizzazione. Tuttavia, i modelli pre-addestrati su ChronoEarth hanno dimostrato un efficace trasferimento cross-satellite verso dataset basati su EnMAP, nonostante le differenze spettrali tra EO-1 Hyperion e EnMAP.
• Modellazione Temporale:
  • Breve Orizzonte: L'inclusione di osservazioni temporali aggiuntive ha generalmente migliorato le prestazioni. I modelli pre-addestrati temporalmente (utilizzando SSL di seconda fase) hanno superato sia le varianti basate su max pooling che quelle supervisionate basate sull'attenzione, indicando che l'aggregazione temporale appresa è superiore al pooling ingenuo.
  • Lungo Orizzonte: Estendere la storia temporale ha generalmente migliorato le prestazioni nelle attività di transizione della copertura del suolo (CLCD, NLCD-S). Il modello pre-addestrato temporalmente ha costantemente superato le altre strategie, confermando la necessità di una modellazione temporale appresa per catturare dipendenze estese. Tuttavia, per target sensibili al tempo come il tipo di coltura (CDL), le prestazioni sono diventate instabili con orizzonti molto lunghi ($T \le 8$), suggerendo che un contesto storico più lungo potrebbe introdurre rumore per determinate attività.

Significato
Il documento afferma che ChronoEarth e il suo benchmark forniscono la prima piattaforma su larga scala e fondata temporalmente per l'apprendimento sistematico di rappresentazioni iperspettrali spaziotemporali. Superando la comprensione di scene statiche, questo lavoro consente lo studio delle dinamiche ambientali a lungo termine e stabilisce un quadro standardizzato per valutare le capacità di generalizzazione temporale e di previsione. Gli autori notano che, sebbene il loro approccio attuale estenda backbones statici con moduli temporali, la ricerca futura dovrebbe concentrarsi sullo sviluppo di modelli fondazionali spaziotemporali nativi che integrino l'apprendimento spaziale, spettrale e temporale in un'architettura unificata per gestire meglio osservazioni a lungo termine e irregolarmente campionate.