Clustering Guided Domain-Specific Pretrained Foundation Model Very High-Resolution Arctic Remote Sensing

Sintesi Tecnica: Clustering-Guided per un Modello Fondazionale Pre-addestrato Specifico per il Dominio per il Telerilamento Artico ad Altissima Risoluzione

Problematica
Nonostante l'in precedenza senza precedenti di disponibilità di dati di osservazione della Terra (EO), vasti archivi rimangono sottoutilizzati per la sintesi scientifica. Una sfida centrale nell'informatica terrestre è trasformare i grandi dataset eterogenei di telerilamento in prodotti pronti per la scienza. Sebbene i recenti progressi nell'apprendimento auto-supervisionato e nei modelli fondazionali (ad esempio, i Masked Autoencoders o MAE) abbiano mostrato promesse nella computer vision, la loro applicazione diretta al telerilamento non è banale. Le immagini di telerilamento differiscono fondamentalmente dalle immagini quotidiane; i "geo-oggetti" sono proprietà emergenti di scala, contesto spaziale e processi temporali piuttosto che istanze visive discrete. Inoltre, gli esistenti Modelli Fondazionali di Telerilamento (RSFM), come Prithvi-EO-2.0, sono addestrati principalmente su dati a risoluzione media o grossolana o su dataset a risoluzione mista. Ciò solleva la questione se un singolo modello generalizzato possa rappresentare adeguatamente diversi processi del sistema terrestre, o se sia necessaria un'adattamento del dominio per catturare pattern specifici dell'ambiente, in particolare nell'Artico dove i rapidi cambiamenti guidati dal clima e le caratteristiche del permafrost su scala fine (ad esempio, poligoni di cuneo di ghiaccio, colate di termocarsismo retrogressivo) richiedono un'analisi ad altissima risoluzione spaziale (VHSR).

Metodologia
Lo studio propone un nuovo framework per lo sviluppo di un RSFM focalizzato sull'Artico combinando una cura delle immagini su scala regionale consapevole della diversità con il pre-addestramento MAE di un encoder Vision Transformer (ViT). La metodologia consiste in cinque componenti chiave:

1. Curatela e Campionamento dei Dati:

   • Fonte: Gli autori hanno utilizzato 267 TB di immagini multispettrali satellitari Vantor VHSR (circa 0,5 m di risoluzione) che coprono circa 5 milioni di km² della regione ecoregionale della tundra del permafrost artico.
   • Strategia: Per evitare il sovra-campionamento di aree visivamente ripetitive o a bassa informazione, è stato impiegato un workflow di clustering a due stadi.
     • Stadio 1 (Livello di scena): Circa 32.000 scene candidate sono state caratterizzate tramite descrittori spettrali (media/deviazione standard per banda) e metadati di acquisizione. È stato utilizzato il clustering affinity-propagation per selezionare esemplari di scene rappresentativi senza pre-specificare il numero di cluster.
     • Stadio 2 (Livello di chip): Le scene selezionate sono state partizionate in chip non sovrapponibili di 1024x1024 pixel. Questi chip sono stati ulteriormente caratterizzati da statistiche spettrali e caratteristiche di texture basate su Gabor. Un secondo passaggio di clustering affinity-propagation ha selezionato esemplari di chip rappresentativi all'interno di ogni scena.
   • Risultato: Questo processo ha curato circa 3 milioni di patch di addestramento rappresentative, garantendo una vasta diversità di scene e riducendo la ridondanza.

2. Architettura di Pre-addestramento:

   • Modello: Un encoder ViT-Large è stato pre-addestrato utilizzando un obiettivo MAE adattato al dominio.
   • Funzione di Perdita: L'obiettivo di ricostruzione combina un termine di Mahalanobis consapevole della covarianza e un termine di Spectral Angle Mapper (SAM) per catturare sia la deviazione spettrale multivariata che la coerenza della forma spettrale, riflettendo meglio il comportamento spettrale del telerilamento rispetto alla standard perdita per pixel.
   • Addestramento: Il modello è stato addestrato su 16 nodi di calcolo (64 GPU totali) per 800 epoche. I checkpoint sono stati valutati su task di validazione downstream per selezionare i pesi finali, invece di fare affidamento esclusivamente sulla perdita di ricostruzione.

3. Valutazione Downstream:

   • L'encoder pre-addestrato è stato integrato nel framework ViTDetLoc (un'architettura di rilevamento e segmentazione basata su transformer aumentata con embedding di posizione).
   • Dataset: Il modello è stato raffinato (fine-tuning) e valutato su quattro dataset di mappatura di feature artiche etichettati manualmente:
     • Infrastrutture costruite dall'uomo (edifici, strade, serbatoi).
       de I poligoni di cuneo di ghiaccio (IWP).
     • Colate di termocarsismo retrogressivo (RTS).
     • Reticoli capillari della tundra (TCNs).
   • Baseline: Le prestazioni sono state confrontate con una baseline ViT-Large inizializzata su ImageNet e con il modello fondazionale per la Terra a scopo generale, Prithvi-EO-2.0.

Contributi Chiave

• Curatela specifica del Dominio: Il paper introduce una strategia di campionamento scalabile e consapevole della diversità che seleziona i dati di addestramento in base alle reali caratteristiche dell'immagine (spettrali, texture, metadati) piuttosto che su etichette grossolane di copertura del suolo, affrontando la variabilità su piccola scala inerente alle immagini VHSR artiche.
• Modello Fondazionale specifico per l'Artico: Lo sviluppo di un RSFM pre-addestrato specificamente su immagini VHSR artiche curate, dimostrando che il pre-addestramento auto-supervisionato adattato al dominio produce rappresentazioni più trasferibili per la mappatura artica su piccola scala rispetto ai modelli general-purpose.
• Validazione su Feature Sparse: Lo studio valida il modello su feature artiche sfidanti, sparse e visivamente sottili (ad esempio, reti capillari e colate di termocarsismo) dove i modelli standard spesso faticano.

Risultati

• Analisi della Curatela: Mentre il campionamento casuale ha prodotto subset con distanze di Wasserstein inferiori rispetto all'archivio completo (indicando un migliore accoppiamento con la distribuzione marginale), l'approccio basato sul clustering ha prodotto una maggiore dispersione nello spazio dei descrittori. Ciò ha confermato che la strategia di curatela ha avuto successo nel dare priorità alla diversità e nel ridurre la ridondanza, esponendo il modello a una gamma più ampia di condizioni visive e di acquisizione.
• Prestazioni Downstream:
  • Il modello Arctic MAE-pretrained ha superato costantemente la baseline inizializzata su ImageNet in tutti e quattro i task, ottenendo miglioramenti del foreground mean F1 di circa 5–8 punti percentuali.
  • I punteggi specifici di foreground mean F1 per l'Arctic MAE sono stati: 0,87 (Infrastrutture), 0,72 (IWP), 0,93 (RTS) e 0,87 (TCNs).
  • Crucialmente, il modello proposto ha superato Prithvi-EO-2.0 in tutti i confronti downstream, ottenendo almeno un miglioramento del 15%. Gli autori attribuiscono ciò al mismatch di risoluzione (Prithvi usa dati a 30m contro i 0,5m di Vantor) e allo shift del dominio, suggerendo che il trasferimento cross-risoluzione dai modelli generali sia insufficiente per compiti artici specializzati e su piccola scala.

Significatività e Rivendicazioni
Il paper sostiene che ottimizzare la distribuzione dei dati di pre-addestramento a livello regionale, mantenendo fissa l'architettura e l'obiettivo MAE, può produrre un encoder riutilizzabile e specifico per il dominio per molteplici applicazioni di telerilamento VHSR. Gli autori sostengono che per compiti che coinvolgono texture su piccola scala, morfologia locale e specifiche condizioni superficiali (come la dinamica del permafrost artico), il pre-addestramento auto-supervisionato specifico del dominio su immagini curate fornisce rappresentazioni più trasferibili rispetto al ricorso a modelli fondazionali della Terra a scopo generale. Questo lavoro dimostra un percorso scalabile per trasformare i grandi archivi di immagini artiche non etichettate in modelli fondazionali che supportano task di rilevamento e segmentazione anche con dati etichettati limitati.