Multi-modal, multi-scale representation learning for satellite imagery analysis just needs a good ALiBi

1. Il Problema

Il volume di immagini satellitari generate da costellazioni governative e commerciali sta crescendo esponenzialmente, superando la capacità degli analisti umani di elaborarle. Sebbene l'apprendimento di rappresentazioni (representation learning) offra una soluzione per l'estrazione automatica di caratteristiche, le attuali soluzioni presentano limitazioni significative:

• Frammentazione degli approcci: I modelli esistenti si concentrano solitamente su un solo aspetto alla volta: o gestiscono diverse risoluzioni spaziali (GSD - Ground Sample Distance), o diverse modalità di sensori (es. ottico vs SAR), o diverse acquisizioni temporali.
• Mancanza di modelli unificati: Pochi modelli tentano di catturare simultaneamente scale spaziali multiple e modalità diverse in un'unica architettura.
• Limitazioni delle posizioni: I meccanismi di attenzione standard nei Transformer faticano a gestire l'extrapolazione su sequenze molto lunghe (tipiche delle immagini satellitari) e a integrare nativamente informazioni sulla scala fisica (GSD) e sulla distanza tra le patch.

2. Metodologia

Il paper propone Scale-ALiBi, un approccio che estende i Transformer Vision (ViT) per gestire nativamente immagini multi-modali e multi-risoluzione.

A. Meccanismo di Attenzione Scale-ALiBi

L'innovazione centrale è l'estensione del meccanismo di attenzione lineare ALiBi (Attention with Linear Biases) per includere la scala del terreno.

• Bias Spaziale e di Scala: Viene introdotta una matrice di attenzione $A$ dove ogni posizione è modificata da un bias che dipende dalla distanza euclidea tra le patch e dal GSD (Ground Sample Distance) dell'immagine sorgente.
• Formula: La componente di bias è data da $g(i, j) = \text{distance}(i, j) \cdot \text{GSD}$. Questo permette al modello di comprendere che due patch distanti in un'immagine ad alta risoluzione (basso GSD) possono coprire la stessa area fisica di due patch vicine in un'immagine a bassa risoluzione (alto GSD).
• Vantaggio: Questo meccanismo permette al Transformer di estrapolare a sequenze più lunghe rispetto a quelle viste durante l'addestramento e di allineare semanticamente patch di dimensioni diverse.

B. Architettura del Modello (Triple-Contrastive & Reconstructive)

Il modello utilizza un'architettura complessa basata su tre encoder e un decoder:

1. Encoder Multi-Modale:
   • Due encoder a bassa risoluzione: uno per dati ottici (Sentinel-2) e uno per dati SAR (Sentinel-1).
   • Un encoder ad alta risoluzione (2x) per dati ottici ad alta risoluzione (NAIP).
2. Cross-Encoder: I token codificati vengono fusi tramite cross-attention per creare una rappresentazione congiunta radar-ottica, che viene poi fusa con il flusso di token ad alta risoluzione.
3. Obiettivo di Apprendimento (Loss Function):
   • Contrastive Loss ($L_{Con}$): Basata su InfoNCE, allinea le rappresentazioni delle tre modalità (Ottico Low-Res, Ottico High-Res, SAR) provenienti dalla stessa posizione geografica, "spingendo" le rappresentazioni di scene diverse.
   • Reconstructive Loss ($L_{Recon}$): Utilizza un Masked Autoencoder (MAE) per ricostruire tutte le modalità sensoriali da patch mascherate, forzando il modello a imparare una fusione robusta dei dati.
   • Loss Totale: $L = L_{Con} + L_{Recon}$.

C. Dataset Curato

Poiché non esisteva un dataset pubblico che allineasse perfettamente ottico, SAR e alta risoluzione, gli autori hanno creato un nuovo dataset:

• Sorgenti: Sentinel-1 (SAR), Sentinel-2 (Ottico), e NAIP (National Agriculture Imagery Program, USA).
• Copertura: Stati Uniti continentali e Porto Rico.
• Struttura: Coppie di immagini allineate a diverse risoluzioni (256x256 e 512x512) e modalità.

3. Contributi Chiave

1. Scale-ALiBi: L'estensione del meccanismo di attenzione ALiBi per incorporare esplicitamente le informazioni sulla scala (GSD) e sulla distanza spaziale, permettendo l'elaborazione nativa di immagini multi-risoluzione.
2. Architettura Unificata: Un modello in grado di apprendere rappresentazioni stabili attraverso modalità diverse (SAR/Ottico) e scale diverse (Low/High Res) simultaneamente.
3. Nuovo Dataset: La creazione e il rilascio pubblico di un dataset allineato di immagini ottiche e SAR a bassa e alta risoluzione, fondamentale per la ricerca futura nel settore.
4. Benchmarking: Valutazione rigorosa sul benchmark GEO-Bench.

4. Risultati

Il modello Scale-ALiBi è stato valutato sul benchmark GEO-Bench, che include compiti di classificazione e segmentazione su dati ottici e SAR a diverse risoluzioni.

• Confronto: Il modello è stato confrontato con CROMA (lo stato dell'arte precedente basato su contrastive learning radar-ottico), addestrato con le stesse risorse e dati.
• Performance:
  • Scale-ALiBi ha mostrato prestazioni simili o migliori rispetto a CROMA nella maggior parte dei compiti di classificazione (es. m-pv4ger, m-forestnet).
  • In alcuni compiti specifici (es. m-euronet), CROMA ha ancora un leggero vantaggio, ma gli autori notano che Scale-ALiBi è stato addestrato solo in modo preliminare e che con un training più esteso e un dataset più grande, le prestazioni dovrebbero eguagliare o superare lo stato dell'arte.
  • I risultati sono stati testati sia con metodi parametrici (rete neurale semplice) che non parametrici (K-Means, K-NN, UMAP).

5. Significato e Impatto

Questo lavoro è significativo per il campo del telerilevamento (remote sensing) per diversi motivi:

• Superamento dei Silos: Dimostra la fattibilità di un unico modello fondazionale che gestisce la complessità intrinseca dei dati satellitari (variazioni di risoluzione e tipo di sensore) senza bisogno di architetture separate.
• Scalabilità: L'uso di Scale-ALiBi risolve il problema della lunghezza delle sequenze e dell'extrapolazione, cruciale per immagini satellitari di grandi dimensioni.
• Risorsa per la Comunità: Il rilascio del dataset allineato rimuove una barriera significativa per la ricerca, permettendo ad altri di sviluppare e testare modelli multi-modali e multi-scala senza dover affrontare la complessa fase di allineamento dei dati.
• Futuro: Il paper apre la strada a modelli fondazionali più potenti per il monitoraggio terrestre, promettendo miglioramenti significativi con l'aumento della scala dei dati e del tempo di addestramento.