Sintesi Tecnica: La Vista dallo Spazio: Navigare le Differenze di Strumentazione con gli EOFM

Definizione del Problema

I Modelli Fondazionali per l'Osservazione della Terra (EOFM) sono diventati strumenti prevalenti per l'elaborazione di enormi volumi di dati rilevati da remoto, spesso utilizzando output pre-addestrati come embedding per compiti come la ricerca di similarità e le query specifiche per il contenuto. Tuttavia, esiste una lacuna critica nella comprensione di come le diverse architetture dei sensori impattino le rappresentazioni interne di questi modelli.

Mentre la computer vision tradizionale opera in uno spazio relativamente uniforme (bande RGB coerenti e quantizzazione standard), i dati di osservazione terrestre sono altamente non uniformi. I sensori possiedono architetture, condizioni di osservazione e stack di elaborazione complessi (calibrazione radiometrica/geometrica, correzione atmosferica, mascheramento delle nuvole) diversificati. Il lavoro esistente spesso addestra modelli su singole modalità e li valuta semplicemente facendo corrispondere le bande spettrali tra diversi sensori (ad esempio, assumendo che un modello addestrato su Landsat-8 debba generalizzare senza problemi a Harmonized Landsat and Sentinel (HLS) o Sentinel-2). Resta poco chiaro se piccole differenze nelle letture degli strumenti e nelle architetture dei sensori determinino variazioni significative negli spazi di embedding degli EOFM, potenzialmente minando la loro utilità in compiti a valle come il few-shot learning o la ricerca di similarità.

Metodologia

Per valutare la sensibilità dello spazio di rappresentazione degli EOFM rispetto all'architettura del sensore, gli autori hanno costruito un dataset innovativo e hanno impiegato un approccio di analisi non supervisionata con pesi del modello congelati.

Costruzione del Dataset:

• Località: 600 punti campionati casualmente nell'Indiana, USA.
• Risoluzione: Risoluzione spaziale di 30 metri, compositi mosaicati di 2 mesi di 224x224 pixel.
• Modalità: Quattro dataset ottici (HLS, Landsat-8, Landsat-9, Sentinel-2) e un dataset SAR (Sentinel-1, polarizzazioni VV/VH).
• Pre-elaborazione: I dati ottici sono stati mascherati per un'occlusione nuvolosa >20% utilizzando pixel QA. Il USDA Crop Data Layer è stato allineato come riferimento semantico.

Modelli Valutati:

• Prithvi: Un modello pre-addestrato esclusivamente su dati HLS con un input fisso a sei bande. Rappresenta l'archetipo di modelli che richiedono il far corrispondere le bande spettrali per lunghezza d'onda e scartare le eccedenti.
• DOFA: Un modello che utilizza un livello di embedding di rete dinamico che genera pesi convoluzionali basati sulle lunghezze d'onda centrali degli input. È stato addestrato su modalità diverse (da aerea RGB a satellitare) e può accettare qualsiasi configurazione di bande, caratterizzando gli input esclusivamente tramite la lunghezza d'onda centrale.

Tecniche di Valutazione:

1. Visualizzazione dello Spazio di Embedding: Utilizzato t-SNE per ridurre lo spazio latente a 768 dimensioni in 2D, visualizzando i cluster in base alla modalità di origine. L'obiettivo era determinare se i dati si raggruppano per tipo di sensore piuttosto che per caratteristiche semantiche (es. copertura del suolo).
2. Analisi dei Vicini Locali:
   • Token CLS: Misurato la sovrapposizione dei vicini più prossimi (5, 10, 20) tra le modalità per valutare la similarità globale dell'immagine.
   • Patch Embeddings: Confrontato i 10 vicini più prossimi degli embedding delle patch utilizzando la similarità del coseno. La similarità semantica è stata rappresentata dal rapporto percentuale di vicini che condividono la stessa classe del USDA Crop Data Layer.
   • Classificazione della Modalità: Addestrato classificatori semplici (Random Forest e 5-NN) per predire la modalità di input di un embedding di patch, testando quanto sia facile partizionare lo spazio di embedding per fonte del sensore.

Risultati Chiave

Lo studio dimostra che gli spazi di rappresentazione degli EOFM sono altamente sensibili all'architettura del sensore, portando a significativi shift distribuzionali anche quando le bande spettrali sono nominalmente corrispondenti.

• Clustering Visivo: I grafici t-SNE (Figure 1 & 2) hanno rivelato cluster chiari e distinti basati sulla modalità di origine sia per Prithvi che per DOFA. Ciò indica che, nello spazio ad alta dimensionalità, i dati sono distribuiti principalmente per fonte del sensore piuttosto che per contenuto semantico. Sebbene DOFA abbia mostrato una maggiore resilienza ai cambiamenti di modalità rispetto a Prithvi, separazioni distinte sono rimaste presenti nella maggior parte dei casi di coppia.
• Bassa Sovrapposizione dei Vicini: Nell'analisi dei vicini locali dei token CLS, la percentuale media di vicini corrispondenti tra diverse modalità è stata raramente superiore al 30%. Ad esempio, tra Landsat-8 e Sentinel-2, solo il ~18-20% dei vicini corrispondeva. Ciò suggerisce che nei contesti di ricerca di similarità, la modalità di input diventa il determinante primario dei candidati "simili", potenzialmente sovrastando la similarità semantica.
• Drift Semantico: Analizzando gli embedding delle patch, la percentuale di vicini che condividono la stessa classe di coltura è variata fino al 4% a seconda della modalità. Ciò conferma che i cambiamenti di modalità alterano non solo la struttura dei vicini, ma anche la similarità semantica delle patch di immagini locali.
• Alta Predittività della Modalità: Classificatori semplici potevano predire la modalità di origine di un embedding di patch con alta precisione (90,7% per Prithvi e 88,7% per DOFA) utilizzando un Random Forest. Ciò implica che gli spazi di embedding sono facilmente partizionabili per fonte del sensore, rendendo difficile ottenere rappresentazioni invarianti rispetto alla modalità.

Significato e Rivendicazioni

Il documento sostiene che il design e l'uso attuali degli EOFM affrontano significativi pericoli a causa della mancanza di considerazione della diversità dell'architettura dei sensori.

• Limitazioni delle Pratiche Correnti: Gli autori sostengono che semplicemente far corrispondere le bande spettrali per lunghezza d'onda e addestrare su singole modalità sia insufficiente. Questi approcci non riescono a tenere conto dei più sottili shift di distribuzione sottostanti causati da diverse tecnologie dei sensori e stack di elaborazione.
• Implicazioni per gli Utenti: Gli utenti degli EOFM devono allineare attentamente i propri regimi di raccolta dati con i dati di pre-addestramento del modello scelto. Affidarsi agli embedding di un modello addestrato su un sensore per dati provenienti da un altro, senza una rigorosa validazione, rischia un degrado significativo delle prestazioni nei compiti a valle.
• Direzioni Future: Le scoperte motivano lo sviluppo di modelli che considerino esplicitamente le diverse modalità dei sensori e le complessità della tecnologia di cattura spettrale. Gli autori raccomandano la creazione di dataset altamente multimodali e con flussi di input multipli (come quello costruito in questo studio) per testare rigorosamente le capacità cross-modalità.

Il documento conclude che comprendere queste differenze di strumentazione è vitale per la comunità per progredire verso una scienza del telerilevamento robusta, garantendo che gli EOFM forniscano un impatto affidabile attraverso il diversificato panorama dei dati di osservazione terrestre.