How do Self-Supervised Remote Sensing Vision Models Transfer to Downstream Tasks?

Sintesi Tecnica: Come i modelli di visione per la telerilevazione auto-supervisionati si trasferiscono ai task a valle

Problematica
I modelli di fondazione geospaziali (GeoFM) auto-supervisionati sono emersi per apprendere rappresentazioni trasferibili da immagini satellitari su larga scala non etichettate. Tuttavia, il loro comportamento nei task a valle rimane difficile da caratterizzare. A differenza della comprensione delle immagini naturali, i dati di telerilevamento (RS) presentano sfide uniche: mancano di confini discreti degli oggetti, si affidano fortemente al contesto spettrale, temporale e geografico, e richiedono frequentemente predizioni a livello di pixel piuttosto che la classificazione dell'intera scena. I recenti benchmark indicano che i GeoFM non superano costantemente i baseline supervisionati, e nessun design di modello singolo domina tra i diversi task a valle. Inoltre, non è chiaro come i diversi obiettivi di apprendimento auto-supervisionato (SSL) preservino specifici tipi di informazione (ad esempio, spettrale a basso livello vs. semantica ad alto livello) e come queste informazioni siano organizzate attraverso la profondità della rete. Di conseguenza, le standard strategie di adattamento a valle, come i pesanti decoder multi-scala, potrebbero essere disallineate con il modo in cui i GeoFM strutturano le loro rappresentazioni interne.

Metodologia
Gli autori conducono una valutazione completa di sei rappresentativi GeoFM appartenenti a tre famiglie di pre-addestramento: joint-embedding (MoCo, DINO v1), ricostruzione (MAE, Prithvi v1) e multimodale/ibrido (CROMA, TerraMind). Questi modelli variano per scala architettonica (ViT-S vs. ViT-B), numero di parametri (da 42M a 2B) e dati di pre-addestramento (SSL4EO, NASA HLS, TerraMesh).

Lo studio impiega tre approoli analitici primari:

1. Valutazione del trasferimento a valle: I modelli sono valutati attraverso diversi task, inclusa la classificazione a livello di immagine (EuroSAT), la regressione (NeuCo-Bench per task a basso livello e semantici) e la segmentazione a livello di pixel (PANGAEA-Bench, PASTIS, Sen1Floods11). Le valutazioni considerano la disponibilità variabile di etichette (1-shot, 10%, 100%) e i pipeline di adattamento (encoder congelato vs. fine-tuning).
2. Analisi della rappresentazione per profondità: Utilizzando probe lineari per livello (layerwise linear probes), gli autori valutano quali blocchi transformer contengono informazioni rilevanti per il task. Questo distingue tra task a basso livello (es. stima della biomassa) e task semantici ad alto livello.
3. Analisi dell'adattamento e del fine-tuning: Lo studio confronta diverse architetture di decoder (UPerNet multi-scala pesante, multi-scala leggero e upsampler a singolo livello) e quantifica gli spostamenti di rappresentazione durante il fine-tuning utilizzando l'Allineamento del Kernel Centrato (CKA).

Contributi Chiave

• Sensibilità della classifica dei modelli: Gli autori dimostrano che le classifiche dei GeoFM sono altamente sensibili al tipo di task, alla disponibilità di etichette e alle impostazioni di adattamento. Un modello che performa bene su un task (es. regressione semantica) può performare meno bene su un altro (es. segmentazione densa), anche quando pre-addestrato sullo stesso dataset.
• Organizzazione delle informazioni per profondità: Attraverso il probing per livello, lo studio rivela che le informazioni rilevanti per il task sono spesso più accessibili nei blocchi transformer intermedi rispetto agli embedding dell'ultimo livello. I modelli basati sulla ricostruzione (MAE, Prithvi) tendono a preservare le informazioni a basso livello più in profondità nella rete, mentre i modelli di joint-embedding (MoCo, DINO) mostrano una transizione più netta dalle fasi a basso livello a quelle semantiche. TerraMind mostra un miglioramento progressivo attraverso tutti i livelli.
• Impatto delle strategie di adattamento: Le scelte di adattamento a valle, in particolare il design del decoder e il fine-tuning, influenzano significativamente le prestazioni. Gli autori riscontrano che i decoder più leggeri a singolo livello spesso eguagliano o superano i decoder multi-scala pesanti (come UPerNet), suggerendo che le standard teste di predizione densa potrebbero non allinearsi con l'organizzazione delle informazioni dei GeoFM.
• Dinamiche di fine-tuning: L'analisi CKA mostra che il fine-tuning non riscrive i GeoFM in modo uniforme. I cambiamenti di rappresentazione più forti sono spesso localizzati in sottolivelli specifici, in particolare nel primo strato lineare dell'MLP all'interno dei blocchi ViT, piuttosto che essere distribuiti uniformemente in tutta la rete.

Risultati

• Dipendenza dal Task: Nei task di regressione e classificazione, le classifiche dei modelli cambiano in base alla disponibilità di etichette e alle metriche di distanza. Ad esempio, i modelli di joint-embedding eccellono nei task semantici ad alto livello (EuroSAT) ma faticano con la regressione a basso livello, mentre i modelli di ricostruzione mostrano la tendenza inversa.
• Efficienza del Decoder: Nei casi di studio sulla segmentazione (PASTIS e Sen1Floods11), i decoder leggeri con meno parametri superano frequentemente l'UPerNet standard. Ad esempio, un upsampler a singolo livello che utilizza livelli intermedi (Blocco 5 o 7) spesso produce risultati migliori rispetto all'uso di feature dell'ultimo livello con un decoder pesante.
• Effetti del Fine-tuning: Il fine-tuning fornisce guadagni sostanziali per task complessi e multi-classe (PASTIS), ma offre ritorni minimi o negativi per task binari più semplici (Sen1Floods11). Notevolmente, un baseline supervisionato ImageNet (ViT-B/16 adattato a 13 canali) diventa competitivo con i GeoFM quando sottoposto a fine-tuning, anche in regimi a basse etichette.
• Scaling vs. Robustezza: Sebbene TerraMind (addestrato sul dataset più grande con 2B di parametri) dimostri robustezza nella maggior parte dei task, i modelli general-purpose più piccoli e il baseline ImageNet rimangono competitivi su dataset specifici, indicando che lo scaling da solo non garantisce prestazioni di trasferimento superiori per tutti i task geospaziali.

Significatività e Rivendicazioni
L'articolo sostiene che il comportamento di trasferimento dei GeoFM non è intrinseco al solo modello, ma è una funzione dell'interazione tra l'obiettivo di pre-addestramento, la struttura del task a valle e la strategia di adattamento. Gli autori affermano che gli attuali pipeline di valutazione spesso non tengono conto di come le informazioni siano organizzate attraverso la profondità della rete, portando a una selezione e un adattamento subottimali del modello.

Lo studio motiva uno spostamento lontano dalle strategie di adattamento "one-size-fits-all". Nello specifico, suggerisce che:

1. Valutazione Consapevole della Rappresentazione: I futuri benchmark dovrebbero considerare le rappresentazioni dei livelli intermedi piuttosto che fare affidamento esclusivamente sugli embedding finali.
2. Adattamento Su Misura: I design dei decoder dovrebbero essere allineati con i profili di profondità dei specifici GeoFM, favorendo potenzialmente decoder a singolo livello più leggeri o la selezione adattiva dei livelli rispetto alla fusione multi-scala pesante.
3. Fine-tuning Mirato: Poiché il fine-tuning induce cambiamenti localizzati (es. negli strati MLP), il lavoro futuro potrebbe esplorare metodi di fine-tuning efficienti nei parametri che mirano a questi specifici sotto-moduli piuttosto che a aggiornamenti completi della rete.

In definitiva, gli autori concludono che comprendere i meccanismi interni dei GeoFM è cruciale per sviluppare sistemi di osservazione della Terra più accurati ed efficienti, poiché gli attuali modelli su larga scala non superano universalmente i modelli più piccoli o quelli supervisionati senza schemi di trasferimento a valle accuratamente progettati.