Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation

Riepilogo Tecnico: Pre-addestramento Cross-Scale per Immagini Satellitari a Bassa Risoluzione

Enunciato del Problema
La segmentazione semantica nel telerilevamento è fondamentale per applicazioni quali la sicurezza alimentare, la gestione delle catastrofi e la ricerca climatica. Tuttavia, le prestazioni dell'apprendimento profondo in questo dominio sono spesso limitate dalla scarsità di annotazioni a livello di pixel. Sebbene l'Apprendimento Auto-Supervisionato (SSL) offra una soluzione sfruttando l'abbondanza di immagini non etichettate, la letteratura attuale sull'SSL nel telerilevamento si basa prevalentemente su dataset a media risoluzione (MR) (ad esempio Sentinel-1/2, GSD ≥10m) a causa della loro disponibilità. Sebbene i dataset ad alta risoluzione (HR) (GSD ≤5m) forniscano dettagli spaziali più ricchi che naturalmente producono prestazioni superiori, sono spesso costosi, proprietari o soggetti a restrizioni.

Un approccio diretto di pre-addestramento esclusivamente su dati HR non riesce a catturare i vantaggi delle immagini MR, come le dimensioni spettrali più elevate, e potrebbe non trasferirsi efficacemente a compiti downstream che utilizzano input MR. Viceversa, il pre-addestramento esclusivamente su dati MR trascura il dettaglio spaziale disponibile nelle immagini HR. La sfida centrale affrontata da questo lavoro è come integrare i dataset HR nel pre-addestramento auto-supervisionato delle immagini MR per migliorare l'apprendimento delle rappresentazioni senza perdere i vantaggi specifici dei dati MR.

Metodologia
Gli autori propongono una strategia di Pre-addestramento Cross-Scale che utilizza un Componente di Affinità Spaziale progettato per essere integrato nei framework SSL esistenti. La metodologia impiega un dataset reale appaiato (Sen2Venus), contenente immagini Sentinel-2 (10m) e Venus (5m) co-temporali.

• Architettura: Il componente utilizza un'architettura studente-insegnante per l'autodistillazione.
  • Encoder Studente: Elabora patch dall'immagine a media risoluzione ($I_{MR}$). Questo encoder è condiviso con il framework SSL ospitante e viene aggiornato tramite backpropagation.
  • Encoder Insegnante (Insegnante HR): Elabora patch dall'immagine ad alta risoluzione ($I_{HR}$). Condivide la stessa architettura dello studente ma viene aggiornato tramite una Media Mobile Esponenziale (EMA) dei parametri dello studente per prevenire il collasso.
• Corrispondenza delle Patch: Dato un fattore di scala $s=2$, ogni patch in $I_{MR}$ corrisponde a $s^2$ patch in $I_{HR}$. L'output dell'insegnante HR per queste patch corrispondenti viene sottocampionato (tramite proiezione bilineare, bicubica o lineare) per corrispondere alla dimensionalità dell'output dello studente.
• Funzione di Perdita: Il cuore del metodo è la Perdita Gram. Invece di minimizzare l'Errore Quadratico Medio (MSE) tra le rappresentazioni delle patch direttamente, il metodo minimizza l'MSE tra le matrici di Gram (prodotti scalari a coppie di rappresentazioni normalizzate L2) dello studente e dell'insegnante sottocampionato. Questo approccio tollera le differenze specifiche del sensore tra le due risoluzioni, penalizzando al contempo le differenze nella struttura spaziale a livello di patch.
• Framework Testati: Il componente è stato valutato su due framework di Modellazione di Immagini Mascherate (MIM): I-JEPA (che utilizza il campionamento a blocchi) e LatentMIM (che utilizza un campionamento casuale non contiguo).

Contributi Chiave

1. Componente di Affinità Spaziale: Un modulo innovativo che consente ai framework SSL esistenti di sfruttare le immagini HR per apprendere rappresentazioni più ricche delle immagini MR attraverso un obiettivo di super-risoluzione nello spazio latente.
2. Strategia di Pre-addestramento Cross-Scale: Una dimostrazione che combinare dati reali appaiati HR e MR durante il pre-addestramento produce prestazioni downstream migliori rispetto al pre-addestramento su una sola risoluzione.
3. Validazione Empirica: Valutazione completa su quattro diversi compiti di segmentazione semantica MR (tipo di coltura, mappatura delle inondazioni, mappatura delle colture e rilevamento di inquinanti marini) che mostra miglioramenti coerenti.

Risultati
Gli autori hanno valutato il proposto modello SA (pre-addestrato con il componente di affinità spaziale su coppie HR/MR) rispetto ai modelli MR (pre-addestrati solo su MR) e ai modelli HR (pre-addestrati solo su HR) utilizzando il linear probing su quattro dataset: m-SA-Crop-Type, Sen1Floods11, PASTIS e MADOS.

• Prestazioni: Il modello SA ha superato il modello MR in tutti i casi tranne uno e ha superato il modello HR nella maggior parte dei casi in entrambi i framework I-JEPA e LatentMIM. Ad esempio, utilizzando LatentMIM, il modello SA ha raggiunto un'Intersezione sulla Media (mIoU) di 23,39 su m-SA-Crop-Type, rispetto a 21,41 (MR) e 22,39 (HR).
• HR Reale vs Falsa: Gli studi di ablazione hanno confermato che i guadagni di prestazioni derivano dal contenuto informativo dei dati HR reali. I modelli addestrati con dati HR "falsi" (generati tramite interpolazione di immagini MR) hanno generalmente ottenuto risultati inferiori rispetto a quelli addestrati con coppie HR reali, validando che il metodo apprende caratteristiche specifiche del sensore genuine e non solo il ridimensionamento della risoluzione.
• Ablazioni:
  • Perdita Gram: Ha superato la perdita MSE standard nei compiti downstream.
  • Sottocampionamento: Il sottocampionamento bilineare si è rivelato il più efficace ed efficiente dal punto di vista computazionale rispetto alla proiezione bicubica o lineare.
  • Campionamento: Il campionamento a blocchi non ha migliorato le prestazioni rispetto al campionamento casuale predefinito per LatentMIM.

Significato e Affermazioni
Il documento afferma che il componente di affinità spaziale proposto sfrutta efficacemente i dettagli visivi più ricchi delle immagini satellitari HR, mantenendo al contempo i vantaggi delle immagini MR (come le dimensioni spettrali e la disponibilità). Gli autori sostengono che questo approccio dimostra che strategie di addestramento efficaci che utilizzano sia dati HR che MR possono superare i modelli addestrati su una singola risoluzione.

Il lavoro evidenzia che, sebbene i dati HR siano preziosi, il semplice pre-addestramento su di essi è subottimale per i compiti downstream MR. Utilizzando coppie reali HR/MR e una distillazione basata sulla perdita Gram, il modello impara a rappresentare le patch MR con un livello di dettaglio spaziale che si avvicina a quello delle immagini HR. Gli autori concludono con modestia che, sebbene il loro metodo sia efficace, il lavoro futuro dovrebbe concentrarsi sulla riduzione della dipendenza da coppie di immagini HR/MR co-temporali di alta qualità, data la scarsità e la difficoltà di acquisire tali dataset.