Sintesi Tecnica: Cambiamento di Modalità: Adattare i Modelli di Telerilevamento a Nuovi Satelliti e Sensori

Definizione del Problema

I modelli di telerilevamento (RS) sono tipicamente addestrati e implementati su set statici di modalità (ad esempio, specifici sensori satellitari o bande spettrali). Tuttavia, il panorama dell'osservazione della Terra è dinamico: vengono lanciati satelliti con nuovi sensori, quelli vecchi vengono ritirati e la disponibilità dei dati cambia (ad esempio, i dati gratuiti che diventano a pagamento). Ciò crea una sfida critica: i modelli esistenti falliscono quando si trovano di fronte a modalità non viste durante l'addestramento. Per esempio, un modello addestrato sulle immagini a 12 bande di Sentinel-2 non può effettuare previsioni su un nuovo sensore iperspettrale con centinaia di bande.

Il documento identifica tre scenari specifici in cui i modelli devono adattarsi a queste modalità mutevoli senza il lusso di rintelabelizzare i dati o riaddestrare da zero a causa dei vincoli computazionali e di annotazione:

1. Trasferimento di Modalità (Modality Transfer): Passare da una vecchia modalità ($M_A$) a una nuova ($M_A$) mantenendo la capacità predittiva (ad esempio, passando da LandSAT a Sentinel-2).
2. Aggiunta di Modalità (Modality Addition): Incorporare una nuova modalità ($M_B$) nelle previsioni insieme alla modalità esistente ($M_A$) per sfruttare informazioni complementari.
3. Sguardo alle Modalità (Modality Peeking): Migliorare le previsioni su una vecchia modalità ($M_A$) osservando una nuova modalità non etichettata ($M_B$) durante l'adattamento, per poi tornare a $M_A$ per l'inferenza.

La letteratura esistente affronta questi scenari isolatamente (ad esempio, la Distillazione della Conoscenza per il trasferimento, l'Apprendimento Semi-Supervisionato per lo "spying", l'Espansione della Conoscenza Multimodale per l'aggiunta) o assume modalità fisse (Apprendimento Continuo, Adattamento del Dominio). Non esiste un framework unificato per gestire tutti e tre gli scenari in un contesto privo di etichette utilizzando dati multimodali non etichettati.

Metodologia: DeluluNet

Gli autori propongono DeluluNet, un'architettura unificata progettata per adattare un modello predittivo unimodale esistente ($f_0$) a modalità mutevoli utilizzando dati accoppiati non etichettati ($D_a \subset M_A \times M_B$). Il concetto centrale è la Allucinazione di Modalità (Modality Hallucination): predire le rappresentazioni della modalità mancante a partire da quelle presenti.

Architettura

DeluluNet aumenta un insegnante unimodale pre-addestrato ($f_0$, tipicamente un ViT) con tre componenti modulari:

1. Estrazione Specifica per Modalità:
   • I componenti di $M_A$ sono inizializzati con i pesi di $f_0$.
   • I componenti di $M_B$ (tokenizer e strati transformer) sono inizializzati casualmente per apprendere le caratteristiche specifiche della nuova modalità.
2. Fusione Cross-Modality tramite Masking Transformer:
   • Ispirato al masking delle immagini (masked image modeling), questo componente facilita l'apprendimento tra le modalità.
   • Utilizza il masking a livello di token (mascheramento casuale dei token attraverso le modalità) e il masking a livello di modalità (trattare un'intera modalità come assente).
   • Un Masking Transformer utilizza l'attenzione incrociata (cross-attention) per "allucinare" (imputare) i token mascherati o le intere modalità basandosi sui token visibili dell'altra modalità. Una query appresa presta attenzione ai token visibili dell'altra modalità per predire quelli mancanti.
3. Testa del Predittore (Predictor Head):
   • Una testa specifica per il compito ($Head_{M_B}$) che predice dalle rappresentazioni di $M_B$.

Strategia di Addestramento

DeluluNet è addestrato end-to-end utilizzando una strategia di mixing dei batch che alterna tra due partizioni di dati:

• Split di Adattamento Non Etichettato ($D_a$): Contiene dati accoppiati $M_A$ e $M_B$. Il modello applica il masking (a livello di token e di modalità) e utilizza la Distillazione della Conoscenza (Distillation Loss). Il modello impara a predire dalle rappresentazioni allucinate, distillando la conoscenza dall'insegnante unimodale $f_0$.
• Split Etichettato ($D_l$): Contiene dati $M_A$ etichettati. Il modello tratta $M_B$ come mascherato (allucinato) e applica la Cross-Entropy Loss rispetto alle etichette reali. Ciò consente al modello di apprendere dai veri label utilizzando input pseudo-multimodali.

Funzioni di Perdita (Loss Functions)

L'obiettivo di addestramento combina quattro termini di perdita:

1. Distillation Loss: Sui batch non etichettati, allineando le previsioni con l'insegnante $f_0$.
2. Cross-Entropy Loss: Sui batch etichettati, allineando le previsioni con la verità fondamentale (ground truth).
3. Pre-fusion MSE: Supervisiona direttamente il masking transformer, incoraggiando i token CLS e i token patch predetti a corrispondere ai veri token della modalità mascherata.
4. Latent MSE: Ancora la rappresentazione fusa alle rappresentazioni penultime congelate dell'insegnante tramite un decoder.

Risultati Chiave

Gli autori hanno valutato DeluluNet su tre dataset (EuroSAT, reBEN, DFC2020) che coprono cambiamenti di banda (all'interno di Sentinel-2) e cambiamenti tra satelliti (da Sentinel-1 a Sentinel-2).

• Trasferimento di Modalità: DeluluNet ha superato costantemente i baseline privi di etichette come la Distillazione della Conoscenza (KD) e il Transformed Teacher Matching (TTM). In particolare, in diversi scenari di trasferimento (ad esempio, da S2-rgb a S2-non-rgb), DeluluNet ha superato i modelli DINOv3 completamente supervisionati, raggiungendo prestazioni vicine agli oracoli multi-modali di fondazione (RSFMs) senza richiedere etichette sulla modalità target.
• Aggiunta di Modalità: DeluluNet ha migliorato le prestazioni rispetto al baseline unimodale $f_0$ e ha superato i baseline di Espansione della Conoscenza Multimodale (MKE). In alcuni casi, ha eguagliato o superato gli oracoli RSFM supervisionati (come Panopticon, OlmoEarth) addestrati su dati multi-modali etichettati.
• Sguardo alle Modalità (Modality Peeking): DeluluNet ha costantemente migliorato le previsioni sulla modalità originale ($M_A$) sfruttando le osservazioni non etichettate di $M_B$, superando i baseline di Apprendimento Semi-Supervisionato come MixMatch.
• Studi di Ablazione: Rimuovere qualsiasi componente (Masking Transformers, Pre-fusion MSE, Latent MSE o Batch Mixing) ha causato un degrado delle prestazioni in tutti gli scenari, confermando la necessità del meccanismo di allucinazione e dei termini di perdita specifici.
• Costo Computazionale: Sebbene DeluluNet sia più costoso computazionalmente dei modelli unimodali a causa dell'allucinazione, il suo costo è paragonabile ai RSFM multi-modali esistenti (come Panopticon) quando gestisce input multi-modali.

Significato e Rivendicazioni

Il documento sostiene che DeluluNet fornisce un'alternativa pratica e priva di etichette alla rintelabelizzazione e al riaddestramento in un mondo in continuo cambiamento. La sua importanza primaria risiede in:

1. Framework Unificato: È il primo metodo ad affrontare congiuntamente gli scenari di trasferimento, aggiunta e "peeking" sotto un'unica architettura.
2. Sostenibilità: Offre una via per adattare i modelli esistenti a nuovi sensori senza il costo insostenibile di pre-addestrare modelli di fondazione da zero o raccogliere enormi dataset etichettati per ogni nuovo sensore.
3. Immediata Implementabilità: I professionisti possono potenziare i modelli fine-tuned esistenti con componenti modulari utilizzando ampiamente disponibili dati satellitari accoppiati non etichettati, invece di attendere lo sviluppo di nuovi modelli di fondazione.

Gli autori riconoscono i limiti, notando che l'attuale lavoro assume compiti di uso del suolo statici e osservazioni accoppiate co-locate. Evidenziano che il disallineamento temporale (ad esempio, nel monitoraggio dei disastri) e la necessità di un apprendimento auto-supervisionato continuo del modello di fondazione stesso sono direzioni importanti per il lavoro futuro. Il documento conclude con un invito a creare benchmark a lungo termine che coprano diverse modalità per supportare l'evoluzione sostenibile dei modelli di telerilevamento insieme alle costellazioni satellitari.