Technische Samenvatting: Veranderende Modaliteiten: Het aanpassen van Remote Sensing-modellen aan nieuwe satellieten en sensoren

Probleemstelling

Remote sensing (RS) modellen worden doorgaans getraind en ingezet op statische sets modaliteiten (bijv. specifieke satelliet-sensoren of spectrale banden). De wereld van aardobservatie is echter dynamisch: satellieten worden gelanceerd met nieuwe sensoren, oude worden uitgefaseerd en de beschikbaarheid van data verschuift (bijv. gratis data die achter een betaalmuur verdwijnt). Dit creëert een kritieke uitdaging: bestaande modellen falen wanneer ze worden geconfronteerd met modaliteiten die niet tijdens de training zijn gezien. Bijvoorbeeld, een model dat getraind is op de 12-bandenbeelden van Sentinel-2, kan niet voorspellen op een nieuwe hyperspectrale sensor met honderden banden.

Het artikel identificeert drie specifieke scenario's waarin modellen moeten adapteren aan veranderende modaliteiten zonder de luxe van het opnieuw labelen van data of het volledig opnieuw trainen vanwege computationele en annotatiebeperkingen:

1. Modality Transfer (Modaliteitsoverdracht): Het overschakelen van een model van een oude modaliteit ($M_A$) naar een nieuwe modaliteit ($M_B$) terwijl het voorspellend vermogen behouden blijft (bijv. de overstap van LandSAT naar Sentinel-2).
2. Modality Addition (Modaliteitstoevoeging): Het integreren van een nieuwe modaliteit ($M_B$) in voorspellingen naast de bestaande modaliteit ($M_A$) om complementaire informatie te benutten.
3. Modality Peeking (Modaliteit-gluren): Het verbeteren van voorspellingen op een oude modaliteit ($M_A$) door een nieuwe, ongelabelde modaliteit ($M_B$) te observeren tijdens de adaptatie, om vervolgens terug te keren naar $M_A$ voor inferentie.

De bestaande literatuur behandelt deze scenario's geïsoleerd (bijv. Knowledge Distillation voor transfer, Semi-Supervised Learning voor peeking, Multimodal Knowledge Expansion voor toevoeging) of gaat uit van vaste modaliteiten (Continual Learning, Domain Adaptation). Er bestaat geen verenigd framework dat alle drie de scenario's kan afhandelen in een label-vrije setting met behulp van ongelabelde multi-modale data.

Methodologie: DeluluNet

De auteurs stellen DeluluNet voor, een verenigde architectuur die ontworpen is om een bestaand unimodaal predictief model ($f_0$) aan te passen aan veranderende modaliteiten met behulp van ongelabelde gepaarde data ($D_a \subset M_A \times M_B$). Het kernconcept is Modality Hallucination (Modaliteitshallucinatie): het voorspellen van ontbrekende modaliteitsrepresentaties vanuit de aanwezige modaliteiten.

Architectuur

DeluluNet breidt een vooraf getrainde unimodale teacher ($f_0$, doorgaans een ViT) uit met drie modulaire componenten:

1. Modality-Specific Extraction (Modalspecifieke extractie):
   • $M_A$-componenten worden geïnitialiseerd met de gewichten van $f_0$.
   • $M_B$-componenten (tokenizer en transformer-lagen) worden willekeurig geïnitialiseerd om kenmerken specifiek voor de nieuwe modaliteit te leren.
2. Cross-Modality Fusion via Masking Transformers (Cross-modale fusie via masking transformers):
   • Geïnspireerd door masked image modeling, faciliteert deze component het leren tussen modaliteiten.
   • Het maakt gebruik van token-level masking (het willekeurig maskeren van tokens over verschillende modaliteiten) en modality-level masking (waarbij een volledige modaliteit als afwezig wordt beschouwd).
   • Een Masking Transformer gebruikt cross-attention om gemaskeerde tokens of volledige modaliteiten te "hallucineren" (imputeren) op basis van de zichtbare tokens van de andere modaliteit. Een geleerde query besteedt aandacht aan de zichtbare tokens van de andere modaliteit om de ontbrekende tokens te voorspellen.
3. Predictor Head (Voorspellingskop):
   • Een taakspecifieke kop ($Head_{M_B}$) die voorspelt vanuit $M_B$-representaties.

Trainingsstrategie

DeluluNet wordt end-to-end getraind met behulp van een batch mixing strategie die afwisselt tussen twee datapartities:

• Unlabeled Adaptation Split ($D_a$): Bevat gepaarde $M_A$ en $M_B$ data. Het model past masking toe (token- en modaliteitsniveau) en gebruikt Distillation Loss. Het model leert te voorspellen vanuit de gehallucineerde representaties door kennis te distilleren van de unimodale teacher $f_0$.
• Labeled Split ($D_l$): Bevat gelabelde $M_A$ data. Het model behandelt $M_B$ als gemaskeerd (gehallucineerd) en past Cross-Entropy Loss toe tegen de werkelijke labels. Dit stelt het model in staat om te leren van echte labels met behulp van pseudo-multi-modale inputs.

Loss Functies

De trainingsdoelstelling combineert vier loss-termen:

1. Distillation Loss: Op ongelabelde batches, waarbij de voorspellingen worden uitgelijnd met de teacher $f_0$.
2. Cross-Entropy Loss: Op gelabelde batches, waarbij de voorspellingen worden uitgelijnd met de grondwaarheid (ground truth).
3. Pre-fusion MSE: Houdt de masking transformer direct toezicht, wat het model stimuleert om de voorspelde CLS- en patch-tokens te laten overeenkomen met de ware tokens van de gemaskeerde modaliteit.
4. Latent MSE: Verankert de gefuseerde representatie aan de bevroren penultimate representaties van de teacher via een decoder.

Belangrijkste Resultaten

De auteurs evalueerden DeluluNet op drie datasets (EuroSAT, reBEN, DFC2020) die variaties in spectrale banden (binnen Sentinel-2) en cross-satelliet veranderingen (Sentinel-1 naar Sentinel-2) dekken.

• Modality Transfer: DeluluNet presteerde consequent beter dan label-vrije baselines zoals Knowledge Distillation (KD) en Transformed Teacher Matching (TTM). Opvallend genoeg overtrof DeluluNet in verschillende transfer-scenario's (bijv. S2-rgb naar S2-non-rgb) de volledig gesuperviseerde fine-tuned DINOv3-modellen, waarbij het prestaties bereikte die dicht bij oracle multi-modale foundation models (RSFMs) liggen, zonder dat er labels voor de doelmodaliteit nodig waren.
• Modality Addition: DeluluNet verbeterde de prestaties ten opzichte van de unimodale baseline $f_0$ en presteerde beter dan Multimodal Knowledge Expansion (MKE) baselines. In sommige gevallen evenaarde of overtrof het de gesuperviseerde RSFM-oracles (zo.n als Panopticon, OlmoEarth) die getraind zijn op gelabelde multi-modale data.
• Modality Peeking: DeluluNet verbeterde consequent de voorspellingen op de oorspronkelijke modaliteit ($M_A$) door gebruik te maken van ongelabelde observaties van $M_B$, waarbij het beter presteerde dan Semi-Supervised Learning baselines zoals MixMatch.
• Ablatie-studies: Het verwijderen van een enkele component (Masking Transformers, Pre-fusion MSE, Latent MSE of Batch Mixing) resulteerde in een degradatie van de prestaties in alle scenario's, wat de noodzaak van het hallucinatiemechanisme en de specifieke loss-termen bevestigt.
• Computationele Kosten: Hoewel DeluluNet door de hallucinatie computationeel zwaarder is dan unimodale modellen, zijn de kosten vergelijkbaar met bestaande multi-modale RSFMs (zoals Panopticon) wanneer zij multi-modale inputs verwerken.

Betekenis en Claims

Het artikel claimt dat DeluluNet een praktisch, label-vrij alternatief biedt voor het opnieuw labelen en hertrainen in een veranderende wereld. De primaire betekenis ligt in:

1. Verenigd Framework: Het is de eerste methode die transfer, addition en peeking scenario's gezamenlijk aanpakt onder één enkele architectuur.
2. Duurzaamheid: Het biedt een pad om bestaande modellen aan te passen aan nieuwe sensoren zonder de onhoudbare kosten van het vanaf nul pre-trainen van foundation models of het verzamelen van enorme gelabelde datasets voor elke nieuwe sensor.
3. Directe Inzetbaarheid: Praktische gebruikers kunnen bestaande fine-tuned modellen uitbreiden met modulaire componenten met behulp van breed beschikbare ongelabelde gepaarde satellietdata, in plaats van te wachten tot nieuwe foundation models zijn ontwikkeld.

De auteurs erkennen beperkingen, waarbij zij opmerken dat het huidige werk uitgaat van statische landgebruikstaken en gepaarde, gecollocatieerde observaties. Zij benadrukken dat temporele mismatch (bijv. bij rampenmonitoring) en de noodzaak voor continue zelfgesuperviseerde leerprocessen van het foundation model zelf, belangrijke richtingen zijn voor toekomstig onderzoek. Het artikel concludeert met een oproep tot langdurige benchmarks die diverse modaliteiten dekken om de duurzame evolutie van remote sensing-modellen samen met satellietconstellaties te ondersteunen.