🤖 machine learning

Changing Modalities: Adapting Remote Sensing Models to New Satellites and Sensors

Dieses Paper stellt DeluluNet vor, eine end-to-end trainierte Architektur, die Fernerkundungsmodelle durch die Nutzung von Modality Hallucination zur Vorhersage fehlender Sensorrepräsentationen aus unbeschrifteten Daten an wechselnde Satellitenmodalitäten (Substitution, Addition oder Teilmenge) anpasst und somit den Einsatz von Modellen ohne kostspieliges Re-Labeling oder Re-Training ermöglicht.

Ursprüngliche Autoren: Tim G. Zhou, Anthony Fuller, Geoff Pleiss, Evan Shelhamer

Veröffentlicht 2026-06-23

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tim G. Zhou, Anthony Fuller, Geoff Pleiss, Evan Shelhamer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der Jahre damit verbracht hat, ein Rezept mit einem ganz bestimmten Satz an Zutaten zu perfektionieren: frischem Basilikum, Tomaten und Mozzarella. Sie wissen genau, wie man den perfekten Caprese-Salat zubereitet.

Stellen Sie sich nun vor, der Lebensmittelladen ändert sich. Der Basilikum wird aus dem Sortiment genommen und ein neues, exotisches Kraut wird eingeführt. Oder vielleicht hören sie auf, Tomaten zu verkaufen, und fangen statndessen an, eine neue Art von Paprika zu verkaufen. Oder sie haben sowohl die alten Tomaten als auch die neuen Paprikas, aber Sie haben noch nie mit beiden zusammen gekocht.

In der Welt der Satellitenbildgebung passiert genau das. Satelliten sind wie Lebensmittelläden, die ihre „Sensoren“ (die Zutaten) ständig aktualisieren. Eines Tages senden sie klare Fotos zurück (optische Daten); am nächsten Tag senden sie Radarbilder zurück (die Wolken durchdringen) oder hunderte von verschiedenen Farbbändern.

Das Problem ist, dass die „Köche“ (KI-Modelle), die auf den alten Zutaten trainiert wurden, oft scheitern, wenn ihnen die neuen Zutaten übergeben werden. Normalerweise müsste man, um das zu beheben, ein ganz neues Team von Köchen einstellen, die neue Gerichte probieren und beschriften (Daten neu labeln) und ein neues Modell von Grund auf neu trainieren. Das ist teuer und langsam.

Hier kommt „DeluluNet“ ins Spiel (ein spielerischer Name aus dem Paper, der auf die Idee von „Delusion“ oder „Halluzination“ anspielt).

Die Kernidee: „Die fehlenden Zutaten halluzinieren“

Das Paper schlägt einen cleveren Trick vor: Modalitäts-Halluzination.

Anstatt darauf zu warten, dass die neuen Zutaten beschriftet werden, lernt DeluluNet, sich vorzustellen oder zu „halluzinieren“, wie die fehlenden Zutaten basierend auf denen, die es hat, aussehen würden.

Hier ist die Funktionsweise in drei einfachen Szenarien, unter Verwendung der Analogien aus dem Paper:

1. Modalitätstransfer (Der Austausch)

Die Situation: Der alte Satellit (Satellit A) wird außer Dienst gestellt, und ein neuer (Satellit B) übernimmt seinen Platz. Sie haben ein Modell, das auf A trainiert wurde, aber jetzt haben Sie nur Daten von B.
Die Analogie: Sie sind es gewohnt, mit Basilikum zu kochen. Jetzt hat der Laden nur noch Rosmarin. Sie haben kein Rezept für Rosmarin, aber Sie haben einen riesigen Haufen unbeschrifteter Fotos, die zeigen, wie Basilikum und Rosmarin nebeneinander wachsen.
Die Lösung: DeluluNet betrachtet den Rosmarin und sagt: „Ich habe diesen schon einmal neben Basilikum gesehen. Ich kann erraten, wie der Basilikum hier ausgesehen hätte.“ Es nutzt diese Vermutung, um sein Rezept zu aktualisieren, damit es mit Rosmarin allein kochen kann, ohne einen neuen menschlichen Koch zu brauchen, der die Zutaten probiert.

2. Modalitätsaddition (Die Mischung)

Die Situation: Der alte Satellit ist immer noch im Einsatz, aber ein neuer kommt hinzu. Sie wollen beide nutzen, um bessere Vorhersagen zu treffen.
Die Analogie: Sie haben Ihren Basilikum, und jetzt haben Sie auch noch eine neue, scharfe Paprika. Sie möchten einen Salat machen, der beide verwendet.
Die Lösung: DeluluNet lernt, wie der Basilikum und die Paprika interagieren. Es nimmt die unbeschrifteten Fotos, auf denen sie gemeinsam wachsen, und lernt, wie es sie zu einem Super-Salat kombinieren kann. Es braucht keinen Menschen, der jedes einzelne Blatt beschriftet; es findet die Beziehung von selbst heraus.

3. Modalitäts-Peeking (Der heimliche Blick)

Die Situation: Sie müssen für Ihre tägliche Arbeit immer noch den alten Satelliten (Satellit A) verwenden, aber ein neuer, hochtechnologischer Satellit (Satellit B) ist verfügbar. Satellit B ist zu teuer oder zu selten, um ihn für alles zu nutzen, aber er verfügt über „Super-Vision“ (wie das Sehen feiner Details).
Die Analogie: Sie kochen mit Standard-Tomaten, aber Sie haben einen Freund mit einem hochmodernen Mikroskop, das die winzigen Details im Inneren einer Tomate sehen kann. Sie können das Mikroskop nicht für jede Tomate benutzen, aber Sie können ab und zu einen Blick darauf werfen.
Die Lösung: DeluluNet „spickt“ in die hochtechnologischen Daten (Satellit B), während es die Standarddaten (Satellit A) hat. Es lernt die geheimen Muster aus der hochtechnologischen Ansicht und wendet dieses Wissen dann an, um sein Kochen mit den Standard-Tomaten zu verbessern. Es wird klüger, ohne das teure Werkzeug dauerhaft wechseln zu müssen.

Wie lernt es? (Das „magische“ Training)

Das Paper erklärt, dass DeluluNet eine spezielle Trainingsmethode namens Batch Mixing verwendet:

Der Lehrer: Es beginnt mit einem intelligenten Modell, das auf den alten Daten trainiert wurde (der „Lehrer“).
Das Maskierungsspiel: Während des Trainings verbirgt (maskiert) das System manchmal eine Art von Daten. Zum Beispiel zeigt es dem Modell ein Radarbild, verbirgt aber das optische Bild.
Die Vermutung: Das Modell versucht zu „halluzinieren“ (vorherzusagen), wie das verborgene Bild basierend auf dem Radar aussehen sollte.
Die Überprüfung: Es vergleicht seine Vermutung mit dem echten verborgenen Bild (das es in den Trainingsdaten hat, nur nicht die Labels). Wenn die Vermutung nah dran ist, lernt es.
Das Ergebnis: Das Modell wird so gut darin, die fehlenden Teile zu erraten, dass es, wenn es in die reale Welt geht und nur eine Art von Daten erhält, die Lücken in seinem eigenen Geist „auffüllen“ und präzise Vorhersagen treffen kann.

Warum ist das eine große Sache?

Keine neuen Labels nötig: Normalerweise muss man ein Modell lehren, einen neuen Sensor zu nutzen, indem Menschen tausende Bilder beschriften. DeluluNet macht dies mit unbeschrifteten Daten (nur Rohbildern von zwei Satelliten), die reichlich vorhanden und kostenlos sind.
Ein Modell für alles: Anstatt für jeden neuen Satelliten ein neues Modell zu bauen, können Sie Ihr bestehendes Modell nehmen und es mit diesen modularen Teilen „aufrüsten“.
Es funktioniert: Das Paper hat dies an echten Satellitendaten (Sentinel-1 und Sentinel-2) getestet. In vielen Fällen schnitt DeluluNet besser ab als Modelle, die vollständig von Grund auf mit teuren beschrifteten Daten neu trainiert wurden.

Das Fazelt

Die Welt der Satelliten verändert sich ständig. Alte Sensoren sterben aus, neue entstehen, und Datenformate verschieben sich. DeluluNet ist eine flexible, „halluzinierende“ KI, die es uns ermöglicht, unsere bestehenden Modelle sofort an diese Veränderungen anzupassen, ohne den hohen Aufwand der Neubeschriftung der Welt zu betreiben. Es ist, als würde man einen Koch lehren, sich an einen wechselnden Lebensmittelladen anzupassen, indem man ihn üben lässt, die fehlenden Zutaten zu erraten, anstatt jedes Mal einen neuen Koch einzustellen, wenn sich die Speisekarte ändert.

Technisches Resümee: Changing Modalities: Adapting Remote Sensing Models to New Satellites and Sensors

Problemstellung

Remote-Sensing-Modelle (RS-Modelle) werden typischerweise auf statischen Modalitäten (z. B. spezifischen Satellitensensoren oder Spektralbändern) trainiert und eingesetzt. Die Erdbeobachtungssituation ist jedoch dynamisch: Satelliten werden mit neuartigen Sensoren gestartet, alte werden außer Dienst gestellt und die Datenverfügbarkeit verschiebt sich (z. B. kostenlose Daten werden hinter Bezahlschranken versteckt). Dies schafft eine kritische Herausforderung: Bestehende Modelle versagen, wenn sie mit Modalities konfrontiert werden, die während des Trainings nicht vorhanden waren. Beispielsweise kann ein Modell, das auf der 12-Band-Bildgebung von Sentinel-2 trainiert wurde, keine Vorhersagen für einen neuen hyperspektralen Sensor mit hunderten von Bändern treffen.

Das Paper identifiziert drei spezifische Szenarien, in denen Modelle an wechselnde Modalitäten anpassen müssen, ohne den Luxus der Neukennzeichnung von Daten oder eines Neu-Trainierens aufgrund von Rechen- und Annotationsbeschränkungen zu haben:

Modality Transfer (Modalitätstransfer): Wechsel eines Modells von einer alten Modality ( $M_A$ ) zu einer neuen ( $M_B$ ), während die Vorhersagefähigkeit erhalten bleibt (z. B. der Wechsel von LandSAT zu Sentinel-2).
Modality Addition (Modalitätserweiterung): Einbeziehung einer neuen Modality ( $M_B$ ) in Vorhersagen neben der bestehenden Modality ( $M_A$ ), um komplementäre Informationen zu nutzen.
Modality Peeking (Modalitäts-Einblick): Verbesserung der Vorhersagen auf einer alten Modality ( $M_A$ ) durch Beobachtung einer neuen, ungelabelten Modality ( $M_B$ ) während der Anpassung, gefolgt von der Rückkehr zu $M_A$ für die Inferenz.

Die bestehende Literatur behandelt diese Szenarien isoliert (z. B. Knowledge Distillation für Transfer, Semi-Supervised Learning für Peeking, Multimodal Knowledge Expansion für Addition) oder setzt feste Modalitäten voraus (Continual Learning, Domain Adaptation). Es existiert kein vereinheitlichter Rahmen, um alle drei Szenarien in einem label-freien Setting unter Verwendung ungelabelter multimodaler Daten zu handhaben.

Methodik: DeluluNet

Die Autoren schlagen DeluluNet vor, eine vereinheitlichte Architektur, die darauf ausgelegt ist, ein bestehendes unimodales Vorhersagemodell ( $f_0$ ) mithilfe ungelabelter gepaarter Daten ( $D_a \subset M_A \times M_B$ ) an wechselnde Modalitäten anzupassen. Das Kernkonzept ist die Modality Hallucination (Modalitätshalluzination): das Vorhersagen fehlender Modality-Repräsentationen aus den vorhandenen.

Architektur

DeluluNet erweitert ein vortrainiertes unimodales Teacher-Modell ( $f_0$ , typischerweise ein ViT) um drei modulare Komponenten:

Modality-Specific Extraction (Modalitätsspezifische Extraktion):
- $M_A$ -Komponenten werden mit den Gewichten von $f_0$ initialisiert.
- $M_B$ -Komponenten (Tokenizer und Transformer-Layer) werden zufällig initialisiert, um Features zu lernen, die spezifisch für die neue Modality sind.
Cross-Modality Fusion via Masking Transformers (Kreuzmodaler Fusion mittels Masking-Transformern):
- Inspiriert durch Masked Image Modeling, erleichtert diese Komponente das Lernen zwischen den Modalitäten.
- Sie verwendet Token-Level Masking (zufälliges Maskieren von Tokens über Modalitäten hinweg) und Modality-Level Masking (Behandlung einer gesamten Modality als abwesend).
- Ein Masking Transformer nutzt Cross-Attention, um maskierte Tokens oder ganze Modalitäten basierend auf sichtbaren Tokens der anderen Modality zu „halluzinieren“ (zu imputieren). Ein gelernter Query achtet auf die sichtbaren Tokens der anderen Modality, um die fehlenden vorherzusagen.
Predictor Head (Vorhersage-Kopf):
- Ein aufgabenspezifischer Kopf ( $Head_{M_B}$ ), der aus $M_B$ -Repräsentationen vorhersagt.

Trainingsstrategie

DeluluNet wird mittels einer Batch-Mixing-Strategie end-to-end trainiert, die zwischen zwei Datensplits alterniert:

Unlabeled Adaptation Split ( $D_a$ ): Enthält gepaarte $M_A$ - und $M_B$ -Daten. Das Modell wendet Maskierung an (Token- und Modality-Level) und verwendet den Distillation Loss. Das Modell lernt, aus den hallucinierten Repräsentationen vorherzusagen, indem es das Wissen vom unimodalen Teacher $f_0$ destilliert.
Labeled Split ( $D_l$ ): Enthält gelabelte $M_A$ -Daten. Das Modell behandelt $M_B$ als maskiert (halluziniert) und wendet den Cross-Entropy Loss gegen die realen Labels an. Dies ermöglicht es dem Modell, aus realen Labels unter Verwendung von pseudo-multimodalen Inputs zu lernen.

Loss-Funktionen

Das Trainingsziel kombelt vier Loss-Terme:

Distillation Loss: Auf ungelabelten Batches, zur Ausrichtung der Vorhersagen mit dem Teacher $f_0$ .
Cross-Entropy Loss: Auf gelabelten Batches, zur Ausrichtung der Vorhersagen mit der Ground Truth.
Pre-fusion MSE: Überwacht den Masking Transformer direkt und regt dazu an, dass die vorhergesagten CLS- und Patch-Tokens mit den wahren Tokens der maskierten Modality übereinstimmen.
Latent MSE: Verankert die fusionierte Repräsentation über einen Decoder an den gefrorenen Penultimate-Repräsentationen des Teachers.

Kernergebnisse

Die Autoren evaluierten DeluluNet auf drei Datensätzen (EuroSAT, reBEN, DFC2020), die Änderungen innerhalb der Bänder (innerhalb von Sentinel-2) sowie Änderungen zwischen Satelliten (Sentinel-1 zu Sentinel-2) abdecken.

Modality Transfer: DeluluNet übertraf konsistent label-freie Baselines wie Knowledge Distillation (KD) und Transformed Teacher Matching (TTM). Bemerkenswert ist, dass DeluluNet in mehreren Transfer-Szenarien (z. B. S2-rgb zu S2-non-rgb) voll überwachte, feinabgestimmte DINOv3-Modelle übertraf und eine Performance erreichte, die nahe an Oracle-multimodalen Foundation Models (RSFMs) liegt, ohne Labels für die Ziel-Modality zu benötigen.
Modality Addition: DeluluNet verbesserte die Performance gegenüber der unimodalen Baseline $f_0$ und übertraf die Multimodal Knowledge Expansion (MKE) Baselines. In einigen Fällen erreichte es die Performance von (oder übertraf) überwachten RSFM-Oracles (z. B. Panopticon, OlmoEarth), die mit gelabelten multimodalen Daten trainiert wurden.
Modality Peeking: DeluluNet verbesserte die Vorhersagen auf der ursprünglichen Modality ( $M_A$ ) durch die Nutzung ungelabelter Beobachtungen von $M_B$ konsistent und übertraf dabei Semi-Supervised Learning Baselines wie MixMatch.
Ablationsstudien: Das Entfernen einer beliebigen Komponente (Masking Transformer, Pre-fusion MSE, Latent MSE oder Batch Mixing) führte zu einer Verschlechterung der Performance in allen Szenarien, was die Notwendigkeit des Halluzinationsmechanismus und der spezifischen Loss-Terme bestätigt.
Rechenaufwand: Obwohl DeluluNet aufgrund der Halluzination rechenintensiver ist als unimodale Modelle, ist sein Aufwand vergleichbar mit bestehenden multimodalen RSFMs (wie Panopticon) beim Umgang mit multimodalen Inputs.

Bedeutung und Ansprüche

Das Paper behauptet, dass DeluluNet eine praktikable, label-freie Alternative zur Neukennzeichnung und zum Neu-Training in einer sich verändernden Welt bietet. Die primäre Bedeutung liegt in:

Vereinheitlichtem Rahmen: Es ist die erste Methode, die Transfer-, Addition- und Peeking-Szenarien unter einer einzigen Architektur gemeinsam adressiert.
Nachhaltigkeit: Es bietet einen Weg, bestehende Modelle an neue Sensoren anzupassen, ohne die unhaltbaren Kosten für das Pre-Training von Foundation Models von Grund auf oder die Sammlung massiver gelabelter Datensätze für jeden neuen Sensor.
Sofortige Einsatzfähigkeit: Praktiker können bestehende feinabgestimmte Modelle mit modularen Komponenten ergänzen, indem sie auf weit verbreitete ungelabelte, gepaarte Satellitendaten zurückgreifen, anstatt auf die Entwicklung neuer Foundation Models zu warten.

Die Autoren räumen Einschränkungen ein und merken an, dass die aktuelle Arbeit eine statische Landnutzungs-Aufgabe und gepaarte, ko-lokalisierte Beobachtungen voraussetzt. Sie betonen, dass zeitliche Fehlstellungen (z. B. bei der Katastrophenüberwachung) und die Notwendigkeit eines kontinuierlichen selbstüberwachten Lernens des Foundation Models selbst wichtige zukünftige Forschungsrichtungen sind. Das Paper schließt mit dem Aufruf nach langfristigen Benchmarks, die diverse Modalitäten abdecken, um die nachhaltige Evolution von Remote-Sensing-Modellen parallel zu den Satellitenkonstellationen zu unterstützen.