🤖 machine learning

Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing

Die Arbeit stellt KG-VSF, einen neuen vortrainierten Ansatz für multimodale Grundmodelle in der Fernerkundung vor, der durch die Modellierung kausaler Zusammenhänge zwischen Treiber- und Antwortvariablen die Leistung bei nachgelagerten Aufgaben wie der Bodenfeuchteschätzung und der Vorhersage zukünftiger Bilder im Vergleich zu herkömmlichen Methoden verbessert.

Ursprüngliche Autoren: Praveen Ravirathinam, Ajitesh Parthasarathy, Ankush Khandelwal, Rahul Ghosh, Vipin Kumar

Veröffentlicht 2026-03-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Praveen Ravirathinam, Ajitesh Parthasarathy, Ankush Khandelwal, Rahul Ghosh, Vipin Kumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Warum sehen unsere KI-Modelle die Welt nicht ganz richtig?

Stellen Sie sich vor, Sie wollen eine KI beibringen, wie die Welt funktioniert. Bisher haben die Forscher das so gemacht: Sie haben der KI Tausende von Satellitenbildern gezeigt und sie gezwungen, fehlende Teile der Bilder auszufüllen (wie ein riesiges Puzzle). Das funktioniert ganz gut, um zu erkennen, was auf einem Bild zu sehen ist (z. B. "Das ist ein Wald" oder "Das ist eine Stadt").

Aber: Diese KI versteht nicht wirklich, warum sich Dinge verändern. Sie weiß nicht, dass Regen dazu führt, dass Gras grün wird, oder dass Hitze dazu führt, dass es verdorrt. Sie sieht nur die Bilder, nicht die Geschichte dahinter.

Die neue Idee: Der "Wetter-Detektiv" (KG-VSF)

Die Autoren dieses Papers haben eine neue Methode entwickelt, die sie KG-VSF nennen. Das klingt kompliziert, ist aber im Kern eine geniale Idee:

Stellen Sie sich vor, Sie wollen einem Schüler beibringen, wie das Wetter die Landschaft verändert.

Die alte Methode (Puzzle): Der Lehrer zeigt ein Bild von einem trockenen Feld und fragt: "Was fehlt hier?" Der Schüler muss das Bild einfach nur nachzeichnen.
Die neue Methode (KG-VSF): Der Lehrer sagt: "Hier ist ein Bild von einem trockenen Feld. Und hier ist der Wetterbericht für die nächsten zwei Wochen: Es wird stark regnen. Was wird das Bild in zwei Wochen zeigen?"

Der Schüler muss jetzt nicht nur das Bild zeichnen, sondern logisch denken: "Wenn es regnet, wird das Gras grün werden."

Das ist der Kern von KG-VSF: Die KI lernt nicht nur, Bilder zu sehen, sondern lernt, wie Wetter (der Auslöser) die Erdoberfläche (die Reaktion) verändert. Sie lernt die "Ursache und Wirkung" (Kausalität).

Wie funktioniert das im Detail? (Die Metapher des Orchesters)

Stellen Sie sich die KI als ein Orchester vor:

Die Satellitenbilder sind die Geigen (sie zeigen das Ergebnis).
Die Wetterdaten (Temperatur, Regen, Wind) sind die Dirigenten.

Bisher haben die KIs nur auf die Geigen gehört und versucht, die Melodie zu erraten. Die neue KI (KG-VSF) hört dem Dirigenten zu und lernt: "Aha, wenn der Dirigent (Wetter) schnell schlägt, werden die Geigen (das Feld) laut und grün."

Die KI wird trainiert, indem man ihr vergangene Bilder und den Wetterbericht gibt und sie dann fragt: "Wie sieht das Bild morgen aus?" Um das richtig zu beantworten, muss sie verstehen, wie das Wetter die Landschaft formt.

Was bringt das uns? (Die praktischen Vorteile)

Weil diese KI die "Logik der Natur" verstanden hat, ist sie in vielen Situationen viel besser als die alten Modelle:

Landwirtschaft: Sie kann viel genauer vorhersagen, welche Felder welche Pflanzen tragen, weil sie versteht, wie Regen und Sonne das Wachstum beeinflussen.
Bodenfeuchtigkeit: Sie kann berechnen, wie feucht der Boden ist, selbst wenn keine direkten Messgeräte da sind, indem sie einfach schaut: "Es hat viel geregnet, also muss der Boden nass sein."
Fehlende Bilder reparieren: Wenn ein Satellit ein Bild macht, aber Wolken den Blick verdecken, kann diese KI das Bild "nachdenken". Sie weiß: "Hier ist ein Fluss, und es hat geregnet. Also wird der Fluss voll sein, auch wenn ich ihn nicht sehe." Die alten KIs würden hier oft nur unscharfe Flecken malen.
Zukunftsvorhersage: Sie kann Bilder der Zukunft erstellen. Wenn Sie wissen, dass es in 30 Tagen schneien wird, kann die KI ein Bild davon zeigen, wie die Landschaft dann aussehen wird (z. B. schneebedeckte Felder), ohne dass sie das Bild jemals gesehen hat.

Das Fazit

Die Forscher sagen im Grunde: "Lassen Sie die KI nicht nur Bilder auswendig lernen, sondern lassen Sie sie die Geschichte der Natur verstehen."

Indem sie die KI zwingen, die Verbindung zwischen Wetter und Erde zu lernen, erhalten wir ein viel klügeres Werkzeug. Es ist der Unterschied zwischen jemandem, der eine Landkarte auswendig gelernt hat, und jemandem, der versteht, wie das Wetter die Straßen verändert. Das macht die KI nicht nur schlauer, sondern auch verlässlicher für wichtige Aufgaben wie die Überwachung unserer Ernten oder die Vorhersage von Überschwemmungen.

1. Problemstellung

Die Entwicklung von Deep-Learning-Modellen für geowissenschaftliche Anwendungen (z. B. Landnutzungskartierung, Hochwasservorhersage) profitiert stark von großen Satellitendatensätzen. Derzeit dominieren Self-Supervised Learning (SSL)-Ansätze das Pre-Training von Foundation-Modellen. Die gängigsten Methoden basieren auf:

Maskierter Rekonstruktion (Masked Reconstruction, MR): Teile der Eingabedaten (z. B. Pixel in einem Satellitenbild) werden maskiert, und das Modell muss sie rekonstruieren.
Next-Token-Vorhersage / Variable-Step-Forecasting (VSF): Das Modell lernt, zukünftige Datenpunkte in einer Sequenz vorherzusagen.

Das Kernproblem: Diese herkömmlichen Ansätze erfassen zwar räumliche Strukturen (bei MR) oder zeitliche Muster (bei VSF), vernachlässigen jedoch die kausalen Zusammenhänge zwischen verschiedenen geospatialen und Umweltvariablen. In der Geowissenschaft beeinflussen „Treiber"-Variablen (z. B. Wetterdaten wie Niederschlag und Temperatur) direkt „Reaktions"-Variablen (z. B. Vegetationszustand oder Bodenfeuchte, sichtbar im Satellitenbild). Herkömmliche multimodale Modelle fusionieren diese Daten oft nur semantisch, ohne die gerichtete kausale Abhängigkeit (Wetter $\to$ Oberfläche) explizit im Lernziel zu modellieren. Dies führt zu Embeddings, die für Aufgaben, bei denen diese Kausalität entscheidend ist, suboptimal sind.

2. Methodik: Knowledge Guided Variable-Step Forecasting (KG-VSF)

Die Autoren schlagen KG-VSF als neues Pre-Training-Task vor, das die Vorhersage als bedingte Generierung modelliert.

Grundprinzip: Das Modell lernt, zukünftige Satellitenbilder (Response) basierend auf historischen Satellitenbildern und Wetterdaten bis zu einem zukünftigen Zeitpunkt (Driver) vorherzusagen.
- Input: Historische Satellitenbilder (bis Zeit $T$ ) + Wetterdaten (bis Zeit $T + \delta t$ ).
- Output: Satellitenbild zum Zeitpunkt $T + \delta t$ .
Architektur:
- Encoder: Nutzt einen geteilten Vision Transformer (ViT) für spektrale Bilder und einen unidirektionalen LSTM für Wetterdaten (aufgrund der räumlichen Auflösung von Wetterdaten).
- Multimodale Fusion: Räumliche, Wetter- und Zeit-Embeddings (Day-of-Year und Delta-Time) werden entlang der Zeitdimension addiert. Ein Transformer mit Forward-Only Attention (kausal) verarbeitet diese Multimodal-Sequenz, um Informationsleckagen aus der Zukunft zu verhindern.
- Forecaster: Ein leichter Layer wandelt die Embeddings des aktuellen Zeitstempels unter Berücksichtigung der Wetterdaten in Embeddings für den zukünftigen Zeitstempel um.
- Decoder: Ein leichter MLP-Decoder rekonstruiert das zukünftige Satellitenbild aus den Embeddings.
Zweiphasiges Pre-Training:
1. Phase 1 (Masked Reconstruction): Training der einzelnen Encoder (ViT für Bilder, LSTM für Wetter) und des multimodalen Encoders durch Rekonstruktion maskierter Daten. Dies etabliert eine Basis für räumliche und zeitliche Muster.
2. Phase 2 (Forecasting): Einführung des Forecasters. Das Modell muss nun lernen, wie Wetterdaten die zukünftigen Bildzustände beeinflussen. Dies zwingt den Encoder, kausale Beziehungen in die Embeddings zu kodieren.

3. Wichtige Beiträge

Neues Pre-Training-Paradigma: Einführung von KG-VSF, das explizit kausale Abhängigkeiten zwischen Modalitäten (Wetter als Treiber, Satellitenbild als Reaktion) in das Lernziel integriert, im Gegensatz zu reinen Korrelations- oder Rekonstruktionsansätzen.
Architektur und Training: Entwicklung einer spezifischen Architektur (ViT + LSTM + kausaler Transformer) und eines zweiphasigen Trainingsverfahrens, um die Qualität der Embeddings zu maximieren.
Umfassende Evaluation: Evaluation auf zwei Datensätzen (Global und US-Ackerland) und Vergleich mit vier Baselines (SM-MR, MM-MR, SM-VSF, MM-VSF) sowie State-of-the-Art-Modellen (z. B. Prithvi EO.2).
Validierung der Kausalität: Durchführung von Experimenten (Counterfactual Weather Probing, Mute/Shuffle-Tests), die beweisen, dass die Leistungssteigerung tatsächlich auf dem Erfassen physikalisch sinnvoller kausaler Zusammenhänge beruht und nicht nur auf dem Vorhandensein einer zweiten Modalität.

4. Ergebnisse

Die Evaluierung erfolgte auf mehreren Downstream-Aufgaben:

Pixelweise Erntetyp-Kartierung: KG-VSF erreichte die höchste durchschnittliche F1-Score (0,7602) im Vergleich zu MM-MR (0,7056) und MM-VSF (0,5426). Dies zeigt, dass das Erfassen der Kausalität zwischen Wetter und Vegetation für die Klassifizierung entscheidend ist.
Bodenfeuchte-Schätzung und -Vorhersage: KG-VSF übertraf alle anderen Methoden signifikant (R² = 0,8081 bei Schätzung vs. 0,6039 für MM-MR). Da Bodenfeuchte stark wetterabhängig ist, profitieren die Embeddings hier besonders von der kausalen Kodierung.
Fehlende Bildvorhersage (Missing Image Prediction): Bei der Rekonstruktion von 50–90% fehlenden Bildteilen (ohne Maskeninformation) erzielte KG-VSF die niedrigsten MSE-Werte. Die Modelle konnten physikalisch plausible Inhalte basierend auf dem Wetterkontext inferieren (z. B. richtige Vorhersage von ausgetrockneten Flussbetten oder Schneefall).
Zero-Shot Zukunftsbild-Vorhersage: KG-VSF zeigte überlegene Fähigkeiten bei der Vorhersage von Bildern weit in der Zukunft (bis zu 255 Tage), indem es Phänomene wie Ernte, Wachstum oder Schneefall korrekt abbildete, während andere Modelle oft falsche „Grünheit" oder statische Bilder generierten.
Embedding-Qualität: t-SNE-Visualisierungen zeigten, dass KG-VSF-Embeddings klarer getrennte Cluster für verschiedene Erntetypen bilden als MR-basierte Ansätze.
Skalierbarkeit: Die Leistung verbesserte sich konsistent mit der Anzahl der Pre-Training-Samples, was auf das Potenzial für Skalierung auf große Datensätze hindeutet.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Integration von Domänenwissen (Kausalität) in das Pre-Training von Multimodal-Modellen einen deutlichen Vorteil gegenüber rein datengetriebenen Korrelationsansätzen bietet.

Wissenschaftlicher Impact: KG-VSF bietet einen neuen Weg, um geowissenschaftliche Foundation-Modelle zu entwickeln, die nicht nur Muster erkennen, sondern die physikalischen Prozesse hinter den Daten verstehen. Dies führt zu robusteren Embeddings, die auch mit weniger Fine-Tuning-Daten (Few-Shot) gute Ergebnisse erzielen.
Anwendungsrelevanz: Der Ansatz ist besonders wertvoll für Anwendungen, die von Umweltfaktoren abhängen (Landwirtschaft, Klimamonitoring, Katastrophenvorsorge).
Zukunftsausblick: Die Autoren betonen, dass dieser Ansatz auf andere Domänen übertragbar ist, in denen kausale Beziehungen zwischen Treibern und Reaktionen bestehen (z. B. Gesundheitswesen, Finanzen), und dass die Skalierung auf noch größere Datensätze weitere Verbesserungen verspricht.

Zusammenfassend beweist das Paper, dass das explizite Modellieren von „Driver-Response"-Beziehungen während des Pre-Trainings ein entscheidender Faktor für die Leistungsfähigkeit von Multimodal-Modellen in den Geowissenschaften ist.