Densification and forecasting of Sentinel-2 time series from multimodal SAR and Optical satellite data using deep generative models

Dieser Artikel schlägt ein probabilistisches Deep-Learning-Framework vor, das multimodale Sentinel-1-SAR- und Sentinel-2-Optikdaten nutzt, um optische Satellitenbilder für beliebige vergangene oder zukünftige Zeitpunkte zu generieren, wodurch sowohl die zeitliche Verdichtung von wolkenverdeckten Beobachtungen als auch die zukünftige Vorhersage effektiv adressiert werden, während gleichzeitig die Generierungsunsicherheit explizit modelliert wird.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einen Film über ein Bauernfeld zu sehen, das sich im Laufe der Jahreszeiten verändert, doch der Projektor ist defekt. Manchmal überspringt der Film, manchmal ist er mit statischem Rauschen (Wolken) bedeckt, und manchmal fehlen die Filmrollen ganz. Sie haben zwei Arten von Filmstreifen:

1. Optischer Film (Sentinel-2): Wunderschöne, farbenfrohe Bilder des Feldes, die jedoch nur funktionieren, wenn der Himmel klar ist. Wenn es bewölkt ist, ist das Bild weiß und unbrauchbar.
2. Radarfilm (Sentinel-1): Schwarz-weiße, körnige Bilder, die durch Wolken und Regen „sehen" können, aber die lebendigen Farben der Pflanzen nicht zeigen.

Das Problem:
Wissenschaftler wollen einen perfekten, kontinuierlichen, farbenfrohen Film der Erde. Doch wegen der Wolken gibt es riesige Lücken im optischen Film. Bestehende Werkzeuge können versuchen, die Lücken zwischen zwei bekannten Bildern zu „füllen" (wie das Raten dessen, was in der Mitte einer übersprungenen Szene passiert ist), aber sie können nicht erraten, was nach dem Ende des Films passiert, und sie können Ihnen nicht sagen, wie sicher sie bei ihren Vermutungen sind.

Die Lösung:
Die Autoren haben eine intelligente KI-„Regisseurin" entwickelt, die wie ein Meistereditor agiert. Sie nimmt den defekten optischen Film und den körnigen Radarfilm und fügt sie zu einem flüssigen, kontinuierlichen, farbenfrohen Film für jedes beliebige Datum zusammen – sei es in der Vergangenheit (Lücken füllen) oder in der Zukunft (Vorhersage des Kommenden).

So funktioniert die KI-Regisseurin, unter Verwendung einfacher Analogien:

1. Die zwei spezialisierten Augen

Die KI hat zwei separate „Augen", um die Daten zu betrachten.

• Das optische Auge betrachtet die farbenfrohen Bilder.
• Das Radarauge betrachtet die schwarz-weißen Bilder.
  Anstatt beide Augen zu zwingen, auf die gleiche Weise zu sehen, lässt die KI sie zuerst ihre eigene Sprache lernen. Das ist so, als würden ein Maler und ein Bildhauer getrennt arbeiten, bevor sie zusammenarbeiten; der Maler versteht Farben, und der Bildhauer versteht Form und Struktur.

2. Der „Zeitreise"-Kalender

Die KI betrachtet nicht nur die Bilder; sie weiß, wann sie aufgenommen wurden. Sie verwendet einen speziellen „Zeitreise-Kalender".

• Wenn die KI ein Bild für nächsten Dienstag vorhersagen muss, fragt sie: „Wie sah das Feld letzten Montag aus? Wie war es vor drei Wochen?"
• Sie berechnet die Distanz zwischen „jetzt" und „damals". Dies hilft ihr zu verstehen, dass ein Feld im Frühling ganz anders aussieht als im Herbst, selbst wenn die Bilder unscharf sind.

3. Der intelligente Scheinwerfer (Cross-Attention)

Dies ist der cleverste Trick der KI. Stellen Sie sich einen Scheinwerfer auf einer Bühne mit vielen Schauspielern vor (den verschiedenen Satellitenbildern). Die KI muss entscheiden, welchen Schauspielern sie für die finale Szene zuhört.

• Szenario A (Klarer Himmel in der Nähe): Wenn es ein klares, farbenfrohes Bild von gestern gibt, leuchtet der Scheinwerfer hell auf dieses. Die KI ignoriert die Radarbilder, weil sie sie nicht braucht; die Farbe ist bereits vorhanden.
• Szenario B (Starker Bewölkung): Wenn die letzten farbenfrohen Bilder von Wolken (weißes Rauschen) bedeckt sind, erkennt die KI: „Ich kann diese nicht verwenden!" Sie schwenkt den Scheinwerfer sofort auf die Radarbilder. Obwohl diese schwarz-weiß sind, zeigen sie die Form der Pflanzen und helfen der KI, die Farben zu erraten.
• Szenario C (Die Wolkenfalle): Wenn ein Bild gestern aufgenommen wurde, aber von Wolken bedeckt ist, lernt die KI, es vollständig zu ignorieren, auch wenn es zeitlich „nah" ist. Sie weiß, dass ein wolkenverhangenes Bild schlechter ist als ein klares Bild von vor einer Woche.

4. Der „Vertrauens-Messwert" (Unsicherheit)

Die meisten KI-Werkzeuge geben Ihnen einfach ein Bild und hoffen auf das Beste. Diese KI ist anders: Sie reicht Ihnen auch einen „Vertrauens-Messwert" (eine Unsicherheitskarte) mit.

• Wenn die KI basierend auf einem klaren Bild von gestern rät, sagt der Messwert: „Ich bin zu 100 % sicher."
• Wenn die KI erraten muss, wie das Feld in zwei Monaten aussehen wird, oder wenn sie durch einen starken Sturm rät, sagt der Messwert: „Ich bin mir bei diesem Teil nicht so sicher."
• Warum das wichtig ist: Es ist wie ein Wettervorhersager, der sagt: „Es wird regnen, aber ich bin nur zu 60 % sicher", anstatt einfach nur zu sagen: „Es wird regnen." Dies hilft den Nutzern zu wissen, wann sie dem Bild vertrauen können und wann sie vorsichtig sein sollten.

5. Die Ergebnisse

Die Studie testete diesen „Regisseur" an echten Daten von Ackerland:

• Lücken füllen: Sie rekonstruierte erfolgreich fehlende Tage im Film, insbesondere für Pflanzen, die sich schnell verändern (wie wachsender Weizen), und leistete dabei eine bessere Arbeit als einfache mathematische Tricks oder ältere KI-Modelle.
• Vorhersage der Zukunft: Sie konnte erraten, wie das Feld Wochen nach dem letzten Foto aussehen würde. Sie war nicht perfekt (je weiter sie in die Zukunft riet, desto verschwommener wurde das Bild), aber sie behielt die allgemeinen Farben und Formen richtig bei.
• Der „Schnee"-Fehler: Die Autoren geben zu, dass die KI durch Schnee verwirrt wird. Da sie auf Wolken trainiert wurde, hält sie Schnee manchmal für eine andere Art von Wolke und versucht, ihn zu „löschen", um den Boden darunter zu zeigen, was falsch ist. Auch sehr helle Stadtbewegungen verwirren sie.

Zusammenfassung

Diese Studie präsentiert eine neue Art, die Geschichte der Erde ohne Unterbrechungen zu verfolgen. Durch die Kombination von „Farb"-Kameras (die durch Wolken blockiert werden) mit „Form"-Kameras (die durch Wolken sehen) und durch das Unterrichten der KI, wann sie welcher Kamera vertrauen soll, schufen sie ein System, das fehlende Filmszenen füllen und zukünftige Szenen vorhersagen kann. Entscheidend ist, dass es Ihnen auch sagt, wie sehr es seinen eigenen Vorhersagen vertraut, und fungiert wie ein verantwortungsbewusster Editor, der zugibt: „Ich rate hier."

Technische Zusammenfassung

Technische Zusammenfassung: Verdichtung und Prognose von Sentinel-2-Zeitreihen aus multimodalen SAR- und optischen Daten

Problemstellung

Optische Satellitenbild-Zeitreihen (SITS) sind entscheidend für Anwendungen der Erdbeobachtung wie Landwirtschaft, Klimamonitoring und Analyse der Landoberfläche. Ihr Nutzen wird jedoch durch Erfassungslücken und unregelmäßige Abtastung infolge von Bewölkung und Streifenrändern erheblich eingeschränkt. Während bestehende Deep-Learning-Ansätze erfolgreich die Wolkenentfernung und die temporale Verdichtung (Interpolation) innerhalb des beobachteten Zeitfensters bewältigt haben, stoßen sie auf zwei Hauptgrenzen:

1. Fehlende Prognosefähigkeit: Die meisten Methoden beschränken sich auf die Rekonstruktion von Lücken innerhalb des zeitlichen Umfangs verfügbarer Daten und können keine zukünftigen Beobachtungen vorhersagen (Extrapolation).
2. Fehlende Unsicherheitsquantifizierung: Bestehende Modelle liefern typischerweise Punktschätzungen ohne eine explizite Quantifizierung der Zuverlässigkeit oder des Vertrauens ihrer Vorhersagen, was für nachgelagerte Entscheidungsfindung entscheidend ist.
3. Dateneinschränkungen: Viele Ansätze beruhen auf zeitlich abgeglichenen multimodalen Eingaben oder expliziten Wolkenmasken, was ihre Robustheit in realen, spärlichen und unregelmäßigen Szenarien begrenzt.

Methodik

Die Autoren schlagen ein probabilistisches Deep-Learning-Framework vor, das entwickelt wurde, um optische Bilder zu beliebigen vergangenen (Interpolation) oder zukünftigen (Extrapolation) Datenpunkten aus spärlichen, unregelmäßigen und multimodalen Zeitreihen (Sentinel-2 optisch und Sentinel-1 SAR) zu generieren. Der Ansatz wird als zielkonditioniertes Bildgenerierungsproblem formuliert.

Architekturübersicht

Das Modell besteht aus drei Hauptkomponenten:

1. Räumliche Merkmalsextraktion:

   • Separate 2D-Faltungs-Encoder verarbeiten Sentinel-2 (RGB-NIR) und Sentinel-1 (VV/VH) Daten unabhängig voneinander, um modality-spezifische räumliche Muster zu erfassen.
   • Ein Spatial Pyramid Pooling (SPP)-Mechanismus wird eingesetzt, um kontextuelle Informationen mehrerer Skalen zu aggregieren, während feinkörnige räumliche Details erhalten bleiben und eine Überglättung verhindert wird.
   • Eingabesequenzen werden umgeformt, um jede Erfassung unabhängig in der räumlichen Dimension vor der zeitlichen Modellierung zu verarbeiten.

2. Zeitliche Kodierung und Cross-Attention:

   • Zeitliche Kodierung: Das Modell kodiert die Zeit explizit, um unregelmäßige Abtastung zu handhaben.
     • Das Zieldatum ($d_{target}$) wird unter Verwendung einer kontinuierlichen Darstellung basierend auf dem Tag des Jahres (DOY) kodiert, um Saisonalität zu erfassen.
     • Eingabeerfassungsdaten ($d_i$) werden relativ zum Zieldatum kodiert ($\Delta d = d_i - d_{target}$), wobei sowohl die zeitliche Distanz als auch die Richtung (Vergangenheit/Zukunft) erfasst werden.
   • Cross-Attention-Mechanismus: Die zeitliche Kodierung des Zieldatums dient als Query, während die raumzeitlichen Token aus allen verfügbaren Sentinel-1- und Sentinel-2-Erfassungen als Keys und Values dienen.
   • Dieser Mechanismus ermöglicht es dem Modell, Informationen selektiv aus den zeitlich relevantesten Beobachtungen zu aggregieren, ohne explizite Wolkenmasken oder zeitlich abgeglichene Eingaben zu benötigen. Das Modell lernt end-to-end, zuverlässige Beobachtungen zu gewichten und unzuverlässige zu ignorieren (z. B. wolkenverdeckte Pixel).

3. Probabilistischer Decoder:

   • Anstatt ein einzelnes deterministisches Bild vorherzusagen, sagt der Decoder die Parameter einer pixelweisen Laplace-Verteilung (Mittelwert $\mu$ und Skala $b$) für jeden Spektralband voraus.
   • Die Laplace-Verteilung wird aufgrund ihrer schwereren Schwänze gewählt, die robuster gegenüber großen Vorhersagefehlern sind und im Vergleich zu Gaußschen Annahmen eine Überglättung reduzieren.
   • Das Modell gibt sowohl das rekonstruierte optische Bild ($\mu$) als auch eine Unsicherheitskarte (abgeleitet aus dem Skalierungsparameter $b$) aus.
   • Das Training erfolgt durch Minimierung der negativen Log-Likelihood der Laplace-Verteilung.

Hauptbeiträge

1. Vereinheitlichte Interpolation und Extrapolation: Im Gegensatz zu früheren Arbeiten, die auf Lückenfüllung beschränkt waren, generiert dieses Framework Bilder zu beliebigen Zieldatenpunkten und unterstützt sowohl die Rekonstruktion innerhalb des Beobachtungsfensters als auch die Prognose darüber hinaus.
2. Explizite Unsicherheitsmodellierung: Die probabilistische Formulierung liefert pixelweise Unsicherheitsschätzungen, die gut kalibriert sind und ein Maß für die Vorhersagezuverlässigkeit bieten, das zunimmt, wenn Daten spärlich oder zeitlich entfernt sind.
3. Robuste multimodale Fusion: Der Ansatz nutzt gemeinsam Sentinel-1-SAR- und Sentinel-2-optische Daten, ohne auf externe Wolkenmasken oder strenge zeitliche Abgleichung angewiesen zu sein. Der Cross-Attention-Mechanismus nutzt SAR-Daten adaptiv, wenn optische Beobachtungen fehlen oder kontaminiert sind.
4. End-to-End-Lernen: Das Modell lernt, unregelmäßige Abtastung und Wolkenkontamination implizit zu handhaben, wodurch Vorverarbeitungsschritte wie Wolkenmaskierung entfallen.

Experimentelle Ergebnisse

Die Methode wurde an einem Datensatz von Sentinel-1- und Sentinel-2-Patches (96x96 Pixel) bewertet, die diverse Landschaften abdecken, mit Fokus auf landwirtschaftliche Gebiete.

Interpolationsleistung

• Quantitative Metriken: Das vorgeschlagene Modell übertraf sowohl eine lineare Interpolations-Baseline als auch das U-TILISE-Modell (nur optische Sequenz-zu-Sequenz) bei allen Landbedeckungstypen (Urban, Wald, Ackerland) hinsichtlich MAE, RMSE und PSNR.
• Dynamische Regionen: Die Leistungslücke war in Ackerland-Gebieten am signifikantesten, wo das Modell komplexe, nichtlineare saisonale Dynamiken erfolgreich erfasst, die lineare Interpolation und rein optische Modelle nicht genau modellieren konnten.
• Qualitative Analyse: In Szenarien mit großen zeitlichen Lücken erzeugte das Modell schärfere Rekonstruktionen als Baselines. Entscheidend zeigten Regionen mit hoher Rekonstruktionserschwerung (z. B. große Lücken) eine höhere vorhergesagte Unsicherheit, was eine kohärente Unsicherheitsschätzung demonstriert.

Extrapolationsleistung

• Das Modell generierte erfolgreich plausible zukünftige Beobachtungen und behielt trotz der inhärenten Schwierigkeit der Extrapolation die radiometrische Konsistenz bei.
• Obwohl die Fehler höher waren als bei der Interpolation, bewahrte das Modell die Hauptvegetationsdynamiken (z. B. NDVI-Entwicklung) über lange Lücken (z. B. 1 Monat und 20 Tage).
• Unsicherheitskarten hoben während der Extrapolation korrekt Bereiche geringeren Vertrauens hervor.

Ablationsstudien

• Multimodal vs. Nur Optisch: Die Einbeziehung von Sentinel-1-SAR-Daten verbesserte die Leistung konsistent (niedrigerer MAE/RMSE, höherer PSNR) im Vergleich zu einer Variante nur mit optischen Daten und bestätigte den Wert der strukturellen Informationen von SAR unter wolkenverhangenen oder spärlichen Bedingungen.
• Zeitliche Kodierung: Die Verwendung einer relativen zeitlichen Kodierung ($\Delta d$) schnitt signifikant besser ab als eine Kodierung absoluter Daten, was darauf hindeutet, dass es für die Leistung entscheidend ist, das Netzwerk explizit über den zeitlichen Offset zum Zieldatum zu informieren.
• Attention-Analyse: Die Visualisierung der Attention-Gewichte zeigte, dass das Modell den Fokus adaptiv verschiebt: Es verlässt sich stark auf zeitlich nahe optische Daten, wenn diese verfügbar sind, erhöht die Aufmerksamkeit jedoch signifikant auf die nächste SAR-Erfassung, wenn optische Daten fehlen oder stark bewölkt sind.

Bedeutung und Einschränkungen

Bedeutung:
Die Autoren behaupten, dass dieses Framework einen Schritt nach vorne bei der Generierung kontinuierlicher, zuverlässiger optischer Zeitreihen darstellt, indem es die dualen Herausforderungen der Prognose und der Unsicherheitsquantifizierung adressiert. Die Fähigkeit, gut kalibrierte Unsicherheitsschätzungen bereitzustellen, wird als wesentlicher Beitrag für Anwendungen hervorgehoben, die Entscheidungsunterstützung, Szenarioanalysen und Risikobewertungen erfordern. Die adaptive Fusion von SAR- und optischen Daten ohne manuelle Maskierung demonstriert einen robusten Ansatz gegenüber Unregelmäßigkeiten realer Daten.

Einschränkungen:
Die Autoren erkennen mehrere Einschränkungen an:

• Extreme Reflexion: Das Modell neigt dazu, sehr hohe Reflexionswerte (z. B. künstliche Oberflächen, helle Pflanzen) aufgrund der Regularisierung durch die Trainingsverteilung zu unterschätzen.
• Schnee und Berge: Das Modell wurde nicht für bergige oder schneebedeckte Regionen trainiert. Es verwechselt Schnee häufig mit Wolken und versucht, die darunterliegende Oberfläche (z. B. Boden) wiederherzustellen, anstatt das Schneesignal zu bewahren, was zu physikalisch inkorrekten Vorhersagen führt.
• Out-of-Distribution: Das Modell zeigt eine reduzierte Robustheit bei Bedingungen, die im Trainingsdatensatz nicht vorhanden waren (z. B. Schnee), wobei die damit verbundene hohe Unsicherheit als Warnindikator dient.

Die Autoren schließen, dass das Framework zwar effektiv für die allgemeine Überwachung der Landoberfläche ist, zukünftige Arbeiten jedoch darauf fokussieren sollten, die Trainingsdatensätze um diverse Umweltbedingungen (Schnee, Berge) zu erweitern und potenziell zusätzliche Spektralbänder einzubeziehen, um hochreflektierende Oberflächen besser zu unterscheiden.