Technisches Fazit: Erhöhung der Robustheit von Modellvorhersagen gegenüber fehlenden Sensoren in der Erdbeobachtung

Problemstellung

Multi-Sensor-Machine-Learning-(ML-)Modelle für die Erdbeobachtung (EO) integrieren Daten aus unterschiedlichen Quellen (z. B. optisch, Radar, Wetter), um die Vorhersagegenauigkeit zu verbessern. Die Verfügbarkeit von Sensordaten kann jedoch im realen Einsatz aufgrund technischer Ausfälle oder Umweltfaktoren (z. B. Wolkenbedeckung, die optische Aufnahmen behindert) nicht garantiert werden. Die bestehende Literatur hat fehlende Daten durch Strategien wie temporales Dropout (fokussiert auf Einzelsensor-Eingaben) oder sensor-invariante Modelle (fokussiert auf statische Bilder) adressiert. Eine signifikante Lücke besteht weiterhin im Umgang mit fehlenden Sensoren in Multi-Sensor-Zeitreihen-Szenarien, in denen Standard-ML-Modelle keine inhärente Robustheit aufweisen, was zu verzerrten oder fehlgeschlagenen Vorhersagen führt, wenn bestimmte Sensoreingaben nicht verfügbar sind.

Methodik

Die Autoren schlagen zwei neuartige Methoden vor, die speziell für Multi-Sensor-Zeitreihen-Szenarien entwickelt wurden, um die Robustheit des Modells gegenüber fehlenden Sensoren zu erhöhen:

1. Input Sensor Dropout (ISensD)

Inspiriert von Daten-Augmentierungs-Techniken führt ISensD einen Sensor Dropout (SensD)-Mechanismus auf Eingabeebene während des Trainings ein.

• Mechanismus: Für eine gegebene Stichprobe werden die Eingabemerkmale ganzer Sensoren zufällig maskiert.
• Implementierung:
  • Standard SensD: Verwendet einen Hyperparameter $r$ (Dropout-Ratio), bei dem Sensormerkmale basierend auf einer Bernoulli-Verteilung maskiert werden ($d_s \sim \text{Bernoulli}(r)$).
  • No Ratio (NR): Eine parameterfreie Variante, die für jeden Batch zufällig eine Kombination aus allen möglichen Kombinationen fehlender Sensoren ($2^{|S|} - 1$) auswählt.
• Training: Das Modell wird auf diesen maskierten Eingaben unter Verwendung einer Standard-Multi-Sensor-Fusionsarchitektur (Fusion auf Eingabeebene) trainiert, wobei die Parameter optimiert werden, um den Verlust gegenüber den Ground-Truth-Daten zu minimieren.

2. Ensemble Sensor Invariant (ESensI)

Inspiriert von sensor-invarianten Modellen schlägt ESensI eine Ensemble-Architektur mit einem gemeinsamen Vorhersagekopf vor.

• Mechanismus: Das Modell verwendet sensor-spezifische Encoder ($E_{\theta_s}$) für jeden Sensor zur Merkmalsextraktion, nutzt jedoch einen einzigen, gemeinsamen Vorhersagekopf ($P_\phi$) für alle Sensoren.
• Sensor-Codierung: Um sicherzustellen, dass das Modell weiß, welche Sensormerkmale verarbeitet werden, wird ein lernbarer Sensor-Codierungsvektor ($\rho_s$) zu den codierten Merkmalen vor dem gemeinsamen Kopf hinzugefügt.
• Optimierung: Im Gegensatz zu Standard-Ensembles, bei denen sensor-spezifische Köpfe unabhängig voneinander optimiert werden, optimiert ESensI die sensor-spezifischen Parameter und die Parameter des gemeinsamen Kopfes gemeinsam und zwingt das Modell so, invariante Repräsentationen über die Sensoren hinweg zu erlernen.

Experimenteller Aufbau

Die Methoden wurden an drei Multi-Sensor-Zeitreihen-EO-Datensätzen validiert:

1. CropHarvest (CH): Multi-Getreideerkennung unter Verwendung von Sentinel-2 (optisch), Sentinel-1 (Radar), ERA5 (Wetter) und SRTM (Topographie).
2. Live Fuel Moisture Content (LFMC): Schätzung der Vegetationsfeuchtigkeit unter Verwendung von Landsat-8 (optisch), Sentinel-1 (Radar) und verschiedenen statischen Umweltsensoren.
3. Particulate Matter 2.5 (PM25): Regressionsanalyse der Luftqualität unter Verwendung von atmosphärischen Bedingungen, Dynamik- und Niederschlagsdaten.

Basislinien: Die vorgeschlagenen Methoden wurden mit vier Literatur-Basislinien verglichen:

• Input: Standard-Fusion auf Eingabeebene mit Mittelwert-Imputation.
• ITempD: Eingabefusion mit temporalem Dropout (angepasst für Sensoren).
• Feature: Fusion auf Merkmalsebene unter Verwendung exemplarbasierte (Ähnlichkeitssuche) Imputation.
• Ensemble: Aggregation von sensor-spezifischen Modellen unter Ignorierung von Vorhersagen fehlender Sensoren.

Bewertungsmetrik: Die primäre Metrik für Robustheit war der Performance Robustness Score (PRS), der den relativen Vorhersagefehler von Modellen mit fehlenden Sensoren im Vergleich zu Modellen mit voller Sensorverfügbarkeit misst.

Wichtige Ergebnisse

• Robustheit gegenüber fehlenden Sensoren: Sowohl ISensD als auch ESensI zeigten eine signifikant höhere Robustheit (höhere PRS-Werte), wenn der Prozentsatz fehlender Sensoren zunahm, und übertrafen dabei die Standard-Basislinien (Input, ITempD, Feature).
• Überlegenheit des Ensembles: Die Standard-Ensemble-Methode (ohne invarianter Kopf) erwies sich insgesamt als die robusteste Architektur und übertraf das vorgeschlagene ESensI in den rohen Robustheitsmetriken häufig. Allerdings verbesserte ESensI die Ensemble-Methode in spezifischen Fällen (z. B. PM25-Datensatz).
• ISensD-Leistung: Die ISensD-Methode zeigte eine deutliche Verbesserung der Robustheit gegenüber ihren direkten Basislinien (Input und ITempD). Die parameterfreie Variante „No Ratio" (NR) schnitt mit den abgestimmten Ratio-Versionen vergleichbar ab, was darauf hindeutet, dass sie eine praktikable Alternative ist.
• Kompromiss bei der Vollsensor-Leistung: Eine kritische Beobachtung war der Kompromiss zwischen Robustheit und Genauigkeit bei Vollsensor-Bedingungen. Während die Ensemble- und ESensI-Methoden in Szenarien mit fehlenden Sensoren hervorragende Ergebnisse erzielten, wiesen sie oft eine geringere Vorhersageleistung (F1/R2) auf, wenn alle Sensoren verfügbar waren, im Vergleich zur Standard-Input-Methode. Die Autoren stellen fest, dass ISensD in Vollsensor-Szenarien schlechter abschnitt als die Input-Basislinie, was darauf hindeutet, dass das Modell während des Trainings Szenarien mit fehlenden Daten möglicherweise überpriorisiert.

Bedeutung und Behauptungen

Die Arbeit beansprucht, eine kritische Lücke in der EO-Literatur zu schließen, indem sie Methoden bereitstellt, die speziell für Multi-Sensor-Zeitreihen-Szenarien entwickelt wurden, in denen Sensoren fehlen können.

• Beitrag: Die Einführung von ISensD und ESensI bietet praktische Strategien, um die Modellrobustheit zu erhöhen, ohne dass ein Neulernen erforderlich ist, wenn Sensoren ausfallen.
• Bescheidene Behauptungen: Die Autoren erkennen an, dass ihre Methoden zwar die Robustheit verbessern, aber nicht notwendigerweise die Vorhersagegenauigkeit maximieren, wenn alle Daten vorhanden sind. Sie stellen ausdrücklich fest, dass die Quelle dieser Robustheit nicht vollständig verstanden ist – sie könnte auf die Anpassungsfähigkeit des Modells, eine Missachtung spezifischer Sensorinformationen oder die inhärente Irrelevanz bestimmter Sensordaten für die spezifische Vorhersageaufgabe zurückzuführen sein.
• Zukünftige Arbeit: Die Autoren identifizieren die Notwendigkeit, die Mechanismen hinter dieser Robustheit zu untersuchen und den Kompromiss zwischen der Resilienz gegenüber fehlenden Sensoren und der Genauigkeit bei Vollsensor-Bedingungen auszugleichen.