Technische Samenvatting: Het Verbeteren van de Robuustheid van Modelvoorspellingen bij Ontbrekende Sensoren in Aardobservatie

Probleemstelling

Multi-sensor Machine Learning (ML) modellen voor Aardobservatie (EO) integreren gegevens uit diverse bronnen (bijvoorbeeld optisch, radar, weer) om de voorspellingnauwkeurigheid te verhogen. Echter, de beschikbaarheid van sensorgegevens kan in real-world implementaties niet worden gegarandeerd vanwege technische storingen of omgevingsfactoren (bijvoorbeeld bewolking die optische beelden belemmert). Bestaande literatuur heeft ontbrekende gegevens aangepakt via strategieën zoals temporale dropout (gericht op single-sensor inputs) of sensor-invariante modellen (gericht op statische beelden). Een aanzienlijke lacune blijft bestaan in het hanteren van ontbrekende sensoren binnen multi-sensor tijdreeks scenario's, waarbij standaard ML-modellen geen inherente robuustheid bezitten, wat leidt tot vertekende of mislukte voorspellingen wanneer specifieke sensorinputs niet beschikbaar zijn.

Methodologie

De auteurs stellen twee nieuwe methoden voor die specifiek zijn toegespitst op multi-sensor tijdreeks scenario's om de modelrobuustheid tegen ontbrekende sensoren te vergroten:

1. Input Sensor Dropout (ISensD)

Geïnspireerd op data-augmentatietechnieken, introduceert ISensD een Sensor Dropout (SensD) mechanisme op het inputniveau tijdens het trainen.

• Mechanisme: Voor een gegeven steekproef worden de inputfeatures van volledige sensoren willekeurig gemaskeerd.
• Implementatie:
  • Standaard SensD: Gebruikt een hyperparameter $r$ (dropout ratio) waarbij sensorfeatures worden gemaskeerd op basis van een Bernoulli-verdeling ($d_s \sim \text{Bernoulli}(r)$).
  • Geen Ratio (NR): Een parameterloze variant die voor elke batch willekeurig één combinatie selecteert uit alle mogelijke ontbrekende sensorencombinaties ($2^{|S|} - 1$).
• Training: Het model wordt getraind op deze gemaskeerde inputs met behulp van een standaard multi-sensor fusie-architectuur (input-level fusie), waarbij parameters worden geoptimaliseerd om de loss ten opzichte van de ground truth te minimaliseren.

2. Ensemble Sensor Invariant (ESensI)

Geïnspireerd op sensor-invariante modellen, stelt ESensI een ensemble-architectuur voor met een gedeelde voorspellingshoofd.

• Mechanisme: Het model maakt gebruik van sensor-gedeciteerde encoders ($E_{\theta_s}$) voor elke sensor om features te extraheren, maar gebruikt een enkel, gedeeld voorspellingshoofd ($P_\phi$) voor alle sensoren.
• Sensorcodering: Om ervoor te zorgen dat het model weet welke sensorfeatures worden verwerkt, wordt een leerbare sensorcoderingsvector ($\rho_s$) toegevoegd aan de gecodeerde features voordat deze het gedeelde hoofd bereiken.
• Optimalisatie: In tegenstelling tot standaard ensembles waarbij sensor-specifieke hoofden onafhankelijk worden geoptimaliseerd, optimaliseert ESensI gezamenlijk de sensor-gedeciteerde parameters en de parameters van het gedeelde hoofd, waardoor het model wordt gedwongen invariante representaties over sensoren heen te leren.

Experimentele Opstelling

De methoden werden gevalideerd op drie multi-sensor temporale EO-datasets:

1. CropHarvest (CH): Multi-gewas herkenning met behulp van Sentinel-2 (optisch), Sentinel-1 (radar), ERA5 (weer) en SRTM (topografie).
2. Live Fuel Moisture Content (LFMC): Schatting van vochtigheid in vegetatie met behulp van Landsat-8 (optisch), Sentinel-1 (radar) en diverse statische omgevings sensoren.
3. Particulate Matter 2.5 (PM25): Regressie van luchtkwaliteit met behulp van atmosferische omstandigheden, dynamiek en neerslaggegevens.

Baselines: De voorgestelde methoden werden vergeleken met vier literatuur-baselines:

• Input: Standaard input-level fusie met gemiddelde imputatie.
• ITempD: Input fusie met Temporale Dropout (aangepast voor sensoren).
• Feature: Feature-level fusie met behulp van exemplar-gebaseerde (similarity search) imputatie.
• Ensemble: Aggregatie van sensor-gedeciteerde modellen, waarbij voorspellingen van ontbrekende sensoren worden genegeerd.

Evaluatiemaatstaf: De primaire maatstaf voor robuustheid was de Performance Robustness Score (PRS), die de relatieve voorspellingsfout van modellen met ontbrekende sensoren meet in vergelijking met modellen met volledige sensorbeschikbaarheid.

Belangrijkste Resultaten

• Robuustheid tegen Ontbrekende Sensoren: Zowel ISensD als ESensI toonden aanzienlijk hogere robuustheid (hogere PRS-waarden) naarmate het percentage ontbrekende sensoren toenam, en presteerden beter dan standaard baselines (Input, ITempD, Feature).
• Superioriteit van Ensemble: De standaard Ensemble methode (zonder het invariante hoofd) bleek de meest robuuste architectuur overall, vaak presterend boven de voorgestelde ESensI in ruwe robuustheidsmetrieken. ESensI verbeterde echter de Ensemble-methode in specifieke gevallen (bijvoorbeeld het PM25-dataset).
• ISensD Prestaties: De ISensD-methode toonde een opvallende verbetering in robuustheid ten opzichte van haar directe baselines (Input en ITempD). De parameterloze "No Ratio" (NR) variant presteerde vergelijkbaar met de afgestelde ratio-versies, wat suggereert dat het een haalbaar alternatief is.
• Trade-off in Full-Sensor Prestaties: Een kritieke observatie was de trade-off tussen robuustheid en full-sensor nauwkeurigheid. Hoewel de Ensemble- en ESensI-methoden uitblonken in scenario's met ontbrekende sensoren, vertoonden ze vaak lagere voorspellingsprestaties (F1/R2) wanneer alle sensoren beschikbaar waren in vergelijking met de standaard Input-methode. De auteurs merken op dat ISensD slechter presteerde dan de Input-baseline in full-sensor scenario's, wat suggereert dat het model mogelijk ontbrekende-gevensscenario's overprioriteert tijdens het trainen.

Betekenis en Claims

Het artikel claimt een kritieke lacune in de EO-literatuur aan te pakken door methoden te bieden die specifiek zijn ontworpen voor multi-sensor tijdreeks scenario's waarin sensoren mogelijk ontbreken.

• Bijdrage: De introductie van ISensD en ESensI biedt praktische strategieën om de modelrobuustheid te verhogen zonder hertraining wanneer sensoren falen.
• Bescheiden Claims: De auteurs erkennen dat hoewel hun methoden de robuustheid verbeteren, ze niet noodzakelijkerwijs de voorspellingsnauwkeurigheid maximaliseren wanneer alle gegevens aanwezig zijn. Ze stellen expliciet dat de bron van deze robuustheid niet volledig wordt begrepen; het kan voortkomen uit modelaanpassingsvermogen, een negeren van specifieke sensorinformatie, of de inherente irrelevantie van bepaalde sensorgegevens voor de specifieke voorspellingstaak.
• Toekomstig Werk: De auteurs identificeren de noodzaak om de mechanismen achter deze robuustheid te onderzoeken en de trade-off tussen weerbaarheid tegen ontbrekende sensoren en full-sensor nauwkeurigheid in evenwicht te brengen.