On What Depends the Robustness of Multi-source Models to Missing Data in Earth Observation?

Technische Samenvatting: Waar hangt de Robuustheid van Multi-source Modellen voor Ontbrekende Data in Aardobservatie van Af?

Probleemstelling
In Aardobservatie (EO) benutten multi-source modellen diverse datastromen (bijv. optisch, radar, weer, topografie) om de voorspellende nauwkeurigheid te verbeteren. Deze modellen lijden echter vaak onder een kritieke kwetsbaarheid: ze gaan doorgaans uit van de beschikbaarheid van alle databronnen tijdens de inferentie. In realistische scenario's is dataverlies inherent door factoren zoals bewolking, sensorstoringen (bijv. Landsat 7 SLC-off) of stillegging van satellietoperaties. Hoewel recente literatuur robuuste multi-source modellen heeft geïntroduceerd die zijn ontworpen om ontbrekende data te verwerken, blijven de specifieke factoren die bepalen waarom sommige modellen beter presteren dan andere in variërende scenario's met ontbrekende data, slecht begrepen. Bestaande studies hebben de wisselwerking tussen de aard van de taak, complementariteit van databronnen en modelarchitectuur in de context van bronsgewijs ontbrekende data onvoldoende onderzocht.

Methodologie
De auteurs voerden een uitgebreide evaluatie uit van zes state-of-the-art multi-source modellen over drie verschillende EO-classificatietaken, waarbij zowel statische (single-date) als temporale databronnen werden gebruikt.

• Datasets:
  • CropH-b & CropH-m: Binaire en multi-class herkenningstaken voor gewassen met vier bronnen: multi-spectrale optische Satellite Image Time Series (SITS), radar SITS, weertijdreeksen en topografische informatie.
  • TreeSatAI-TS: Multi-label classificatie van boomsoorten met behulp van optische SITS, radar SITS en hoogresolutie single-date luchtfoto's.
• Geëvalueerde Modellen:
  • ISensD: Fusie op inputniveau met sensordropout (vervanging van ontbrekende kenmerken door nullen).
  • FSensD: Fusie op kenmerkenniveau met cross-attention en sensordropout (maskeren van ontbrekende kenmerken).
  • OOD-f: Fusie op kenmerkenniveau met concatenatie, waarbij alle bronsgewijs ontbrekende gevallen worden gesimuleerd.
  • TIMML: Fusie op kenmerkenniveau met cross-attention, sensordropout en aanvullende voorspellingsverliezen per bron.
  • ESensI: Ensemble-gebaseerd model met gedeelde voorspellingshoofden in lagen per bron.
  • Co-Ens: Ensemble-gebaseerd model met gelijkschakelingsbeperkingen in voorspellingen per bron.
• Experimenteel Ontwerp:
  • Modellen werden getraind op scenario's met volledige data.
  • Validatie vond plaats onder twee primaire condities met ontbrekende data: (1) Eén bron ontbreekt (één bron verwijderd terwijl de anderen aanwezig blijven) en (2) Eén bron beschikbaar (slechts één bron aangeleverd voor voorspelling).
  • Prestaties werden gemeten met de Weighted F1-score.
  • Een complementariteitsscore werd berekend om de relatieve daling in prestaties te kwantificeren wanneer een specifieke bron ontbreekt, gedefinieerd als $(P_A - P_{m(s)}) / P_{m(s)}$, waarbij $P_A$ de prestatie is met alle bronnen en $P_{m(s)}$ de prestatie is met bron $s$ ontbrekend.

Belangrijkste Resultaten
De evaluatie toonde aan dat de robuustheid van multi-source modellen niet uniform is, maar afhankelijk is van drie ingewikkelde factoren:

1. Aard van de Voorspellende Taak: De bruikbaarheid van een databron varieert per taak. Zo bleek de weertijdreeks effectiever voor binaire gewasclassificatie dan voor multi-class identificatie van gewastype, terwijl radar SITS meer discriminerend vermogen had voor het onderscheiden van specifieke gewastype.
2. Complementariteit van Databronnen: Een hoge individuele prestatie van een databron garandeert geen hoge complementariteit. In sommige gevallen (bijv. OOD-f model op CropH-b) vertoonde weergegevens hogere complementariteitsscores dan optische data, ondanks lagere prestaties als enige bron. Omgekeerd leverde bij boomclassificatie hoogresolutie luchtfoto's de hoogste complementariteit op, ondanks dat het niet de beste presteerde als enige bron.
3. Modelontwerp:
   • Scenario's met Ontbrekende Bron: Modellen zoals OOD-f en TIMML toonden superieure robuustheid wanneer één databron ontbrak.
   • Scenario's met Één Bron: Modellen zoals ESensI en Co-Ens presteerden beter wanneer slechts één databron beschikbaar was voor voorspelling.
   • Tegen-intuïtieve Bevindingen: De studie observeerde gevallen waarin het verwijderen van een databron leidde tot verbeterde voorspellende prestaties. Zo presteerde het gebruik van alleen radar SITS met ESensI- en Co-Ens-modellen op de TreeSatAI-TS-dataset beter dan de configuratie met volledige data. Evenzo verslechterde weergegevens de prestaties van TIMML, ESensI en Co-Ens in de multi-class taak CropH-m.

Betekenis en Claims
Het artikel claimt een gestructureerd inzicht te bieden in de factoren die de robuustheid van multi-source modellen in EO regeren. De auteurs benadrukken dat:

• Robuustheid contextafhankelijk is: Geen enkel modelarchitectuur is universeel effectief voor alle scenario's met ontbrekende data; de optimale keuze hangt af van de specifieke taak en datakarakteristieken.
• Meer data is niet altijd beter: De aanname dat het integreren van alle beschikbare databronnen altijd voordelig is, wordt betwist. De studie toont aan dat specifieke databronnen ruis of redundantie kunnen introduceren, wat leidt tot betere prestaties wanneer ze worden uitgesloten.
• Specialisatie is noodzakelijk: Als een inzetscenario slechts één databron verwacht, is het trainen van een model dat is gespecialiseerd voor dat specifieke scenario effectiever dan vertrouwen op een algemeen robuust multi-source model, dat onbetrouwbaar kan zijn onder single-source condities.

De auteurs concluderen dat deze bevindingen wijzen op de behoefte aan gestroomlijndere benaderingen in EO-toepassingen, mogelijk met inachtneming van zorgvuldige selectie van databronnen op basis van analyse van ontbrekende data, vergelijkbaar met methoden voor kenmerkselectie in Explainable AI (XAI).