HighFM: Towards a Foundation Model for Learning Representations from High-Frequency Earth Observation Data

Probleemstelling

De toenemende frequentie en ernst van klimaatgerelateerde rampen (zoals bosbranden, overstromingen en stormen) vereisen real-time monitoring en snelle besluitvorming. Bestaande Aarde-observatie (EO) Foundation Models (FM's) zijn over het algemeen getraind op hoog-resolutie satellietbeelden van polaire banen (zoals Sentinel-2 of Landsat). Hoewel deze modellen uitstekend zijn voor statische taken (zoals landgebruikscategorieën), hebben ze een laag revisietijdsinterval (vaak dagen). Dit maakt ze ongeschikt voor het monitoren van snel evoluerende fenomenen die binnen minuten veranderen.

Er is een behoefte aan modellen die gebruikmaken van geostationaire satellietdata (zoals MSG/SEVIRI), die het aardoppervlak elke 5 tot 15 minuten scannen. Echter, deze data heeft een lagere ruimtelijke resolutie en bestaande FM's zijn niet optimaal aangepast om de fijne tijdsvariatie in deze datasets te benutten.

Methodologie

De auteurs stellen HighFM voor, een eerste poging tot een Foundation Model specifiek ontworpen voor hoog-frequentie, multispectrale EO-data.

1. Dataset en Pretraining:

• Data: Er is gebruikgemaakt van meer dan 2 TB aan SEVIRI-imagery van het Meteosat Second Generation (MSG) platform, gedekt over de periode 2014–2019 voor het Middellandse Zeegebied.
• Voorbewerking: De data is opgesplitst in niet-overlappende patches van 32x32 pixels. Patches met alleen oceaan of volledige bewolking zijn verwijderd.
• Self-Supervised Learning: Het model maakt gebruik van een Masked Autoencoder (MAE) strategie. Een groot deel van de inputpatches wordt gemaskeerd en het model moet deze reconstrueren. Dit is ideaal voor EO-data omdat het natuurlijk omgaat met ontbrekende data door wolken of ruis.

2. Architectuur (Aangepaste SatMAE):

• Het model is gebaseerd op SatMAE (een Vision Transformer voor satellietdata), maar met cruciale aanpassingen voor geostationaire data:
  • Fijne Temporal Encodings: In tegenstelling tot eerdere modellen die tijdstempels (minuten/seconde) verwaarloosden omdat landdekkingsveranderingen traag zijn, behoudt HighFM deze informatie. Voor snel veranderende fenomenen (branden, stormen) is de exacte tijdstempel binnen een uur cruciaal.
  • Twee Varianten: Er zijn twee versies getraind:
    • Single-timestep: Één SEVIRI-opname per sample.
    • Multi-timestep (HighFMMT): Drie willekeurige opnames binnen hetzelfde uur, zodat het model intra-uur variabiliteit leert.
• Token Embedding: Vanwege de lagere ruimtelijke resolutie van SEVIRI wordt een 4x4 token-embeddingsstructuur gebruikt om ruimtelijke details te behouden.

3. Fine-tuning:
De voorgetrainde encoders worden gefine-tuned op twee downstream taken:

• Cloudsegmentatie: Pixel-gebaseerde detectie van wolken.
• Actieve branddetectie: Pixel-gebaseerde detectie van branden.
• Trainingsstrategie: Er wordt getraind met twee verschillende doelstellingen om verschillende operationele behoeften te bedienen:
  • High-Recall (Cross-Entropy Loss): Prioriteit aan het vinden van alle incidenten (minimale false negatives), acceptatie van meer false positives (belangrijk voor vroege waarschuwing).
  • Precision-Oriented (Dice Loss): Prioriteit aan nauwkeurige lokalisatie en minimale false positives (belangrijk voor operationele inzetbaarheid).

Kernbijdragen

1. Nieuwe Architectuur: De eerste aanpassing van SatMAE met verfijnde temporele encoding, specifiek ontworpen voor Foundation Models op hoog-frequentie EO-data.
2. Grote Dataset: Een gecureerde, schaalbare dataset van 2,23 TB aan SEVIRI-data voor self-supervised pretraining, inclusief twee kleinere datasets voor fine-tuning (wolken en branden).
3. Benchmarks: Eerste benchmarks voor cloud- en branddetectie over meerdere jaren, waarbij state-of-the-art prestaties worden geboekt tegen sterke baselines.
4. Co-Design: Het project is ontwikkeld in samenwerking met operationele stakeholders (brandweer, civiele bescherming, meteorologische instituten), wat de keuze van taken en evaluatiemetrics heeft beïnvloed.

Resultaten

De modellen werden getest tegen baselines zoals een UNet van scratch, een ViT van scratch, een op ImageNet voorgetrainde ViT, en bestaande EO-FM's (Copernicus-FM en Panopticon).

• Algemene Prestaties: HighFM (zowel de single- als multi-timestep variant) presteerde consistent beter dan alle baselines op zowel Balanced Accuracy als IoU (Intersection over Union) voor beide taken.
• Branddetectie:
  • Bij training met Cross-Entropy (focus op recall) behaalde HighFMMT de hoogste recall (0.890) en balanced accuracy (0.925), wat significant beter is dan Copernicus-FM (+0.045).
  • Bij training met Dice Loss (focus op precisie) behaalde HighFMMT de hoogste IoU voor branden (0.352) en recall (0.497), wat aantoont dat het model branden nauwkeuriger lokaliseert zonder veel false positives.
• Cloudsegmentatie: HighFMMT behaalde de beste balanced accuracy (0.831) en IoU voor zowel wolken als heldere lucht.
• Kwalitatieve Analyse: De visuele resultaten tonen aan dat HighFM minder "oversegmentatie" (het markeren van grote, irrelevante gebieden) vertoont dan baselines, vooral bij moeilijke gevallen met zwakke signalen.

Betekenis en Toekomstperspectief

HighFM bewijst dat temporeel dichte geostationaire data een krachtige basis vormt voor real-time Earth Observation, zelfs met lagere ruimtelijke resolutie.

• Schaalbaarheid: De aanpak is niet beperkt tot branden en wolken; het is schaalbaar voor andere real-time toepassingen zoals stormvoorspelling, zonne-energievoorspelling en weersnowcasting.
• Sociale Impact: Het biedt een schaalbaar kader voor systemen die kritiek zijn voor civiele bescherming en klimaatresilientie, waarbij betrouwbare, snelle waarschuwingen mogelijk worden gemaakt.
• Toekomst: De auteurs plannen om de huidige single-modale aanpak uit te breiden naar multimodale pretraining (integratie van MODIS, VIIRS, SAR, etc.) om de generalisatie over verschillende sensoren en resoluties te verbeteren.

Samenvattend stelt HighFM een nieuwe standaard neer voor het gebruik van Foundation Models in dynamische, real-time monitoringsscenario's, waarbij de combinatie van grote hoeveelheden data en tijdsbewuste architectuur cruciaal is voor succes.