Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing

Probleemstelling

Bestaande methoden voor het vooraf trainen (pretraining) van fundamentele modellen (foundation models) in de aardwetenschappen en remote sensing vertrouwen voornamelijk op zelftoezichtende leerstrategieën zoals:

1. Gemaskerde reconstructie (Masked Reconstruction - MR): Het verbergen van delen van een afbeelding of sequentie en het trainen van het model om deze te reconstrueren.
2. Voorspelling van de volgende token (Next-token prediction): Het voorspellen van toekomstige datapunten in een sequentie.

Hoewel deze methoden sterke prestaties leveren, missen ze een cruciaal element: ze vangen niet de causale interactie tussen verschillende geospatiale en omgevingsvariabelen. In de aardwetenschappen beïnvloeden bepaalde variabelen (de "drivers", zoals weer) andere variabelen (de "responses", zoals vegetatie of bodemvochtigheid) op een specifieke, causale manier. Bestaande modellen leren voornamelijk ruimtelijke patronen of statistische correlaties, maar niet de onderliggende fysieke causaliteit (bijv. hoe regen de groei van gewassen beïnvloedt). Dit beperkt hun effectiviteit bij taken waar het begrijpen van deze causale dynamiek essentieel is.

Methodologie: KG-VSF

De auteurs introduceren een nieuwe pretraining-taak genaamd Knowledge Guided Variable-Step Forecasting (KG-VSF). Deze methode modelleert voorspelling als een conditionele generatietak.

Kernprincipes:

• Causale Richting: Het model wordt getraind om een toekomstige satellietafbeelding (de respons) te voorspellen op basis van historische satellietbeelden én historische én toekomstige weergegevens (de drivers).
• Conditionele Generatie: De weergegevens fungeren als conditie die de evolutie van het landschap stuurt. Het model moet leren hoe specifieke weersomstandigheden (bijv. droogte, sneeuw, regen) de oppervlakteconditie op een bepaalde locatie beïnvloeden.
• Variabele Stappen: Het model moet voorspellen voor willekeurige tijdstippen in de toekomst (variabele stapgrootte), wat de generalisatie verbetert.

Architectuur:
Het gebruikte model volgt een "heavy encoder, lightweight decoder" structuur:

1. Satelliet Encoder: Een gedeelde Vision Transformer (ViT) die ruimtelijke kenmerken uit spectrale beelden haalt.
2. Weer Encoder: Een Unidirectionele LSTM die de tijdsreeks van weergegevens encodeert.
3. Tijds-Encoder: Verwerkt de dag van het jaar (DOY) en de tijdsverschillen (delta) tussen beelden.
4. Multimodale Sequentie Encoder: Een Transformer met "forward-only attention" (causaal) die de ruimtelijke, weer- en tijdsinformatie combineert tot een gezamenlijke embedding.
5. Forecaster: Een laag die de huidige embedding omzet naar een toekomstige embedding, gebruikmakend van de weergegevens tot dat toekomstige tijdstip.
6. Decoder: Een lichtgewicht MLP die de voorspelde embedding terugzet naar de spectrale beeldruimte.

Twee-fasen Vooraftrainingsproces:
Om ervoor te zorgen dat de embeddings daadwerkelijk causale relaties leren, wordt een gefaseerde aanpak gebruikt:

• Fase 1 (Gemaskerde Reconstructie): Het trainen van de encoders voor satelliet- en weerdata apart via gemaskerde reconstructie om sterke basale representaties te krijgen.
• Fase 2 (Voorspelling): Het introduceren van de forecaster. Het model leert nu de transformatie van huidige naar toekomstige embeddings, gedwongen door de weergegevens, om de causale dynamiek te internaliseren.

Belangrijkste Bijdragen

1. Nieuwe Pretraining-taak: KG-VSF is de eerste methode die expliciet causale afhankelijkheden tussen modaliteiten (weer en satelliet) inbouwt in de pretraining-doelstelling, in plaats van alleen correlaties te zoeken.
2. Superieure Embeddings: De auteurs tonen aan dat embeddings gegenereerd door KG-VSF superieur zijn aan die van standaard methoden (SM-MR, MM-MR, SM-VSF, MM-VSF) voor taken die afhankelijk zijn van causale dynamiek.
3. Uitgebreide Validatie: Het paper biedt een uitgebreide evaluatie over meerdere downstream-taken en datasets (wereldwijd en specifiek voor Amerikaanse akkerbouw).
4. Analyse van Causaliteit: Door middel van "counterfactual weather probing" (het invoeren van onrealistische weerscenario's) en "shuffling" experimenten wordt bewezen dat de prestatieverbetering voortkomt uit het leren van fysieke causaliteit en niet slechts uit het hebben van extra inputmodaliteiten.

Resultaten

De prestaties van KG-VSF werden getest op diverse downstream-taken en vergeleken met bestaande modellen (zoals Prithvi EO.2) en andere pretraining-strategieën:

• Pixel-voor-pixel Gewasclassificatie: KG-VSF behaalde de hoogste F1-score (0.7602) vergeleken met MM-MR (0.7056) en andere methoden, zelfs met beperkte fine-tuning data.
• Bodemvochtigheidsschatting en -voorspelling: KG-VSF overtrof alle andere methoden met een R²-score van 0.8081 voor schatting en 0.7834 voor voorspelling (0-25 dagen). De prestatieverbetering was aanzienlijk omdat bodemvochtigheid sterk causaal gekoppeld is aan neerslag.
• Ontbrekende Beeldvoorspelling (Missing Image Prediction): Bij het invullen van beschadigde of ontbrekende beeldelementen (zonder maskers) presteerde KG-VSF aanzienlijk beter (lagere MSE) dan MR-varianten. Het model kon fysiek plausibele content genereren op basis van weersomstandigheden.
• Zero-Shot Toekomstbeeldvoorspelling: Zonder fine-tuning kon KG-VSF toekomstige beelden (tot 100+ dagen) veel nauwkeuriger voorspellen dan SM-VSF of MM-VSF. Het model kon complexe fenomenen zoals oogst, groei en sneeuwval correct voorspellen op basis van weersinvoer.
• Embedding Kwaliteit: t-SNE visualisaties toonden aan dat KG-VSF dichte, semantisch consistente clusters vormt voor verschillende gewastypes, terwijl andere methoden meer overlappende clusters produceerden.

Betekenis en Conclusie

Deze studie toont aan dat het integreren van domeinkennis (specifiek causale relaties tussen weer en landschap) in de pretraining-taak van multimodale fundamentele modellen leidt tot robuustere en interpreteerbaardere representaties.

• Wetenschappelijke Impact: Het bewijst dat fundamentele modellen in de aardwetenschappen niet alleen statistische patronen moeten leren, maar ook de onderliggende fysieke processen.
• Praktische Toepassing: De methode is zeer waardevol voor toepassingen zoals opbrengstprognoses, overstromingsvoorspelling, droogtemonitoring en het invullen van data-gaten in satellietbeelden.
• Schaalbaarheid: De resultaten tonen een consistente verbetering naarmate de grootte van het pretraining-dataset toeneemt, wat suggereert dat KG-VSF goed schaalbaar is naar grotere, wereldwijde datasets.

Kortom, KG-VSF biedt een nieuwe paradigma voor het trainen van aardwetenschapsmodellen waarbij causaliteit centraal staat, wat leidt tot modellen die beter presteren in realistische, complexe scenario's waar traditionele methoden tekortschieten.