MarsCast: Transfer Learning of AI Weather Foundation Models to Planetary Atmospheres

Technische Samenvatting: MarsCast – Transfer Learning van AI-weersverwachtings-foundationmodellen naar planetaire atmosferen

Probleemstelling
Recente vooruitgang in machine learning heeft aardse weersverwachtings-foundationmodellen, zoals GraphCast, gevestigd als state-of-the-art instrumenten voor terrestrische voorspellingen, die aanzienlijke computationele voordelen bieden ten opzichte van traditionele Numerieke Weersvoorspelling (NWP). De toepasbaarheid van deze modellen op niet-aardse planetaire omgevingen blijft echter onverkend. De Marsatmosfeer vormt een specifieke uitdaging vanwege de dunne, door CO₂ gedomineerde samenstelling, oppervlaktedrukken die twee grootheden lager zijn dan die van de aarde, en unieke dynamiek gedreven door sterke diurnale variabiliteit, seizoensgebonden massa-uitwisseling en stof Aerosol-verwarming. Traditionele Mars Global Climate Models (MGCMs) zijn fysisch uitgebreid maar computationeel intensief, wat hun nut beperkt voor snelle voorspellingen of ensemble-gebaseerde onzekerheidskwantificering. De centrale vraag die wordt behandeld is of op de aarde getrainde atmosferische foundationmodellen kunnen worden overgedragen naar planetaire omgevingen met fundamenteel andere fysica en samenstelling, en zo ja, welke beperkingen er bestaan bij zero-shot toepassing en hoe deze overwonnen kunnen worden door middel van fine-tuning.

Methodologie
De studie past GraphCast aan, een graph neural network (GNN) weersverwachtingsmodel dat oorspronkelijk is getraind op de ERA5-reanalysegegevens van de aarde, om de atmosferische dynamiek van Mars te simuleren. De methodologie verloopt in twee fasen:

1. Data-preparatie en Preprocessing:

   • Brongegevens: De Mars Climate Database (MCD) levert globale atmosferische velden, inclusief 2-meter luchttemperatuur, oppervlaktetemperatuur en atmosferische variabelen op 13 verticale drukniveaus (50–1000 Pa), samen met top-of-atmosphere (TOA) zonnestralingsforcering.
   • Rescaling: Om numerieke consistentie met de vooraf getrainde GraphCast-gewichten te behouden, werden de Mars-temperatuurvelden geschaald om het dynamische bereik van de ERA5-dataset te evenaren middels een lineaire transformatie.
   • Variabele Afhandeling: De modelinputs bevatten 2-meter temperatuur, 10-meter windcomponenten en 3D wind/temperatuurvelden op 13 niveaus. Cruciaal is dat de luchtvochtigheid constant werd gehouden op een globale gemiddelde waarde om temperatuurvariabiliteit te isoleren en dimensionaliteit te verminderen, en de land-zee-masker op een waarde van één werd ingesteld (waarbij Mars als volledig land werd behandend).
   • Temporele Sampling: Gegevens werden gesampled op 00, 06, 12 en 18 uur om diurnale cycli te vangen, waarbij de seizoenscyclus werd gerepresenteerd door de zonne-lengtegraad ($L_s$).

2. Experimenteel Ontwerp:

   • Zero-Shot Evaluatie: GraphCast werd autoregressief toegepast op de Mars-toestanden zonder hertraining om de bekwaamheid te beoordelen om op de aarde geleerde dynamica naar Mars te generaliseren.
   • Fine-Tuning Strategie: Een gerichte fine-tuning benadering werd gehanteerd met de AdamW optimizer (leersnelheid $1 \times 10^{-6}$) en Mean Squared Error (MSE) loss. Het model werd 'unfrozen' om de aanpassing van de encoder, processor en decoder mogelijk te maken. Training maakte gebruik van sequentiële triplets van tijdstappen (bijv. $T_{00}, T_{06} \rightarrow T_{12}$) om diurnale verwarming en afkoeling te leren die worden gedreven door zonnestraling.
   • Gevoeligheidsanalyse: Experimenten evalueerden de prestaties over variërende trainingsduur (tot ~1000 epochs) en steekproefomvang (subsets van 30, 100 en 360 dagen).

Belangrijkste Bijdragen

• Demonstratie van Overdraagbaarheid: De studie levert het eerste bewijs dat een op de aarde getraind foundationmodel kan worden aangepast om de atmosferische dynamica van Mars te simuleren, waarmee wordt voortgebogen op de "vanuit-het-begin" trainingsbenaderingen die eerder geprobeerd zijn voor planetaire AI-modellen.
• Identificatie van Zero-Shot Foutmodi: Het onderzoek karakteriseert de specifieke tekortkomingen van op de aarde getrainde modellen in zero-shot scenario's, waarbij wordt opgemerkt dat er een snelle verval optreedt richting klimatologische gemiddelden en een volledig onvermogen om de diurnale variabiliteit te reproduceren.
• Efficiënt Adaptatieprotocol: Het papier stelt een fine-tuning protocol vast dat minimale data vereist (zo weinig als 30 dagen aan trainingssamples) en computationele middelen (uren op een enkele GPU) om snel de planetaire thermische dynamica te leren.
• Open-Source Model: Het resulterende gefinetunede model, getiteld "MarsCast", inclusief de architectuur en checkpoints, is beschikbaar gesteld via GitHub en Hugging Face.

Resultaten

• Zero-Shot Prestaties: Zonder fine-tuning produceerde GraphCast weliswaar waarneembare ruimtelijke patronen, maar slaagde het er niet in om diurnale cycli te vangen. Voorspellingen stortten snel in naar het klimatologische evenwicht, wat aangeeft dat de op de aarde specifieke radiatieve balans en thermodynamische aannames niet generaliseren naar Mars.
• Snel Leren via Fine-Tuning:
  • Diurnale Cyclus: Binnen slechts 10 trainingsepoches begon het gefinetunede model de diurnale verwarmings- en afkoelingscyclus van Mars te vangen.
  • Nauwkeurigheid: Na ~1000 epochs reproduceerde het model de diurnale temperatuurvariabiliteit consistent met de zonnestraling, waarbij de fouten werden gereduceerd tot minder dan ±2 K op de meeste locaties.
  • Data-efficiëntie: Het model vertoonde een hoge data-efficiëntie en leerde de planetaire dynamica effectief uit kleine subsets van de MCD.
• Verticale en Seizoensgebonden Structuur:
  • Verticale Profielen: MarsCast reproduceerde succesvol verticale temperatuurprofielen op 13 niveaus, waarbij een sterke overeenkomst werd getoond met de MCD in de middelste atmosfeer (250–800 Pa). Discrepanties waren iets hoger in de lagere en hogere atmosfeer, maar behielden de belangrijkste gradiënten.
  • Seizoensgebondenheid: Het model behield de voorspellingsvaardigheid over vier representatieve seizoenen ($L_s = 60^\circ, 150^\circ, 240^\circ, 330^\circ$), waarbij de seizoensafhankelijkheid accuraat werd gevangen.
• Windvoorspelling: Wanneer windvariabelen werden opgenomen in de laatste fine-tuning fase, voorspelde het model succesvol zowel meridionale als zonale winden, waarbij de verschillen in windsnelheid over het algemeen binnen ±4 m/s lagen voor de eerste 48 uur.

Significantie en Claims
Het artikel claimt dat de primaire significantie van dit werk ligt in het aantonen van de haalbaarheid van het aanpassen van aardse weersverwachtings-foundationmodellen voor planetaire wetenschap, wat een pad biedt naar snelle, AI-geaugmenteerde weersvoorspelling. De auteurs benadrukken drie specifieke voordelen van deze benadering:

1. Snelheid: Voorspelling genereren is orde van grootte sneller dan het draaien van volledige fysica-gebaseerde MGCMs.
2. Computationele Efficiëntie: Het genereren van een 10-daagse voorspelling met 1° resolutie vereist ongeveer 2 minuten op een enkele GPU, vergeleken met 30 minuten op een enkele CPU voor een grovere 5° resolutie fysica-gebaseerde voorspelling. Deze efficiëntie maakt het praktische gebruik van ensemble-voorspellingen mogelijk.
3. Resolutieverbetering: Ondanks dat het werd geïnitialiseerd met MCD-data die via bilineaire interpolatie naar 1° was gedownscaled, vangen de outputs van het model visueel fijnere resolutie details, wat suggereert dat foundationmodellen effectief grovere inputs kunnen downscalen.

De studie concludeert dat hoewel de huidige implementatie de luchtvochtigheid en stofdynamiek vereenvoudigt, het succes van MarsCast de validiteit van het concept van het gebruik van een "basis" foundationmodel voor planetaire adaptatie bevestigt. Deze benadering biedt een kosteneffectieve methode om nieuwe planetaire modellen te genereren, wat toekomstige missieoperaties, risicomitigatie voor stofstormen en de planning van menselijke exploratie ondersteunt.