ThousandWorlds: A benchmark for climate emulation of potentially habitable exoplanets

Technische Samenvatting: ThousandWorlds: een benchmark voor klimaatemulatie van potentieel bewoonbare exoplaneten

Probleemstelling
De detectie van leven buiten de Aarde is afhankelijk van het interpreteren van zwakke atmosferische signaturen van potentieel bewoonbare exoplaneten. Deze signaturen zijn echter ambigu; bijvoorbeeld kan een detectie van zuurstof duiden op biologie of louter op de fotodissociatie van water. Het oplossen van deze ambiguïteit vereist een begrip van het klimaat van de gastplaneet, inclusief temperatuur, circulatie, wolken en warmtetransport. Momenteel wordt dit begrip verkregen via Mondiale Klimaatmodellen (GCM's), die computationeel duur zijn (vereisen $10^4$–$10^6$ kernuren per run) en aanzienlijke deskundige tijd vereisen voor configuratie. Deze kosten beperken studies tot kleine ensembles van handmatig gekozen configuraties, wat een flessenhals creëert voor grootschalige parameterschakelingen en onzekerheidskwantificering. Hoewel machine learning (ML) emulatoren een potentiële oplossing bieden, is de vooruitgang gestagneerd door het ontbreken van een gecureerde, multi-model dataset. Bestaande simulaties zijn verspreid over incompatibele formaten, verticale roosters en outputvariabelen, wat het trainen van robuuste emulatoren die kunnen generaliseren over verschillende simulators belemmert.

Methodologie en Datasetconstructie
De auteurs introduceren ThousandWorlds, een ML-ready benchmark ontworpen voor exoklimaatemulatie en het bredere regime van low-data, multi-simulator, parameter-naar-veld regressie.

• Datasetcompositie: De dataset bestaat uit ongeveer 1.800 simulaties van vijf verschillende GCM's: de Unified Model (UM), ExoCAM, ExoCAM-pre-2022, LFRic en ExoPlaSim. Deze simulaties bestrijken een fysiek domein van getijdenvergrendelde waterwerelden (rotsachtige planeten bedekt met oceanen in de leefbare zone).
• Inputs: Elke simulatie wordt gedefinieerd door acht continue planeetparameters: straal, oppervlaktezwaartekracht, rotatieperiode, oppervlaktedruk, CO$_2$-volumefractie, CH$_4$-volumefractie, invallende stellaire flux en stellaire temperatuur. Een discrete label identificeert de bron-GCM.
• Outputs: Het doel is de tijdgemiddelde atmosferische staat, gerepresenteerd door 53 velden op een $32 \times 64$ breedtegraad–lengtegraad rooster met 10 drukniveaus. Variabelen omvatten temperatuur, vochtigheid, winden (zonal en meridionaal), wolkfractie, oppervlaktetemperatuur, uitgaande langgolvige straling (OLR) en geabsorbeerde kortgolvige straling (ASR).
• Data-uitdagingen: De dataset bevat opzettelijk drie geneste subsets om de moeilijkheidsgraad stapsgewijs te verhogen:
  1. Single-complete: Regressie met uitsluitend de UM GCM (geen multi-simulator transfer, geen ontbrekende waarden).
  2. Multi-complete: Regressie met alle vijf de GCM's met volledige observaties (introduceert cross-GCM transfer).
  3. Multi-partial: De volledige dataset met alle vijf de GCM's en 53 velden, wat gestructureerde ontbrekende waarden introduceert (verschillende verticale roosters, ontbrekende variabelen en druklevels).
• Evaluatieprotocollen:
  1. Standaardprotocol: Gebruikt een grotere testset om methoden tegen elkaar te rangschikken met behulp van gebiedsgewogen Root Mean Squared Error (RMSE).
  2. Shared-Planets Protocol: Beperkt de evaluatie tot planeten die door beide doel-GCM's (UM en ExoCAM) zijn gesimuleerd. De emulatorfout wordt gemeten ten opzichte van de onenigheid tussen de twee GCM's zelf. Deze metriek beoordeelt of de emulator beter presteert dan de inherente epistemische onzekerheid van de fysica-modellen.

Baseline-methoden
De auteurs evalueerden zeven baselines variërend van eenvoudige methoden tot deep learning en Gaussische processen (GP's):

• Eenvoudig: Train-mean en k-Nearest Neighbors (kNN).
• Deep Learning: Coord-MLP (puntgewijze MLP), Coord-DeepONet (DeepONet architectuur), en PCA-MLP (PCA op spectrale coëfficiënten gevolgd door MLP-regressie).
• Gaussische Processen: PPCA-ICM (Probabilistische PCA-compressie gevolgd door Intrinsic Coregionalization Model GP-regressie) en GPLFR (Gaussian Process Latent Factor Regression, een end-to-end optimalisatie van de latente representatie en de GP-kernel).

Belangrijkste resultaten

• Prestaties: GP-gebaseerde methoden bleken de sterkste baselines. GPLFR behaalde de laagste RMSE op de meerderheid van de variabelen over alle subsets, gevolgd door PPCA-ICM.
• Beperkingen van Deep Learning: Onder de deep learning methoden presteerde PCA-MLP het best. Opvallend genoeg presteerden Coord-DeepONet en Coord-MLP slechter dan de GP-methoden, met name op de Single-complete subset. Dit suggereert dat het low-data, parameter-naar-veld regime van exoklimaatemulatie uitdagingen biedt voor standaard off-the-shelf deep learning benaderingen.
• Variante-specifieke details: kNN was competitief met geleerde methoden voor wolkfractie, winden en ASR, wat suggereert dat deze variabelen worden gedomineerd door lokale ruimtelijke templates of inter-GCM variabiliteit in plaats van gladde globale trends. Daarentegen vertoonden temperatuurvelden het duidelijkste voordeel van complexe nietlineaire modellen.
• Wetenschappelijke bruikbaarheid: Onder het shared-planets protocol bereikten de beste baselines (GPLFR, PPCA-ICM, PCA-MLP) relatieve RMSE's onder de 1 voor de meeste variabelen. Dit geeft aan dat deze emulatoren individuele GCM-outputs nauwkeuriger kunnen voorspellen dan de GCM's met elkaar overeenstemmen, een drempel van praktische relevantie voor exoplaneet-astronomen. Er blijft echter aanzienlijke ruimte voor verbetering in absolute fouttermen (bijv. oppervlaktemperatuur RMSE rond de 10 K).
• Data-compositie: Aanvullende GCM-data (modellen met lagere getrouwheid) waren gunstig voor GP-methoden maar neutraal of nadelig voor deep learning methoden, wat suggereert dat GP's beter in staat zijn om cross-GCM informatie te exploiteren. Data van buiten het strikte doel-fysieke domein waren gunstig voor alle methoden, waarschijnlijk door voorspellingen nabij de domeingrenzen te verankeren.

Betekenis en Claims
Het artikel claimt dat ThousandWorlds een kritieke kloof in de wetenschappelijke ML vult door de eerste grote, gecureerde, multi-GCM dataset te bieden voor de emulatie van potentieel bewoonbare exoplaneetklimaten. De betekenis ligt in:

1. Het benchmarken van een uitdagend regime: Het legt een regime bloot (low-data, parameter-naar-veld, multi-simulator) waar standaard deep learning moeite heeft en waar Gaussische processen momenteel de voorkeur genieten, wat een testbed biedt voor nieuwe surrogaatmethoden.
2. Wetenschappelijke bruikbaarheid: Het biedt een raamwerk om de prestaties van emulatoren niet alleen tegen één enkele grondwaarheid te meten, maar ook tegen de spreiding van hoogwaardige fysica-modellen, wat direct ingaat op de inherente epistemische onzekerheid in de klimaatwetenschap.
3. Community Resource: Door de dataset en code vrij te geven, beogen de auteurs de exoplaneet-klimaatonderzoek te versnellen, wat grootschalige parameterschakelingen en principiële onzekerheidskwantificering mogelijk maakt die voorheen computationeel onhaalbaar waren.

De auteurs blijven bescheiden en merken op dat hoewel emulatoren de nauwkeurigheid van de inter-GCM onenigheid benaderen, ze nog geen perfecte vervanging zijn voor volledige GCM-runs, en dat de benchmark momenteel beperkt is tot getijdenvergrendelde waterwerelden, waarbij andere planeetklassen zoals droge planeten of excentrieke banen worden uitgesloten.