ThousandWorlds: A benchmark for climate emulation of potentially habitable exoplanets

Resumen Técnico: ThousandWorlds: un benchmark para la emulación climática de exoplanetas potencialmente habitables

Planteamiento del problema
La detección de vida más allá de la Tierra depende de la interpretación de firmas atmosféricas tenues de exoplanetas potencialmente habitables. Sin embargo, estas firmas son ambiguas; por ejemplo, la detección de oxígeno podría indicar biología o simplemente la fotodisociación del agua. Resolver esta ambigüedad requiere comprender el clima del planeta anfitrión, incluyendo la temperatura, la circulación, las nubes y el transporte de calor. Actualmente, este entendimiento se deriva de Modelos de Circulación Global (GCM, por sus siglas en inglés), los cuales son computacionalmente costosos (requiriendo de $10^4$ a $10^6$ horas-núcleo por ejecución) y requieren un tiempo significativo de expertos para su configuración. Este costo limita los estudios a pequeños conjuntos de configuraciones seleccionadas manualmente, creando un cuello de botella para los barridos de parámetros y la cuantificación de la incertidumbre a gran escala. Si bien los emuladores de aprendizaje automático (ML) ofrecen una solución potencial, el progreso se ha visto estancado por la ausencia de un conjunto de datos multimodelo curado. Las simulaciones existentes se encuentran dispersas en formatos, rejillas verticales y variables de salida incompatibles, lo que impide el entrenamiento de emuladores robustos que puedan generalizarse a través de diferentes simuladores.

Metodología y construcción del conjunto de datos
Los autores presentan ThousandWorlds, un benchmark listo para ML diseñado para la emulación de exoclimas y el régimen más amplio de regresión de parámetro-a-campo con pocos datos y múltiples simuladores.

• Composición del conjunto de datos: El conjunto de datos comprende aproximadamente 1,800 simulaciones de cinco GCM distintos: el Unified Model (UM), ExoCAM, ExoCAM-pre-2022, LFRic y ExoPlaSim. Estas simulaciones cubren un dominio físico de mundos acuáticos con acoplamiento de marea (planetas rocosos cubiertos de océano en la zona habitable).
• Entradas: Cada simulación está definida por ocho parámetros planetarios continuos: radio, gravedad superficial, periodo de rotación, presión superficial, fracción volumétrica de CO$_2$, fracción volumétrica de CH$_4$, flujo estelar incidente y temperatura estelar. Una etiqueta discreta identifica al GCM de origen.
• Salidas: El objetivo es el estado atmosférico de tiempo medio representado por 53 campos en una rejilla de latitud-longitud de $32 \times 64$ con 10 niveles de presión. Las variables incluyen temperatura, humedad, vientos (zonales y meridionales), fracción de nubes, temperatura superficial, radiación de onda larga saliente (OLR) y radiación de onda corta absorbida (ASR).
• Desafíos de datos: El conjunto de datos incorpora intencionalmente tres subconjuntos anidados para estadiar la dificultad creciente:
  1. Single-complete (Único-completo): Regresión utilizando únicamente el GCM UM (sin transferencia multi-simulador, sin ausencia de datos).
  2. Multi-complete (Multi-completo): Regresión utilizando los cinco GCM con observaciones completas (introduce la transferencia entre GCM).
  3. Multi-partial (Multi-parcial): El conjunto de datos completo utilizando los cinco GCM y 53 campos, introduciendo ausencia de datos estructurada (diferentes rejillas verticales, variables faltantes y niveles de presión).
• Protocolos de evaluación:
  1. Protocolo estándar: Utiliza un conjunto de prueba más grande para clasificar los métodos entre sí mediante el error cuadrático medio (RMSE) ponderado por área.
  2. Protocolo de planetas compartidos (Shared-Planets): Restringe la evaluación a planetas simulados por ambos GCM objetivo (UM y ExoCAM). El error del emulador se mide en relación con el desacuerdo entre los propios GCM. Esta métrica evalúa si el emulador desempeña mejor que la incertidumbre epistémica inherente de los modelos físicos.

Métodos base (Baselines)
Los autores evaluaron siete métodos base que abarcan desde métodos simples hasta aprendizaje profundo y procesos gaussianos (GP):

• Simples: Media de entrenamiento (Train-mean) y k-Vecinos más cercanos (kNN).
• Aprendizaje profundo: Coord-MLP (MLP puntual), Coord-DeepONet (arquitectura DeepONet) y PCA-MLP (PCA sobre coeficientes espectrales seguido de regresión MLP).
• Procesos Gaussianos: PPCA-ICM (compresión mediante PCA probabilístico seguido de regresión por modelo de corregionalización intrínseca de GP) y GPLFR (Regresión de factores latentes de procesos gaussianos, una optimización de extremo a extremo de la representación latente y el kernel GP).

Resultos clave

• Desempeño: Los métodos basados en GP emergieron como los baselines más fuertes. GPLFR logró el RMSE más bajo en la mayoría de las variables en todos los subconj sets, seguido de cerca por PPCA-ICM.
• Limitaciones del aprendizaje profundo: Entre los métodos de aprendizaje profundo, PCA-MLP fue el que mejor funcionó. Notablemente, Coord-DeepONet y Coord-MLP tuvieron un desempeño inferior respecto a los métodos de GP, particularmente en el subconjunto Single-complete. Esto sugiere que el régimen de pocos datos y de parámetro-a-campo de la emulación de exoclimas presenta desafíos para los enfoques de aprendizaje profundo estándar listos para usar.
• Especificidad de las variables: kNN fue competitivo con los métodos aprendidos para la fracción de nubes, vientos y ASR, lo que sugiere que estas variables están dominadas por plantillas espaciales locales o la variabilidad entre GCM en lugar de tendencias globales suaves. Por el contrario, los campos de temperatura mostraron el beneficio más claro de los modelos no lineales complejos.
• Utilidad científica: Bajo el protocolo de planetas compartidos, los mejores baselines (GPLFR, PPCA-ICM, PCA-MLP) lograron RMSE relativos por debajo de 1 para la mayoría de las variables. Esto indica que estos emuladores pueden predecir los resultados de los GCM individuales con mayor precisión de la que los propios GCM discrepan entre sí, un umbral de relevancia práctica para los astrónomos de exoplanetas. Sin embargo, queda un margen significativo en los términos de error absoluto (por ejemplo, el RMSE de la temperatura superficial ronda los 10 K).
• Composición de datos: Los datos de GCM auxiliares (modelos de menor fidelidad) beneficiaron a los métodos de GP pero fueron neutrales o perjudiciales para los métodos de aprendizaje profundo, lo que sugiere que los GP son mejores para explotar la información entre GCM. Los datos fuera del dominio físico estricto del objetivo fueron beneficiosos para todos los métodos, probablemente ayudando a anclar las predicciones cerca de los límites del dominio.

Significancia y afirmaciones
El artículo afirma que ThousandWorlds llena un vacío crítico en el ML científico al proporcionar el primer conjunto de datos curado y multimodelo de GCM para emular climas de exoplanetas potencialmente habitables. Su significancia radica en:

1. Evaluación de un régimen desafiante: Expone un régimen (pocos datos, parámetro-a-campo, multi-simulador) donde el aprendizaje profundo estándar tiene dificultades y donde los procesos gaussianos actualmente superan en desempeño, ofreciendo un banco de pruebas para nuevos métodos de sustitución (surrogates).
2. Utilidad científica: Proporciona un marco para medir el desempeño del emulador no solo contra una única verdad de terreno, sino contra la dispersión de los modelos físicos de alta fidelidad, abordando directamente la incertidumbre epistémica inherente a la ciencia climática.
3. Recurso para la comunidad: Al liberar el conjunto de datos y el código, los autores pretenden acelerar el campo de la investigación climática de exoplanetas, permitiendo barridos de parámetros a gran escala y una cuantificación de la incertidumbre fundamentada que antes era computacionalmente prohibitiva.

Los autores mantienen la modestia, señalando que, aunque los emuladores se acercan a la precisión del desacuerdo entre GCM, aún no son sustitutos perfectos para las ejecuciones completas de un GCM, y que el benchmark está actualmente limitado a mundos acuáticos con acoplamiento de marea, excluyendo otras clases de planetas como los planetas secos o de órbitas excéntricas.