ThousandWorlds: A benchmark for climate emulation of potentially habitable exoplanets

技术摘要：ThousandWorlds：一个用于潜在宜居系外行星气候模拟的基准测试

问题陈述
探测地球以外的生命依赖于解读潜在宜居系外行星微弱的大气特征。然而，这些特征具有歧义性；例如，氧气的探测可能意味着生物作用，也可能仅仅是水的光解作用。解决这种歧义需要理解宿主行星的气候，包括温度、环流、云层和热量传输。目前，这种理解源自全球气候模型（GCM），而 GCM 的计算成本极高（每次运行需要 $10^4$–$10^6$ 核时），且需要大量的专家时间进行配置。这种成本限制了研究仅能进行针对精选配置的小规模集成，从而在进行大规模参数扫描和不确定性量化时造成了瓶颈。虽然机器学习（ML）模拟器提供了一个潜在的解决方案，但由于缺乏经过策划的多模型数据集，进展一直停滞不前。现有的模拟数据散落在不兼容的格式、垂直网格和输出变量中，阻碍了能够跨不同模拟器进行泛化的鲁棒模拟器的训练。

方法论与数据集构建
作者引入了 ThousandWorlds，这是一个为系外气候模拟以及更广泛的低数据、多模拟器、参数到场（parameter-to-field）回归领域设计的、具备机器学习就绪性的基准测试。

• 数据集组成： 该数据集包含来自五种不同 GCM 的约 1,800 次模拟：统一模型（UM）、ExoCAM、ExoCAM-pre-2022、LFRic 和 ExoPlaSim。这些模拟涵盖了一个物理领域：潮汐锁定水世界（处于宜居带内的海洋覆盖岩石行星）。
• 输入： 每次模拟由八个连续的行星参数定义：半径、表面重力、自转周期、表面压力、CO$_2$ 体积分数、CH$_4$ 体积分数、入射恒星通量和恒星温度。一个离散标签用于识别来源 GCM。
• 输出： 目标是时间平均的大气状态，由 $32 \times 64$ 的经纬度网格和 10 个压力层上的 53 个场表示。变量包括温度、湿度、风（纬向和经向）、云量、表面温度、向外长波辐射（OLR）和吸收短波辐射（ASR）。
• 数据挑战： 该数据集特意包含了三个嵌套的子集，以分阶段增加难度：
  1. Single-complete（单完整型）： 仅使用 UM GCM 进行回归（无多模拟器迁移，无缺失值）。
  2. Multi-complete（多完整型）： 使用所有五种 GCM 且观测数据完整（引入跨 GCM 迁移）。
  3. Multi-partial（多部分型）： 使用所有五种 GCM 和 53 个场的完整数据集，引入了结构化缺失（不同的垂直网格、缺失变量和压力层）。
• 评估协议：
  1. 标准协议： 使用较大的测试集，通过面积加权均方根误差（RMSE）对各种方法进行排名。
  2. 共享行星协议（Shared-Planets Protocol）： 将评估限制在被两个目标 GCM（UM 和 ExoCAM）共同模拟的行星上。模拟器的误差相对于两个 GCM 自身之间的差异进行衡量。该指标评估模拟器是否优于物理模型固有的认识论不确定性。

基准方法
作者评估了七种涵盖简单方法、深度学习和高斯过程（GP）的基线方法：

• 简单方法： 训练均值（Train-mean）和 k-最近邻（kNN）。
• 深度学习： Coord-MLP（逐点 MLP）、Coord-DeepONet（DeepONet 架构）和 PCA-MLP（对谱系数进行 PCA 后进行 MLP 回归）。
• 高斯过程（GP）： PPCA-ICM（概率 PCA 压缩后进行内在共区域模型 GP 回归）和 GPLFR（高斯过程潜在因子回归，一种对潜在表示和 GP 核进行端到端优化的方法）。

关键结果

• 性能： 基于 GP 的方法表现出最强的基准性能。GPLFR 在大多数变量和所有子集中都实现了最低的 RMSE，紧随其后的是 PPCA-ICM。
• 深度学习的局限性： 在深度学习方法中，PCA-MLP 表现最好。值得注意的是，Coord-DeepONet 和 Coord-MLP 的表现不及 GP 方法，尤其是在 Single-complete 子集中。这表明，系外气候模拟中的低数据、参数到场回归模式对标准的现成深度学习方法提出了挑战。
• 变量特性： kNN 在云量、风速和 ASR 方面与学习型方法具有竞争力，这表明这些变量主要受局部空间模板或 GCM 间差异的影响，而非平滑的全球趋势。相反，温度场显示出从复杂非线性模型中获益的最清晰趋势。
• 科学实用性： 在共享行星协议下，最佳基准方法（GPLFR, PPCA-ICM, PCA-MLP）在大多数变量上的相对 RMSE 低于 1。这表明，这些模拟器预测单个 GCM 输出的准确度比 GCM 彼此之间的差异还要高，达到了对系外行星天文学家具有实际意义的阈值。然而，在绝对误差项方面仍有显著提升空间（例如，表面温度的 RMSE 约为 10 K）。
• 数据组成： 辅助 GCM 数据（低保真度模型）对 GP 方法有益，但对深度学习方法是中性或有害的，这表明 GPs 更擅长利用跨 GCM 信息。来自严格目标物理领域之外的数据对所有方法都有利，这可能有助于将预测锚定在领域边界附近。

意义与主张
本文声称 ThousandWorlds 通过提供第一个用于模拟潜在宜居系外行星气候的大型、经过策划的多 GCM 数据集，填补了科学机器学习领域的一个关键空白。其意义在于：

1. 基准测试一个具有挑战性的领域： 它揭示了一个（低数据、参数到场、多模拟器）领域，在该领域标准深度学习表现挣扎，而高斯过程目前表现更优，从而为新型代理方法提供了测试平台。
2. 科学实用性： 它提供了一个框架，不仅根据单一地面真值，而且根据高保真物理模型的分布来衡量模拟器的性能，直接应对了气候科学中固有的认识论不确定性。
3. 社区资源： 通过发布数据集和代码，作者旨在加速系外行星气候研究领域的发展，实现此前因计算成本过高而无法进行的参数大范围扫描和原则性的不确定性量化。

作者保持了谦逊的态度，指出虽然模拟器正接近于 GCM 间差异的精度，但它们尚未成为全功能 GCM 运行的完美替代品，且目前的基准测试仅限于潮汐锁定的水世界，排除了如干燥行星或偏心轨道行星等其他类别。