ThousandWorlds: A benchmark for climate emulation of potentially habitable exoplanets

技術要約：ThousandWorlds：潜在的に居住可能な系外惑星の気候エミュレーションのためのベンチマーク

問題提起
地球外生命の検出は、潜在的に居住可能な系外惑星の微かな大気シグナルを解釈することに依存している。しかし、これらのシグナルには曖昧さが存在する。例えば、酸素の検出は生物学的な活動を示すこともあれば、単なる水の光解離によるものである可能性もある。この曖昧さを解消するには、温度、循環、雲、熱輸送を含むホスト惑星の気候を理解する必要がある。現在、この理解は全球気候モデル（GCM）から得られているが、これらは計算コストが非常に高く（1回の実行につき$10^4$〜$10^6$コア時間が必要）、設定に多大な専門家の時間を要する。このコストが、厳選された構成による小規模なアンサンブル研究に制限を課しており、大規模なパラメータ・スイープや不確実性の定量化におけるボトルネックとなっている。機械学習（ML）エミュレータは潜在的な解決策となるが、精緻に管理されたマルチモデル・データセットの欠如により、進展が停滞している。既存のシミュレーションは、互換性のないフォーマット、垂直格子、および出力変数に分散しており、異なるシミュレータ間で汎化可能な堅牢なエミュレータの訓練を妨げている。

手法およびデータセットの構築
著者らは、系外惑星気候のエミュレーション、およびより広範な「低データ・マルチシミュレータ・パラメータから場への回帰」という領域のために設計された、ML対応のベンチマークであるThousandWorldsを導入する。

• データセットの構成: データセットは、5つの異なるGCM（Unified Model (UM)、ExoCAM、ExoCAM-pre-2022、LFRic、ExoPlaSim）からの約1,800のシミュレーションで構成されている。これらのシミュレーションは、潮汐ロックされたウォーターワールド（ハビタブルゾーン内の海洋に覆われた岩石惑星）の物理領域をカバーしている。
• 入力: 各シミュレーションは、半径、表面重力、自転周期、表面気圧、CO$_2$体積分率、CH$_4$体積分率、入射ステラフラックス、および恒星温度の8つの連続的な惑星パラメータによって定義される。離散ラベルはソースとなるGCMを特定する。
• 出力: ターゲットは、$32 \times 64$の緯度・経度格子と10の圧力レベルを持つ53の場（フィールド）で表される、時間平均の大気状態である。変数は、温度、湿度、風（東西および南北）、雲量、表面温度、放出長波放射（OLR）、および吸収短波放射（ASR）を含む。
• データの課題: データセットは、難易度を段階的に高めるために、3つの入れ子になったサブセットを意図的に組み込んでいる：
  1. Single-complete: UM GCMのみを用いた回帰（マルチシミュレータ間の転移なし、欠損なし）。
  2. Multi-complete: すべての5つのGCMと完全な観測値を用いた回帰（GCM間の転移を導入）。
  3. Multi-partial: すべての5つのGCMと53の場を用いたフルデータセットであり、構造化された欠損（異なる垂直格子、欠落した変数、および圧力レベル）を導入している。
• 評価プロトコル:
  1. 標準プロトコル: より大きなテストセットを使用して、面積加重平方根平均二乗誤差（RMSE）によって手法をランク付けする。
  2. 共有惑星（Shared-Planets）プロトコル: 両方のターゲットGCM（UMとExoCAM）によってシミュレートされた惑星に評価を限定する。エミュレータの誤差は、2つのGCM自体の不一致に対して測定される。この指標は、エミュレータが物理モデル固有のエピステミックな不確実性よりも優れた性能を発揮するかどうかを評価する。

ベースライン手法
著者らは、単純な手法、ディープラーニング、およびガウス過程（GP）にわたる7つのベースラインを評価した：

• Simple: 学習平均（Train-mean）およびk近傍法（kNN）。
• Deep Learning: Coord-MLP（点ごとのMLP）、Coord-DeepONet（DeepONetアーキテクチャ）、およびPCA-MLP（スペクトル係数のPCAに続くMLP回帰）。
• Gaussian Processes (GP): PPCA-ICM（確率的PCA圧縮に続くIntrinsic Coregionalization Model GP回帰）、およびGPLFR（潜在表現とGPカーネルのエンドツーエンド最適化であるGaussian Process Latent Factor Regression）。

主な結果

• 性能: GPベースの手法が最も強力なベースラインとして浮上した。GPLFRは、ほとんどの変数において、すべてのサブセットで最も低いRMSEを達成し、次いでPPCA-ICMが僅差で続いた。
• ディープラーニングの限界: ディープラーニング手法の中では、PCA-MLPが最も優れた性能を示した。特筆すべきは、Coord-DeepONetとCoord-MLPが、特にSingle-completeサブセットにおいてGP手法よりも劣っていたことである。これは、系外惑星気候のエミュレーションのような「低データ・パラメータから場への回帰」というレジームが、標準的な既製品のディープラーニングアプローチにとって困難であることを示唆している。
• 変数による差異: kNNは、雲量、風、およびASRにおいて複雑な学習モデルと同等の競争力を見せた。これは、これらの変数が滑らかなグローバルな傾向よりも、局所的な空間テンプレートやGCM間の変動に支配されていることを示唆している。対照的に、温度場は複雑な非線形モデルの明確な恩恵を示した。
• 科学的有用性: 共有惑星プロトコルにおいて、最良のベースライン（GPLFR、PPCA-ICM、PCA-MLP）は、ほとんどの変数で相対RMSEが1を下回った。これは、これらのエミュレータが個々のGCMの出力を、GCM同士の不一致よりも正確に予測できることを示しており、系外惑星天文学における実用的な閾値に達していることを意味する。しかし、絶対誤差項（例：表面温度のRMSEが約10 K）には依然として大きな改善の余地がある。
• データの組成: 補助的なGCMデータ（低忠実度のモデル）はGP手法には有益であったが、ディープラーニング手法には中立または有害であった。これは、GPがクロスGCM情報を活用するのに優れていることを示唆している。厳密なターゲット物理領域外のデータは、全手法において有益であり、おそらく領域境界付近での予測を安定させる役割を果たした。

意義と主張
本論文は、ThousandWorldsが、潜在的に居住可能な系外惑星の気候をエミュレートするための、最初の大規模で精緻に管理されたマルチGCMデータセットを提供することで、科学的MLにおける重要なギャップを埋めるものであると主張している。その意義は以下の点にある：

1. 困難なレジームのベンチマーク化: 標準的なディープラーニングが苦戦し、ガウス過程が現在優位にある（低データ、パラメータから場への、マルチシミュレータ）というレジームを明らかにし、新しいサロゲート手法のためのテストベッドを提供している。
2. 科学的有用性: エミュレータの性能を単一の正解に対してではなく、高忠実度の物理モデルの広がりに対して測定する枠組みを提供し、気候科学に固有のエピステミックな不確実性に直接対処している。
3. コミュニティのリソース: データセットとコードを公開することにより、著者らは系外惑星気候研究を加速させ、これまで計算量的に不可能であった大規模なパラメータ・スイープや原理的な不確実性の定量化を可能にすることを目指している。

著者らは謙虚な姿勢を保っており、エミュレータはGCM間の不一致の精度に近づいているものの、まだ完全なGCMの代替にはなっていないこと、また、現在のベンチマークは潮汐ロックされたウォーターワールドに限定されており、乾燥した惑星や離心軌道を持つ惑星などの他の惑星クラスを除外していることを指摘している。