ThousandWorlds: A benchmark for climate emulation of potentially habitable exoplanets

기술 요약: ThousandWorlds: 잠재적 거주 가능 외계 행성의 기후 에뮬레이션을 위한 벤치마크

문제 제기
지구 외 생명체의 탐지는 잠재적 거주 가능성이 있는 외계 행성의 희미한 대기 신호를 해석하는 데 달려 있습니다. 그러나 이러한 신호는 모호합니다. 예를 들어, 산소 검출은 생물학적 활동의 결과일 수도 있고, 단순히 물의 광해리(photodissociation) 현상 때문일 수도 있습니다. 이러한 모호성을 해결하려면 온도, 순환, 구름, 열 수송을 포함한 모행성의 기후를 이해해야 합니다. 현재 이러한 이해는 전 지구 기후 모델(GCM)로부터 도출되지만, 이는 계산 비용이 매우 높으며(실행당 $10^4$–$10^6$ 코어-시간 소요) 설정에 상당한 전문가의 시간이 필요합니다. 이러한 비용은 연구 범위를 엄선된 소규모 앙상블로 제한하며, 이는 대규모 파라미터 스윕(parameter sweeps)과 불확실성 정량화를 가로막는 병목 현상을 초역시킵니다. 머신러닝(ML) 에뮬레이터가 잠재적인 해결책을 제공할 수 있지만, 큐레이션된 다중 모델 데이터셋의 부재로 인해 진전이 정체되었습니다. 기존 시뮬레이션들은 서로 호환되지 않는 형식, 수직 격자, 출력 변수들로 흩어져 있어, 서로 다른 시뮬레이터를 가로질러 일반화할 수 있는 견고한 에뮬레이터를 훈련하는 것을 방해합니다.

방법론 및 데이터셋 구축
저자들은 외계 기후 에뮬레이션 및 더 넓은 의미의 저데이터(low-data), 다중 시뮬레이터, 파라미터-투-필드(parameter-to-field) 회귀 영역을 위해 설계된 ML 친화적 벤치마크인 ThousandWorlds를 소개합니다.

• 데이터셋 구성: 이 데이터셋은 다섯 가지 서로 다른 GCM인 Unified Model (UM), ExoCAM, ExoCAM-pre-2022, LFRic, 그리고 ExoPlaSim으로부터 추출된 약 1,800개의 시뮬레이션으로 구성됩니다. 이 시뮬레이션들은 조석 고정된 워터월드(해양으로 덮인 암석형 행성, 거주 가능 구역 내 위치)의 물리적 영역을 다룹니다.
• 입력값: 각 시뮬레이션은 반지름, 표면 중력, 자전 주기, 표면 압력, CO$_2$ 체적 분율, CH$_4$ 체적 분율, 입사 항성 플럭스, 항성 온도의 8가지 연속적인 행성 파라미터로 정의됩니다. 이산 레이블은 소스 GCM을 식별합니다.
• 출력값: 타겟은 $32 \times 64$ 위도-경도 격자와 10개의 압력 층을 가진 53개 필드로 표현된 시간 평균 대기 상태입니다. 변수에는 온도, 습도, 바람(동서 및 남북 방향), 구름 분율, 표면 온도, 유출 장파 복사(OLR), 흡수 단파 복사(ASR)가 포함됩니다.
• 데이터 도전 과제: 데이터셋은 난이도를 단계적으로 높이기 위해 세 가지 중첩된 하위 집합을 의도적으로 포함합니다:
  1. Single-complete: UM GCM만을 사용하는 회귀 (다중 시뮬레이터 전이 및 결측치 없음).
  2. Multi-complete: 모든 관측치가 완전한 다섯 가지 GCM을 사용하는 회귀 (GCM 간 전이 도입).
  3. Multi-partial: 다섯 가지 GCM과 53개 필드를 모두 사용하는 전체 데이터셋 (구조적 결측치 도입: 서로 다른 수직 격자, 누락된 변수 및 압력 층).
• 평가 프로토콜:
  1. 표준 프로토콜: 더 큰 테스트 세트를 사용하여 면적 가중 RMSE(Root Mean Squared Error)를 기준으로 방법론 간의 순위를 매깁니다.
  2. 공유 행성(Shared-Planets) 프로토콜: 두 타겟 GCM(UM 및 ExoCAM) 모두에서 시뮬레이션된 행성으로 평가를 제한합니다. 에뮬레이터 오차는 두 GCM 자체의 불일치와 비교하여 측정됩니다. 이 메트릭은 에뮬레이터가 물리 모델의 내재적 인식론적 불확실성보다 더 나은 성능을 보이는지 평가합니다.

베이스라인 방법론
저자들은 단순한 방법부터 딥러닝, 가우시안 프로세스(GP)에 이르는 7가지 베이스라인을 평가했습니다:

• 단순 모델: Train-mean 및 k-최근접 이웃(kNN).
• 딥러닝: Coord-MLP (지점별 MLP), Coord-DeepONet (DeepONet 구조), PCA-MLP (스펙트럼 계수에 대한 PCA 후 MLP 회귀).
• 가우시안 프로세스: PPCA-ICM (확률적 PCA 압축 후 내재적 공지역 모델 GP 회귀) 및 GPLFR (가우시안 프로세스 잠재 요인 회귀, 잠재 표현과 GP 커널의 엔드 투 엔드 최적화).

주요 결과

• 성능: GP 기반 방법들이 가장 강력한 베이스라인으로 나타났습니다. GPLFR은 모든 하위 집합의 대부분의 변수에서 가장 낮은 RMSE를 달s성했으며, PPCA-ICM이 그 뒤를 바짝 쫓았습니다.
• 딥러닝의 한한계: 딥러닝 방법 중에서는 PCA-MLP가 가장 우수한 성능을 보였습니다. 특히 Coord-DeepONet과 Coord-MLP는 GP 방법들에 비해 성능이 떨어졌으며, 이는 특히 Single-complete 집합에서 두드러졌습니다. 이는 외계 기후 에뮬레이션의 저데이터, 파라터-투-필드 영역이 표준적인 기성 딥러닝 접근 방식에 어려움을 준다는 것을 시사합니다.
• 변수별 특성: kNN은 구름 분율, 바람, ASR에서 학습된 모델들과 경쟁할 만한 성능을 보였는데, 이는 해당 변수들이 매끄러운 전 지구적 추세보다는 국지적인 공간 템플릿이나 GCM 간의 변동성에 의해 지배됨을 시사합니다. 반대로, 온도 필드는 복잡한 비선형 모델의 이점을 가장 명확하게 보여주었습니다.
• 과학적 유용성: 공유 행성 프로토콜에서 최상의 베이스라인들(GPLFR, PPCA-ICM, PCA-MLP)은 대부분의 변수에서 1 미만의 상대적 RMSE를 달성했습니다. 이는 에뮬레이터가 개별 GCM 출력을 GCM 간의 불일치보다 더 정확하게 예측할 수 있음을 나타내며, 이는 외계 행성 천문학자들에게 실질적인 관련성을 갖는 임계치입니다. 그러나 절대 오차 항(예: 표면 온도 RMSE 약 10 K) 측면에서는 여전히 개선의 여지가 큽니다.
• 데이터 구성: 보조 GCM 데이터(낮은 충실도의 모델)는 GP 방법에는 도움이 되었으나 딥러닝 방법에는 중립적이거나 부정적인 영향을 미쳤습니다. 이는 GP가 교차 GCM 정보를 활용하는 데 더 뛰어나다는 것을 시사합니다. 엄격한 타겟 물리 영역 외부의 데이터는 모든 방법에서 유익했는데, 이는 아마도 경계 근처에서의 예측을 고정하는 데 도움을 주었기 때문일 것입니다.

의의 및 주장
본 논문은 ThousandWorlds가 외계 행성의 기후를 에뮬레이션하기 위한 최초의 대규모 큐레이션된 다중 GCM 데이터셋을 제공함으로써 과학적 ML의 중요한 공백을 메운다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

1. 도전적인 영역의 벤치마킹: 표준 딥러닝이 고전하고 가우시안 프로세스가 현재 더 우세한 영역(저데이터, 파라미터-투-필드, 다중 시뮬레이터)을 노출함으로써, 새로운 대리 모델(surrogate methods)을 위한 테스트베드를 제공합니다.
2. 과학적 유용성: 에뮬레이터의 성능을 단일 정답(ground truth)뿐만 아니라 고충실도 물리 모델의 분포와 비교하여 측정하는 프레임워크를 제공하며, 이는 기후 과학에 내재된 인식론적 불확실성을 직접적으로 다룹니다.
3. 커뮤니티 자원: 데이터셋과 코드를 공개함으로써, 저자들은 이전에는 계산적으로 불가능했던 대규모 파라미터 스윕과 원칙적인 불확실성 정량화를 가능하게 하여 외계 행성 기후 연구 분야를 가속화하고자 합니다.

저자들은 에뮬레이터가 GCM 간의 불일치 수준에 근접하고는 있지만, 아직 완전한 GCM 실행을 대체할 수 있는 완벽한 도구는 아니라는 점을 언급하며 겸허한 태도를 유지합니다. 또한, 현재 벤치마크는 조석 고정된 워터월드에 국한되어 있으며, 건조한 행성이나 편심 궤도를 가진 행성 등 다른 행성 클래스는 포함하지 않고 있습니다.