기술 요약: PEAR - 구면에서의 등면적 기상 예보

문제 제기

인공지능은 기상 예보 분야에서 급속히 발전하여, 판구-기상 (Pangu-Weather) 과 그래프크래프트 (GraphCast) 와 같은 모델들이 전 지구 중기 예보에서 전통적인 수치 방법을 능가하고 있습니다. 그러나 중요한 한계가 여전히 존재합니다: 대부분의 데이터 기반 모델은 구면의 등각 이산화 (equiangular discretizations)(위도 - 경도 또는 가우스 격자) 에 의존합니다. 이러한 격자들은 비균일한 해상도를 겪는데, 격자 셀이 적도 근처에 비해 극지방에서 훨씬 작아집니다. 이 기하학적 왜곡은 전 지구 전체에서 임의적으로 변하는 샘플링 밀도로 인해 학습 기반 모델에 비물리적 편향과 아티팩트를 도입합니다.

계층적 등면적 등위도 픽셀화 (HEALPix) 격자는 모든 픽셀이 정확히 동일한 표면적을 커버하도록 보장함으로써 해결책을 제시하지만, 기상 예보에서 이를 활용하려는 이전 시도들은 제한적이었습니다. 일부 모델은 데이터를 평면 격자에 투영하는 반면, 다른 모델들은 HEALPix 를 전처리 용도로만 사용하여 등각 및 HEALPix 표현 간을 매핑하는 학습 가능한 인코더/디코더를 필요로 합니다. 본 논문은 이러한 비물리적 편향을 제거하고 구면의 고유한 대칭성과 정렬하기 위해 HEALPix 격자에서 **네이티브 (natively)**로 작동하는 모델의 필요성을 다룹니다.

방법론

저자들은 중간 투영 없이 HEALPix 격자 전체에서 작동하도록 설계된 트랜스포머 기반 기상 예보 모델인 **PEAR(Pangu Equal Area)**를 제안합니다.

데이터 및 설정

• 데이터셋: 모델은 전체 ERA5 재분석 데이터 (2007–2017) 의 하위 집합인 ERA5-Lite 데이터셋으로 훈련되었으며, $n_{side} = 64$의 HEALPix 격자로 재샘플링되었습니다. 이 해상도는 사용 가능한 등각 ERA5 데이터의 각 해상도를 포화시킵니다.
• 입력/출력: 이 작업은 $t$의 상태를 기반으로 $t + \Delta t$(24 시간) 의 전 지구 기상 상태를 예측하는 회귀 문제입니다. 입력에는 13 개의 수직 층에 걸친 지표면 변수 (바람, 온도, 기압) 와 상층 대기 변수 (바람, 온도, 습도, 지위) 가 포함됩니다.
• 아키텍처: PEAR는 구면 도메인에 적응된 볼륨 트랜스포머 (volumetric transformer) 아키텍처를 활용합니다:
  • 패치 임베딩: 1D 및 2D 컨볼루션을 각각 지표면 및 상층 변수 임베딩에 사용합니다.
  • 윈도우 어텐션: HEALPix 의 중첩 계층 구조를 활용하여 구면을 인접한 윈도우로 분할합니다. 판구-기상과 달리 PEAR는 격자의 등면적 특성을 활용하여 윈도우 간에 공유되는 단순화된 학습 상대적 위치 임베딩을 사용합니다.
  • 시프트된 윈도우: 불연속 윈도우 간 정보 전파를 위해 모델은 구면 방향을 따라 (HEAL-SWIN 에서 적응된) 링 시프트 전략과 수직 방향의 단순 시프트를 사용합니다.
  • 마스크된 어텐션: 링 시프트의 순환적 특성과 극지방 영역으로 인해, 공간적으로 불연속인 보크셀 (예: 북극에서 남극으로 점프하는 보크셀) 간의 어텐션을 방지하기 위해 마스킹 메커니즘이 구현됩니다.
  • 다운샘플링/업샘플링: HEALPix 의 계층적 구조는 복잡한 보간을 피하고 텐서 리쉐이핑을 통해 효율적인 다운샘플링 (4 개의 인접 픽셀 병합) 과 업샘플링 (1 개의 픽셀을 4 개로 분할) 을 가능하게 합니다.

주요 기여

1. 네이티브 HEALPix 모델링: PEAR는 공간 가중치가 손실 함수에 필요하지 않고 등각 격자와 관련된 비물리적 편향을 제거하는 HEALPix 격자 전체에서 작동하는 최초의 기계 학습 기상 예보 모델입니다.
2. 아키텍처 효율성: 이 모델은 전통적인 등각 격자에서 실행되는 동등한 모델과 비교하여 계산 오버헤드가 없습니다. HEALPix 의 계층적 구조는 다운샘플링과 윈도우 어텐션의 효율적인 구현을 가능하게 합니다.
3. 성능 우위: Pangu 보다 적은 학습 가능 파라미터를 가지고 있음에도 불구하고, PEAR 는 다양한 변수와 예보 시간 범위에서 등각 대응 모델 (Pangu) 과 다른 최첨단 베이스라인 (GraphCast, FengWu) 을 능가합니다.
4. 공변성 검증: 저자들은 일일 샘플링 (ERA5-Lite) 이 회전 하에서 모델이 학습한 공변성 (equivariance) 특성을 저하시키지 않는 것을 확인하여 접근법의 견고성을 입증했습니다.
5. 기후 모방: 이 아키텍처는 여러 기후 모델에 걸쳐 지구 시스템 모델 (ESMs) 을 모방하는 데 있어 경쟁력 있는 성능을 보여주며, 강수 예측에서 UNet 베이스라인을 능가합니다.

실험 결과

• 예보 정확도: 10 일까지의 예보 시간 범위로 ERA5-Lite 데이터셋에서 평가된 PEAR 는 지표면 및 상층 변수 전반에 걸쳐 FengWu, GraphCast, Pangu 보다 일관되게 높은 비정상 상관 계수 (ACC) 점수를 달성합니다.
  • 예를 들어, 지표면 온도 (t2m) 에 대한 9 일 선도 시간에서 PEAR 는 0.439 의 ACC 를 달성하여 GraphCast(0.384) 와 FengWu(0.350) 를 능가합니다.
• 효율성: PEAR 는 430 만 개의 학습 가능 파라미터를 가지며 GraphCast 와 비슷하지만 Pangu(1130 만) 와 FengWu(1430 만) 보다 훨씬 작습니다. 추론 시간은 17ms로 Pangu(25ms), GraphCast(27ms), FengWu(98ms) 보다 빠릅니다.
• 공변성: 24 시간 대 2 시간 샘플링 간격으로 훈련된 모델을 비교하는 실험은 24 시간 ERA5-Lite 데이터셋이 회전 공변성 학습에 충분함을 보여줍니다. 오차 패턴은 HEALPix 격자의 대칭성 (45° 회전에서 정점) 과 일치하여 격자의 구조적 영향을 확인합니다.
• 기후 모델링: ClimateSet 데이터셋을 사용한 기후 모델 모방 작업에서 PEAR(430 만 파라미터) 는 15 개 기후 모델 중 13 개에서 전체 RMSE 측면에서 UNet 베이스라인(1830 만 파라미터) 을 능가하며, 15 개 모델 중 8 개에서 가장 낮은 강수 RMSE 를 달성합니다.

중요성 및 주장

본 논문은 HEALPix 격자가 학습 기반 기상 예보를 위한 물리적으로 적합한 네이티브 격자라고 주장합니다. 등각 격자의 기하학적 왜곡을 제거함으로써 PEAR 는 등면적 모델링이 계산 효율성을 희생하지 않고도 우수한 예측 성능으로 이어짐을 보여줍니다.

저자들은 차세대 데이터 소스 (ECMWF 의 Destination Earth 이니셔티브 등) 가 고해상도 HEALPix 네이티브 데이터로 이동함에 따라 PEAR 와 같은 모델이 이러한 데이터를 효율적으로 활용하는 데 필수적임을 강조합니다. 이 연구는 이러한 접근 방식이 극한 기상 예보를 개선할 수 있으며, 더 정확하고 편향 없는 전 지구 기후 모델에 대한 향후 연구의 기반을 제공한다고 시사합니다. 저자들은 계산 제약으로 인해 전체 ERA5 대신 ERA5-Lite 를 사용한다는 점과 장기 안정성 및 물리 보존 법칙에 관한 데이터 기반 모델의 고유한 한계와 같은 제한 사항을 인정하며 겸손한 태도를 유지합니다.