기술 요약: TCBench – 글로벌 규모의 열대 저기압 궤적 및 강도 예측을 위한 벤치마크

1. 문제 정의

열대 저기압(TC)은 전 세계적으로 막대한 피해를 입히는 기상 시스템으로, 수조 달러의 경제적 손실과 수천 명의 사망자를 발생시킵니다. 위험 완화를 위해 열대 저기압 예측 능력을 개선하는 것이 시급하지만, 현재의 운영 방식은 상당한 한계에 직면해 있습니다. 전통적인 물리 기반 모델은 충분한 공간 해상도로 열대 저기압을 분해하기 위해 슈퍼컴퓨팅 인프라를 필요로 하며, 이는 접근성을 제한합니다. 반면, 새롭게 등장하는 인공지능 기상 예측(AIWP) 모델(신경 기상 모델)은 계산 효율성과 대규모 보정 앙상블을 생성할 잠재력을 제공하지만, 열대 저기압에 특화된 표준화된 평가 프레임워크가 부족한 경우가 많습니다.

AIWP 모델의 열대 저기압 평가와 관련하여 결정적인 격차가 존재합니다. 기존의 벤치마크는 서로 상이한 추적 알고리즘에 의존하거나, 강도 정의의 일관성이 부족하거나, 특정 극한 현상에서의 성능을 가리는 글로벌 지표에 집중하는 경향이 있습니다. 또한, AI 모델들이 열대 저기압 궤적 예측에서는 숙련도를 보여주었음에도 불구하고, 급격한 강화(Rapid Intensification, RI)를 포함한 강도 예측은 여다 남아 있습니다. 이는 해양 에너지, 연직 바람 시어, 그리고 조밀한 핵심 역학 간의 복잡한 상호작용 때문이며, 이러한 요소들은 거친 해상도의 글로벌 모델이나 편향된 훈련 데이터에서 흔히 과소 표현됩니다.

2. 방법론

본 논문은 전 지구적 단기 및 중기(1~5일) 열대 저기압 궤적 및 강도 예측을 평가하기 위해 설계된 벤치마크인 TCBench를 소개합니다. 이 방법론은 다음의 핵심 축을 바탕으로 구축되었습니다.

데이터 통합 및 표준화

• 지상 실측값(Ground Truth): 본 벤치마크는 IBTrACS(International Best Track Archive for Climate Stewardship)를 관측된 "지상 실측값"으로 사용하며, 특히 미국 기관의 정의(1분 최대 지속 풍속 및 최저 해면 기압)를 활용합니다.
• 모델 입력값: TCBench는 다음과 같은 이질적인 데이터 소스를 통합합니다:
  • 물리 기반 모델: TIGGE(International Grand Global Ensemble)의 히드캐스트(Hindcasts), 구체적으로 GEFS 및 IFS 앙상블을 사용합니다.
  • AIWP 모델: NVIDIA의 FourCastNet v2, Huawei의 Pangu-Weather, Google DeepMind의 GenCast, FNV3, 그리고 ECMWF의 AIFS v1.0의 히드캐스트를 사용합니다.
  • 재분석 데이터: ERA5 데이터를 환경장(environmental fields) 참조용으로 사용하되 재배포하지는 않습니다.
• 추적 일관성: 공정하고 모델에 독립적인 비교를 보장하기 위해, 모든 모델의 궤적은 TempestExtremes 라이브러리를 사용하여 일관되게 추출됩니다. 모델이 궤적을 명시적으로 예측하지 않는 경우, 글로벌 필드에서 궤적을 추출합니다. 또한, "지속성으로의 폴백(fallback-to-persistence)" 전략을 채택하여, 모델이 폭풍을 예측하지 못하더라도 평가 세트가 가장 제한적인 모델에 의해 제약받지 않도록 합니다.

예측 정식화

TCBench는 열대 저기압 예측을 초기 위치와 강도 조건이 주어진 기존 열대 시스템의 시간 진화 예측 문제로 정의합니다. 데이터 누수를 방지하기 위해 데이터셋은 연도별로 분할되었습니다:

• 훈련(Training): 2017–2020
• 검증(Validation): 2021–2022
• 테스트(Testing): 2023 (모든 베이스라인 훈련 및 튜닝에서 제외됨)

평가 지표

본 벤치마크는 결정론적(deterministic) 및 확률론적(probabilistic) 지표를 모두 제공합니다:

• 결정론적 궤적: 직접 위치 오차(DPE), 횡단 오차(CTE), 궤도 오차(ATE).
• 결정론적 강도: 최대 풍속($V_{max}$) 및 최저 기압($p_{min}$)에 대한 평균 제곱근 오차(RMSE) 및 평균 절대 오차(MAE).
• 확률론적: 궤적과 강도 모두에 대해 적용되는 공정한 변형 CRPS(Continuous Ranked Probability Score).
• 분류: 급격한 강화(RI)는 이진 분류 작업(24시간 내 $V_{max}$가 30 kt 이상 증가)으로 취급되며, 결정 성공 지수(CSI)를 통해 평가됩니다.

3. 주요 기여

1. 통합 프레임워크: TCBench는 최첨단 신경 모델과 물리 기반 모델을 관측 기록과 연결하여, 표준화되고 재현 가능한 평가 프레임워크를 제공합니다.
2. 데이터 접근성: 전처리 파이프라인, 평가 프로토콜, 시각화 도구 및 베이스라인 점수(지속성 및 리드 타임/분지별 평균 경향성 포함)를 제공하여 AI 실무자와 기상학자의 진입 장벽을 낮춥니다.
3. 모델 불가지론적 추적: 일관된 추적 알고리즘(TempestExtremes)과 폴백 메커니즘을 사용하여, 평가 세트의 크기를 제한하지 않고 다양한 편향을 가진 다수의 모델을 비교할 수 있게 합니다.
4. 후처리 베이스라인: 본 벤치마크는 AI 모델의 원시 출력으로부터 강도를 예측하기 위해 후처리(예: 파라메트릭 분포 샘플링)를 적용하는 베이스라인을 포함하며, 이를 통해 데이터 기반 모델이 어떻게 정교화될 수 있는지 보여줍니다.

4. 결과

2023년 테스트 케이스를 평가한 결과, 논문은 다음과 같은 결과를 보고합니다:

• 궤적 예측: AIWP 모델(예: AIFS, GenCast, FourCastNet v2)은 숙련된 궤적 예측 능력을 보여주며, 모든 리드 타임(최대 5일)에서 지속성 베이스라인보다 우수한 성능을 보입니다. 24시간 이후의 결정론적 지표에서는 AIFS 모델이 다른 모델들을 눈에 띄게 앞섭니다. 그러나 확률적 궤적 예측(CRPS)에서는 물리 기반 앙상블(GEFS)이 여전히 AI 모델보다 우수합니다.
• 강도 예측: 원시 AI 모델은 단기 리드 타임에서 지속성 베이스라인보다 성능이 떨어지는 경 경향이 있으며, 장기 리드 타임에서는 물리 기반 모델보다 미미한 개선만을 보여줍니다. 이는 거친 공간 해상도와 훈련 데이터(예: ERA5의 음의 강도 편향)의 편향 때문인 것으로 분석됩니다.
• 후처리의 영향: AI 예측에 후처리 알고리즘을 적용하면 강도 예측 성능이 크게 향상됩니다. 예를 들어, 후처리된 Pangu-Weather 모델은 GEFS 모델과 대등하거나 더 나은 성능을 달성했습니다.
• 급격한 강화(RI): 대부분의 글로벌 AI 및 물리 기반 모델은 RI를 예측하는 데 있어 숙련도가 거의 없거나 전혀 없습니다. 오직 후처리된 Pangu-Weather 모델과 극한 현상을 위해 특별히 훈련된 FNV3 모델만이 48~96시간 리드 타임에서 RI를 탐지하는 데 있어 유의미한 숙련도를 보였습니다.

5. 의의 및 주장

본 논문은 TCBench를 데이터 기반 열대 저기압 예측을 민주화하기 위한 도구로 포지셔닝합니다. 그 의의는 다음과 같습니다:

• 표준화: 본 연구는 열대 저기압 형성 이후의 행동 예측에 초점을 맞춤으로써, 문헌에 존재하는 일관되지 않은 평가 방식 문제를 해결하고 공통의 비교 지점을 제공합니다.
• 하이브리드 잠재력: 결과는 신경 시스템과 물리 기반 시스템의 상호 보완적인 강점을 강조합니다. AI 모델은 결정론적 궤적 예측에서 뛰어나지만, 확률적 궤적 및 원시 강도 예측에는 물리 기반 앙상블이 여전히 우월합니다.
• 프로세스 인식: 재현 가능한 평가의 장벽을 낮춤으로써, TCBench는 열대 기상학자들이 예측 및 프로세스 이해를 개선하기 위해 데이터 기반 도구를 활용할 수 있도록 지원합니다.
• 향-방향: 저자들은 AI 모델이 숙련된 강도 예측을 달키 위해서는 작업 특화 훈련과 후처리가 필수적임을 시사하며, 하이브리드 접근 방식이 유망한 미래 방향임을 지목합니다.

저자들은 데이터 불확실성, 실행 가능성을 위한 소스 선택의 제한성, 기관 간의 열대 저기압 궤적 불일치와 같은 한계를 인정하며 신중한 어조를 유지합니다. 이들은 TCBench가 빠른 반복(iteration)과 새로운 모델 및 예측 대상에 대한 확장성을 목적으로 설계되었음을 강조합니다.