기술 요약: 경험적 뉴럴 탠전트 커널을 통한 극한 기상 예측용 확장 가능한 불확실성 정량화

1. 문제 정의

딥러닝 기상 모델(예: FourCastNetV2, Pangu-Weather, Aurora, AIFS)은 전통적인 수치 예보 모델(NWP)과 대등한 정확도를 달면서도 수만 배 더 빠르게 작동하는 성과를 거두었습니다. 그러나 이러한 모델들은 주로 결정론적인 점 예측(point forecasts)만을 생성하며, 보정된 불확실성 추정치를 제공하지 못한다는 한계가 있습니다. 이러한 격차는 열대 저기압, 홍수와 같은 극한 기상 현상 발생 시, 예측의 신뢰성을 이해하는 것이 예측값 자체만큼이나 중요한 고위험 의사결정 상황에서 매우 치명적입니다.

기존의 불확실성 정량화(Uncertainty Quantification, UQ) 방법론들은 수십억 개의 파라미터를 가진 파운데이션 모델에 적용할 때 다음과 같은 상당한 장벽에 부딪힙니다:

• 딥 앙상블(Deep Ensembles): 거대 모델의 여러 복사본을 학습시켜야 하므로 계산 비용이 지나치게 높습니다.
• 베이지안 방법론(Bayesian Methods): 아키텍처의 수정이 필요하며 상당한 메모리 및 연산 오버헤드를 초래합니다.
• 컨포멀 예측(Conformal Prediction): 분포 무관(distribution-free)의 커버리지 보장을 제공하지만, 실제 예측 오차나 이벤트의 심각도와 상관관계가 없는 균일한 구간 폭을 생성하므로, 극한 이벤트와 일반적인 상황을 구분하지 못합니다.

본 논문은 재학습이 필요 없고, 사전 학습된 체크포인트와 함께 작동하며, 이벤트의 심각도에 따라 적응형 불확실성 구간을 생성할 수 있는 확장 가능한 사후(post-hoc) UQ 방법론의 필요성을 다룹니다.

2. 방법론: NTK-UQ 프레임워크

제안된 프레임워크인 **뉴럴 탠전트 커널 기반 불확실성 정량화(NTK-UQ)**는 동결된 사전 학습 기상 모델의 마지막 레이어 특징(last-layer features)을 경험적 뉴럴 탠전트 커널(Empirical NTK)로 취급합니다. 마지막 레이어 NTK-가우시안 프로세스(GP) 대응 관계에 따라, 이 모델은 학습된 특징 표현에 의해 커널이 정의되는 GP로 간주됩니다.

이 방법론은 세 단계로 구성됩니다:

2.1 마지막 레이어 특징 추출

사전 학습된 모델 $f_\theta = g_\psi \circ \phi_\omega$에 대해, 본 방법론은 수십 년간의 ERA5 재분석 데이터로부터 학습된 마지막 레이어 특징 $\phi(x)$를 추출합니다. 이 특징들은 물리적으로 의미 있는 대기 구조를 인코딩합니다. 공간적 특징 맵(spatial feature maps)의 경우, 공간 해상도에 관계없이 고정된 차원의 특징 벡터를 생성하기 위해 다중 통계량 집계(평균, 표준편차, 최솟값, 최댓값, 백분위수)가 사용됩니다.

2.2 커널 분해 및 GP 사후 분포 구축

경험적 커널 $K(x, x') = \phi(x)^\top \phi(x')$가 구축됩니다. 대규모 캘리브레이션 세트에 대해 GP 사후 분산을 계산 가능한 수준으로 만들기 위해 중심화된 특징 행렬(centered feature matrix)을 분해합니다. 본 논문은 두 가지 분해 전략을 비교합니다:

• 특이값 분해(Singular Value Decomposition, SVD): 최대 분산의 직교 방향(2차 통계량)을 포착합니다.
• 독립 성분 분석(Independent Component Analysis, ICA): 통계적으로 독립적인 소스들을 격리하기 위해 고차 통계량(첨도, 네겐트로피)을 활용합니다.

예측 분산 $\sigma^2(x^*)$은 GP 사후 공식에 따라 다음과 같이 계산됩니다:
$$\sigma^2(x^*) = K(x^*, x^*) + \sigma_n^2 - k_*^\top (K + \sigma_n^2 I)^{-1} k_*$$
여기서 보정 항은 특징 공간에서의 테스트 입력과 캘리브레이션 분포 사이의 유사성에 따라 결정됩니다.

2.3 분해 선택 규칙

본 논문은 고유값 스펙트럼 집중도 비율(eigenspectrum concentration ratio, $\rho = \lambda_1 / \sum \lambda_j$)에 따라 SVD와 ICA 중 하나를 선택하는 데이터 기반 규칙(Algorithm 1)을 제안합니다:

• 집중된 스펙트럼 ($\rho > 0.8$): 스펙트럼 연산자(예: SFNO)의 전형적인 특징입니다. 분산 붕괴를 방 피하기 위해 공격적인 랭크 절단($k \le 10$)을 동반한 SVD가 선호됩니다.
• 분산된 스펙트럼 ($\rho < 0.5$): 어텐션 기반 또는 그래프 기반 모델의 전형적인 특징입니다. 극한 기상의 내재된 비가우시안(non-Gaussian), 헤비 테일(heavy-tailed) 구조를 활용하기 위해 ICA가 선호됩니다.
• 중간 단계: 검증 분할(validation split)에서 두 방법 모두 평가됩니다.

2.4 사후 캘리브레이션(Post-Hoc Calibration)

가공되지 않은 NTK 불확실성은 목표 커버리지 수준(예: 90%)을 달기 위해 이진 탐색(binary search)을 통해 학습된 변수별, 리드 타임별 계수 $\alpha$를 통해 스케일링됩니다. 이는 예측 구간이 실제 지표(ground truth)에 맞게 보정되도록 보장합니다.

3. 이론적 통찰

본 논문은 왜 UQ 품질이 아키텍처에 의존하는지에 대한 이론적 분석을 제공합니다:

• 분산 붕괴 (Proposition 1): 만약 절단 랭크(truncation rank) $k$가 특징 공간의 유효 랭크에 근접하면, GP 보정 항이 사전 분산의 거의 전부를 소비하게 됩니다. 이는 극한 이벤트와 일반적인 조건 사이의 식별력을 파괴합니다. 본 논문은 분산 붕괴를 방지하기 위해 $R_k = C_k/P < 0.9$라는 진단 기준을 설정하며, 집중된 스펙트럼을 가진 아키텍처는 공격적인 절단이 필요함을 명시합니다.
• 비가우시안 식별 (Proposition 2): 극한 기상 이벤트는 헤비 테일 형태의 비가우시안 분포를 나타냅니다. SVD가 2차 분산만을 포착하는 반면, ICA는 고차 통계량(첨도)을 활용하여 희귀한 극한 이벤트의 시그니처를 격리합니다. 이를 통해 ICA는 SVD가 갖지 못한, 이벤트의 심각도에 따라 변화하는 적응형 불확실성 추정치를 생성할 수 있게 합니다.

4. 실험 결과

본 프레임워크는 열대 저기압, 홍수, 폭염을 포함한 EM-DAT 데이터베이스(2021)의 100가지 극한 기상 이벤트를 사용하여 네 가지 다양한 AI 기상 모델(FourCastNetV2, Pangu-Weather, Aurora, AIFS)에 대해 평가되었습니다.

• 커버리지: 모든 모델은 사후 스케일링 후 목표 90% 커버리지(89–91%)를 달성했습니다.
• 분해 성능:
  • ICA는 세 가지 모델(AIFS, Aurora, FourCastNetV2)에서 적절한 커버리지와 더 낮은 CRPS(Continuous Ranked Probability Score)를 달성했습니다. 또한 높은 변동 계수(CV = 0.07–1.81)를 가진 적응형 구간을 생성하여, 열대 저기압을 일반적인 날씨와 성공적으로 구분해 냈습니다.
  • SVD는 Aurora에 대해 적절한 커버리지를 달성하는 데 실패했으며(58.1%), 더 균일한 구간(CV = 0.01–0.49)을 생성하여 이벤트의 심각도를 구분하지 못했습니다.
  • Pangu-Weather는 예외적으로 SVD가 커버리지를 만족했으나 ICA는 실패했으며, 두 방법 모두 수치적 불안정성을 보였습니다.
• 컨포멀 예측과의 비교: NTK-UQ(최적의 분해법 사용 시)는 90% 커버리지에서 분할 컨포멀 예측(split conformal prediction)보다 31–37% 더 날카로운(sharper) 예측 구간을 달성했습니다. 결정적으로, 컨포멀 예측이 구조적으로 균일한 구간을 생성하는 것과 달리, NTK-UQ는 극한 기상의 심각도에 따라 변화하는 적응형 구간을 생성합니다.
• 공간적 불확실성: 공간적으로 해상도가 높은 특징을 가진 모델(예: AIFS)의 경우, ICA를 통해 예측 오차 집중 지역과 상관관계가 있는 공간 가변적 불확실성 맵을 생성할 수 있어 표적 경보가 가능해졌습니다.

5. 의의 및 주장

본 논문은 다음과 같은 의의를 주장합니다:

1. 확장성: NTK-UQ는 모델 재학습이나 아키텍처 변경을 요구하지 않으므로, 모든 사전 학습된 결정론적 체크포인트에 적용 가능합니다. 추론 시 추가되는 오버헤드는 미미합니다(단일 행렬-벡터 곱 연산).
2. 적응형 식별력: 컨포멀 예측과 달리, NTK-UQ는 기상 이벤트의 심각도에 따라 변화하는 불확실성 구간을 생성하여 일상적인 기상과 극한 기상 사이의 실행 가능한 식별력을 제공합니다.
3. 아키텍처 인식 설계: 본 연구는 UQ 품질이 보편적인 것이 아니라, 신경망 아키텍처(고유값 스펙트럼 특성)와 분해 방법 간의 상호작용에 달려 있음을 입증합니다. 또한, 철저한 실험 없이도 적절한 UQ 전략을 선택할 수 있도록 예측 진단 도구(고유값 스펙트럼 집중도)를 제공합니다.
4. 운용적 유용성: 본 프레임워크는 자원이 제한된 기상 기관들이 기존의 고성능 모델에 보정된 불확실성 추정치를 추가할 수 있게 함으로써, 재난 대비를 위한 신뢰할 수 있는 예보의 장벽을 낮춰줍니다.

저자들은 마지막 레이어 NTK-GP 대응 관계가 무한한 너비(infinite width)에서만 엄밀하게 성립한다는 점과, 평가가 단일한 OOD(out-of-distribution) 연도(2021년)에 국한되었다는 점 등 한계점을 언급했습니다. 그러나 실험 결과는 다양한 아키텍처에 걸쳐 이론적 예측을 일관되게 검증하였습니다.