Towards accurate extreme event likelihoods from diffusion model climate emulators

기술 요약: 확산 모델 기후 에뮬레이터로부터 정확한 극한 사건의 확률 추정 지향

문제 제기
기계 학습 (ML) 기후 에뮬레이터, 특히 'Climate in a Bottle'(cBottle) 과 같은 확산 모델은 시나리오 계획 및 적응을 위한 비용 효율적인 실험을 제공합니다. 이러한 모델의 핵심 기능은 '가이드 (guidance)'로, 사용자에게 정의된 위치에서 열대성 저기압 (TC) 과 같은 특정 관심 상태를 생성하도록 모델을 유도할 수 있다는 점입니다. 그러나 중요한 한계가 존재합니다. 유도된 모델은 희귀 극한 사건을 과다 표본 추출할 수는 있지만, 실제 유도되지 않은 데이터 분포 하에서 생성된 이러한 표본의 확률에 대해 사용자에게 본질적으로 알려주지 못합니다. 이러한 확률 정보가 없으면, 타당한 극한 사건과 가이드 과정의 인공물 (artifacts) 을 구별하기 어렵기 때문에, 이러한 모델의 엄격한 극한 사건 귀인과 위험 평가에 대한 유용성이 제한됩니다.

방법론
저자들은 cBottle 확산 모델을 사용하여 유도된 표본에 대한 정확한 확률 밀도 추정을 회복하기 위한 프레임워크를 제안합니다. 이 방법론은 덴노이징 확산 확률 모델 (DDPM) 의 이론적 기반과 확률 흐름 (PF) 상미분 방정식 (ODE) 에 의존합니다.

1. 유도된 표본 추출 (Guided Sampling): 해수면 온도 (SST) 와 태양 위치에 조건부 설정된 5km 해상도의 확산 기반 기후 에뮬레이터인 cBottle 모델은 TC 를 생성하기 위해 PF-ODE 에 분류기 가이드 항을 추가합니다. 저자들은 가이드 구현을 다음과 같이 정교화합니다:

   • 이전 연구에서 사용된 적응형 스케일링 대신 일정한 가이드 스케일 ($\gamma$) 을 사용합니다.
   • 전체 궤적에 걸쳐 적용하는 대신, TC 신호가 생성되는 특정 '덴노이징 윈도우'(노이즈 수준 $\sigma \in [15, 20]$) 내에서만 가이드를 적용합니다. 이는 비현실적인 발산 값을 방지하고 계산 비용을 줄입니다.

2. 오즈비 계산: 가이드가 표본의 확률을 얼마나 변화시키는지 정량화하기 위해, 저자들은 오즈비 $o(x) = p_{\text{unguided}}(x) / p_{\text{guided}}(x)$를 계산합니다.

   • PF-ODE 공식을 사용하여, 표본을 가우시안 사전 분포까지 역으로 추적하며 속도장의 발산을 적분함으로써 표본의 로그 확률 밀도를 계산합니다.
   • 로그 오즈비는 세 가지 항으로 분해됩니다: 잠재 확률의 차이 ($\Delta_{\text{latent}}$), 덴노이저 점수 발산의 차이 ($\Delta_{\text{denoiser}}$), 그리고 가이드 항의 발산 ($\Delta_{\text{guidance}}$).
   • 이러한 발산 값들은 자동 미분을 사용한 Skilling-Hutchinson 추적 추정기를 통해 추정됩니다.

3. 중요도 표본 추출 (Importance Sampling): 계산된 오즈비는 중요도 표본 추출을 수행하는 데 사용됩니다. TC 를 거의 생성하지 않는 유도되지 않은 분포에서 $K$개의 표본을 추출하는 대신, 저자들은 유도된 분포에서 표본을 추출하고 오즈비로 가중치를 재조정합니다. 이를 통해 단순 몬테카를로 표본 추출에 비해 감소된 표준 오차로 극한 사건의 실제 확률을 추정할 수 있습니다.

4. ERA5 확률 분석: 저자들은 또한 모델이 SST 교란과 극한 사건에 어떻게 반응하는지 테스트하기 위해, 유도되지 않은 모델을 실제 ERA5 재분석 데이터 (특히 남극 온도 이상치) 의 확률을 계산하는 데에도 적용합니다.

주요 결과

• 가이드 윈도우 최적화: 이 연구는 가이드가 좁은 노이즈 구간 ($\sigma \approx 15-20$) 내에서만 효과적이고 수치적으로 안정적임을 보여줍니다. 전체 궤적에 걸쳐 가이드를 적용하면 음의 발산 값과 비현실적인 표본이 발생합니다. 가이드를 이 윈도우로 제한하면 양의 발산을 가진 안정적인 TC 생성이 가능합니다.
• 오즈비의 분산: 저자들은 계산된 오즈비의 분산이 가이드 강도가 강해질수록 현저히 증가함을 관찰합니다. 강한 가이드는 더 많은 TC 를 생성하지만, 결과적으로 가중치가 매우 변동적이게 됩니다. 따라서 가장 견고한 중요도 표본 추출 추정은 약한 가이드 스케일에서 달성되며, 분산을 줄이기 위해 반복적인 표본 추출이 필요합니다.
• 정확한 확률 회복: 분산에도 불구하고, 중요도 표본 추출 추정치는 유도되지 않은 제어 모델의 TC 빈도를 성공적으로 회복합니다. 극한 임계값 (예: 99.999 백분위수) 의 경우, 유도되지 않은 모델의 표준 몬테카를로 추정치보다 중요도 표본 추출 추정치가 더 낮은 불확실성을 달성하여, 표본 추출 불확실성을 가중치 불확실성과 효과적으로 교환합니다.
• ERA5 와의 비교: cBottle 의 TC 기후학이 ERA5 역사적 기록과 비교될 때, 공간 패턴은 잘 일치하지만 cBottle 은 TC 의 절대 빈도와 신뢰도를 과소평가합니다. 저자들은 이러한 편향이 가이드나 표본 추출 방법이 아니라 모델의 현재 훈련과 아키텍처에 내재된 것이라고 지적합니다.
• ERA5 표본 확률: 2022 년 3 월 남극 열파의 경우, 모델은 해당 시기의 전형적인 로그 확률 값을 부여하여, 온도 이상치의 크기와 직접적인 상관관계보다는 뚜렷한 계절적 주기 (여름에는 확률이 높고 겨울에는 낮음) 를 보여줍니다. 모델은 +2K SST 교란 하에서 -2K 에 비해 열 사건에 대해 더 높은 확률을 올바르게 부여하지만, 로그 확률 자체가 사건의 극단성 (extremity) 에 대한 직접적인 대용 지표로 효과적으로 기능하지는 않습니다.

의의 및 주장
이 논문은 확산 모델 기후 에뮬레이터가 극한 사건의 합성 표본뿐만 아니라 그 확률에 대한 정확한 확률적 추정도 제공할 수 있음을 보여주는 "초기이지만 고무적인 결과"를 제시합니다.

• 참신성: 저자들의 지식 범위 내에서, 이는 기후 극한 사건을 위한 중요도 표본 추출을 가능하게 하기 위해 유도된 확산 모델과 유도되지 않은 확산 모델 하의 표본 확률 비율로서 오즈비를 계산하는 첫 번째 적용 사례입니다.
• 유용성: 이 방법은 연구자들이 실제 발생 확률에 대한 통계적 엄밀성을 유지하면서 영향력 연구를 위해 희귀 사건 (예: TC) 을 과다 표본 추출할 수 있게 합니다.
• 한계 및 향후 작업: 저자들은 현재 계산 비용에 대해 겸손하게 언급하며, 오즈비 계산이 포함된 단일 유도 표본 추출이 유도되지 않은 표본 추출에 비해 33 배 느려진다고 지적합니다. 모델 증류 (distillation) 나 분류기 없는 가이드 (classifier-free guidance) 와 같은 향후 개선 사항이 이 접근 방식을 더 비용 효율적으로 만들 수 있다고 제안합니다. 또한, 확률의 정확도는 근본적으로 cBottle 모델의 충실도, 특히 TC 강도에 대한 표현에 의해 제한된다고 강조합니다.

이 연구는 확산 모델로부터 확률 정보를 추출하는 추가 연구를 촉진하여, 기후 위험 평가 및 시나리오 계획을 위한 신뢰할 수 있는 도구로서 그 위치를 확립하는 것을 목표로 합니다.