Does Aurora Encode Atmospheric Structure? Latent Regime Analysis and Attribution

기술 요약: Aurora는 대기 구조를 인코딩하는가? 잠재 레짐 분석 및 속성 분석

문제 정의
Aurora, FourCastNet, GraphCast와 같은 딥러닝(DL) 파운데이션 모델은 전통적인 수치 예보 모델(NWP)에 비해 우수한 정확도와 계산 효율성을 입증해 왔으나, 이들은 불투명한 "블랙박스"로 작동한다. 명시적인 물리 방정식을 사용하는 NWP와 달리, DL 모델은 고차원의 비해석적 잠재 표현(latent representation)으로 대기 상태를 인코딩한다. 이러한 불투명성은 기상학자들이 모델의 예측이 물리적으로 일관된 것인지, 아니면 단순히 가짜 상관관계(spurious correlations)의 결과인지 검증할 수 없게 함으로써 운영상의 신뢰를 저해한다. 설명 가능한 AI(XAI)가 기상 분야의 CNN에 적용된 사례는 있으나, 수십억 개의 파라미터를 가진 트랜스포머 기반 파운데이션 모델의 내부 역학은 여전히 미개척 영역이다. 특히, 이 모델들이 기상 레짐(예: 계절 vs. 폭풍)에 따라 잠재 공간을 조직하는지, 혹은 3D 수직 대기 구조를 올바르게 속성화할 수 있는지 여부는 알려져 있지 않다.

연구 방법론
본 연구는 이질적인 데이터셋(ERA5, HRES, CMIP6)으로 사전 학습된 3D Swin Transformer V2 U-Net 아키텍처 기반의 파운데이션 모델인 Aurora의 내부 표현을 조사한다. 저자들은 AuroraSmallPretrained 체크포인트를 사용하여 두 가지 핵심 연구 질문(RQ)을 다룬다.

1. 잠재 레짐 분석 (RQ1): 잠재 공간이 기상 레짐에 의해 조직되는지 확인하기 위해, 저자들은 모델의 병목(bottleneck) 잠재 특징 맵($Z$)에 **공간적 풀링 주성분 분석(Spatially Pooled PCA)**을 적용하였다.

   • 데이터: 미국 지역의 2005년 허리케인 시즌 데이터를 사용하였으며, 극심한 폭풍 이벤트($v_{max} \ge 24.0$ m/s)와 평온한 조건($v_{max} \le 15.0$ m/s)으로 필터링하였다.
   • 기법: 공간적으로 풀링된 영역에 대해 통계적 기술자 벡터(평균, 표준편차, RMS)를 계산하였다. 주요 변동 모드를 식별하기 위해 특이값 분해(SVD)를 사용하였다.
   • 검증: 부트스트랩 리샘플링($N=1000$)을 적용하여 고유벡터(eigenvectors)의 안정성을 정량화하고, 관찰된 패턴이 표본 크기에 의한 인위적 결과가 아님을 보장하였다.

2. 국소 속성 및 수직 구조 (RQ2): 모델이 특정 폭풍 시스템을 격리하고 그 3D 구조를 반영하는지 확인하기 위해, 저자들은 "1987년 대폭풍(Great Storm of 1987)"에 **층별 관련성 전파(Layer-wise Relevance Propagation, LRP)**를 적용하였다.

   • 적응: 순환적 공간 이동(torch.roll) 시 계산 그래프를 보존하기 위해, 시프트 윈도우 자가 주의(shifted-window self-attention) 메커니즘을 래핑하여 LRP 방식을 Swin V2 백본에 맞게 수정하였다.
   • 과정: 대상 지역(유럽)에 해당하는 이진 공간 마스크를 잠재 활성화에 적용하였다. 관련성을 입력 공간으로 역전파하여 온도, 풍속, 평균 해면 기압(MSL) 등의 변수에 대한 히트맵을 생성하였다.
   • 정량적 검증: 북대서양 구역에 대해 단일 샷 섭동 테스트(single-shot perturbation test)를 수행하였다. 가장 높은 관련성 점수를 가진 상위 1%의 픽셀을 마스킹하고, 그 결과 발생하는 예측 왜곡 비율($D$)을 무작위 마스킹 결과와 비교하여 속성의 충실도(faithfulness)를 검증하였다.

주요 결과

• 잠재 조직화 (RQ1): 분석 결과, Aurora의 잠재 공간은 특정 역학적 폭풍 이벤트보다는 주로 계절적 주기에 의해 조직된다.

  • 제1 주성분(PC1)은 전체 분산의 24.1%를 포착하며, 겨울과 여름 레짐을 고도의 안정성(부트스트랩 검증 시 코사인 유사도 0.998)을 가지고 선형적으로 분리하는 계절 축 역할을 한다.
  • 반면, 극심한 폭풍 이벤트는 선형적으로 분리 가능한 클러스터를 형성하지 않는다. 폭풍 레짐과 평온 레짐은 분포가 겹치며, 폭풍 레짐의 PC3은 상당한 불안정성(코사인 유사도 0.650)을 보이는데, 이는 개별 사이클론 경로의 공간적 이질성과 제한된 표본 크기 때문으로 보인다.

• 속성 및 수직 구조 (RQ2): LRP 분석은 모델이 1987년 대폭처럼의 3D 수직 구조와 일치하는 특징에 주목하고 있음을 보여준다.

  • 공간적 집중: 정적인 특징(예: 지형)에 지리적으로 고정된 베이스라인과 달리, 폭의 관련성은 사이클론의 머리 부분과 전선 경계에 밀접하게 국지화되어 있다.
  • 수직적 일관성: 수직 분석 결과, 지표 풍속 활성화가 상부 대류권(약 150 hPa)을 인코딩하는 잠재 특징에 기여함을 보여주었다. 이는 모델이 명시적인 물리적 지시 없이도 지표 이상 현상과 그에 필요한 수직 동력을 연결하는 법을 학습했음을 시사한다.
  • 섭동 영향: LRP로 식별된 상위 1%의 픽셀을 마스킹했을 때, 예측 오차(MSE)는 무작위 마스킹보다 3.31배 더 크게 악화되었다 ($MSE_{LRP} = 5.30 \times 10^4$ vs. $MSE_{rand} = 1.60 \times 10^4$). 이는 식별된 특징들이 모델 추론의 핵심 동력임을 확인시켜 준다.

의의 및 주장
본 논문은 Aurora가 단순한 패턴 매칭을 넘어선다고 주장한다. 순수하게 데이터 중심적인 모델임에도 불구하고, Aurora는 다음과 같은 능력을 갖추고 있다:

1. 잠재 공간에서 계절적 모드를 분리하여, 연주기(annual cycle)에 따라 대기 상태를 조직한다.
2. 수직 대기 구조를 인코딩하여, 지표 조건과 상층 대기 역학을 성공적으로 연결한다.
3. 섭동 테스트를 통해 입증된 바와 같이, 정적인 지리적 지름길 대신 물리적으로 유의미한 특징을 우선시한다.

한계점
저자들은 다음과 같은 제약 사항을 인정한다:

• 계산 능력의 한계로 인해 **소형 버전(small version)**의 Aurora를 대상으로 분석을 수행하였다.
• 폭풍 정의가 벡터 메트릭인 와도(vorticity) 등을 제외한 스칼라 풍속 크기에만 의존하였다.
• 잠재 분석에 상대적으로 적은 표본 크기를 사용하였으며, 계절 레짐 간의 중첩은 선형 PCA가 순환적 위상(cyclic topologies)을 해결하는 데 갖는 한계를 반영할 수 있다.
• 속성 연구가 단일 폭풍 사례에 집중되었으므로, 다양한 기상 현상에 대한 광범위한 평가가 필요하다.