Bayesian Transformer for Pan-Arctic Sea Ice Concentration Mapping and Uncertainty Estimation using Sentinel-1, RCM, and AMSR2 Data

기술 요약: 범북극 해빙 농도 매핑 및 불확정성 추정을 위한 베이지안 트랜스포머(Bayesian Transformer)

문제 정의
정확하고 고해상도인 범북극 해빙 농도(SIC) 매핑과 신뢰할 수 있는 불확정성 정량화는 기후 변화 연구, 북극 항행 및 적응 전략에 매우 중요하다. 그러나 다음 세 가지 주요 과제로 인해 이를 달성하는 데 어려움이 있다:

1. 미세한 특징 시그니처: 노이즈와 역동적인 해양 환경으로 인해 위성 영상(합성 개구 레이더[SAR] 및 수동 마이크로파[PM])에서 해빙 농도 클래스를 구분하는 것이 어렵다.
2. 모델 모호성: 기존의 딥러닝 모델은 종종 견고한 불확정성 추정이 부족하여 모호한 SIC 지도를 생성한다. 몬테카를로(MC) 시뮬레이션이나 앙상블 생성과 같은 기존 방법들은 진정한 사후 분포를 나타내지 못하는 휴리스틱한 근사치에 불과할 수 있다.
3. 데이터 이질성: 서로 다른 해상도, 주파수 및 노이즈 특성을 가진 Sentinel-1, RADARSAT Constellation Mission (RCM), Advanced Microwave Scanning Radiometer 2 (AMSR2)와 같은 다양한 데이터 소스를 통합하는 것은 복잡하다.

방법론
저자들은 다음 세 가지 통합된 구성 요소를 통해 이러한 과제를 해결하는 새로운 베이지안 트랜스포머(Bayesian Transformer) 접근 방식을 제안한다:

1. 고해상도 트랜스포머 아키텍처:
   특징 추출을 개선하기 위해, 저자들은 미세한 해빙 패턴을 식별할 수 있는 트랜스포머 모델을 설계했다. 이 아키텍처는 두 개의 별도 모듈로 구성된다:

   • GloFormer (글로벌 모듈): 모든 토큰에 걸쳐 전역적 맥락을 모델링하기 위해 멀티 헤드 셀프 어텐션(multi-head self-attention)을 사용하는 "among token" 블록이다.
   • LoFormer (로컬 모듈): 각 토큰 내부의 패치들에 걸쳐 셀프 어텐션을 적용하여 국소적 특징을 학습하도록 설계된 "within token" 블록이다.
     이 블록들은 고주파 및 저주파 특징을 모두 포착하기 위해 네 번 반복된다. 모델은 미국 국립빙설센터(NIC) 차트를 기반으로, 확신도가 높은 지역(개활수, 빙판)에는 높은 가중치를 부여하고 한계 빙해역(marginal ice zone)에는 낮은 가중치를 부여하는 지리적 가중 L1 손실(geographically-weighted L1 loss)을 사용하여 훈련된다.

2. 불확정성 정량을 위한 베이지안 확장:
   트랜스포머는 모델 파라미터($\omega$)를 고정된 값이 아닌 확률 변수로 취급함으로써 베이지안 신경망(BNN)으로 확장된다.

   • 변분 추론(Variational Inference): 모델은 대각 가우시안 변분 분포를 사용하여 파라미터의 진정한 사후 분포를 근사하기 위해 **역전파를 통한 베이즈(Bayes by Backpropagation, BBB)**를 채택한다.
   • 손실 함수: 훈련 목표는 변분 분포와 사전 분포 사이의 차이를 최소화하기 위해 지리적 가중 L1 손실과 쿨백-라이블러(KL) 발산 손실을 결합한다.
   • 불확정성 출력: 훈련 후, 모델 파라미터를 여러 번 샘플링한다. 예측 평균($\mu$)은 SIC 추정치를 제공하며, 분산($\sigma^2$)은 에피스테믹 불확정성(epistemic uncertainty)을 정량화한다.

3. 의사결정 수준의 데이터 융합:
   데이터 이질성을 해결하기 위해, 저자들은 Sentinel-1, RCM, AMSR2 데이터를 **의사결정 수준(decision level)**에서 융합한다. 원시 특징을 융합하는 대신, 각 데이터 소스에 대해 독립적으로 SIC 지도와 불확정성 추정치를 생성한다. 그 후, 불확정성 수준에 따라 계층 구조를 설정하여 이들을 결합한다: Sentinel-1(가장 낮은 불확정성)이 최상단에 위치하고, RCM이 그 다음, 마지막으로 AMSR2가 배치된다.

주요 기여

• 새로운 아키텍처: 해빙 패턴 인식을 위해 특별히 설계된 전역(GloFormer) 및 국소(LoFormer) 모듈을 갖춘 고해상도 트랜스포머의 도입.
• 견고한 불확정성 추정: 파라미터 불확정성을 명시적으로 모델링하여 MC Dropout이나 에포크 앙상블과 같은 휴리스틱 방법보다 더 신뢰할 수 있고 보정된 불확정성 지도를 제공하는 베이지안 프레임워크(BBB) 구현.
• 효과적인 융합 전략: 모델 유도 불확정성에 의해 안내되는 이질적인 SAR 및 PM 데이터의 의사결정 수준 융합이 해빙 농도 매핑 정확도와 불확정성 정량화 모두를 개선함을 입증.

결과 및 분석
모델은 2021년 9월의 범북극 데이터셋을 대상으로 테스트되었다. 주요 결과는 다음과 같다:

• 불확정성 분포: 베이지안 트랜스포머는 개활수나 밀집된 빙판에 비해 역동적인 한계 빙해역(10%~90% 농도)에서 더 높은 불확정성을 정확하게 식별했다.
• 성능 비교:
  • 불확정성 크기: 베이지안 트랜스포머는 데이터 소스 전반에 걸쳐 MC Dropout(0.17%29.16%) 및 에포크 앙상블(0.64%14.29%)에 비해 현저히 낮고 일관된 불확정성 값(0.01%~0.41%)을 생성했다.
  • 데이터 소스 민감도: Sentinel-1 데이터가 가장 낮은 불확정성을 나타냈고, RCM이 그 다음이었으며, AMSR2가 가장 높은 불확정성을 보였다(이는 구름/안개의 영향 및 열 노이즈 때문으로 보인다). 이는 의사결정 수준 융합 계층 구조를 검증했다.
  • 정확도: 베이지안 트랜스포머는 Sentinel-1 및 AMSR2 데이터셋에서 가장 높은 정확도를 달행했으며, 대부분의 데이터셋에서 결정론적 트랜스포머, MC Dropout 및 에포크 앙상블보다 우수한 성능을 보였다.
• 시각적 품질: 모델은 SAR 영상에서 보이는 작은 얼음 특징(리드 및 플로)을 성공적으로 보존하면서도 바람의 영향과 열 노이즈의 영향을 완화하여, 과적합에 대한 효과적인 규제 능력을 입증했다.

의의
본 논문은 제안된 베이지안 트랜스포머가 기존 방식보다 더 신뢰할 수 있는 범북극 SIC 매핑 프레임워크를 제공한다고 주장한다. 불확정성 추정을 훈련 목표에 직접 통합함으로써, 모델은 이질적인 데이터셋 전반에 걸쳐 일관된 불확정성 정량화를 제공하며 더 강력한 일반화 능력을 보여준다. 이러한 접근 방식은 변화하는 북극의 장기적인 환경 모니터링과 안전한 항행에 필수적인, 견고한 불확정성 지표를 갖춘 고해상도 SIC 지도의 생성을 지원한다. 저자들은 향-이분산(heteroscedastic) 베이지안 신경망과 다중 모달 특징 수준 융합을 향후 연구 과제로 언급했다.