1. 문제 정의 (Problem Statement)

지구 관측 (Earth Observation, EO) 을 위한 지리 공간 기반 모델 (Geospatial Foundation Models, GFMs) 은 대규모 위성 데이터 (Sentinel, Landsat 등) 로 사전 훈련되어 다양한 다운스트림 작업에 적용됩니다. 그러나 이러한 모델들은 실제 배포 환경에서 신뢰성 (Reliability) 문제를 겪고 있습니다.

• 주요 원인: 사전 훈련 데이터에 부족하게 포함된 지리적 영역 (사막, 극지방 등) 이나 계절적/환경적 극단 상황 (가뭄, 홍수 등) 에서 발생하는 분포 외 (Out-of-Distribution, OOD) 입력에 대해 모델이 과신된 (overconfident) 예측을 하거나 실패하는 경우가 많습니다.
• 현황: 기존 모델들은 OOD 입력을 탐지하거나 불확실성을 정량화하는 내장 메커니즘이 부족하여, 위험한 의사결정 (재난 대응 등) 에 사용될 때 심각한 오류를 유발할 수 있습니다.
• 목표: GFMs 이 잠재적인 실패를 식별하고, 신뢰도가 낮은 예측은 거절 (abstain) 하거나 인간 전문가의 검토를 요청할 수 있도록 하는 신뢰성 인식 (Reliability-Aware) 프레임워크가 필요합니다.

2. 방법론 (Methodology: SHRUG-FM)

저자들은 SHRUG-FM이라는 새로운 프레임워크를 제안합니다. 이는 모델이 언제 예측을 수행하고 언제 거절할지 결정하는 선택적 예측 (Selective Prediction) 메커니즘입니다. SHRUG-FM 은 세 가지 상호 보완적인 신호를 통합하여 신뢰성 지표를 생성합니다.

A. 세 가지 신뢰성 신호 (Three Complementary Signals)

1. 입력 공간 OOD 신호 ($U_I$):

   • 개념: 모델이 사전 훈련 시 보지 못한 물리적 환경 (지형, 토지 피복 등) 을 입력으로 받을 때 탐지.
   • 구현: 고해상도 지리 물리 데이터 (Copernicus DEM, HydroATLAS 등) 를 활용하여 고도, 경사, 토지 피복 등의 지리적 특성을 추출합니다. 사전 훈련 데이터의 분포와 비교하여 새로운 샘플의 특성 (percentile rank) 이 얼마나 극단적인지, 또는 공간적 밀도가 낮은지 계산합니다.
   • 특징: 해석 가능성 (Interpretability) 이 높습니다.

2. 임베딩 공간 OOD 신호 ($U_E$):

   • 개념: 입력은 정상적으로 보일지라도, 모델의 내부 표현 (Embedding) 이 사전 훈련 데이터 분포와 얼마나 다른지 탐지.
   • 구현: 사전 훈련된 임베딩을 $k$-means 클러스터링하여 대표 프로토타입을 생성합니다. 새로운 샘플의 임베딩이 가장 가까운 클러스터 중심으로부터 얼마나 떨어져 있는지 (Normalized Distance) 와 다른 모든 클러스터 중심과의 상대적 거리 (NCDD, Nearest Centroid Distance Deficit) 를 계산합니다.
   • 특징: 모델이 "혼란스러워하는" (confused) 상태를 감지합니다.

3. 작업별 예측 불확실성 신호 ($U_T$):

   • 개념: 입력과 임베딩이 정상적이라 하더라도, 다운스트림 작업 수행 시 모델이 불확실한 경우 탐지.
   • 구현: 앙상블 (Ensemble) 또는 부트스트랩 (Bootstrap) 방식을 사용하여 예측 확률 분포를 생성합니다.
     • 평균 엔트로피 (Average Entropy): 데이터 자체의 불확실성 (Aleatoric Uncertainty) 측정.
     • 상호 정보 (Mutual Information): 모델 간 합의 부족으로 인한 불확실성 (Epistemic Uncertainty) 측정.
   • 특징: 픽셀 단위 불확실성을 이미지 단위 (ROI) 로 집계하여 작업별 신호로 변환합니다.

B. 신호 융합 및 선택적 분류기 (Signal Fusion & Selective Classifier)

• 구조: 위 세 가지 신호 ($U_I, U_E, U_T$) 를 입력으로 받아 예측을 '수용 (Accept)' 또는 '거절 (Abstain)'하는 이진 분류기 $g$를 학습합니다.
• 모델: **얕은 결정 트리 (Shallow Decision Tree, max_depth=3)**를 사용합니다.
  • 이유: 복잡한 신경망보다 **해석 가능성 (Glass-box)**이 뛰어나기 때문입니다. 사용자가 모델이 왜 특정 예측을 거절했는지 (예: "높은 경사 + 임베딩 드리프트" 조합) 이해할 수 있습니다.
• 학습: 다운스트림 작업의 검증 데이터를 사용하여 실패 (F1 점수 임계값 미달) 를 식별하는 기준을 학습합니다.

3. 주요 기여 (Key Contributions)

1. GFMs 실패 원인 정량화: GFMs 의 실패를 입력 수준 ($U_I$), 임베딩 수준 ($U_E$), 작업 수준 ($U_T$) 의 세 가지 상보적 신호로 체계적으로 정의하고 정량화했습니다.
2. 통합 선택적 예측 프레임워크 제안: 모델에 구애받지 않는 (Model-agnostic) SHRUG-FM 을 설계하여, 위 세 가지 신호를 단일하고 해석 가능한 거절 메커니즘으로 통합했습니다.
3. 실증적 검증: 산불 흔적 분할 (Burn scar segmentation), 홍수 매핑 (Flood mapping), 산사태 탐지 (Landslide detection) 라는 세 가지 고위험 재난 대응 작업에서 SHRUG-FM 이 기존 단일 신호 기반 베이스라인 (예: 예측 엔트로피) 보다 일관되게 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

• 평가 지표: 위험 - 커버리지 (Risk-Coverage) 곡선, AURC (Risk-Coverage 곡선 아래 면적), Discard-Performance 곡선 등을 사용했습니다.
• 성능 향상:
  • 화재 (Fire) 작업: SHRUG-FM 은 50% 커버리지에서 위험률 (Risk@0.5) 을 0.090으로 낮추어, 가장 좋은 단일 신호 베이스라인 (0.137) 보다 크게 개선되었습니다.
  • 홍수 (Flood) 작업: 전체 AURC 를 0.115로 낮추어 가장 낮은 위험을 보였습니다.
  • 산사태 (Landslide) 작업: 데이터가 극도로 부족한 상황에서도 신뢰할 수 있는 하위 집합을 식별하여 AURC 를 0.526 에서 0.392 로 크게 감소시켰습니다.
• Ablation Study:
  • 불확실성 정량화 (UQ) 신호를 제거하면 성능이 급격히 저하되었습니다.
  • 흥미롭게도, 일부 작업에서 입력 지리 특성 신호를 제거했을 때 성능이 더 좋아지는 "입력 역설 (Input Paradox)"이 관찰되었으나, 인간이 개입하는 재난 대응을 위해 물리적 근거 (Physical grounding) 를 제공하는 신호를 유지했습니다.
• 해석 가능성: 결정 트리를 통해 어떤 신호 (예: NCDD 점수, 상호 정보량) 가 거절의 주된 원인인지 명확히 파악할 수 있었습니다.

5. 의의 및 결론 (Significance)

• 안전한 배포 (Safe Deployment): SHRUG-FM 은 GFMs 의 벤치마크 성능과 실제 세계의 신뢰성 사이의 격차를 해소합니다. 모델이 "모르겠다"고 말할 수 있게 함으로써, 위험한 자동화 의사결정을 방지합니다.
• 해석 가능성과 투명성: 얕은 결정 트리를 사용하여 "왜 이 예측을 거절했는지"에 대한 명확한 이유를 제공함으로써, 재난 대응 전문가들의 신뢰를 높이고 인간 - AI 협업 (Human-in-the-loop) 을 촉진합니다.
• 미래 방향: 기후 변화 민감 응용 분야 (기후 재해 대응 등) 에서 GFMs 의 안전한 배포를 위한 표준적인 접근 방식을 제시하며, 향후 사전 훈련 데이터 전략 수립과 새로운 과학적 통찰력 도출에 기여할 것으로 기대됩니다.

요약하자면, SHRUG-FM 은 지리 공간 기반 모델이 불확실한 상황에서 맹목적으로 예측하는 것을 방지하고, 다중 신호를 융합하여 해석 가능한 방식으로 신뢰성 있는 예측만 선별해내는 혁신적인 프레임워크입니다.