Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 위성 데이터의 가용성 증가로 인해 지리과학 (Geoscience) 분야에서 딥러닝 기반의 기반 모델 (Foundation Models) 이 활발히 개발되고 있습니다. 기존 사전 학습 (Pretraining) 방법론은 주로 마스크된 재구성 (Masked Reconstruction, MR) 또는 다음 토큰 예측 (Next-token Prediction) 전략에 의존합니다.
• 문제점:
  • 기존 방법들은 데이터의 공간적 또는 시간적 구조를 학습하는 데는 탁월하지만, 서로 다른 지리 및 환경 변수 간의 인과적 상호작용 (Causal Interplay) 을 충분히 포착하지 못합니다.
  • 예를 들어, 기상 조건 (기온, 강수량 등, 'Driver') 이 식생 성장이나 토양 수분 (Response) 에 미치는 인과적 영향을 명시적으로 모델링하지 않습니다.
  • 단순히 여러 모달리티 (위성 이미지 + 기상 데이터) 를 병렬로 입력하거나 대비 학습 (Contrastive Learning) 을 수행하는 기존 다중 모달 접근법들은 변수 간의 방향성 있는 인과 관계보다는 단순한 공존 (Co-occurrence) 상관관계만 학습하는 경향이 있습니다.

2. 제안 방법론: KG-VSF (Methodology)

저자들은 지식 기반 변수 단계 예측 (Knowledge Guided Variable-Step Forecasting, KG-VSF) 이라는 새로운 사전 학습 태스크를 제안합니다.

• 핵심 개념:

  • 예측을 조건부 생성 (Conditional Generation) 문제로 정의합니다.
  • Driver (원인): 과거 및 미래의 기상 데이터 (Driver Variables).
  • Response (결과): 미래의 위성 이미지 (Response Variables).
  • 모델은 과거의 위성 이미지와 현재까지의 기상 데이터를 입력받아, 미래의 특정 시점 (Variable Step) 의 위성 이미지를 생성하도록 훈련됩니다.
  • 이를 통해 모델은 "기상 조건이 어떻게 지면 상태 (작물, 토양 등) 를 변화시키는가"에 대한 인과적 지식을 내재화하게 됩니다.

• 아키텍처 (Architecture):

  • Heavy Encoder / Lightweight Decoder: 풍부한 임베딩을 생성하기 위해 인코더를 무겁게, 디코더를 가볍게 설계했습니다.
  • Multi-modal Sequence Encoder:
    • Satellite Encoder: 시계열 위성 이미지를 처리하기 위해 공유된 Vision Transformer (ViT) 사용.
    • Weather Encoder: 시계열 기상 데이터를 처리하기 위해 Unidirectional LSTM 사용.
    • Temporal Encoder: 연중 날짜 (DOY) 와 시간 간격 (Delta) 임베딩을 추가하여 시간적 맥락을 제공.
    • Fusion: 위 모든 임베딩을 합쳐 Transformer 를 통해 시공간적 정보를 추출합니다.
  • Forecaster: 현재 시점의 임베딩과 미래 시점까지의 기상 데이터를 결합하여 미래 시점의 임베딩을 생성하는 레이어를 추가합니다.

• 2 단계 사전 학습 전략 (Two-phase Pretraining):

  1. Phase 1 (Masked Reconstruction): 각 모달리티 (위성, 기상) 가 독립적으로 잘 인코딩되도록 마스크된 재구성 태스크로 초기화합니다.
  2. Phase 2 (Forecasting): Forecaster 레이어를 추가하고, 기상 데이터를 기반으로 미래 이미지를 예측하는 태스크로 인과 관계를 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 사전 학습 태스크 (KG-VSF): 다중 모달리티 간의 인과적 의존성을 명시적으로 모델링하는 새로운 태스크를 제안했습니다.
2. 인과성 기반 임베딩: 단순한 상관관계가 아닌, 기상 데이터가 위성 이미지에 미치는 물리적 인과 관계를 임베딩에 내재화하여, 해당 인과성이 중요한 다운스트림 작업에서 우수한 성능을 입증했습니다.
3. 광범위한 실험 및 검증:
   • 데이터셋: 전역 (Global) 데이터셋과 미국 농경지 (US Cropland) 데이터셋을 구축하여 평가했습니다.
   • 다운스트림 작업: 픽셀 단위 작물 분류, 토양 수분 예측/예보, 누락된 이미지 복원, 미래 이미지 예측 등 다양한 작업에서 기존 방법 (SM-MR, MM-MR, SM-VSF, MM-VSF) 및 Prithvi EO.2 와 비교했습니다.
   • 인과성 검증: 반사실적 (Counterfactual) 기상 실험과 기상 데이터 무작위화 (Shuffle) 실험을 통해 모델이 실제로 인과 관계를 학습했음을 증명했습니다.

4. 실험 결과 (Results)

• 작물 유형 매핑 (Crop Type Mapping): KG-VSF 는 평균 F1 점수 0.7602를 기록하여 차기 최고 성능인 MM-MR (0.7056) 보다 우월한 성능을 보였습니다. 특히 데이터가 부족한 상황에서도 강력한 성능을 발휘했습니다.
• 토양 수분 예측 및 예보 (Soil Moisture Tasks):
  • 예측: KG-VSF 는 $R^2$ 점수 0.8081로 MM-VSF (0.7606) 를 능가했습니다.
  • 예보: 장기 예보 (100 일 이상) 에서도 KG-VSF 는 가장 낮은 오차를 보이며, 기상 데이터와 지면 상태 간의 인과적 연결이 장기 예측에 필수적임을 입증했습니다.
• 누락된 이미지 복원 (Missing Image Prediction): 구름 등으로 인해 데이터가 손실된 경우, KG-VSF 는 물리적으로 타당한 내용을 채워 넣는 데 가장 효과적이었습니다 (MSE 326.43 vs MM-MR 788.94).
• Zero-Shot 미래 이미지 예측: 미세 조정 (Fine-tuning) 없이도 미래의 위성 이미지를 예측하는 작업에서 KG-VSF 는 기상 변화에 따른 지형 변화 (예: 눈 덮임, 작물 수확) 를 정확하게 시뮬레이션했습니다.
• 임베딩 분석 (t-SNE): KG-VSF 로 학습된 임베딩은 작물 종류별로 더 명확하게 분리된 클러스터를 형성하여, 모델이 의미 있는 구조를 학습했음을 시각적으로 확인했습니다.
• 확장성 (Scalability): 학습 데이터 양이 증가함에 따라 (15k 에서 60k 샘플까지) 다운스트림 작업 성능이 꾸준히 향상되어, 대규모 데이터에 대한 확장 가능성을 보였습니다.

5. 의의 및 결론 (Significance)

• 지식 기반 학습의 중요성: 지리과학 및 원격 탐사 분야에서는 단순한 데이터 패턴 매칭을 넘어, 환경 변수 간의 인과적 메커니즘을 이해하는 것이 필수적입니다. KG-VSF 는 사전 학습 단계에 이러한 도메인 지식 (기상이 지면을 변화시킨다) 을 직접 주입함으로써 이를 해결합니다.
• 범용성: 이 접근법은 산불 예측, 작물 수확량 예측, 눈 녹음 추정 등 다양한 지리과학 응용뿐만 아니라, 의료 (환자 결과와 임상 요인의 인과 관계) 나 금융 (거시 지표와 시장 동향) 등 다른 과학 및 사회 분야에서도 적용 가능한 패러다임을 제시합니다.
• 향후 전망: 단일 사전 학습 전략이 모든 지리과학 작업에 최적일 수는 없으나, 인과 관계를 명시적으로 모델링하는 KG-VSF 는 물리적으로 일관성 있고 해석 가능하며, 다양한 도메인으로 전이 가능한 기반 모델 개발의 중요한 방향성을 제시합니다.

이 논문은 원격 탐사 기반 모델의 성능 향상을 위해 데이터의 구조적 패턴 학습에서 변수 간의 인과적 관계 학습으로의 패러다임 전환을 제안한다는 점에서 의의가 큽니다.