HighFM: Towards a Foundation Model for Learning Representations from High-Frequency Earth Observation Data

1. 문제 정의 (Problem Statement)

• 배경: 기후 변화로 인한 산불, 홍수, 폭풍 등의 재해가 빈번해지면서 실시간 모니터링과 조기 경보 시스템의 필요성이 급증하고 있습니다.
• 기존 모델의 한계: 기존의 지구 관측 (EO) 기반 파운데이션 모델 (FM) 들은 주로 Sentinel-2 나 Landsat 과 같은 고해상도 but 저재방문 (low-revisit) 위성 데이터에 의존합니다. 이러한 모델들은 정적인 토지 피복 분류나 천천히 변화하는 현상 분석에는 탁월하지만, 산불이나 급격한 기상 변화와 같이 빠르게 진화하는 (fast-evolving) 현상을 실시간으로 추적하는 데는 적합하지 않습니다.
• 필요성: 지상국 (Geostationary) 위성 (예: MSG/SEVIRI) 은 5~15 분 주기로 지구 전체를 관측하여 높은 시간 해상도를 제공하지만, 기존 FM 들은 이러한 고빈도 데이터를 효과적으로 활용하지 못했습니다.

2. 방법론 (Methodology)

가. 데이터셋 구축

• 프리트레이닝 데이터: 메테오샷 2 세대 (MSG) 위성의 SEVIRI 센서 데이터를 활용했습니다. 2014~2019 년 지중해 지역의 11 개 스펙트럼 대역 (HRV 제외) 으로 구성된 약 2.23TB 규모의 데이터를 수집했습니다.
  • 운영상의 산불 모니터링 목적에 맞춰 5 월~9 월 (지중해 산불 시즌) 데이터만 선별했습니다.
  • 32x32 픽셀 패치로 분할하며, 해양만 포함된 패치나 완전한 구름으로 가려진 패치는 제거했습니다.
  • 데이터 분할: 2014~2018 년은 프리트레이닝, 2019 년은 검증 및 테스트에 사용하여 시간적 데이터 누출 (temporal leakage) 을 방지했습니다.
• 파인튜닝 데이터: 2020~2024 년 지중해 지역의 구름 분할 (Cloud Segmentation) 과 활성 산불 탐지 (Active Fire Detection) 를 위한 레이블링된 데이터셋을 구축했습니다.

나. 아키텍처: HighFM (Adapted SatMAE)

• 기반 모델: 기존 SatMAE (Masked Autoencoders for Satellite Imagery) 아키텍처를 기반으로 합니다.
• 핵심 개선 사항 (Temporal Encoding):
  • 기존 SatMAE 는 천천히 변화하는 지형 특성을 가정하여 시간 정보를 단순화했으나, HighFM 은 미세한 시간 단위 (분, 초) 의 인코딩을 유지하여 빠르게 변화하는 현상 (화재, 구름 이동) 을 포착합니다.
  • 입력 변형: 두 가지 변형을 실험했습니다.
    1. Single-timestep (HighFMST): 한 시점의 이미지만 입력.
    2. Multi-timestep (HighFMMT): 같은 시간대 내 무작위로 선택된 3 개의 시점 이미지를 입력하여 단시간 내의 변화 (intra-hour variability) 를 학습하도록 설계.
• 학습 전략:
  • 프리트레이닝: 마스킹된 이미지 모델링 (Masked Image Modeling, MIM) 을 통해 레이블 없이 2TB 데이터를 학습.
  • 파인튜닝: 학습된 인코더를 고정하거나 미세 조정하여 구름/화재 분할 태스크에 적용.
  • 손실 함수 및 목적:
    • High-Recall (Cross-Entropy): 누락된 화재/구름을 최소화 (조기 경보 목적).
    • Precision-Oriented (Dice Loss): 오탐지 (False Positive) 를 최소화하여 정확한 위치 파악 (대응 의사결정 목적).

3. 주요 기여 (Key Contributions)

1. 고빈도 EO 데이터 전용 FM: 고시간 해상도 (High-temporal-resolution) 지상 위성 데이터를 위한 최초의 파운데이션 모델 접근법 제시.
2. 대규모 SEVIRI 데이터셋: 자기지도학습 (Self-supervised) 프리트레이닝을 위한 대규모 SEVIRI 데이터셋과 파인튜닝용 구름/화재 마스크 데이터셋 공개.
3. 새로운 벤치마크: 여러 해에 걸친 클라우드 및 화재 탐지 태스크에서 기존 기반 모델 (Baseline) 과 최신 지리공간 FM 들을 비교한 벤치마크 결과 제시.
4. 실무 협력: 소방청, 국가민방위, 기상청 등 운영 기관과의 공동 설계를 통해 실제 운영 환경에 적합한 오류 허용 범위 (Recall vs Precision) 를 반영한 평가 프로토콜 수립.

4. 실험 결과 (Results)

• 평가 지표: 균형 정확도 (Balanced Accuracy), IoU (Intersection over Union), 재현율 (Recall), 정밀도 (Precision).
• 구름 분할 (Cloud Segmentation):
  • 제안된 HighFMMT(3 시점) 모델이 Cross-Entropy 손실 함수 사용 시 가장 높은 균형 정확도 (0.831) 와 IoU 를 기록했습니다.
  • 기존 모델 (UNet, ImageNet 프리트레이닝 ViT, Copernicus-FM, Panopticon) 보다 일관되게 우수한 성능을 보였습니다.
• 화재 탐지 (Active Fire Detection):
  • HighFMMT 모델이 모든 베이스라인을 압도했습니다.
  • Cross-Entropy (Recall 중시): 균형 정확도 0.925, 화재 재현율 0.890 을 기록하여 Copernicus-FM 대비 각각 +0.031, +0.045 향상.
  • Dice Loss (정밀도 중시): 화재 IoU 0.352, 화재 재현율 0.497 로 최상의 성능을 보이며, 기존 모델들의 과분할 (Over-segmentation) 문제를 해결하고 정확한 경계를 제시했습니다.
• 시각적 결과: 제안된 모델은 베이스라인 모델에 비해 잡음에 덜 민감하고, 실제 화재 영역을 더 정확하게, 불필요한 영역을 덜 포함하여 탐지했습니다.

5. 의의 및 결론 (Significance)

• 실시간 재해 대응의 혁신: 공간 해상도는 낮지만 시간 해상도가 높은 지상 위성 데이터를 활용함으로써, 산불이나 폭풍과 같은 급변하는 재해 현상을 실시간으로 추적할 수 있는 새로운 가능성을 열었습니다.
• 도메인 특화 프리트레이닝의 중요성: 일반 이미지 (ImageNet) 나 저빈도 위성 데이터로 학습된 모델보다, 고빈도 도메인 데이터 (SEVIRI) 로 프리트레이닝된 모델이 실시간 태스크에서 훨씬 뛰어난 성능을 입증했습니다.
• 확장성: 이 프레임워크는 구름 추적, 폭풍 발달 모니터링, 태양 에너지 예측 등 다양한 실시간 지구 관측 응용 분야로 확장 가능합니다.
• 향후 과제: 현재 단일 센서 (SEVIRI) 에 집중되어 있으나, 향후 MODIS, VIIRS 등 다양한 센서를 통합하는 멀티모달 (Multi-modal) 프리트레이닝을 통해 모델의 일반화 능력을 더욱 강화할 계획입니다.

이 논문은 기후 재해 대응을 위한 AI 기반 실시간 관측 시스템의 핵심 기술로서, 고빈도 위성 데이터를 활용한 차세대 파운데이션 모델의 표준을 제시한다는 점에서 큰 의의를 가집니다.