MOMO: 화성 궤도 응용을 위한 최초의 멀티 센서 파운데이션 모델 기술 요약

이 논문은 화성 원격 탐사 (Remote Sensing) 를 위한 최초의 멀티 센서 파운데이션 모델인 **MOMO (Mars Orbital Model)**를 소개합니다. 저자들은 다양한 센서와 해상도에서 수집된 화성 데이터를 통합하여 단일 모델이 다양한 궤도 임무에 적용될 수 있도록 하는 새로운 방법론을 제안했습니다.

1. 문제 정의 (Problem)

기존의 지구 관측 (Earth Observation, EO) 분야에서는 다양한 센서 데이터를 활용하는 파운데이션 모델 (FMs) 이 활발히 연구되고 있지만, 화성 원격 탐사 분야에서는 아직 파운데이션 모델이 제안된 바 없습니다.

• 데이터의 이질성: 화성 궤도선 (HiRISE, CTX, THEMIS 등) 은 서로 다른 파장, 공간 해상도 (0.25m/pixel ~ 100m/pixel), 그리고 커버리지 범위를 가집니다.
• 기존 접근법의 한계:
  • ImageNet 사전 학습: 화성 데이터의 고유한 특성 (대기 조건, 조명, 표면 물질) 을 반영하지 못해 성능이 제한적입니다.
  • 단일 센서 학습: 각 센서마다 별도의 모델을 학습해야 하므로 유지보수 비용이 크고, 센서 간 지식 전이가 어렵습니다.
  • 데이터 병합 (Data Merge): 모든 센서 데이터를 하나의 데이터셋으로 합쳐 학습하는 방식은 새로운 센서가 추가될 때마다 모델을 처음부터 다시 학습해야 하는 비효율성을 가집니다.

2. 방법론 (Methodology)

MOMO 는 모델 병합 (Model Merging) 전략을 핵심으로 하여, 각 센서별로 독립적으로 학습된 모델을 최적의 시점에 통합합니다.

2.1. 개별 센서 사전 학습 (Independent Pre-training)

• 데이터: HiRISE (0.25m), CTX (5m), THEMIS (100m) 의 3 가지 주요 센서 데이터에서 약 1,200 만 개의 샘플을 수집 및 정제했습니다.
• 손실 함수 (Cost Function): 단순 픽셀 단위 손실 (MSE) 의 한계를 극복하기 위해 구조적 유사성 (SSIM), LPIPS (지각적 손실), **기울기 손실 (Gradient Loss)**을 결합한 복합 손실 함수를 도입하여 지형의 구조적 세부 사항 (크레이터 가장자리, 산사태 경계 등) 을 잘 보존하도록 학습했습니다.

2.2. 동등 검증 손실 (Equal Validation Loss, EVL) 전략

기존의 모델 병합 방식은 보통 학습이 끝난 마지막 체크포인트를 사용하지만, 이는 서로 다른 데이터 분포 (해상도) 를 가진 모델들이 서로 다른 수렴 단계에 있을 수 있어 불안정할 수 있습니다.

• 핵심 아이디어: 각 센서 모델의 **검증 손실 (Validation Loss) 이 유사한 수준에 도달한 시점 (Checkpoint)**을 찾아 병합합니다.
• 작동 원리:
  1. 각 센서 모델의 학습 과정에서 검증 손실 곡선을 기록합니다.
  2. 모든 센서의 검증 손실이 서로 근접한 (tolerance $\epsilon$ 이내) 체크포인트 조합을 찾습니다.
  3. 이 중 각 모델의 조기 종료 (Early Stopping) 지점과 가장 가까운 조합을 선택하여 병합합니다.
• 효과: 서로 다른 해상도와 분포를 가진 모델들이 상호 호환 가능한 수렴 단계에서 통합되므로, 병합된 모델의 안정성과 일반화 성능이 향상됩니다.

2.3. 모델 병합 (Model Fusion)

선택된 체크포인트들을 Task Arithmetic 알고리즘을 사용하여 파라미터 수준에서 병합하여 단일 MOMO 모델을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 화성 최초의 파운데이션 모델: HiRISE, CTX, THEMIS 데이터를 통합하여 학습된 최초의 화성 궤도용 파운데이션 모델 MOMO 를 제안했습니다.
2. 최적 체크포인트 선택 전략 (EVL): 멀티 센서 데이터의 모델 병합 시 안정성을 보장하기 위해 검증 손실 기반의 체크포인트 정렬 전략을 처음 도입했습니다.
3. 광범위한 평가: Mars-Bench 의 9 가지 다운스트림 태스크 (분류 및 분할) 에서 기존 방법론 (ImageNet, 지구 관측 FM, 단일 센서 학습 등) 과 비교하여 우수한 성능을 입증했습니다.
4. 확장성: 새로운 센서가 추가될 경우 전체 재학습 없이 해당 센서 모델만 학습 후 병합하면 되므로, 계산 비용과 유연성 측면에서 우수합니다.

4. 실험 결과 (Results)

MOMO 는 Mars-Bench의 9 가지 태스크에서 다음과 같은 성과를 보였습니다.

• 전체 성능: ImageNet 사전 학습 모델, 지구 관측 기반 파운데이션 모델 (SatMAE, Prithvi 등), 단일 센서 학습 모델, 그리고 데이터 병합 (Data Merge) 방식보다 종합적으로 우수한 성능을 기록했습니다.
• 세그멘테이션 (Segmentation): 특히 크레이터, 바위, 산사태 등 세부적인 지형 분할 태스크에서 MOMO 는 다른 모든 베이스라인을 압도하는 성능 향상을 보였습니다. (예: Boulder 태스크에서 mIoU 약 4% 향상).
  • 이유: ImageNet 모델은 분류에는 적합하지만 화성 표면의 미세한 구조적 특징을 포착하는 데 한계가 있었기 때문입니다.
• 체크포인트 전략 비교: EVL 전략을 사용한 MOMO 는 단순히 마지막 에포크 (Last Epoch) 나 조기 종료 (Early Stopping) 체크포인트를 병합한 경우보다 평균적으로 약 2.5% 더 높은 mIoU를 달성했습니다.
• 확장성 검증: 기존 모델 (HiRISE, CTX) 에 THEMIS 모델을 점진적으로 추가하는 실험에서 성능 저하 없이 새로운 센서를 통합할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

• 과학적 가치: MOMO 는 행성 과학 분야에서 파운데이션 모델의 가능성을 처음으로 입증했습니다. 이를 통해 연구자들은 적은 비용으로 맞춤형 과학 태스크를 위한 모델을 학습할 수 있게 되었습니다.
• 실용적 적용: MOMO 는 대규모 화성 표면 매핑 (전역 크레이터 지도, 산사태 모니터링, 바위 위치 파악 등) 에 효과적으로 적용될 수 있으며, NASA 의 PDS(Planetary Data System) 에 배포된 기존 모델보다 더 높은 정확도를 보여줍니다.
• 미래 전망: 이 연구는 다양한 센서와 해상도를 가진 행성 데이터를 통합하는 새로운 패러다임을 제시하며, 향후 다른 행성 탐사 임무에도 적용 가능한 확장 가능한 프레임워크를 제공합니다.

요약하자면, MOMO 는 **다중 센서 데이터의 이질성을 극복하기 위한 모델 병합 전략 (EVL)**을 통해, 화성 원격 탐사 분야에서 단일 모델이 다양한 해상도와 센서 데이터에 대해 강력한 일반화 능력을 발휘할 수 있음을 증명했습니다.