기술 요약: Moonstone – 달 원격 탐사를 위한 멀티모달 파운데이션 모델 및 벤치마크

1. 문제 정의

수십 년간의 궤도 미션(예: NASA의 LRO, 인도의 Chandrayaan-1, GRAIL)은 광학 이미지, 분광, 열 방출, 레이더, 중력 및 원소 조성을 아우르는 달의 멀티모달 원격 탐사 데이터를 테라바이트 단위로 생성해 왔습니다. 그러나 이러한 데이터셋은 서로 호환되지 않는 아카이브(NASA PDS, USGS, ISRO PRADAN)에 파편화되어 있으며, 공간 해상도와 형식이 제각각입니다. 결정적으로, 머신러닝 모델을 달 데이터로 평가할 수 있는 표준화된 벤치마크가 존재하지 않습니다. 기존의 지구 관측(EO) 파운데이션 모델은 패치 임베딩이 지구 특유의 센서(예: Sentinel-2, C-band SAR)에 고정되어 있고, GRAIL 중력이나 M3 초분광 반사율과 같은 달의 모달리티와 대응되지 않기 때문에 직접 적용할 수 없습니다. 또한, 달 데이터는 독특한 과제를 안고 있습니다. 즉, 매우 불균일한 공간적 범위(계측기에 따라 16%에서 100%까지 다양함), 대기나 식생의 부재, 그리고 지도 학습(supervised tasks)을 위한 레이블링된 데이터의 극심한 부족입니다.

2. 방법론: Moonstone 프레임워크

2.1 데이터셋

저자들은 5개 미션에서 추출한 7개 계측기 제품군으로부터 얻은 28개 채널로 구성된 글로벌 사전 학습 데이터셋인 Moonstone을 소개합니다.

• 해상도: 도당 128 픽셀 (약 237 m/pixel).
• 구성: 채널은 7개의 물리적으로 유의미한 모달리티 그룹으로 그룹화됩니다: 표면(WAC/LOLA), 열(Diviner), 분광(M3), 중력(GRAIL), 레이더(Mini-RF), Hapke(WAC), 그리고 조성(Clementine/LP-GRS).
• 커버리지: 표면 및 중력의 경우 100%인 반면, 레이더는 16~18%로 낮게 나타나는 등 매우 큰 차이를 보입니다.
• 전처리: 데이터는 공통의 equirectangular 그리드에 정렬되고, z-score 정규화를 거친 후, 학습 중 무제한의 256×256 크롭 샘플링을 허용하기 위해 메모리 맵드 배열(memory-mapped arrays) 형태로 저장됩니다.

2.2 모델: MG-MAE (Modality-Grouped Masked Autoencoder)

본 논문은 달 데이터의 이질성을 처리하기 위해 특별히 설계된 마스크드 오토인코더인 MG-MAE를 제안합니다. 주요 아키텍처 구성 요소는 다음과 같습니다:

• 그룹화된 토큰화 (Grouped Tokenization): 28개 채널 각각에 토크나이저를 할당하는 대신, 모델은 모달리티 그룹당 하나의 멀티 채널 컨볼루션 토크나이저(총 7개의 토크나이저)를 사용합니다. 이를 통해 모델은 그룹 내 상관관계(예: 연속적인 M3 반사 스펙트럼 전반에 걸친 상관관계)를 학습하는 동시에 파라미터 수를 줄일 수 있습니다.
• 결측 모달리티 마스킹을 포함한 공유 인코더 (Shared Encoder with Missing-Modality Masking): 공유된 ViT-Base 인코더는 모든 그룹의 토큰을 처리합니다. 부분적 커버리지를 가진 계측기(예: 표면의 16%만 커버하는 레이더)를 처리하기 위해, 모델은 플레이스홀더 토큰(제로 벡터)을 삽입하고 키-차원 어텐션 마스킹(어텐션 점수를 $-\infty$로 설정)을 적용합니다. 이는 모든 모달리티가 존재한다고 가정하는 표준 멀티모달 모델과 구별되는 핵심적인 차이점으로, 가용하지 않은 모달리티가 어텐션 메커니즘을 오염시키는 것을 방지합니다.
• 커버리지 적응형 마스킹 (Coverage-Adaptive Masking): 커버리지가 차수 단위로 다르다는 점을 인식하여, 전역 커버리지($c_g$)를 기반으로 그룹별 마스킹 비율을 조정합니다 ($m_g = 0.75 + \alpha(c_g - \bar{c})$). 이는 희귀한 모달리티(예: 레이더)의 토큰은 더 많이 보존하고, 완전히 커버된 그룹은 더 많이 마스킹합니다.
• 교차 모달 디코더 (Cross-Modal Decoder): 공유된 경량 디코더는 교차 어텐션을 사용하여 마스킹된 패치를 재구성합니다. 이는 사용 가능한 모든 그룹의 정보를 활용하여 특정 그룹의 누락된 데이터를 추론합니다(예: 표면 관측치를 통해 열 패턴을 추론).
• 손실 함수 (Loss Function): 다음 세 가지를 결 조합합니다:
  1. 비례 가중 MSE (Proportionally Weighted MSE): 각 그룹의 현재 재구성 손실에 따라 가중치($w_g$)를 동적으로 조정하여, 어려운 그룹(예: 레이더)은 자동으로 가중치를 높이고 쉬운 그룹(예: 중력)은 낮춥니다.
  2. InfoNCE 대비 학습 손실 (Contrastive Loss): 서로 다른 모달리티 그룹 간의 평균 풀링된 특징들을 정렬하여 모달리티 불변 표현을 촉진합니다.
  3. 분광 연속성 정규화 ($\mathcal{L}_{SCR}$): 재구성된 8개 M3 분광 채널에 대한 2차 유한 차분에 대한 L2 페널티를 부과합니다. 이는 지구 EO 모델에는 없는, 행성 분광학에 특화된 물리적으로 타당하고 매끄러운 분광 재구성을 강제합니다.

2.3 학습 프로토콜

모델은 AdamW를 사용하여 배치당 256개의 패치로 100 에포크 동안 학습됩니다. 보완적 마스킹(complementary masking) 전략이 채택되는데, 50%의 확률로 1~2개의 앵커 그룹은 100%의 토큰을 유지하는 반면 다른 그룹은 90%까지 마스킹하여, 모델이 교차 모달 추론에 크게 의존하도록 강제합니다.

3. 벤치마크 및 평가

저자들은 고정된 train/val/test 분할을 가진 6가지 다운스트림 태스크의 벤치마크 세트를 정의합니다:

1. 지질 분류 (Geology Classification): USGS 지질 단위에 대한 49-클래스 분류.
2. 연령 분류 (Age Classification): 표면 연령기에 대한 5-클래스 분류.
3. 조성 회귀 (Composition Regression): FeO 및 $TiO_2$ 중량 분율 예측.
4. 교차 모달 회귀 (Cross-Modal Regression): 비열(non-thermal) 입력을 통한 열 값 예측.
5. 마레 세그멘테이션 (Mare Segmentation): 마레 현무암과 고지대의 이진 세그멘테이션.
6. 크레이터 세그멘테이션 (Crater Segmentation): 충돌 크레이터(> 10 km)의 윤곽 추출.

평가 지표로는 Accuracy/F1, $R^2$, mIoU가 사용됩니다.

4. 주요 결과

• 우수한 성능: MG-MAE로 사전 학습된 특징들은 모든 6가지 태스크에서 "scratch" 베이스라인, ImageNet 사전 학습 모델, 그리고 바닐라 MAE 베이스라인보다 뛰어난 성능을 보였습니다.
  • 지질 (Geology): MG-MAE는 **56.3%**의 정확도(파인튜닝 시)를 달성하여, scratch 대비 +16.2% 향상되었으며, ImageNet(33.2%)을 크게 앞질렀습니다.
  • 크레이터 세그멘테이션: MG-MAE는 0.768 mIoU를 달성하여 scratch 대비 +14.7 포인트 향상되었습니다.
  • 조성 (Composition): MG-MAE 특징에 대한 선형 프로빙(linear probing)은 $R^2$ 0.924를 기록하여, scratch(0.802)와 파인튜닝 모델(0.908)을 모두 능가했습니다. 이는 인코더가 지화학적 트렌드를 효과적으로 포착하고 있음을 나타냅/니다.
• 퓨샷 학습 (Few-Shot Learning): 저데이터 환경(5-shot 및 10-shot)에서도 MG-MAE는 scratch 베이스라인을 크게 압도했습니다(예: 5-shot 지질 분류에서 +9.3% 정확도). 이는 정답(ground truth)이 희소한 자원 탐사 분야에서의 유용성을 입증합니다.
• 일반화 (Generalization): 지리적 분할(적도 지역에서 학습하고 고위도에서 테스트) 하에서도 MG-MAE는 일관된 상대적 이득(+14.4% over scratch)을 유지하며, 표현력이 다양한 달 지역에 걸쳐 일반화됨을 확인했습니다.
• 도메인 특수성 (Domain Specificity): 지구 관측 파운데이션 모델(SatMAE, Prithvi-EO-2.0, TerraMind)로부터의 전이 학습은 scratch 대비 미미한 이득(+최대 1.9%)만을 제공했습니다. 이는 지구 특유의 특징(식생, 대기)이 달로 전이되지 않음을 확인시켜 줍니다.
• 어블레이션 통찰 (Ablation Insights):
  • 결측 모달리티 마스킹이 가장 중요한 구성 요소이며, 이를 제거하면 지질 정확도가 4.6% 하락합니다.
  • 그룹화된 토큰화는 채널별 토크나이저보다 그룹 내 상관관계를 더 잘 포착하여 성능을 개선합니다.
  • 분광 연속성 정규화는 조성 회귀 성능을 $R^2$ 기준 1.3 포인트 향상시킵니다.

5. 의의 및 주장

본 논문은 Moonstone이 달 원격 탐사를 위한 최초의 멀티모달 파운데이션 모델 벤치마크라고 주장합니다. 그 의의는 다음과 같습니다:

1. 데이터 파편화 해결: 서로 다른 달 데이터셋을 단일화된 표준 메모리 맵드 형식으로 통합했습니다.
2. AI 보조 과학 연구 가능: 벤치마크를 제공함으로써 모델 간의 공정한 비교를 가능하게 하며, 이는 이전까지 달 데이터 연구에서 결여되었던 기능입니다.
3. 도메인 특화 사전 학습의 검증: 모델의 구조적 적응(결측 모달리티 처리, 분광 연속성 등)을 통해 달 데이터로 사전 학습하는 것이 실질적인 성능 향상을 가져온다는 것을 입증했습니다.
4. 확장성: 본 아키텍처는 새로운 모달리티 그룹을 추가할 때 아키텍처 변경 없이도 향후 미션(예: Chandrayaan-3, Lunar Trailblazer)의 데이터를 수용할 수 있도록 설계되었습니다.

저자들은 멀티모달 사전 학습이 달 과학, 특히 형태학, 광물학, 중력의 공동 해석을 요구하는 작업에 필수적이라고 결론지으며, 공개된 데이터셋, 코드 및 벤치마크 세트가 향후 행성 파운데이션 모델 연구를 위한 공통 프로토콜을 제공할 것이라고 밝힙니다.