기술 요약: LunarFM – 달 표면의 공유 다중 모달 표현

문제 정의

현지 자원 활용(ISRU) 및 지속 가능한 인류 거주 가능성에 따른 글로벌 달 탐사 관심의 재점화에도 불구하고, 과학적 분석과 자원 매핑은 여전히 파편화된 상태로 남아 있다. 현재의 워크플로우는 서로 다른 공간/시간 해상도, 관측 기하 구조 및 방사 특성을 가진 이질적인 다중 계측 관측 데이터(분광, 감마선, 중성자, 지형)에 의존한다. 이러한 데이터셋을 물리적으로 일관된 모델로 통합하려면 맞춤형 엔지니어링과 상당한 전문 지식이 필요하다. 또한, 고품질 레이블의 부족으로 인해 데이터를 출력 제품으로 변환하는 과정에서 노동 집약적인 작업이 필요하며, 이는 가용한 방대한 양의 다중 모달 궤도 데이터를 충분히 활용하지 못하는 비효율적이고 작업 특정적인 모델링 파이프라인을 초래한다.

방법론

저자들은 다양한 궤도 측정값으로부터 달 표면의 일반적이고 공유된 표현을 학습하도록 설계된 다중 모달 파운데이션 모델인 LunarFM을 소개한다.

데이터셋 준비 (LunarChips)

이 모델은 세 가지 미션(Lunar Reconnaissance Orbiter (LRO), Gravity Recovery and Interior Laboratory (GRAIL), Clementine 미션)의 데이터를 통합하여 큐레이션된 LunarChips 데이터셋을 통해 학습된다.

• 모달리티: 6개의 계측기가 18개의 입력 채널/밴드를 제공하며, 여기에는 다중 분광 이미지(LROC WAC), 지형(LOLA), 열 방출 및 암석 함량(Diviner), 레이더(Mini-RF), 중력 이상(GRAIL), 알베도(Clementine)가 포함된다.
• 처리: 데이터는 위도 70°S에서 70°N을 커버하는 공통 구형 그리드 상에 공동 등록(co-registered)된다. 표면은 0.5° × 0.5° 칩(총 201,600개)으로 타일링된다.
• 분할: 공간적 누수(spatial leakage)를 방지하고 일반화 성능의 견고한 평가를 보장하기 위해, 밴드별 분할(band-wise split) 방식을 사용하여 그리드 셀을 훈련(117,024), 검증(38,715), 테스트(45,861) 세트로 구분한다.

모델 아키텍처 및 학습

LunarFM은 Visual Transformer (ViT) 백본을 사용하는 다중 모달 멀티 마스크 오토인코더 (Multi-Masked Autoencoder, MultiMAE) 아키텍처를 활용한다.

• 입력 그룹화: 18개 채널은 7개의 입력 그룹(모달리티)으로 그룹화된다. Diviner 암석 함량은 별도의 그룹으로 취급되어 총 7개의 입력 그룹이 생성된다.
• 토큰화: 입력 칩은 8×8 픽셀 패치로 나뉘어 768차원 토큰으로 투영된다. 공간 정보는 사인 함수 기반 위치 임베딩(sinusoidal positional embeddings)을 통해 인코딩되며, 모달리티별 편향(modality-specific biases)은 선형 매핑을 통해 학습된다. 칩 수준의 임베딩 역할을 수행하기 위한 글로벌 토큰이 포함된다.
• 학습 전략: 모델은 자기 지도 학습(self-supervised learning)을 통해 사전 학습된다. 학습 중에는 모든 모달리티에 걸쳐 85%의 입력 패치가 무작위로 마스킹된다. 모델은 경량화된 모달리티별 디코더를 사용하여 마스킹된 위치를 포함한 전체 입력 도메인을 재구성한다. 이를 통해 인코더가 모달리티 내 및 모달리티 간 상관관계를 학습하도록 강제한다.
• 파라미터: 최종 모델은 1억 980만 개의 파라미터로 구성된다.

출력

사전 학습된 인코더는 모든 0.5° 입력 칩에 대해 **768차원의 밀집 임베딩(dense embedding)**을 생성하며, 이는 LunarEmbeddings 데이터셋을 형성한다. 이 임베딩은 인코더의 미세 조정(fine-tuning) 없이도 다운스트림 태스크를 위한 압축적이고 범용적인 표현 역할을 한다.

주요 기여

1. LunarChips 데이터셋: 세 가지 미션의 6개 계측기에서 얻은 공동 등록 데이터를 포함하며, 0.5° 칩 단위로 구성된, 머신러닝 준비가 완료된 통합 데이터셋(위도 70°S ~ 70°N).
2. LunarFM 모델 및 LunarEmbeddings: 사전 학습된 다중 모달 마스크 오토인코더와 그에 따른 동반 임베딩 데이터셋으로, 달 표면 특성에 대한 결합된 768차원 표현을 제공한다.
3. 다운스트림 평가: 유사도 검색, 퓨샷(few-shot) 자원 매핑, 광물 함량 회귀, 지질 단위 분류를 위한 임베딩의 유용성을 입증하는 실험 세트.
4. 오픈 리소스: 커뮤니티의 채택과 확장을 용이하게 하기 위해 모든 코드, 데이터 및 튜토리얼을 제공한다.

결과 및 평가

재구성 및 표현 품질

• 재구성: 모델은 마스킹된 모달리티를 성공적으로 재구성하여 학습된 교차 모달 상관관계를 입증했다. 재구성 오차는 데이터 공백이 크거나(예: Mini-RF) 모달리티 간 상관관계가 강한 경우(예: Diviner 암석 함량 vs 온도) 더 높게 나타났다.
• 임베딩 구조:
  • 상관관계: 피어슨 상관계수 분석 결과, 임베딩 차원 간의 중복성이 낮게 나타나(|r| ≥ 0.5인 쌍이 2.8%에 불고함), 직교하는 특징 공간을 시사했다.
  • 차원 축소: PCA 및 UMAP 시각화는 임베딩이 물리적으로 의미 있는 구조를 포착하고 있음을 보여준다. 첫 4개의 주성분(전체 분산의 약 54% 설명)은 표면 알베도, 고도, 온도 및 중력과 상관관계가 있다. UMAP 투영은 명시적인 감독 없이도 주요 지질학적 특징(예: 마리아, 남극-에이킨 분지) 및 고티타늄 영역을 자연스럽게 분리한다.
  • 클러스터링: 비지도 k-means 클러스터링(k=5)은 뚜렷한 지질학적 지형(예: 극지방, 근면부 고지대, 마레 지역)에 대응하는 공간적으로 일관된 클러스터를 생성한다.

다운스트림 응용 분야

• 유사도 검색: 잠재 공간 거리(L2)는 유사한 다중 모달 특성을 가진 칩을 효과적으로 검색하여 탐사 워크플로우를 지원한다.
• 광물 매핑: LunarFM 임베딩으로 학습된 간단한 랜덤 포레스트 회귀 모델은 공간적 일관성을 유지하면서 광물 함량(FeO, TiO2, MgO, Al2O3)을 성공적으로 예측한다.
• 퓨샷 학습(Few-Shot Learning): 전문가가 10개의 참조 칩(고-TiO2 5개, 저-TiO2 5개)을 선택하는 상황을 시뮬레이션했을 때, 모델은 실제 값과 0.784 ± 0.025의 상관관계를 달성했다. 이는 무작위 선택(0.653 ± 0.267)보다 현저히 우수한 성능을 보였으며, 변동성이 10배 더 낮아 임베딩과 도메인 지식을 결합하는 것의 가치를 강조했다.
• 지질 분류: 동결된 임베딩으로 학습된 그래디언트 부스팅 분류기는 표준 밴드 분할 하에서 49개 클래스의 USGS 지질도에 대해 33.6%의 Top-1 정확도와 60.9%의 Top-3 정확도를 달s성했다. 그러나 연속적인 지리적 홀드아웃(경도 또는 위도 스트립)으로 테스트했을 때 성능이 급격히 저하되어(~14-19% 정확도), 공간 분포 변화에 대한 민감성과 엄격한 평가 프로토콜의 필요성을 보여주었다.

의의 및 주장

본 논문은 LunarFM을 개념 증명 프레임워크이자 루나 머신러닝 커뮤니티를 위한 인프라 계층으로 자리매김한다. 주요 의의는 다음과 같다:

• 이질적 데이터의 통합: 물리적으로 구별되는 모달리티(광학, 열, 레이더, 중력)를 공유된 표현 공간으로 성공적으로 통합하여, 맞춤형 데이터 통합 워크플로우의 필요성을 줄였다.
• 저레이블 분석 가능성: 풍부하게 사전 학습된 임베딩을 활용함으로써 최소한의 감독만으로도 고품질의 자원 매핑 및 지질 분류를 달성할 수 있음을 입증했다.
• 커뮤니티 리소스: 데이터셋, 모델 및 임베딩을 공개함으로써, 연구자들이 루나 표면 특성을 탐구하고, 프레임워크를 개선하며, 향-후 연구 방향을 식별하는 데 드는 장벽을 낮추고자 한다.

저자들은 데이터 공백으로 인한 극지방(위도 70° 초과) 제외, 각 위도에 따른 칩의 가변적인 공간 풋프린트, 고해외 해상도 이미지(예: LROC NAC)의 부재 등 한계점을 명시적으로 언급했다. 이들은 본 연구를 완성된 제품이 아니라, 미래의 미션과 과학적 질문들이 구축해 나갈 토대로 규정한다.