CrossEarth-SAR: A SAR-Centric and Billion-Scale Geospatial Foundation Model for Domain Generalizable Semantic Segmentation

이 논문은 물리 지시자를 통합한 희소 혼합 전문가 (MoE) 아키텍처와 대규모 SAR 데이터셋을 기반으로 구축된 최초의 10 억 규모 SAR 기반 지리 공간 기초 모델인 CrossEarth-SAR 을 제안하여, 다양한 센서와 지역 간의 도메인 편차를 극복하고 범용 의미 분할 성능을 획기적으로 개선했음을 보여줍니다.

핵심

1. 왜 이 연구가 필요한가요? (기존의 문제점)

상상해 보세요. 우리가 보통 스마트폰 카메라로 사진을 찍으면 맑은 날에는 선명하게 보이지만, 비나 안개가 끼거나 밤이 되면 사진이 흐릿해지거나 아예 안 보이죠.

하지만 **SAR(합성 개구면 레이더)**는 다릅니다. 비가 오나 눈이 오나, 밤이든 낮이든 구름 하나 없이 지구를 찍을 수 있는 '올웨더 (All-weather)' 카메라입니다. 재난 구조나 환경 감시에 아주 유용하죠.

그런데 문제는 이렇습니다:

• 카메라마다 눈이 달라요: A 라는 위성으로 찍은 사진과 B 라는 위성이 찍은 사진은 마치 서로 다른 언어로 쓴 것 같습니다. A 에서 배운 AI 는 B 의 사진을 보면 "이게 뭐야? 전혀 모르겠다!"라고 혼란을 겪습니다.
• 레이더는 '소음'이 많아요: 일반 사진은 물체의 색과 모양이 선명하지만, 레이더 사진은 마치 **쌀알이 튀는 듯한 '소음 (스펙클)'**이 가득합니다.
• 모양이 왜곡돼요: 레이더는 옆에서 비추기 때문에 산이나 건물이 기울어 보이거나 그림자가 길게 늘어지는 등 기하학적으로 왜곡된 모습을 보여줍니다.

기존의 AI 모델들은 이런 '다양한 카메라'와 '소음'이 섞인 환경에서 한 번만 배우면, 다른 환경으로 가면 완전히 망가져버리는 문제가 있었습니다.

---

2. 이 논문이 만든 해결책: 'CrossEarth-SAR'

연구팀은 **"이제부터는 모든 레이더 카메라를 한 번에 이해할 수 있는 천재 AI"**를 만들었습니다. 바로 CrossEarth-SAR입니다.

🌟 핵심 비유: '수천 명의 요리사'가 있는 거대한 레스토랑

이 모델의 구조를 거대한 레스토랑에 비유해 볼까요?

1. 수십 억 개의 파라미터 (Billion-Scale): 이 AI 는 엄청나게 큰 두뇌를 가지고 있습니다. 마치 수천 명의 요리사가 모여 있는 거대한 주방 같습니다.
2. 전문가 시스템 (MoE, Mixture-of-Experts):
   • 보통의 AI 는 모든 일을 한 두 명의 요리사가 다 하려고 하다가 지치거나 실수합니다.
   • 하지만 CrossEarth-SAR 은 **수많은 전문가 (Expert)**로 나뉩니다.
   • 전문가 1 번: 비가 올 때 찍은 사진만 잘 봅니다.
   • 전문가 2 번: 특정 위성 (예: Sentinel-1) 으로 찍은 사진만 잘 봅니다.
   • 전문가 3 번: 산이 많은 지역의 사진만 잘 봅니다.
   • 전문가 4 번: 도시의 건물만 잘 봅니다.
3. 물리학적 나침반 (Physics-Guided Router):
   • 들어온 사진이 어떤 상황인지 (비가 오는지, 어떤 위성이 찍었는지) 를 AI 가 바로 파악할 수 있을까요?
   • 연구팀은 **물리 법칙을 이용한 '나침반'**을 달아주었습니다. 사진의 '소음 정도', '빛의 반사 방식', '지형의 거칠기' 같은 물리적 특징을 먼저 분석해서, **"이 사진은 3 번 전문가가 처리해야 해!"**라고 정확히 지시합니다.
   • 덕분에 AI 는 매번 모든 요리사를 깨우는 게 아니라, 가장 적합한 전문가 한 명만 깨워서 효율적으로 일합니다.

---

3. 이 AI 를 어떻게 훈련시켰나요? (데이터와 벤치마크)

천재 AI 를 만들려면 엄청난 양의 연습이 필요합니다.

• CrossEarth-SAR-200K (20 만 장의 연습 문제집):
  • 연구팀은 전 세계의 공개된 데이터와 직접 수집한 데이터를 합쳐 20 만 장 이상의 레이더 사진을 준비했습니다.
  • 이 중 일부는 라벨 (정답) 이 없었는데, AI 가 스스로 "아마 이 부분은 물이고, 저 부분은 땅일 거야"라고 추측해서 **가짜 정답 (Pseudo-label)**을 붙여 훈련시켰습니다. 마치 스스로 독학하는 천재 학생처럼요.
• 22 개의 시험 문제 (Benchmark):
  • 이 AI 가 진짜로 잘하는지 확인하기 위해 22 가지의 다양한 시험을 만들었습니다.
  • "한국에서 배운 걸 중국에서 써볼까?", "비 polarization(편파) 으로 찍은 걸 풀 polarization 으로 바꿔볼까?", "위성 A 에서 배운 걸 위성 B 에서 써볼까?" 등 **가장 어려운 상황 (도메인 갭)**을 만들어 시험을 쳤습니다.

---

4. 결과는 어땠나요? (압도적인 승리)

시험 결과는 압도적이었습니다.

• 22 개의 시험 중 20 개에서 1 위: 기존에 있던 최고의 AI 들보다 10% 이상 더 높은 점수를 받았습니다.
• 이유: 다른 AI 들은 "이건 비가 오는 날이니까 망했다"라고 포기하는 반면, CrossEarth-SAR 은 **"아, 비가 오니까 3 번 전문가가 나오면 되겠구나"**라고 상황을 파악하고 완벽하게 대처했습니다.
• 특히 놀라운 점: 레이더의 고유한 특성인 '복소수 값 (Complex value)'이나 '편파 (Polarization)' 변화 같은 아주 전문적인 영역에서도 기존 모델들을 압도했습니다.

---

5. 요약: 이 연구가 우리에게 주는 의미

이 논문은 **"레이더 이미지를 보는 AI 가 이제야 비로소 '세계 시민'이 되었다"**는 것을 보여줍니다.

• 과거: 특정 지역, 특정 위성에만 특화된 AI. (예: 서울만 잘 아는 택시 기사)
• 현재 (CrossEarth-SAR): 전 세계 어느 지역, 어느 위성이 찍은 사진이라도 이해할 수 있는 AI. (예: 전 세계 어디든 갈 수 있는 글로벌 가이드)

이 기술이 발전하면, 재난 발생 시 구름이 끼 있어도 지상 상황을 정확히 파악하거나, 전 세계의 농작물 상태를 실시간으로 모니터링하는 등 인류의 삶에 큰 도움을 줄 것으로 기대됩니다.

한 줄 요약:

"비와 안개, 그리고 다양한 카메라를 막론하고 지구를 완벽하게 이해하는, 물리 법칙을 아는 초지능 레이더 AI 를 탄생시켰다!"

기술 요약

1. 문제 정의 (Problem Definition)

합성개구레이더 (SAR) 는 기상 조건이나 시간대에 구애받지 않는 전천후 지구 관측이 가능하여 재난 관리, 환경 모니터링, 도시 계획 등에 필수적입니다. 그러나 SAR 영상의 의미론적 분할 (Semantic Segmentation) 을 위한 딥러닝 모델 개발에는 다음과 같은 근본적인 어려움이 존재합니다.

• 물리적 복잡성: SAR 은 레이더의 간섭성 (coherent) 이미징 과정으로 인해 **스펙클 노이즈 (speckle noise)**가 발생하며, 측면 촬영 기하학으로 인해 **레이어 (layover), 단축 (foreshortening), 그림자 (shadow)**와 같은 기하학적 왜곡이 심합니다. 또한, 색상 대신 표면의 거칠기와 유전 특성에 기반한 후방 산란을 측정하므로 동일한 클래스라도 조건에 따라 외관이 크게 달라지는 심한 의미론적 모호성이 존재합니다.
• 도메인 격차 (Domain Shift) 의 심각성: SAR 데이터는 센서 플랫폼 (Sentinel-1, GF-3 등), 주파수 대역 (C, L, X 밴드), 편광 모드 (VV, HH 등), 입사각 등 다양한 acquisition 파라미터에 따라 특성이 극단적으로 달라집니다. 한 센서나 지역에서 학습된 모델은 다른 조건 (도메인) 에 적용될 때 성능이 급격히 저하되는 도메인 일반화 (Domain Generalization, DG) 문제가 해결되지 않았습니다.
• 기존 모델의 한계: 기존 광학 (Optical) 기반의 비전 파운데이션 모델 (VFMs) 은 SAR 의 고유한 물리적 특성을 반영하지 못하며, 기존 SAR 전용 모델들은 대부분 객체 탐지에 초점을 맞추거나 도메인 일반화 능력을 충분히 검증하지 못했습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 CrossEarth-SAR을 제안했습니다. 이는 SAR 데이터에 특화된 최초의 10 억 (Billion) 파라미터 규모의 비전 파운데이션 모델입니다.

A. 아키텍처: 물리 유도 희소 전문가 혼합 (Physics-Guided Sparse MoE)

• Sparse MoE 구조: DINOv2 백본을 기반으로 하며, 각 ViT 블록의 Feed-Forward Network (FFN) 을 Router와 **여러 전문가 (Experts)**로 구성된 희소 혼합 (Sparse Mixture-of-Experts) 구조로 대체했습니다.
  • 이 설계는 모델의 파라미터 수를 수십억 개로 확장하여 SAR 데이터의 극단적인 다양성을 흡수하면서도, 추론 시 활성화되는 파라미터만 사용하여 계산 비용을 효율적으로 유지합니다.
• 물리 유도 라우팅 (Physics-Guided Routing): SAR 데이터의 물리적 특성을 라우터에 명시적으로 주입하여 전문가 선택의 안정성을 높였습니다.
  • SAR 물리 기술자 (Physical Descriptors): 입력 이미지에 대해 3 가지 물리적 기술자를 계산하여 토큰 임베딩과 함께 라우터에 입력합니다.
    1. 이미징 기하학 (Imaging Geometry): 방향 엔트로피 ($H_{DE}$) 를 통해 이미지의 구조적 규칙성과 에지 방향 분포를 정량화.
    2. 레이더 시스템 (Radar System): 등가 볼 수 (ENL, Equivalent Number of Looks) 를 통해 시스템별 스펙클 노이즈 강도를 측정.
    3. 객체 산란 (Object Scattering): 국부 거칠기 ($R_{LR}$) 를 통해 표면의 질감과 산란 패턴의 변이를 포착.
  • 이 기술자들은 도메인 간 물리적 차이를 라우터가 인식하도록 하여, 특정 도메인에 최적화된 전문가를 일관되게 활성화하도록 유도합니다.

B. 데이터: CrossEarth-SAR-200K

• 대규모 모델 학습을 위해 20 만 장 (200K) 이상의 SAR 분할 데이터셋을 구축했습니다.
• 구성: 공개된 SAR 데이터 (Fully Supervised) 와 광학 - SAR 쌍 데이터에 대한 CrossEarth 모델을 이용해 생성된 약지도 (Weakly Supervised, Pseudo-labels) 데이터를 결합했습니다.
• 범위: 전 세계 6 대륙, 109 개 이상의 지역을 포괄하며, 다양한 센서와 조건을 포함합니다.

C. 벤치마크

• 22 개의 하위 벤치마크를 포함하는 통합 평가 세트를 구축했습니다.
• 8 가지 도메인 격차 (Unseen Region, Polarization, Complex Value, Platform, Microwave Band 등) 를 조합하여 단일 및 복합 도메인 격차에서의 모델 성능을 rigorously 평가합니다.

3. 주요 기여 (Key Contributions)

1. CrossEarth-SAR 모델: SAR 분할을 위해 설계된 최초의 10 억 파라미터 규모 파운데이션 모델로, 물리 유도 희소 MoE 아키텍처를 통해 도메인 일반화 능력을 극대화했습니다.
2. CrossEarth-SAR-200K 데이터셋: 전 세계적 규모의 약지도 및 완전지도 SAR 분할 데이터셋을 공개하여 대규모 사전 학습 (Pre-training) 을 가능하게 했습니다.
3. 표준화된 벤치마크: 22 개의 평가 과제와 8 가지 도메인 격차 시나리오를 포함하는 최초의 통합 SAR 도메인 일반화 벤치마크를 제시했습니다.
4. 성능 입증: 광범위한 실험을 통해 기존 최첨단 (SOTA) 방법론들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 종합 성능: 22 개의 벤치마크 중 20 개에서 최상위 (SOTA) 성능을 기록했습니다. 특히 다중 도메인 격차 (Multi-gap) 전이 학습 시 일부 벤치마크에서 기존 방법 대비 mIoU 10% 이상의 개선을 달성했습니다.
• 단일 격차 (One Gap):
  • 편광 (Polarization): VV→Full, HH→Full 등 편광 모드 변경 시 CrossEarth-SAR-L 은 베이스라인 대비 최대 15.5%p (HH2F) 향상.
  • 복소수 값 (Complex Value): 실수값과 복소수값 간의 전이에서도 뛰어난 성능을 보임.
• 복합 격차 (Multi Gaps):
  • 이중/삼중 격차: 지역 + 편광, 지역 + 플랫폼, 지역 + 편광 + 주파수 대역 등 복합적인 변화가 있는 시나리오 (예: A2F, D2F) 에서도 CrossEarth-SAR-L* 이 베이스라인과 차세대 모델 (DINOv3 등) 을 크게 앞섰습니다.
  • 건물 추출: 건물 추출 작업 (S2A, A2S) 에서도 높은 일반화 능력을 입증했습니다.
• 효율성: MoE 구조 덕분에 10 억 파라미터 모델임에도 불구하고, 활성화 파라미터 수는 3 억 (Large) 수준으로 유지되어 효율적인 추론이 가능합니다.
• 분석:
  • 전문가 활성화: 실험 결과, 서로 다른 전문가들이 SAR 의 물리적 특성 (예: 편광, 주파수 대역, 복소수 값) 에 따라 계층적으로 전문화되는 것을 확인했습니다.
  • 물리 기술자의 중요성: 물리 기술자를 제거할 경우 성능이 저하되어, 물리 정보가 도메인 일반화에 필수적임을 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 SAR 영상 분석 분야에서 **도메인 일반화 (Domain Generalization)**의 새로운 표준을 제시했습니다.

• 물리 기반 AI 의 진전: 단순히 데이터 양을 늘리는 것을 넘어, SAR 의 물리적 특성 (스펙클, 기하학, 산란) 을 모델 아키텍처에 명시적으로 통합함으로써, 복잡한 환경 변화에 강건한 모델을 구축할 수 있음을 보였습니다.
• 규모의 효과: 10 억 파라미터 규모의 모델이 SAR 데이터의 극단적인 다양성을 학습할 수 있음을 입증하여, SAR 분야에도 대규모 파운데이션 모델 시대가 도래했음을 알렸습니다.
• 오픈 소스 생태계: 모델 코드, 데이터셋 (CrossEarth-SAR-200K), 벤치마크를 모두 공개하여 전 세계 연구자들의 SAR 도메인 일반화 연구를 가속화할 것으로 기대됩니다.

결론적으로, CrossEarth-SAR은 SAR 영상의 복잡한 물리적 특성과 도메인 격차를 극복하고, 전 세계 어디서나 신뢰할 수 있는 의미론적 분할을 가능하게 하는 획기적인 솔루션입니다.