💻 computer science

CSMoE: An Efficient Remote Sensing Foundation Model with Soft Mixture-of-Experts

이 논문은 소프트 혼합 전문가(Soft Mixture-of-Experts) 아키텍처를 주제적-기후적 샘플링 전략과 결합하여 다양한 작업에서 최첨단 성능을 달성하는 동시에 계산 복잡도와 사전 학습 비용을 크게 줄인 효율적인 원격 탐사 파운데이션 모델인 CSMoE를 소개한다.

원저자: Leonard Hackel, Tom Burgert, Begüm Demir

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Leonard Hackel, Tom Burgert, Begüm Demir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

지구는 위성 네트워크를 통해 끊임없이 위에서 감시되고 있으며, 숲, 도시, 사막, 대양의 이미지를 지속적인 데이터의 흐름으로 포착하고 있습니다. 수십 년 동안 과학자들은 이 범람하는 데이터를 이해하기 위해 인공지능에 의존해 왔으며, 컴퓨터가 작물 종류, 홍수 구역 또는 도시 확산과 같은 패턴을 인식하도록 가르쳐 왔습니다. 그러나 새로운 과제가 등장했습니다. 이 복잡한 글로벌 뷰를 이해할 만큼 강력한 모델들이 너무 거대해져서, 엄청난 컴퓨팅 파워와 시간을 요구하며 실행하기가 어려워진 것입니다. 이러한 "파운데이션 모델"은 아이가 특정 이름을 배우기 전에 사물을 인식하는 법을 배우는 것처럼, 라벨이 없는 이미지로부터 일반적인 지식을 학습하도록 설계되었지만, 그 압도적인 크기 때문에 일상적인 용도로 사용하기에는 비실용적인 경우가 많습니다. 이제 연구자들은 중요한 질문을 던지고 있습니다: 세상을 명확하게 보는 능력을 희생하지 않으면서도, 표준 하드웨어에서 실행될 수 있을 만큼 훨씬 더 효율적이면서 똑똑한 모델을 구축할 수 있는가?

한 연구팀은 현재의 최첨단 시스템보다 훨씬 적은 컴퓨팅 파워를 사용하면서도 높은 성능을 달나하는 새로운 유형의 파운데이션 모델인 CSMoE를 개발함으로써 이에 대한 답을 제시했습니다. 그들의 혁신의 핵심은 "소프트 믹스처 오브 엑스퍼츠(soft mixture of experts)"라고 불리는 기술에 있습니다. 각기 다른 전문 기술을 가진 전문가 팀이 문제를 해결하기 위해 함께 협력하는 모습을 상상해 보십시오. 전통적인 대규모 모델에서는 모든 정보 조각이 전체 팀에 의해 처리되는데, 이는 느리고 에너지 소모가 큽니다. 그러나 이 새로운 모델은 각 정보 조각을 가장 적합한 몇 명의 전문가에게 부드럽게 전달하면서도, 그들이 통찰력을 공유할 수 있도록 하는 스마트한 라우팅 시스템을 사용합니다. "소프트 믹스처"로 알려진 이 접근 방식은 모든 이미지에 대해 뇌의 모든 부분을 활성화하는 무거운 계산 비용 없이도 높은 수준의 지능과 이해력을 유지할 수 있게 해줍니다. 이 메커니즘을 여러 유형의 위성 센서를 동시에 학습하도록 설계된 시스템에 통합함으로써, 연구진은 다재다능하면서도 가벼운 모델을 만들어냈습니다.

연구진은 모델의 구조를 개선하는 데 그치지 않고, 모델을 학습시키는 데 사용되는 데이터의 비효율성 문제도 해결했습니다. 이러한 거대 시스템을 학습시키는 데는 보통 수십억 장의 이미지를 입력해야 하는데, 그중 상당수는 끝없는 바다나 균일한 사막의 모래처럼 거의 동일한 것들입니다. 이러한 중복성은 모델에 새로운 것을 가르치지 못한 채 시간과 자원을 낭비합니다. 이를 해결하기 위해 연구팀은 기후 및 토지 피복 특성에 따라 학습 이미지를 선택하는 새로운 방법을 만들었습니다. 이미지를 무작위로 가져오는 대신, 이 시스템은 열대 우림부터 건조한 사막에 이르기까지 다양한 환경이 균형 있게 포함되도록 보장하며, 중복되거나 지나치게 유사한 사진들을 제거합니다. 선택된 이미지의 다양성을 극대화하기 위해 유전 알고리즘을 사용하는 이 전략을 통해, 모델은 훨씬 더 작고 대표성 있는 데이터셋으로부터 학습할 수 있게 되어 학습에 필요한 시간과 에너지를 획기적으로 줄였습니다.

다양한 실제 작업에 대해 테스트했을 때, 이 새로운 모델은 그 가치를 입증했습니다. 도시, 숲, 농경지인지 식별하는 것과 같은 토지 이용 분류 실험에서, 이 모델은 기존의 가장 크고 강력한 시스템들과 대등한 성능을 보여주었습니다. 또한 개별 나무나 건물 같은 객체의 정밀한 경계를 그려야 하는 더 어려운 작업인 시맨틱 세그멘테이션(semantic segmentation)에서도, 이 모델은 다시 한번 훨씬 더 큰 경쟁 모델들과 대등하거나 이를 능가하는 성능을 보였습니다. 아마도 가장 인상적인 점은, 사용자가 이미지를 제공하면 시스템이 방대한 아카이브에서 유사한 이미지를 찾아내야 하는 콘텐츠 기반 이미지 검색(content-based image retrieval) 작업에서 강력한 역량을 보여주었다는 것입니다. 이 테스트에서 새 모델은 서로 다른 유형의 센서에서 온 이미지일지라도 최고의 시스템들과 필적하는 결과를 달성했으나, 이를 수행하는 데 최대 10배 적은 계산 연산만을 필요로 했습니다.

이 연구는 또한 다양한 설계 선택이 모델의 성능에 어떤 영향을 미치는지 탐구했으며, 프로세싱 중에 사용된 더 작은 이미지 패치가 세그멘테이션과 같은 세밀한 작업에서 더 나은 결과를 낸다는 것을 밝혀냈습니다. 다만 이는 약간 더 높은 계산 비용을 수반합니다. 연구진은 모델의 내부 "전문가"들이 예상했던 것처럼 특정 유형의 토지 피복에 특화되어 있지 않으며, 대신 유연하고 통합된 팀으로서 함께 작동하며 라우팅 시스템이 업무량을 균등하게 배분한다는 것을 발견했습니다. 이는 효율성 이득이 엄격한 전문화가 아닌 아키텍처 자체에서 온다는 것을 시사합니다. 이러한 결과는 재난 대응, 환경 모니터링 및 도시 계획에 필요한 고품질 분석을 제공하면서도 표준 하드웨어에서 실행 가능한, 강력하고 실용적인 원격 탐사 모델을 구축하는 것이 가능하다는 것을 보여줍니다. 더 스마트한 내부 구조와 데이터로부터 학습하는 더 효율적인 방법을 결합함으로써, 이 연구는 우리 지구를 관측하고 이해하기 위한 고급 인공지능을 대중화할 수 있는 명확한 길을 제시합니다.

기술 요약: CSMoE – Soft Mixture-of-Experts를 이용한 효율적인 원격 탐사 파운데이션 모델

1. 문제 정의

원격 탐사(Remote Sensing, RS) 파운데이션 모델(Foundation Models, FMs)의 발전은 자기지도 학습(Self-Supervised Learning, SSL)과 대규모 지구 관측(Earth Observation, EO) 데이터의 가용성에 의해 추진되어 왔습니다. 그러나 기존의 RS FM들은 실질적인 적용을 저해하는 두 가지 주요 한계점에 직면해 있습니다:

계산 비효능성 (Computational Inefficiency): 현재의 모델들은 학습과 추론 모두에서 상당한 계산 자원(부동 소수점 연산량, FLOPs로 측정)을 요구합니다. 일부 모델은 방대한 파라미터 수(예: 631M 파라미터를 가진 Prithvi V2-600)를 통해 높은 표현 능력을 달 achieve하지만, 이미지당 추론 비용이 1,600억 FLOPs를 초과합니다. 반대로, 낮은 계산 예산을 가진 모델들은 표현 능력이 제한되는 경향이 있습니다.
학습 데이터 중복성 (Training-Data Redundancy): RS FM을 위한 사전 학습 아카이브에는 중복된 이미지(예: 동일한 기후 구역 내의 광활하고 균질한 사막이나 삼림 지역)가 빈번하게 포함됩니다. 이러한 중복성은 학습된 표현의 개선 없이 학습 비용과 환경적 영향을 증가시킵니다.

이러한 문제들은 대규모 아카이브 내의 모든 이미지에 대해 추론을 수행해야 하는 콘텐츠 기반 이미지 검색(CBIR)과 같은 작업, 그리고 데이터셋의 크기와 중복성이 계산 비용을 직접적으로 결정하는 사전 학습 과정에서 특히 치명적입니다.

2. 방법론

저자들은 모델 효율성(Model Efficiency)과 학습 데이터 효율성(Training-Data Efficiency)이라는 두 가지 축을 통해 위에서 언급한 한계점들을 해결하는 효율적인 RS 파운데이션 모델인 **CSMoE (Cross-Sensor Mixture-of-Experts)**를 제안합니다.

A. 모델 효율성: Soft Mixture-of-Experts (Soft MoE)

핵심적인 구조적 혁신은 CSMAE (Cross-Sensor Masked Autoencoder) 베이스라인에 Soft MoE 메커니즘을 통합하는 것입니다. 토큰을 단일 상위- $k$ 전문가에게 라우팅하는 희소(sparse) MoE와 달리, Soft MoE는 2단계 라우팅 메커니즘을 채택합니다:

슬롯 기반 라우팅 (Slot-Based Routing): 입력 토큰은 전문가에게 직접 전달되는 대신, $S$ 개의 중간 "슬롯(slots)"으로 부드럽게(softly) 라우팅됩니다. 각 슬롯은 가중 합산을 통해 입력 특징의 하위 집합을 요약합니다.
전문가 처리 (Expert Processing): 각 슬한 슬롯은 할당된 단일 전문가에 의해 처리됩니다.
재구성 (Reconstruction): 최종 출력은 전문가 출력들의 가중 합산을 통해 재구성됩니다.

이 접근 방식은 전문가 호출 횟수를 $k \cdot P$ (여기서 $P$ 는 토큰 수)에서 $S$ 로 줄여, 높은 표현 능력을 유지하면서도 계산 복잡성을 크게 낮춥니다.

CSMoE의 구조적 적응:

센서별 인코더 (Sensor-Specific Encoders): 각 이미지 모달리티(예: Sentinel-1 SAR, Sentinel-2 Optical)는 센서 특유의 특성을 모델링하기 위해 전용 Soft MoE 레이어와 별도의 전문가 네트워크를 갖춘 자체 인코더를 사용합니다.
교차 센서 인코더 (Cross-Sensor Encoder): 공유된 Soft MoE 레이어를 가진 공유 인코더가 모든 모달리티의 특징을 처리하여 모달 간 패턴 학습을 촉라합니다.
정규화 (Regularization): 안정적인 학습과 균형 잡힌 전문가 사용을 보장하기 위해 저자들은 두 가지 추가 손실 함수를 도입합니다:
- 슬롯 반발 손실 ( $L_{REP}$ ): 슬롯 임베딩 간의 상관관계를 줄이도록 유도합니다.
- 엔트로피 손실 ( $L_{ENT}$ ): 전문가 사용의 균형을 촉진합니다.

B. 학습 데이터 효율성: 주제적-기후적 기술자 기반 샘플링 (Thematic-Climatic Descriptor-Driven Sampling)

사전 학습 비용과 중복성을 줄이기 위해, 저자들은 대규모 아카이브(특히 Major TOM Core 데이터셋)로부터 대표성이 있는 축소된 학습 세트를 구축하는 샘플링 전략을 도입합니다. 이 전략은 두 단계로 구성됩니다:

보조 기술자 생성 (Auxiliary Descriptor Generation): 각 이미지에 기후 기술자(Köppen–Geiger 기후 구역에서 유도됨)와 주제적 기술자(ESA WorldCover와 같은 지표 피복 제품에서 유도됨)를 할당합니다.
엔트로피 극대화 계층적 샘플링 (Entropy-Maximizing Stratified Sampling):
- 데이터셋을 기후 및 주제적 기술자의 조합에 따라 계층화합니다.
- 각 계층 내에서, 목표 샘플 수를 유지하면서 공간적 분산(지오데식 거리)을 극대화하는 하위 집합을 선택하기 위해 **유전 알고리즘(genetic algorithm)**을 사용합니다.
- 이 과정은 원래 아카이브의 지리적 및 주제적-기후적 다양성을 보존하면서도 의미론적으로 유사한 샘플(중복성)을 제거합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

최초의 계산 효율적인 멀티모달 FM: CSMoE는 다중 모달 아키텍처(CSMAE)에 Soft MoE를 주입한 최초의 RS 파운데이션 모델로 제시되며, 유사한 규모의 모델들과 비교하여 계산 복잡성을 크게 줄이면서도 향상된 표현 능력을 달성했습니다.
효율적인 샘플링 전략: 대규모 아카이브로부터 다양성을 유지하면서 중복성을 최소화하고 사전 학습 비용을 줄이는 주제적-기후적 기술자 기반 샘플링 전략을 도입했습니다.
포괄적인 평가: 장면 분류, 시맨틱 세그멘테이션, 단일 모달/교차 모달 CBIR 작업에 걸친 광범 \한 실험을 통해, CSMoE가 최첨단(SOTA) FM들보다 훨씬 적은 FLOPs를 사용하면서도 경쟁력 있거나 우수한 다운스트림 성능을 달성함을 입증했습니다.

4. 실험 결과

저자들은 여러 벤치마크(예: m-bigearthnet, m-eurosat, m-cashew-plant, BigEarthNet-v2)에서 CSMoE를 평가하고 이를 Prithvi V2, Satlas, DOFA, TerraMind 및 베이스라인인 CSMAE와 비교했습니다.

성능 대 효율성 (Performance vs. Efficiency):
- m-bigearthnet에서 CSMoE 변체들은 Prithvi V2-600과 대등한 마이크로 평균 정밀도(mAP $\mu$ )를 달성했으나, 필요한 FLOPs는 한 자릿수 수준으로 적었습니다.
- **시맨틱 세그멘테이션 (m-cashew-plant)**에서 패치 크기 $\rho=14$ 인 CSMOE 변체는 IoU 59.4%를 달성하여, 훨씬 적은 FLOPs(13.40G vs. 17.84G 및 59.85G)를 사용하면서도 TerraMind(58.8%)와 Prithvi V2-300(58.5%)을 능가했습니다.
- CBIR에서 CSMOE 변체들은 일반적으로 단일 모달 검색 작업에서 베이스라인인 CSMAE를 넘어섰습니다. 교차 모달 작업에서는 패치 크기에 따라 성능이 달라졌으나, 경량 변체(예: $\rho=32$ )는 CSMAE보다 35~48% 적은 FLOPs를 사용하면서도 경쟁력 있는 성능을 유지했습니다.
민감도 분석 (Sensitivity Analysis):
- 패치 크기 (Patch Size): 더 작은 패치 크기( $\rho=14, 16$ )가 높은 FLOPs 비용에도 불구하고, 특히 세그멘테이션에서 일반적으로 더 나은 다운스트림 성능을 보였습니다. $\rho=16$ 이 효율성과 성능 사이의 최적의 절충안으로 식별되었습니다.
- 샘플링 전략: 엔트로피 극대화 계층적 샘플링이 6개 중 5개의 다운스트림 작업에서 무작위 계층적 샘플링보다 우수한 성능을 보여, 다양성을 보존하면서 중복성을 줄이는 것의 이점을 확인시켜 주었습니다.
- 라우팅 동작 (Routing Behavior): 전문가 라우팅 분석 결과, 전문가들은 개별적인 의미론적 전문화 단위라기보다는 거의 균등한 라우팅 가중치와 거의 직교하는 파라미터를 가진 **소프트 앙상블(soft ensemble)**로서 작동함을 보여주었습니다. 성능 향상은 불연속적인 전문가 전문화보다는 아키텍처의 통합 및 소프트 믹싱 능력에 기인합니다.

5. 의의 및 주장

본 논문은 CSMoE를 운영 배포를 위한 실질적인 원격 탐사 파운데이션 모델로 만드는 중요한 단계로 포지셔닝합니다. Soft MoE를 통해 표현 능력과 계산 비용을 분리하고, 지능적인 샘플링을 통해 데이터 중복성을 줄임으로써, 저자들은 고성능 RS 모델이 반드시 거대한 계산 예산을 필요로 하는 것은 아님을 입증했습니다.

저자들은 다음과 같이 겸허히 주장합니다:

CSMoE는 Soft MoE를 통합한 최초의 계산 효율적인 RS 파운데이션 모델입니다.
제안된 샘플링 전략은 일반화에 필요한 다양성을 유지하면서 사전 학습 비용을 효과적으로 줄입니다.
본 모델은 훨씬 적은 FLOPs를 사용하면서도 최첨단 모델들과 경쟁력 있거나 우수한 성능을 달성합니다.

이 연구는 향-후 RS FM 개발이 스케일링(scaling)과 더불어 효율성 중심의 아키텍처 및 데이터 큐레이션 전략을 우선시해야 함을 시사하며, 제안된 Soft MoE 적응 방식이 마스크 이미지 모델링 이외의 다른 트랜스포머 기반 FM 및 학습 목적 함수에도 일반화 가능하다는 점을 언급합니다.