GeoSAM-Lite: A Lightweight Foundation Model for Onboard Remote Sensing Segmentation

GeoSAM-Lite 기술 요약: 온보드 원격 탐사 세그멘테이션을 위한 경량화된 파운데이션 모델

문제 정의
Segment Anything Model(SAM)과 같은 대규모 파운데이션 모델을 자원이 제한된 지구 관측 플랫폼(예: 위성 및 UAV)에 배포하는 것은 현재 두 가지 주요 과제로 인해 어려움을 겪고 있습니다. 첫째, 무거운 이미지 인코더(예: 6억 개 이상의 파라미터를 가진 ViT-H)의 계산 비용은 온보드 프로세싱에 너무 높습니다. 둘째, 기존의 경량화된 SAM 변형 모델들은 자연 이미지로 학습된 교사 모델로부터 지식을 증류하기 때문에 필수적인 지리공간적 사전 지식(geospatial priors)이 부족하여 심각한 "도메인 시프트(domain shift)"를 겪습니다. 또한, 일반적인 경량 모델에서의 공격적인 파라미터 축소는 "저역 통과 필터링(low-pass filtering)" 효과를 유발하여 고주파 세부 정보를 감쇄시키고 경계선을 흐릿하게 만듭니다. 이는 구름 탐지와 같이 극단적인 스케일 변화와 복잡한 가장자리를 포함하는 정밀한 원격 탐사 작업에서 치명적인 실패 모드가 됩니다.

방법론
저자들은 세그멘테이션의 충실도와 온보드 효율성을 동시에 충족하도록 설계된 프롬프트 프리(prompt-free) 경량 세그멘테이션 프레임워크인 GeoSAM-Lite를 제안합니다. 이 아키텍처는 분리된 2단계 패러다임을 채택합니다:

1. 1단계: 지리공간 도메인 초기화 (Geo-Init):
   범용 비전 모델로부터 지식을 증류하는 대신, GeoSAM-Lite는 대규모 원격 탐사 데이터셋으로 사전 학습된 도메인 전문가 교사 모델(ViT-L 백본을 가진 RSAM-Seg)을 활용합니다. 학생 모델(경량 ViT-S)은 다음과 같은 사전 학습 전략을 거칩니다:

• 마스크 이미지 모델링 (MIM): 학생 모델은 마스킹된 이미지 패치(75% 마스킹 비율)로부터 전체적인 맥락을 재구성하는 법을 학습하며, 이를 통해 지리공간 장면을 위한 특징 추상화를 강제합니다.
• 교사 가이드 지식 증류 (Teacher-Guided Knowledge Distillation): 학생 모델은 자신의 부분적 뷰 표현을 동결된 전문가 교사의 전체 뷰 특징 공간과 정렬함으로써, 도메인 특화된 지리공상적 의미론(geospatial semantics)의 전이를 보장합니다.

2. 2단계: 특징 퓨전 레이어(FFL)를 이용한 태스크 특화 미세 조정:
   경량 백본의 용량 병목 현상을 보완하기 위해, 사전 학습된 인코더는 특정 다운스트림 태스크에 맞춰 경량 컨볼루션 디코더와 함께 두 개의 특화된 모듈을 추가하여 미세 조정됩니다:

• FFL-S (공간 재보정): ViT 블록 내에 삽입되는 이 모듈은 잔차 병목 구조를 사용하여 전역적 중요성에 따라 특징을 동적으로 재보정하며, 넓은 공간 스케일을 가진 타겟을 처리합니다.
• FFL-F (고주파 주입): 이 모듈은 "저역 통과 필터링" 효과를 명시적으로 해결합니다. 이 모듈은 고속 푸리에 변환(FFT)을 통해 입력 특징을 주파수 영역으로 변환하고, 경계 정보가 풍부한 고주파 성분(HFC)을 격리하기 위해 하이패스 필터를 적용한 뒤 역 푸리에 변환(Inverse FFT)을 통해 이를 재구성합니다. 추출된 단서들은 인코더에 다시 주입되어 선명한 세그멘테이션 경계를 복원합니다.

주요 기여

1. GeoSAM-Lite 프레임워크: 무거운 교사 모델(RSAM-Seg) 대비 파라미터를 92.8% 줄이면서도 경쟁력 있는 세그멘테이션 정확도를 유지하는 프롬프트 프리 경량 프레임워크를 구축했습니다.
2. Geo-Init 전략: 마스크된 특징 정렬을 통해 전문가 교사로부터 원격 탐사 특화 지식을 증류하는 도메인 인식 사전 학습 접근 방식을 통해, 자연 이미지와 지리공간 이미지 사이의 도메인 격차를 효과적으로 해소했습니다.
3. 특징 퓨전 레이어 (FFL): 공간 재보정(FFL-S)과 주파수 영역 재구성(FFL-F)을 통합한 이중 모듈 설계를 통해, 컴팩트한 네트워크에서 발생하는 스펙트럼 편향과 경계 흐림 현상을 명시적으로 보완합니다.

실험 결과
프레임워크는 대표적인 원격 탐사 데이터셋, 특히 극단적인 스케일 변화와 복잡한 경계 조건에서의 성능을 테스트하기 위해 구름 탐지(38-Cloud, CloudSEN12, SPARCS)에 중점을 두었으며, 일반화 능력을 평가하기 위해 농경지 세그멘테이션(Sentinel-2)을 부가적으로 평가했습니다.

• 성능: CloudSEN12 데이터셋에서 GeoSAM-Lite는 다른 경량화 베이스라인(EfficientSAM, MobileSAM)보다 Jaccard 지수를 약 15% 향상시켰습니다. 무거운 RSAM-Seg와 비교했을 때 약간의 성능 저하가 있었으나, 높은 재현율(Recall)과 정밀도(Precision)를 유지하여 실용성을 입증했습니다.
• 효율성: RSAM-Seg(ViT-L)와 비교하여 GeoSAM-Lite(ViT-S)는 92.8%의 파라미터 감소와 92.5%의 FLOPs 감소를 달 Ach been 했습니다. 하드웨어 자원 소비량 또한 크게 낮아져, GPU 메모리 사용량은 58.3%, 시스템 RAM 요구 사항은 50% 감소했습니다.
• 절제 연구 (Ablation Studies): Geo-Init 사전 학습을 제거했을 때 주요 지표 전반에서 상당한 성능 저하가 발생하여 도메인 특화 초기화의 필요성을 확인했습니다. 마찬가지로 FFL-F를 제거하면 경계 충실도가 저하되어, 고주파 세부 정보를 보존하는 데 있어 FFL-F의 결정적인 역할을 입증했습니다.
• 일반화: 모델은 아키텍처 수정 없이도 농경지 시나리오에 대한 강력한 일반화 능력을 보여주며 농경지 구획 경계를 효과적으로 묘사했습니다.

의의
본 논문은 GeoSAM-Lite가 효율성과 충실도 사이의 우수한 파레토 최적선(Pareto frontier)을 구축하여, 엣지 디바이스에서의 실시간 세그멘테이션을 위한 실질적인 솔루션을 제공한다고 주장합니다. 도메인 인식 초기화와 주파수-공간 적응으로 표현 학습을 분리함으로써, 모델은 지리공간적 의미론을 성공적으로 상속하는 동시에 손실된 고주파 세부 정보를 복구했습니다. 이 접근 방식은 도메인 시프트와 특징 저하라는 이중 과제를 해결하며, 이전의 경량화된 변형 모델들이 중요한 경계 세부 사항을 보존하는 데 실패했던 자원 제한적인 온보드 원격 탐사 환경에서 파운데이션 모델의 기능을 배포할 수 있게 합니다.