Frequency and Edge-Guided Segment Anything Model for Remote Sensing Image Semantic Segmentation

기술 요약: 원격 탐사 영상 시맨틱 세그멘테이션을 위한 주파수 및 에지 가이드 Segment Anything Model (FE-SAM)

문제 정의
원격 탐사 영상 시맨틱 세그멘테이션(RSISS)은 재난 모니터링 및 도시 계획과 같은 응용 분야에서 매우 중요합니다. 1,100만 개의 자연 이미지를 학습한 파운데이션 비전 모델인 Segment Anything Model (SAM)은 강력한 일반화 성능을 제공하지만, 이를 원격 탐사 데이터에 직접 적용할 때는 상당한 한계에 직면합니다. 저자들은 두 가지 주요 과제를 식별했습니다:

1. 불충분한 특징 적응(Insufficient Feature Adaptation): 자연 이미지에서 유도된 SAM의 특징은 원격 탐사의 다양한 스펙트럼 및 공간적 특성에 충분히 적응하지 못합니다. 구체적으로, 서로 다른 지표 피복 유형은 고주파 및 저주파 성분의 비율이 뚜렷하게 다릅니다(예: 도시 구조물 vs. 농촌 초지). 이는 기존의 SAM 기반 방법들이 주파수 관점에서 해결하지 못한 도메인 간 격차입니다.
2. 경계 모호성 및 세부 정보 손실(Boundary Ambiguity and Detail Loss): 원격 탐사 장면에는 관심 객체의 텍스처와 유사한 텍스처(예: 건물 지붕과 유사한 도로 패턴)가 포함되는 경우가 많아 의미론적 모호성을 유발합니다. 또한, SAM의 패치 임베딩 전략과 업샘플링 과정은 필연적으로 미세한 공간적 세부 정보를 저하시켜, 경계를 흐릿하게 만들고 객체 묘사를 부정확하게 만듭니다.

방법론: FE-SAM
이러한 과제를 해결하기 위해, 저자들은 사전 학습된 SAM 가중치를 재사용하면서 두 가지 새로운 매개변수 효율적 모듈인 **주파수 변조 어댑터(Frequency-Modulated Adapter, FMA)**와 **에지 가이드 리파이너(Edge-Guided Refiner, EGRefiner)**를 도입한 확장 가능한 프레임워크인 FE-SAM을 제안합니다.

• 주파수 변조 어댑터 (FMA): 동결된 SAM 인코더에 삽착되는 FMA는 적응형 주파수 분할 및 스펙트럼 재보정을 수행합니다.

  • 적응형 분리 (Adaptive Separation): 고정된 필터를 사용하는 대신, FMA는 고속 푸리에 변환(FFT)을 사용하여 특징을 주파수 영역으로 변환합니다. 이는 총 스펙트럼 에너지를 계산하고, 누적 에너지가 사전 정의된 임계값(예: 30%)에 도달할 때까지 동적으로 분리 반경 $r$을 결정합니다. 이를 통해 모델은 각 입력 이미지의 특정 스펙트럼 분포에 따라 고주파 및 저주파 성분을 적응적으로 분리할 수 있습니다.
  • 프로토타입 기반 변조 (Prototype-Based Modulation): 분리된 성분들은 학습 가능한 주파수 프로토타입(K-means를 통해 초기화됨)을 사용하여 처리됩니다. 모델은 특징과 이러한 프로토타입 사이의 유사도 맵을 계산하고, 이를 특징 공간으로 투영하여 서로 다른 지표 피복 유형에 해당하는 정보가 풍부한 주파수 성분을 선택적으로 강화합니다.
  • 재구성 (Reconstruction): 적응된 고주파 및 저주파 특징은 결합되어 역 푸리에 변환(IFFT)을 통해 공간 영역으로 다시 변환됩니다.

• 에지 가이드 리파이너 (EGRefiner): SAM 인코딩 과정에서 손실된 미세한 세부 정보를 복구하기 위해 설계된 EGRefiner는 디코더 측에서 작동합니다.

  • 다중 스케일 에지 추출 (Multi-Scale Edge Extraction): 중간 단계의 인코더 특징에 의존하는 방식과 달리, EGRefiner는 완전한 픽셀 수준의 구조를 보존하기 위해 원본 입력 이미지에서 직접 에지 단서를 추출합니다. 이 모델은 다양한 공간 스케일에서 경계 세부 정보를 포착하기 위해 서로 다른 커널 크기(3×3, 5×5, 7×7)를 가진 병렬 심층 합성곱(depth-wise convolutional) 경로를 활용합니다.
  • 리파인먼트 (Refinement): 추출된 에지 특징은 입력과 풀링된 특징 맵 사이의 차이를 계산함으로써 강화됩니다. 이렇게 추출된 다중 스케일 에지 특징은 요소별 합산(element-wise summation) 및 연결(concatenation)을 통해 SAM 디코더의 업샘플링된 시맨틱 특징과 융합된 후, MLP를 거쳐 최종 세그멘테이션 마스크를 생성합니다.

주요 기여

1. 모델 기여: 에너지 가이드 주파수 분할 및 프로토타입 기반 스펙트럼 재보정을 통해 SAM 특징을 원격 탐사 장면에 매개변수 효율적으로 적응시키는 경량 어댑터인 FMA를 제안하였습니다.
2. 리파인먼트 기여: 원본 입력 이미지로부터 다중 스케일 에지 강화 정보를 통합하여 객체 경계를 정교화하고 SAM 파이프라인에 의해 저하된 미세 공간 세부 정보를 복구하는 EGRefiner를 설계하였습니다.
3. 실험적 기여: 세 가지 벤치마크 데이터셋(ISPRS Vaihingen, ISPRS Potsdam, LoveDA)에 대한 광범위한 검증을 통해 최신 CNN, Transformer 및 SAM 기반 방법들보다 우수한 FE-SAM의 성능을 입증하였습니다.

실험 결과
저자들은 전통적인 CNN(예: DeepLabv3+), Transformer 기반 모델(예: UNetFormer), 그리고 최근의 SAM 적응 모델(예: RSPrompter, Semantic-SAM)을 포함한 광범위한 경쟁 모델들과 FE-SAM을 비교 평가했습니다.

• 정량적 성능: FE-SAM은 모든 데이터셋에서 가장 높은 평균 IoU(mIoU)를 달 기록했습니다: Vaihingen에서 85.24%, Potsdam에서 86.73%, LoveDA에서 55.66%.
• 경계 정밀도: Boundary IoU(B-IoU) 지표를 사용했을 때, FE-SAM은 특히 건물 모서리나 좁은 도로와 같은 미세 구조를 묘사하는 데 있어 경쟁 모델들을 크게 앞질렀습니다(예: Vaihingen에서 $d=8$일 때 82.15% B-IoU 달성).
• 효율성: 두 개의 모듈이 추가되었음에도 불구하고, FE-SAM은 경쟁력 있는 추론 속도(12.4 FPS)를 유지하며 완만한 매개변수 오버헤드(총 94.52M 매개변수, 기본 SAM-B 대비 8.7% 증가)를 도입하여, 성능 향상이 무차별적인 규모 확장이 아닌 구조적 지능을 통해 이루어졌음을 증명했습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 FMA와 EGRefiner가 상호 보완적임을 확인했습니다. 두 모듈을 모두 사용할 때 최상의 결과를 얻었으며, 하나라도 제거할 경우 성능이 크게 하락했습니다. 또한, FMA의 적응형 주파수 분할이 고정되거나 학습된 정적 필터보다 우수함을 검증했습니다.

의의
본 논문은 FE-SAM이 원격 탐사 이미지 특유의 스펙트럼 분포 변화와 공간 세부 정보 손실 문제를 해결함으로써 자연 이미지와 원격 탐사 이미지 사이의 도메인 격차를 효과적으로 메운다고 주장합니다. 주파수 영역 적응과 에지 가이드 경계 리파인먼트를 결합함으로써, 모델은 전체 모델의 파인 튜닝 없이도 강력한 시맨틱 세그멘테이션을 달 achieves 합니다. 저자들은 이 접근 방식이 고해상도 원격 탐사 작업에 대한 실용적이고 매개변수 효율적인 솔루션을 제공하며, 기존의 파운데이션 모델 적응 방식에 비해 지표 피복 매핑 및 경계 추출에서 개선된 정확도를 제공한다고 강조합니다.