Unmixing-Guided Spatial-Spectral Mamba with Clustering Tokens for Hyperspectral Image Classification

논문 요약: 분해 (Unmixing) 기반 공간 - 분광 Mamba 와 클러스터링 토큰을 활용한 초분광 이미지 분류

1. 연구 배경 및 문제점 (Problem)

초분광 이미지 (HSI) 분류는 환경 모니터링 및 자원 탐사 등 다양한 분야에서 핵심적인 역할을 하지만, 다음과 같은 주요 도전 과제로 인해 어려움을 겪고 있습니다.

• 스펙트럼 혼합 효과 (Spectral-mixture effect): 픽셀이 여러 물체로 구성되어 있어 순수한 스펙트럼 신호를 얻기 어렵습니다.
• 공간 - 분광 이질성 (Spatial-spectral heterogeneity): 이미지 내 공간적, 분광적 특성이 매우 복잡하게 변합니다.
• 경계 및 디테일 보존의 어려움: 기존 모델들은 클래스 경계와 미세한 디테일을 보존하는 데 한계가 있습니다.
• 기존 모델의 한계:
  • CNN: 국소적 특징은 잘 포착하지만 장거리 의존성 (long-range dependencies) 모델링에 약합니다.
  • Transformer: 장거리 상관관계를 잘 처리하지만 계산 비용이 매우 높고 과적합 위험이 큽니다.
  • Mamba: 선형 계산 복잡도로 효율적이지만, 전체 이미지를 하나의 긴 토큰 시퀀스로 처리할 때 발생하는 '상관성 감쇠 (correlation decay)' 문제와 HSI 의 복잡한 이질성으로 인해 미세한 패턴을 포착하는 데 비효율적입니다.

2. 제안된 방법론 (Methodology)

저자들은 HSI 를 물리적으로 의미 있는 군집 (클러스터) 으로 분해하고, 이를 기반으로 Mamba 모델을 개선한 분해 (Unmixing) 기반 공간 - 분광 Mamba를 제안합니다.

• 모델 아키텍처 개요:

  • 입력 HSI 데이터를 패치 임베딩 (Patch Embedding) 후 분해 (Unmixing) 브랜치와 분류 (Classification) 브랜치로 나눕니다.
  • 두 브랜치는 **풍부도 맵 (Abundance Maps)**을 통해 연결되며, 이를 통해 희소 토큰 (Sparse Tokens) 을 선택하여 공간 및 분광 도메인에서 적응적으로 시퀀싱합니다.
  • 멀티태스크 학습을 통해 분해와 분류를 동시에 수행합니다.

• 핵심 구성 요소:

  1. 가변성 (Variability) 을 고려한 분해 네트워크:
     • 선형 혼합 모델 (LMM) 을 기반으로 Endmember(순수 스펙트럼) 와 풍부도 (Abundance) 를 자동으로 학습합니다.
     • 단순히 Endmember 를 고정하지 않고, VCA(Vertex Component Analysis) 로 초기화한 후 픽셀 단위의 **Endmember 가변성 (Variability)**을 학습하여 더 정교한 국소적 변이를 모델링합니다.
  2. 적응형 Top-K 토큰 선택 전략:
     • 학습된 풍부도 맵을 기반으로 Mamba 가 처리할 토큰을 선택합니다.
     • 시간적 풍부도 (Temporal Abundance, EMA 기반) 를 활용하여 안정성을 높이고, 각 풍부도 군집 (Cluster) 에서 정보량이 많은 토큰 (Top-K) 만 선택합니다.
     • 이를 통해 전체 이미지 토큰 수 ($HW$) 대신 정보량이 풍부한 소수의 토큰 ($\sum K_p \ll HW$) 만 처리하여 계산 효율성을 극대화합니다.
  3. 분해 기반 공간 - 분광 Mamba 모듈:
     • 선택된 토큰 시퀀스를 기반으로 공간 Mamba 블록과 분광 Mamba 블록을 병렬로 실행합니다.
     • 각 풍부도 군집에 특화된 (Abundance-specific) 토큰 시퀀스를 생성하여 전통적인 Mamba 보다 정교한 토큰 학습 및 시퀀싱을 가능하게 합니다.
     • 선택되지 않은 픽셀을 위한 추가 Mamba 블록을 포함하여 전체적인 특징을 포착합니다.
  4. 멀티태스크 손실 함수:
     • 분류 오차 (Cross-Entropy), 분해 재구성 오차 (Spectral Angle Distance, SAD), 그리고 풍부도의 희소성 ($L_{1/2}$ 정규화) 을 결합한 손실 함수를 사용하여 모델을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 스펙트럼 혼합 효과 해체: Endmember 가변성을 자동으로 학습하는 새로운 분해 네트워크를 설계하여 패턴 발견 능력을 향상시켰습니다.
2. 적응형 토큰 시퀀싱: 풍부도 맵으로 정의된 클러스터 기반의 효율적인 Top-K 토큰 선택 전략을 통해 Mamba 의 표현력을 높였습니다.
3. 개선된 Mamba 모듈: 토큰 학습 및 시퀀싱 측면에서 기존 Mamba 모델을 크게 개선한 분해 기반 공간 - 분광 Mamba 모듈을 제안했습니다.
4. 통합 분해 - 분류 프레임워크: Endmember-풍부도 패턴과 분류 라벨을 동시에 학습하는 멀티태스크 방식을 도입하여, 정확한 분류 지도뿐만 아니라 스펙트럼 라이브러리와 풍부도 지도도 함께 출력합니다.

4. 실험 결과 (Results)

• 데이터셋: QUH-Tangdaowan, Houston, Pavia University, Fanglu Tea Farm 등 4 개의 HSI 데이터셋에서 평가되었습니다.
• 성능: 제안된 모델은 Random Forest, CNN 기반 (SSRN, SS-ConvNeXt), Transformer 기반 (SSTN), 그리고 최신 Mamba 기반 (MambaHSI, SFMamba, SDMamba) 모델들을 포함한 기존 SOTA(State-of-the-Art) 방법들보다 OA(Overall Accuracy), AA(Average Accuracy), Kappa 계수에서 우수한 성능을 보였습니다.
• 시각화:
  • 다른 모델들이 경계가 모호하거나 디테일이 손실된 반면, 제안된 모델은 단일 나무, 건물, 도로 등의 미세한 구조와 경계를 명확하게 보존했습니다.
  • 특히 Houston 데이터셋과 같은 대규모 복잡 데이터셋에서도 우수한 일반화 능력을 입증했습니다.
• Ablation Study: 위치 인코딩 (Positional Coding), Top-K 토큰 선택, Endmember 가변성 모델링 등 각 구성 요소가 성능 향상에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 HSI 분류의 핵심 문제인 스펙트럼 혼합과 공간 - 분광 이질성을 해결하기 위해 **물리 기반 분해 (Unmixing)**와 **최신 시퀀스 모델 (Mamba)**을 융합한 새로운 패러다임을 제시합니다.

• 계산 효율성: 전체 이미지를 처리하는 대신 정보량이 풍부한 토큰만 선택하여 Mamba 의 계산 효율성을 극대화하면서도 정확도를 높였습니다.
• 해석 가능성: 분류 결과뿐만 아니라 Endmember 와 풍부도 맵을 함께 제공함으로써, 모델의 결정 근거를 물리적으로 해석할 수 있는 가능성을 열었습니다.
• 실용성: 명확한 경계와 디테일 보존 능력은 실제 토지 피복 및 토지 이용 분석에 매우 유용하며, 향후 도메인 적응 및 기초 모델 (Foundation Model) 로의 확장을 위한 토대를 마련했습니다.

이 연구는 HSI 분류 분야에서 Mamba 아키텍처의 한계를 극복하고, 스펙트럼 혼합 문제를 물리적으로 접근하여 성능을 획기적으로 개선한 중요한 사례로 평가됩니다.