Hyperspectral Image Classification using Spectral-Spatial Mixer Network

기술 요약: 초분광 이미지 분류를 위한 SS-MixNet

문제 정의
초분광 이미지(Hyperspectral Image, HSI) 분류는 지표 피복 유형을 구별하기 위해 스펙트럼 및 공간 특징을 효과적으로 추출해야 하는 원격 탐사의 핵심 과제입니다. 딥러닝(Deep Learning, DL)이 이 분야를 발전시켜 왔으나, 기존 방식들은 특정 한계에 직면해 있습니다. 전통적인 1D-CNN은 공간적 맥락을 간과하는 경우가 많으며, 2D-CNN은 HSI 데이터의 3차원적 특성을 충분히 활용하지 못합니다. 3D-CNN 및 하이브리드 모델(예: HybridSN)이 이를 해결하려 노력하지만, 계산 비용이 많이 들 수 있습니다. 반대로, 트랜스포머 기반 아키텍처(예: ViT, IP-SWIN)는 장거리 의존성(long-range dependencies)에 대한 강력한 모델링 능력을 제공하지만, 일반적으로 대량의 라벨링된 데이터와 상당한 계산 자원을 요구하며, 이는 라벨링된 데이터가 부족한 원격 탐사 시나리오에서 효율성을 떨어뜨립니다.

방법론
본 논문은 계산 효율성과 강력한 특징 추출 사이의 균형을 맞추도록 설계된 경량 딥러닝 프레임워크인 SS-MixNet을 제안합니다. 이 아키텍처는 다음과 같은 단계들을 통해 초분광 패치를 처리합니다:

1. 전처리 및 국소 특징 추출 (Preprocessing and Local Feature Extraction):

   • 주성분 분석(PCA)을 적용하여 스펙트럼 중복성을 줄입니다.
   • 두 개의 3D 합성곱 계층($3 \times 3 \times 3$ 커널 사용)이 입력 패치를 처리하여, 스펙트럼 연속성을 보존하면서 국소 구조를 추출하고 스펙트럼 및 공간적 상관관계를 공동으로 포착합니다.

2. 스펙트럼-공간 혼합 (Spectral-Spatial Mixing - 핵심 혁신):
   MLPMixer 아키텍처에서 영감을 얻은 이 모델은 무거운 어텐션 메커니즘이나 표준 합성곱에 의존하지 않고 장거리 의존성을 모델링하기 위해 두 개의 병렬 MLP 스타일 믹서 블록을 채택합니다:

   • 스펙트럼 믹서 블록 (Spectral Mixer Block): 각 스펙트럼 밴드를 토큰으로 취급합니다. 각 공간 위치에 대해 다층 퍼셉트론(MLP)을 적용하여 밴드 간 관계를 학습합니다.
   • 공간 믹서 블록 (Spatial Mixer Block): 패치 내의 각 공간 위치를 토큰으로 취급합니다. 각 스펙트럼 채널에 대해 공간 차원($M \times M$)에 걸쳐 MLP를 적용하여 공간적 상호작용을 모델링합니다.
   • 두 블록 모두 잔차 연결(residual connections)을 사용하여 원래 정보를 보존하면서 표현력을 심화합니다.

3. 어텐션 메커니즘 (Attention Mechanism):
   경량화된 Depthwise Convolution 기반 어텐션 모듈이 통합되었습니다. 이 메커니즘은 각 채널을 독립적으로 처리하여 시그모이드 활성화 함수를 통해 공간 어텐션 마스크를 생성합니다. 이 마스크는 요소별 곱셈(element-wise multiplication)을 통해 특징 맵을 조절함으로써, 최소한의 계산 오버헤드로 변별력 있는 영역을 강화합니다.

4. 분류 (Classification):
   처리된 특징은 전역 평균 풀링(Global Average Pooling, GAP)을 거친 후 Softmax 분류기로 전달되어 클래스 레이블을 예측합니다.

주요 기여

• 새로운 아키텍처: 병렬 MLP 블록을 사용하여 스펙트럼 및 공간 혼합을 분리함으로써 두 차원 모두에서 비국소적(non-local) 의존성을 모델링할 수 있는 SS-MixNet을 도입했습니다.
• 효율성: 모델은 높은 성능을 유지하면서도 많은 트랜스포머 기반 모델들보다 적은 파라미터를 사용하여 계산 효율적으로 설계되었습니다.
• 경량 어텐션: Depthwise convolution 기반 어텐션 메커니즘의 통합은 표준 셀프 어텐션의 높은 비용 없이 특징의 변별력을 높입니다.
• 데이터 효율성: 본 프레임드워크는 라벨링된 데이터의 **1%**만을 사용하여 훈련 및 검증을 수행함으로써 극단적인 데이터 부족 조건에서도 평가되었습니다.

실험 결과
모델은 QUH-Tangdaowan 및 QUH-Qingyun 두 가지 데이터셋에서 평가되었습니다. 2D-CNN, 3D-CNN, IP-SWIN, SimPoolFormer, HybridKAN과 비교되었습니다.

• Tangdaowan 데이터셋: SS-MixNet은 가장 높은 전체 정확도(OA) 95.68%, 평균 정확도(AA) 92.44%, Kappa 계수 **95.08%**를 달성했습니다. 이는 차상위 방법론인 3D-CNN보다 OA 측면에서 1% 이상 앞선 수치이며, 18개 클래스 중 11개 클래스에서 최고의 정확도를 기록했습니다.
• Qingyun 데이터셋: SS-MixNet은 OA 93.86%, AA 86.83%, Kappa **91.86%**를 달성하며 비교 대상 모델들을 일관되게 앞질렀습니다.
• 절제 연구 (Ablation Study): 실험을 통해 스펙트럼 믹서, 공간 믹서 및 어텐션 메커니즘을 추가할 때마다 성능이 점진적으로 향상됨을 확인하였으며, 전체 아키텍처가 최상의 결과를 산출했습니다.
• 계산 비용: SS-MixNet은 약 141K개의 파라미터와 1.9M FLOPs를 필요로 하여 균형 잡힌 트레이드오프를 보여주었습니다. 이는 SimPoolFormer(57M FLOPs)보다 훨씬 효율적이며, 표준 CNN보다 더 나은 표현 능력을 제공합니다.

의의 및 주장
본 논문은 SS-MixNet이 특히 제한된 감독(limited supervision) 상황에서 HSI 분류를 위한 강력한 솔루션을 제공한다고 주장합니다. 국소 특징을 위한 3D 합성곱과 전역 의존성을 위한 MLP 믹서를 효과적으로 결 조합함으로써, 모델은 단 1%의 라벨링된 데이터만으로 훈련되어도 정확하고 신뢰할 수 있는 예측을 전달합니다. 저자들은 이 모델이 트랜스포머의 높은 계산 비용과 전통적인 CNN의 제한된 모델링 능력 사이의 트레이드오프를 성공적으로 해결했다고 단언합니다. 실험 결과는 모델이 변별력 있는 스펙트럼-공간 표현을 학습하는 능력을 입증하며, 이는 데이터 라벨링 비용이 높거나 데이터가 희소한 지구 관측 작업에 있어 실행 가능한 후보임을 보여줍니다. 향후 연구로는 이 프레임워크를 교차 도메인 분류 및 준지도 학습(semi-supervised settings) 환경으로 확장하는 것이 제안되었습니다.