SSFT: A Lightweight Spectral-Spatial Fusion Transformer for Generic Hyperspectral Classification

1. 문제 정의 (Problem)

초분광 영상 (Hyperspectral Imaging, HSI) 은 수백 개의 좁은 파장 대역에서 픽셀별 풍부한 스펙트럼 서명을 포착하여 물질의 미세한 구분을 가능하게 합니다. 그러나 HSI 분류를 위한 강건한 분류기 학습은 다음과 같은 근본적인 어려움에 직면해 있습니다.

• 고차원성과 스펙트럼 중복성: 방대한 대역 수와 높은 상관관계로 인한 학습의 복잡성.
• 제한된 레이블 데이터: 지구 관측을 제외한 분야 (농업, 식품 품질 검사 등) 에서 레이블이 달린 데이터는 희소하고 클래스 불균형이 심함.
• 강한 도메인 시프트 (Domain Shift): 센서, 광학 장치, 조명 조건, 보정 및 전처리 방식의 차이로 인해 다양한 acquisition regimes 간에 큰 편차가 발생함.
• 기존 모델의 한계: 기존 딥러닝 모델 (3D CNN, 대규모 Transformer 등) 은 데이터가 풍부하고 훈련/테스트 조건이 일치할 때 성능이 좋으나, HSI 의 제한된 데이터 환경에서는 과적합 (Overfitting) 이 발생하거나 특정 도메인 통계에 의존하여 일반화 성능이 떨어짐. 또한 RGB 비전용 증강 기법 (Augmentation) 을 HSI 에 무작정 적용하면 물리 법칙을 위반하는 비현실적인 신호가 생성될 수 있음.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 SSFT (Spectral-Spatial Fusion Transformer) 라는 경량 아키텍처를 제안합니다. 핵심 아이디어는 표현 학습을 '스펙트럼'과 '공간' 두 가지 경로로 분해 (Factorization) 하고, 교차 주의 (Cross-Attention) 를 통해 통합하는 것입니다.

2.1. 아키텍처 구조

SSFT 는 입력 HSI 데이터 큐브를 두 개의 병렬 경로를 통해 처리합니다.

1. 스펙트럼 인코더 (Spectral Encoder):

   • 각 공간 위치에서 스펙트럼 대역 간의 의존성을 모델링합니다.
   • 공간 해상도를 다운샘플링한 후, 각 위치를 스펙트럼 토큰 시퀀스로 간주합니다.
   • Self-Attention 메커니즘을 적용하여 파장 축을 따라 장거리 의존성과 대역 간 상관관계를 포착합니다.
   • 채널 임베딩을 추가하여 대역 식별 정보를 보존합니다.

2. 공간 인코더 (Spatial Encoder):

   • 인접 픽셀 간의 국소적 구조 (에지, 질감, 영역 패턴) 를 포착합니다.
   • 경량 2D 합성곱 (Convolution) 을 사용하여 공간적 맥락을 추출합니다.
   • CNN 의 귀납적 편향 (Inductive Bias) 을 활용하여 데이터 효율성을 높입니다.

3. 퓨전 모듈 (Fusion Module):

   • 두 경로의 특징을 통합하기 위해 Cross-Attention을 사용합니다.
   • 공간 토큰을 Query, 스펙트럼 토큰을 Key/Value로 사용하여, 공간적 맥락에 따라 스펙트럼 정보를 선택적으로 주입합니다.
   • 이 방식은 공간적 구조를 유지하면서 파장 의존적 신호와의 적응적 상호작용을 가능하게 합니다.

4. 분류 및 학습 전략:

   • 통합된 특징은 풀링 (Pooling) 과 경량 MLP 를 거쳐 최종 분류를 수행합니다.
   • Deep Supervision: 학습 안정화를 위해 스펙트럼 및 공간 분기 출력에 보조 분류기 (Auxiliary Heads) 를 부착하여 중간 특징에 대한 추가적인 감독 신호를 제공합니다 (추론 시에는 제거됨).
   • 데이터 증강: 기존 RGB 증강 기법의 무분별한 적용을 지양하고, HSI 물리 법칙을 고려한 증강의 타당성을 실험적으로 검증합니다.

3. 주요 기여 (Key Contributions)

• 초경량 아키텍처: 약 516k 파라미터 (이전 최상위 방법의 약 2% 미만) 만으로 SOTA 성능을 달성하여, 제한된 HSI 데이터 환경에 적합한 효율적인 모델을 제시했습니다.
• 분해된 스펙트럼 - 공간 융합: 스펙트럼과 공간 정보를 별도의 경로를 통해 학습한 후 교차 주의로 융합함으로써, 상호 보완적인 정보를 효과적으로 포착하면서도 계산 비용을 줄였습니다.
• 범용성 검증: 지구 관측, 과일 상태 평가, 미세 입자 물질 인식 등 이질적인 3 가지 도메인을 아우르는 HSI-Benchmark에서 검증되었습니다.
• 증강 기법에 대한 통찰: HSI 환경에서는 무작위 증강이 오히려 성능을 저하시킬 수 있음을 실험을 통해 증명하고, 데이터 증강 없이 학습하는 것이 더 강력한 경우가 있음을 보였습니다.

4. 실험 결과 (Results)

4.1. HSI-Benchmark 성능

• 전체 성능: 3 개 도메인 (HRSS, Fruit, Debris) 의 평균 점수에서 84.87을 기록하여 기존 모든 방법 (ResNet, SpectralFormer, HybridSN 등) 을 상회했습니다.
• 도메인별 성과:
  • Debris (파편/물질 인식): 93.33% (1 위, 미세한 스펙트럼 차이를 구분하는 데 탁월함).
  • Fruit (과일 상태): 61.72% (이전 최고 기록 대비 3.44%p 향상).
  • HRSS (지구 관측): 99.56% (경쟁력 있는 성능 유지).
• 효율성: 이전 1 위 모델 대비 파라미터 수를 2% 미만으로 줄이면서도 최고의 성능을 달성했습니다.

4.2. SpectralEarth 벤치마크 (전이 학습)

• 대규모 지구 관측 벤치마크인 SpectralEarth (EnMAP-CORINE 태스크) 에서도 전이 학습이 잘 이루어짐을 확인했습니다.
• 전체 미세 조정 (Full Fine-Tuning) 시 75.87 F1 점수를 기록하여, 파라미터 수가 훨씬 큰 모델들과 경쟁 가능한 성능을 보였습니다.

4.3. Ablation Study (분석)

• 분기 기여도: 공간 분기를 제거하면 성능이 급격히 하락 (38.28%), 스펙트럼 분기를 제거해도 성능이 크게 떨어짐 (70.92%). 이는 두 경로 모두 필수적임을 입증했습니다.
• 보조 헤드: 보조 분류기를 사용하면 전체 점수가 0.95%p 향상되었으나, 도메인에 따라 효과가 달랐습니다.
• 데이터 증강: 대부분의 증강 기법 (자르기, 회전 등) 이 오히려 전체 성능을 저하시켰으며, 증강을 하지 않는 경우가 가장 좋은 성능을 보였습니다. 이는 HSI 의 물리적 특성을 해치는 증강이 해로울 수 있음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 효율성과 성능의 균형: 대규모 모델에 의존하지 않고도 이질적인 HSI 데이터 환경에서 SOTA 성능을 달성할 수 있음을 증명했습니다.
• 실용적 적용 가능성: 파라미터 수가 적어 엣지 디바이스나 제한된 컴퓨팅 자원을 가진 환경에서도 배포가 용이합니다.
• 학습 전략의 재고: HSI 분류에서는 RGB 비전과 달리 무조건적인 데이터 증강이 도움이 되지 않을 수 있으며, 물리 법칙을 고려한 신중한 학습 전략이 필요함을 강조했습니다.
• 일반화 능력: 다양한 센서와 acquisition 조건을 가진 도메인 간에서도 강건하게 작동하는 범용 HSI 분류기로서의 가능성을 제시했습니다.

결론적으로, SSFT 는 HSI 분류 분야에서 "더 큰 모델"이 아닌 "더 스마트하고 효율적인 구조"가 어떻게 제한된 데이터와 다양한 도메인 시프트를 극복할 수 있는지를 보여주는 중요한 연구입니다.