MoEMba: A Mamba-based Mixture of Experts for High-Density EMG-based Hand Gesture Recognition

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 고밀도 표면 근전도 (HD-sEMG) 신호는 근육 활동과 운동 의도를 직접 파악할 수 있어 인간 - 컴퓨터 상호작용 (HCI), 의수 제어, 재활 등 다양한 분야에서 핵심 자원으로 부상하고 있습니다.
• 핵심 문제: 기존 HD-sEMG 기반 모델은 세션 간 (Inter-session) 및 피험자 간 (Inter-subject) 분류 정확도가 낮다는 치명적인 한계가 있습니다.
  • 변동성: 피로, 피부 임피던스 변화 (땀), 해부학적 차이, 전극 이동 등 다양한 요인으로 인해 세션 간 신호 변동성이 10~40% 에 달할 수 있습니다.
  • 기존 방법의 한계:
    • 기존 딥러닝 모델 (CNN, RNN, Transformer) 은 장기 의존성 (Long-range dependencies) 포착이나 채널 간 상호작용 (Inter-channel dependencies) 을 효과적으로 처리하지 못하거나, 계산 비용이 너무 높습니다.
    • 특히 Transformer 의 자기 주의 (Self-attention) 메커니즘은 시퀀스 길이에 따라 계산 복잡도가 2 차 (Quadratic) 로 증가하여 실시간 응용에 부적합합니다.
    • 많은 모델이 채널 간 상관관계를 무시하고 독립적인 단변량 시계열로 취급하여 성능 저하를 초래합니다.

2. 제안 방법론: MoEMba Framework

이 논문은 선택적 상태 공간 모델 (Selective State-Space Models, SSMs) 인 Mamba 아키텍처를 기반으로 한 전문가 혼합 (Mixture of Experts, MoE) 프레임워크인 MoEMba를 제안합니다.

주요 구성 요소

1. WTFM 블록 (Wavelet Transform Feature Modulation):

   • 목적: 다중 스케일의 시간적 및 공간적 (채널 간) 관계를 포착하여 신호 표현을 강화합니다.
   • 작동 원리:
     • 작은 (3x3) 과 큰 (7x7) 시간 컨볼루션 커널을 사용하여 국소 및 전역 시간 특징을 추출합니다.
     • 이산 웨이블릿 변환 (DWT) 을 적용하여 특징을 근사 (Approximation) 및 세부 (Detail) 성분으로 분해합니다.
     • 채널 어텐션 (Channel Attention) 메커니즘을 통해 중요한 채널에 가중치를 부여합니다.
     • 추출된 웨이블릿 특징과 원본 특징을 융합하여 시간 영역 (TD) 과 주파수 영역 (FD) 정보를 통합합니다.

2. MoE 블록 (Mixture of Experts):

   • 목적: 다양한 패턴 (단기 및 장기 트렌드) 을 동적으로 모델링합니다.
   • 작동 원리:
     • 여러 개의 Mamba 전문가 (Experts) 를 구성합니다. 각 전문가는 시계열 데이터의 서로 다른 패턴을 학습합니다.
     • 스파스 게팅 (Sparse Gating) 네트워크가 입력 패치에 따라 가장 적합한 전문가를 동적으로 선택하여 활성화합니다.
     • 균형 잡힌 게팅 (Balanced Gating): 특정 전문가로 편향되는 것을 방지하기 위해 균형 손실 (Balance Loss) 과 정규화 항을 도입하여 모든 전문가가 고르게 활용되도록 합니다.
     • Mamba 의 선형 복잡도 (Linear Complexity) 특성을 활용하여 긴 시퀀스 처리 시 효율성을 극대화합니다.

3. 분류 블록 (Classification Block):

   • MoE 블록의 출력을 분류 헤드로 전달하고, 시그널 내 모든 패치 예측에 대해 다수결 투표 (Majority Voting) 를 수행하여 최종 손동작 클래스를 결정합니다. 이는 패치 수준의 노이즈 영향을 줄여줍니다.

3. 주요 기여 (Key Contributions)

1. HD-sEMG 인식에 Mamba 최초 적용: Mamba 아키텍처를 기반으로 한 MoE 구성을 통해 손동작의 단기 및 장기 역학을 동시에 포착하는 최초의 모델입니다.
2. 웨이블릿 특징 변조 (WTFM) 통합: 웨이블릿 변환과 채널 어텐션을 결합하여 다중 스케일의 시간적/공간적 관계를 효과적으로 추출합니다.
3. 계산 효율성과 강건성:
   • Transformer 기반 모델에 비해 선형 복잡도 (O(n)) 를 가지며, 계산 비용 (FLOPS) 이 현저히 낮습니다.
   • 세션 간 변동성 (Session-to-session variability) 에 대한 강건성을 입증하여, 적은 적응 데이터로도 높은 일반화 성능을 보입니다.

4. 실험 결과 (Results)

• 데이터셋: CapgMyo HD-sEMG 데이터셋 (DB-b) 을 사용했습니다. 10 명의 피험자, 8 가지 손동작, 최소 7 일 간격의 두 세션으로 구성된 데이터로 세션 간 (Inter-session) 평가 수행.
• 성능:
  • **균형 정확도 (Balanced Accuracy): 56.9%**를 달성했습니다. (랜덤 추측 수준인 12.5% 대비 월등히 높음).
  • 기존 최첨단 (SOTA) 모델들 (TD, ETD, NinaPro, SampEn, TVGGNet 등) 보다 높은 정확도를 기록했습니다.
  • ROC 곡선 분석에서 8 개 클래스 중 대부분 0.8 이상의 AUC 값을 보였으며, 특히 "엄지 올리기"와 같은 명확한 근육 활성화 패턴을 가진 동작에서 높은 정확도를 보였습니다.
• 계산 효율성:
  • 총 파라미터 수: 약 455,003 개.
  • FLOPS: 약 27,312,144.
  • Transformer 기반 모델에 비해 계산 부하가 낮아 실시간 임베디드 시스템 적용 가능성이 높습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실시간 HCI 시스템의 가능성: 높은 정확도와 낮은 계산 비용을 동시에 만족시켜, 저전력 장치에서도 실시간으로 작동 가능한 의수 제어 및 인간 - 컴퓨터 인터페이스 시스템 개발의 새로운 방향을 제시합니다.
• 변동성 해결: 전극 위치 변화나 피부 상태 변화와 같은 실제 환경의 불확실성 (Inter-session variability) 을 효과적으로 처리하여, 기존 모델의 실용적 한계를 극복했습니다.
• 미래 전망: 향후 합성 데이터 (Synthetic Data) 를 활용한 데이터 증강과 추가 모달리티 (Multi-modal) 통합을 통해 모델의 강건성과 정확도를 더욱 향상시킬 수 있을 것으로 기대됩니다.

요약하자면, MoEMba는 Mamba 의 효율적인 시퀀스 모델링 능력과 MoE 의 적응적 학습 능력을 결합하여, HD-sEMG 신호의 높은 변동성과 복잡성을 해결하고 실시간 손동작 인식 성능을 획기적으로 개선한 혁신적인 프레임워크입니다.