A Graph Neural Network Model for Real-Time Gesture Recognition Based on sEMG Signals

기술 요약: sEMG 신호 기반 실시간 제스처 인식을 위한 그래프 신경망 모델

문제 정의
정확하고 즉각적인 손 제스처 인식은 고급 의수, 증강 현실(AR) 및 가상 현실(VR) 시스템에서 원활한 제어를 위해 매우 중요합니다. 전완부의 표면 근전도(sEMG) 신호가 이 목적으로 흔히 사용되지만, 기존의 실시간 접근 방식은 상당한 과제에 직면해 있습니다. 전통적인 방법들은 일반적으로 sEMG 신호를 빈닝(binning)하고 SVM(Support Vector Machines)이나 LDA(Linear Discriminant Analysis)와 같은 알고리즘을 사용하여 분류하기 위해 시간 또는 주파수 영역의 특징을 추출하는 데 의존합니다. 그러나 연속적인 빈닝에서 발생하는 계산 복잡성과 정규 격자 구조에 대한 의존성은 신경근 통신에 내재된 복잡한 공간적 및 시간적 의존성을 포착하지 못하는 경우가 많습니다. 또한, 많은 기존 연구들이 진정한 실시간 예측보다는 사전 녹화된 데이터에 집중하고 있어, 역동적인 인간-컴퓨터 상호작용 시나리오에서의 적용 가능성을 제한합니다.

방법론
저자들은 실시간 제스처 인식을 위해 그래프 신경망(GNN)을 활용하여 sEMG 신호를 동적 그래프로 모델링하는 새로운 프레임워크를 제안합니다. 방법론은 네 가지 주요 단계로 구성됩니다:

1. 그래프 생성:

   • 데이터 분할: $M$개 채널(전극)로부터 오는 연속적인 sEMG 시계열을 길이 $L$의 중첩되는 윈도우로 분할합니다.
   • 상관 행렬: 각 윈도우 내에서 모든 쌍의 시계열 신호 간의 피어슨 상관 계수를 계산합니다. 이는 $M \times M$ 상관 행렬 $P[n]$을 생성합니다.
   • 그래프 구축: 상관 행렬은 무방향, 완전 연결 그래프 $G[n]$의 인접 행렬 역할을 합니다. 노드는 전극을 나타내며, 에지 가중치는 계산된 피어슨 상관 계수를 나타내어 개별 및 상호 근육 활성화 패턴을 모두 포착합니다. 셀프 루프(Self-loops)는 0으로 고정됩니다.

2. 이벤트 탐지:

   • 의미 있는 제스처 세그먼트를 식별하고 신호 대 잡음비가 낮은 영역을 피하기 위해, 현재 윈도우의 신호 행렬과 이전 윈도우의 행렬 사이의 프로베니우스 노름(Frobenius norm) 차이($\Delta[n, \tau]$)를 기반으로 한 이벤트 탐지 측도를 사용합니다.
   • 이 지표의 분산을 바탕으로 피험자 의존적 임계값을 설정합니다. 이 지표가 임계값을 초과하는 윈도우만 분류를 위해 처리되어, 모델이 중요한 제스처 시작 부분에 집중할 수 있도록 보장합니다.

3. 분류 아키텍처:

   • 생성된 그래프는 제스처 레이블과 함께 학습 데이터로 사용됩니다.
     successive
   • 단순한 GNN 아키텍처가 사용되며, 이는 ReLU 활성화 함수를 가진 두 개의 완전 연결 계층으로 구성됩니다.
   • 모델은 그래프 구조를 기반으로 손 제스처를 분류하기 위해 확률적 경사 하강법(SGD)을 사용하여 학습되며, 이 과정에서 채널 간의 정보를 전파하여 맥락적 관계를 이해합니다.

4. 실시간 파이프라인:

   • 시스템은 루프 방식으로 작동합니다: 새로운 데이터를 획득하고, 특정 샘플 축적($t_0$)을 기다린 후, 이벤트 탐지 지표를 계산하며, 제스처가 감지되면 그래프를 생성하고 학습된 GNN에 입력하여 예측을 수행합니다.

주요 기여

• 그래프 기반 표현: 본 논문은 raw sEMG 시계열을 노드는 전극이고 에지는 시간적 상관관계를 나타내는 그래프 구조로 변환하는 방법을 소개합니다. 이 접근 방식은 raw 센서 데이터와 의미 있는 제스처 표현 사이의 간극을 메우며, 격자 기반 방식보다 공간적 및 시간적 역학을 더 효과적으로 포착합니다.
• 실시간 효율성: 프레임워크는 저지연 작동을 위해 특별히 설계되었습니다. 그래프 구축 전에 이벤트를 필터링하고 경량화된 GNN을 활용함으로써 계산 오버헤드를 최소ize합니다.
• 피험자 의존적 임계값 설정: 이벤트 탐지 메커니즘은 분산 기반의 피험자 특화 임계값을 사용하여 다양한 개인과 신호 조건에 대한 견고성을 확보합니다.

실험 결과
제안된 방법은 8개의 전극을 가진 Myo band를 사용하여 5가지 서로 다른 손 제스처(검지 굴곡, 중지 굴곡, 약지 굴곡, V-플렉션, 손 쥐기)를 수행하는 8명의 건강한 피험자로부터 얻은 데이터셋을 통해 평가되었습니다.

• 정확도: 제안된 방법은 평균 **99%**의 분류 정확도(특히 97.5% 윈도우 중첩 시 99.89%)를 달성하였으며, 이는 연구에서 인용된 근육 시너지 기반 접근 방식 및 시간적 근육 활성화(TMA) 이미지 기반 CNN을 포함한 최신 기술들을 크게 상회하는 성능입니다.
• 견고성: 모델은 강력한 일반화 능력을 보여주었습니다. 윈도우 중첩을 70%로 낮추어 학습 데이터가 감소한 상황에서도, 모델은 0.967의 높은 AUC 점수를 유지했습니다.
• 지연 시간: 전체 프로세스(그래프 구축 및 예측)의 평균 시간은 M1 Pro CPU에서 48ms였습니다(그래프 생성 3ms, 예측 45ms). 이 지속 시간은 연속적인 이벤트 사이의 시간 간격보다 현저히 짧아, 실시간 애플리케이션에 적합함을 확인시켜 줍니다.
• 비교: 결과는 시계열 간의 상관관계를 그래프 네트워크를 통해 모델링하는 것이 채널을 독립적인 엔티티로 취급하거나 TMA 이미지에 표준 CNN을 사용하는 것보다 우수한 성능을 낸다는 것을 나타냅니다.

의의 및 주장
저자들은 자신들의 그래프 기반 접근 방식이 정확도와 계산 효율성 모두에서 최신 기술을 능가하는, 실시간 제스처 인식을 위한 견고하고 효율적인 솔루션을 제공한다고 주장합니다. 제스처를 동적 그래프로 개념화함으로써, 이 방법은 전통적인 빈닝이나 격자 기반 딥러닝 접근 방식으로는 포착하기 어려운 신경근 통신의 복잡한 패턴을 성공적으로 풀어냅니다. 본 논문은 이 기술이 의수 제어 및 AR/VR 시스템과 같이 원활한 인간-기계 상호작용을 필요로 하는 응용 분야에 특히 효과적이라고 상정합니다. 저자들은 제한된 학습 데이터에서도 높은 성능을 유지하는 능력과 낮은 지연 시간이 이 방법의 중요한 진전이며, 향-장애인을 위한 유연한 제스처 인식 분야로의 잠재적 응용 가능성이 높다고 결론짓습니다.