FingerFlex: Inferring Finger Trajectories from ECoG signals

문제 정의
운동 뇌-컴퓨터 인터페이스(BCI) 개발은 움직임 관련 정보, 특히 연속적인 손가락 궤적을 재구성하기 위해 신경 시계열 데이터를 정확하게 디코딩하는 데 의존한다. 단일 단위 기록과 같은 침습적 방법은 높은 해상도를 제공하지만 매우 침습적이다. EEG와 같은 비침습적 방법은 신호 누출로 인해 공간 해상도가 부족하다. 피질전도(ECoG)는 우수한 공간 해상도와 신호 품질을 제공하여 그 중간 지점을 제시하지만, 수술적 이식이 필요하다. 본 연구에서 다루는 구체적인 과제는 감각운동 피질에서 기록된 ECoG 신호만을 사용하여 연속적인 1차원 손가락 굴곡 궤적을 디코딩하는 것이다. 기존의 솔루션은 엄격한 특징 선택을 동반한 선형 회귀부터 다양한 딥러닝 아키텍처(예: LSTM, 표준 CNN)에 이르기까지 다양하지만, 신경 데이터의 고차 의존성을 더 높은 정밀도로 근사할 수 있는 모델에 대한 필요성이 여전히 존재한다.

방법론
저자들은 손가락 움직임 회귀를 위해 적응된 컨볼루션 인코더-디코더 아키텍처인 FingerFlex를 제안한다. 방법론은 세 가지 주요 단계로 구성된다:

1. 데이터 전처리 및 특징 추출:

   • ECoG 신호: 원시 ECoG 데이터(1000 Hz로 샘플링됨)는 표준화 및 중앙값 차감 과정을 거친다. 밴드패스 필터(40–300 Hz)는 감마 및 하이-감마 성분을 분리하며, 밴드스톱 필터는 50 Hz 전력 그리드 고조파를 제거한다.
   • 시간-주파수 표현: 저자들은 원시 시계열을 사용하는 대신, 복소 모렛 웨이브릿(40–300 Hz 범위에서 로그 스케일로 배치된 40개의 커널)과의 컨볼루션을 사용하여 시간-주파수 포락선을 추출한다.
   • 리샘플링 및 스케일링: 신호는 모션 캡처 속도와 일치시키기 위해 데시메이션(decimation)을 통해 1000 Hz에서 100 Hz로 다운샘플링된다. 특징은 이상치를 처리하기 위해 RobustScaler(0.1 및 0.9 분위수 기반)를 사용하여 스케일링된다.
   • 시간적 정렬: 생리학적 지연을 고려하기 위해 ECoG 데이터에 대해 손가락 움직임 시계열에 대한 순방향 이동(지연)을 적용한다. 이 지연은 튜너블 하이퍼파라미터(0–200 ms 범위 내에서 테스트됨)로 취급된다.
   • 타겟 데이터: 손가락 움직임 데이터(원래 25 Hz)는 바이큐빅 보간법을 사용하여 100 Hz로 업샘플링되고 MinMax 스케일링된다.

2. 모델 아키텍처:

   • 모델은 수정된 컨볼루션 오토인코더이다.
   • 인코더: 1D 컨볼루션 레이어와 그 뒤를 잇는 레이어 정규화, GeLU 활성화 함수, 드롭아웃, 그리고 맥스 풀링(스트라이드 2)으로 구성된다. 이 구조는 wav2vec 아키텍처에서 영감을 받았다.
   • 디코더: 스킵 연결(UNet과 유사)을 활용하여 일반화된 잠재 표현과 인코더의 원래 국소 특징을 결합하는 대칭적인 컨볼루션 레이어 세트로 구성된다.
   • 출력: 최종 1×1 컨볼루션 레이어는 입력 윈도우의 각 타임포인트에 대해 다섯 손가락의 좌표를 예측한다.
   • 손실 함수: 모델은 MSE(평균 제곱 오차)와 코사인 거리(Cosine Distance)의 합인 하이브리드 손실 함수를 사용하여 최적화된다. 저자들은 상관계수가 평가 지표이지만, 움직임이 없는 작은 윈도우에서는 노이즈에 너무 민감하기 때문에 코사인 거리가 더 안정적인 최적화 기준을 제공한다고 주장한다.

3. 훈련 프로토콜:

   • 모델은 세 명의 익명 환자 데이터를 포함하는 BCI Competition IV 데이터셋 4로 훈련되었다.
   • 피험자 간 전극 그리드 정렬의 부재로 인해, 모델은 각 환자별로 개별적으로 훈련되었다.
   • 하이퍼파라미터 튜닝(예: 지연, 웨이브릿 수)은 첫 번째 피험자의 데이터를 사용하여 수행되었으며, 과적합을 피하기 위해 다른 피험자들에게도 고정되어 적용되었다.

주요 기여

• 새로운 아키텍처: 본 논문은 ECoG 기반 손가락 궤적 디코딩을 위해 스킵 연결이 있는 하이브리드 인코더-디코더 아키텍처를 처음으로 적용하였다.
• 특징 공학: 본 연구는 원시 시계열보다 모렛 웨이브릿 분해(특히 감마/하이-감마 대역)에서 유도된 시간-주파수 표현을 사용하는 것의 효용성을 입증한다.
• 최적화 전략: 상관계수나 MSE 단독 사용보다 회귀 안정성을 개선하기 위해 제안된 결합 손실 함수(MSE + Cosine)를 도입하였다.
• 성능 벤치마킹: 이 접근 방식은 복잡한 전이 학습이나 다른 데이터셋에 대한 추가적인 하이퍼파라미터 조정 없이 표준 공개 벤치마크에서 최첨단(state-of-the-art) 결과를 달성하였다.

결과

• BCI Competition IV 데이터셋 4: FingerFlex는 세 피험자 전체에 대해 평균 상관계수(CC) 0.67을 달현했다. 개별 피험자 성능은 피험자 3에서 최대 0.74에 도달했다.
  • 피험자 1: 0.66
  • 피로자 2: 0.62
  • 피험자 3: 0.74
• 비교: 모델은 BCI 경진대회 우승자(Flamary, 2012; CC 0.48), Liang 및 Bougrain(2012; CC 0.43), 그리고 최근의 딥러닝 접근 방식인 Xie 등(2018; CC 0.52) 및 Frey 등(2021; CC 0.52)을 포함한 이 데이터셋의 이전 방법들을 능가했다.
• 교차 데이터셋 검증: 모델은 하이퍼파라미터 재조정 없이 Stanford 데이터셋(Miller, 2019)에 대해 테스트되었다. 결과는 피험자마다 다양하게 나타났으며(0.22에서 0.71 사이), 일부 피험자는 0.5에서 0.7 사이의 상관관계를 달성했다. 저자들은 일부 사례에서의 낮은 성능을 활성 운동 영역에 대한 ECoG 그리드의 위치 배치 때문이라고 설명했다.
• 절제 연구(Ablation Studies):
  • 특징 스케일링을 추가하면 CC가 0.2에서 0.45로 향상되었다.
  • 아키텍처 정교화(레이어 깊이/너비)는 CC를 0.55로 높였다.
  • 스킵 연결을 추가하면 CC가 0.66으로 더욱 증가했다.
  • 하이브리드 손실 함수(MSE + Cosine)는 MSE 단독 사용보다 미미하지만 일관된 개선(약 +0.02 CC)을 제공했다.

의의 및 주장
본 논문은 FingerFlex가 완전히 기능적인 고정밀 피질 운동 BCI를 개발하는 데 있어 중요한 진전을 제공한다고 주장한다. 저자들은 다음과 같은 실질적인 장점을 강조한다:

• 실시간 능력: 모델은 상대적으로 가볍고(~600,000 개의 파라미터) 미래의 데이터를 요구하지 않고 현재의 타임 윈도우에서 작동하므로 실시간 추론을 용이하게 한다.
• 통합 상태 처리: 별도의 디코더가 휴식 상태와 움직임 상태를 구분해야 했던 이전 방법들과 달리, FingerFlex는 전환 메커니즘 없이 두 기간 동안의 궤적 변화를 포착한다.
• 데이터 효율성: 이 방법은 피험자당 최소 6.5분의 훈련 데이터만으로도 상당한 성능을 달성하여, 개인화된 임상 훈련에 적합하게 만든다.
• 일반화 가능성: 하이퍼파라미터 재조정 없이 다른 데이터셋(Stanford)으로 모델을 전이할 수 있는 능력은 견고함을 시사하지만, 저자들은 전극 배치 변동성이 피험자 간 일반화의 한계임을 인정한다.

저자들은 본 방법이 현재는 개별화되어 있지만, 교차 피험자 솔루션을 가능하게 하는 전이 학습 및 소스 재구성을 향한 연구의 토대를 마련한다고 결론지었다. 또한, 향후 반복 작업에서는 더 큰 데이터셋이 필요할 수 있지만, 시간적 컨볼루션을 통한 자동 특징 추출로 나아갈 수 있다고 언급했다.