FingerFlex: Inferring Finger Trajectories from ECoG signals

問題提起
運動脳コンピュータインターフェース（BCI）の開発は、動きに関連する情報、具体的には連続的な指の軌道を再構成するために、神経時系列を正確にデコードすることに依存している。単一ユニット記録のような侵襲的な手法は高い解像度を提供するが、極めて侵襲性が高い。EEGのような非侵襲的な手法は、信号のリーケージ（漏出）により空間解像度が不足している。皮質電図（ECoG）は、外科的な埋め込みを必要とするものの、優れた空間解像度と信号品質を備えた中間的な選択肢を提供する。本研究で扱う具体的な課題は、感覚運動皮質から記録されたECoG信号のみを用いて、連続的な1次元の指の屈曲軌道をデコードすることである。既存のソリューションは、厳密な特徴選択を伴う線形回帰から、様々なディープラーニング・アーキテクチャ（LSTMや標準的なCNNなど）まで多岐にわたるが、神経データにおける高次な依存関係を高精度に近似できるモデルへのニーズが依然として存在する。

手法
著者らは、指の動きの回帰に適応させた畳み込みエンコーダ・デコーダ・アーキテクチャであるFingerFlexを提案している。その手法は主に以下の3つの段階で構成される：

1. データ前処理および特徴抽出：

   • ECoG信号： 生のECoGデータ（サンプリング周波数1000 Hz）に対して、標準化と中央値減算を行う。バンドパスフィルタ（40–300 Hz）によってガンマおよびハイガンマ成分を分離し、バンドストップフィルタによって50 Hzの電源周波数の高調波を除去する。
   • 時間周波数表現： 生の時系列データを使用する代わりに、著者らは複素モルレットウェーブレット（40–300 Hzの間を対数的に配置した40個のカーネル）を用いた畳み込みを採用し、時間周波数エンベロープを抽出する。
   • リサンプリングとスケーリング： モーションキャプチャのレートに合わせるため、デシメーション（間引き）により信号を1000 Hzから100 Hzにダウンサンプリングする。特徴量は、外れ値に対処するためにRobustScaler（0.1および0.9の分位数に基づく）を用いてスケーリングされる。
   • 時間的整合性： 生理学的なレイテンシ（遅延）を考慮するため、ECoGデータに対して指の動きの時系列に対する前方シフト（遅延）を適用する。この遅延は、チューナブルなハイパーパラメータ（0–200 msの範囲でテスト）として扱われる。
   • ターゲットデータ： 指の動きのデータ（元は25 Hz）は、バイキュービック補間を用いて100 Hzにアップサンプリングされ、MinMaxスケーリングされる。

2. モデルアーキテクチャ：

   • モデルは修正された畳み込みオートエンコーダである。
   • エンコーダ： 1D畳み込み層に続き、レイヤー正規化、GeLU活性化関数、ドロップアウト、および最大プーリング（ストライド2）で構成される。この構造はwav2vecアーキテクチャに着想を得ている。
   • デコーダ： 対称的な畳み込み層のセットで構成され、スキップ接続（UNetと同様）を利用して、エンコーダからの一般的な潜在表現と元の局所的な特徴を結合する。
   • 出力： 最終的な1×1畳み込み層が、入力ウィンドウ内の各時点における5本の指の座標を予測する。
   • 損失関数： モデルは、平均二乗誤差（MSE）とコサイン距離の和からなるハイブリッド損失関数を用いて最適化される。著者らは、相関（Correlation）は評価指標として用いられるものの、動きのない小さなウィンドウ内ではノイズに敏感すぎるため、コサイン距離がより安定した最適化基準を提供すると主張している。

3. トレーニングプロトコル：

   • モデルは、3名の匿名患者のデータを含むBCI Competition IV Dataset 4を用いて訓練された。
   • 電極グリッドのアライメントが被験者間で欠如しているため、モデルは被験者ごとに個別に訓練された。
   • ハイパーパラメータのチューニング（遅延やウェーブレット数など）は、第1被験者のデータを用いて行われ、その後、過学習を避けるために他の被験者に対して固定された。

主な貢献

• 新規アーキテクチャ： 本論文は、ECoGベースの指の軌道デコードに特化した、スキップ接続を持つハイブリッド・エンコーダ・デコーダ・アーキテクチャの最初の適用を紹介する。
• 特徴量エンジニアリング： 本研究は、生の時系列データではなく、モルレットウェーブレット分解（特にガンマ/ハイガンマ帯域）から派生した時間周波数表現を使用することの有効性を実証している。
• 最適化戦略： 相関やMSEのみを使用する場合と比較して、回帰の安定性を向上させるために、結合損失関数（MSE + コサイン）の導入が提案されている。
• 性能ベンチマーク： このアプローチは、複雑な転移学習や異なるデータセットに対する追加のハイパーパラメータ調整を必要とせずに、標準的な公開ベンチマークにおいて最先端（SOTA）の結果を達成した。

結果

• BCI Competition IV Dataset 4： FingerFlexは、全被験者を通じて平均相関係数（CC）0.67を達成した。個々の被験者の性能は、最大で0.74（被験者3）に達した。
  • 被験者1: 0.66
  • 被験者2: 0.62
  • 被験者3: 0.74
• 比較： 本モデルは、このデータセットにおける以前の勝者や手法（Flamary, 2012; CC 0.48、Liang and Bougrain, 2012; CC 0.43、および最近のディープラーニング手法である Xie et al., 2018; CC 0.52、Frey et al., 2021; CC 0.52）を上回った。
• クロスデータセット検証： モデルは、ハイパーパラメータの再チューニングなしにStanfordデータセット（Miller, 2019）でテストされた。結果は被験者によって異なり（0.22から0.71の範囲）、一部の被験者は0.5から0.7の間の相関を達成した。著者らは、低いパフォーマンスの要因として、活動的な運動領域に対するECoGグリッドの配置の差異を挙げている。
• アブレーション研究：
  • 特徴量スケーリングの追加により、CCは0.2から0.45に向上した。
  • アーキテクチャの洗練（層の深さ/幅）により、CCは0.55に増加した。
  • スキップ接続の追加により、CCはさらに0.66に増加した。
  • ハイブリッド損失関数（MSE + コサイン）は、MSE単独と比較して、わずかではあるが一貫した改善（約+0.02 CC）を提供した。

意義と主張
本論文は、FingerFlexが完全に機能する高精度な皮質運動BCIの開発において重要な進展をもたらすと主張している。著者らは、以下の実用的な利点を強調している：

• リアルタイム性能： モデルは比較的軽量（約60万パラメータ）であり、将来のデータを必要とせず現在のタイムウィンドウ上で動作するため、リアルタイム推論を容易にする。
• 統一された状態処理： 静止状態と運動状態に対して別々のデコーダを必要とした従来の手法とは異なり、FingerFlexは切り替えメカニズムなしに両方の期間における軌道変化を捉える。
• データ効率： 本手法は、被験者あたりわずか6.5分間の訓練データで顕著な性能を発揮し、個別化された臨床トレーニングに適している。
• 汎用性： 再チューニングなしに別のデータセット（Stanford）へモデルを転送できる能力は堅牢性を示唆しているが、著者らは、被験者間の一般化における電極配置の変動性が限界であることを認めている。

著者らは、本手法は現在は個別化されたものであるものの、被験者間ソリューションを可能にするための転移学習やソース再構成の研究に向けた基礎を築くものであると結論づけている。また、将来のイテレーションでは、時間的な畳み込みによる自動特徴抽出へと移行できる可能性があるが、それにはより大規模なデータセットが必要になるとも述べている。