Brain-inspired Spiking Neural Network Frameworks for Multimodal Spatiotemporal Brain Data Integration: A Case Study on EEG-fMRI Data

技術要約：マルチモーダルな時空間脳データ統合のための脳型スパイキングニューラルネットワーク・フレームワーク

問題提起
脳のマルチモーダルデータ、具体的には脳波（EEG）と機能的磁気共鳴画像法（fMRI）の統合は、これらモダリティ間の根本的な異質性により、重大な課題を提示している。EEGは高い時間解像度（ミリ秒スケール）を提供するが空間解像度は低く、一方でfMRIは高い空間解像度（ミリメートルスケール）を提供するが時間解像度は低い（秒スケール）。従来の人工ニューラルネットワーク（ANN）は、このような複雑で非定常なイベント駆動型の時系列データへの対応に苦慮することが多い。さらに、既存のスパイキングニューラルネットワーク（SNN）の脳情報学への応用は、主に初期（特徴レベル）の融合や、被験者固有のインスタンスベースの学習に焦点を当ててきた。異なる融合レベル（初期、中間、後期）にわたって異質な時空間データを効果的に統合し、同時に異なるEEG特徴表現（生振幅 vs. パワースペクトル密度）が融合性能にどのように影響するかを評価するフレームワークは不足している。加えて、生物学的な解釈性を犠牲にすることなく分類精度を達成することは、神経科学の応用における重要な未解決の課題である。

手法
本研究は、複雑な時空間データをモデル化、学習、理解するために設計された、NeuCubeアーキテクチャに基づく脳型スパイキングニューラルネットワーク（SNN）フレームワークの一群を提案する。手法には、同時記録された安静時EEG-fMRIデータセット（開眼 vs. 閉眼条件）に適用される3つの異なる融合戦略が含まれる：

1. データ前処理とエンコーディング：

   • EEG: 2つの表現が利用された：(a) 生の振幅信号（32チャンネル）、および (b) 5つの標準的な周波数帯域（デルタ、シータ、アルファ、シグマ、ベータ）から導出されたパワースペクトル密度（PSD）特徴量（1タイムウィンドウあたり160個の特徴量）。
   • fMRI: データはMNIテンプレートにレジストレーションされ、SN比（SNR）に基づき48の関心領域（ROI）から40個のボクセルが選択された。
   • エンコーディング: 両モダリティは、信号の変化がモダリティ固有の閾値を超えたときにスパイクが発生するデルタエンコーディングを用いてスパイク列へと変換された。これにより、モダリティ間の時間的同期が確保される。

2. SNNアーキテクチャと学習：

   • マッピング: 入力ニューロンは、MNIテンプレートを用いて3Dの脳形状のリザーバにマッピングされる。中間および後期融合の場合、EEG用（$R_{EEG}$）とfMRI用（$R_{fMRI}$）の別々のリザーバが初期化される。初期融合の場合、特徴量は結合され、単一のリザーバにマッピングされる。
   • 初期化: ニューロンはスモールワールド結合規則によって接続される。
   • 教師なし学習: 接続重みは、前シナプスおよび後シナプスのスパイクのタイミングに基づいてシナプスを強化または弱体化させる、生物学的に妥当な学習規則である**スパイクタイミング依存可塑性（STDP）**を用いて更新される。
   • リードアウト: 教師なし学習の後、リザーバの重みは固定される。スパイク活動はレートコード化された特徴ベクトル（状態ベクトル）に変換され、その後分類器に渡される。

3. 融合戦略:

   • 初期融合（Early Fusion）: EEGとfMRIのスパイク列は、単一のSNNリザーバにマッピングされる前に、特徴レベルで結合される。
   • 中間融合（Intermediate Fusion）: 別々のSNNリザーバが各モダリティから並行して学習を行う。得られた状態ベクトルは、分類の前に特徴レベルで結合される。
   • 後期融合（Late Fusion）: 各モダリティの特性ベクトルに対して個別の分類器が訓練される。以下の2つのアプローチがテストされた：
     • 一様重み付け（Uniform Weighting）: 各モダリティからのクラス確率の単純な加重平均。
     • X-Meta分類器: ベースとなる分類器のスタックされた確率出力に対して、メタ分類器（Plattスケーリングを用いた線形SVC）を訓練するアンサンブルベースのアプローチ。これにより、モデルは各モダリティの寄与重みを適応的に学習できる。

主な貢献

1. 新規な融合フレームワーク: 著者らは、異質なEEG-fMRIデータに対して、NeuCubeアーキテクチャ内での3つのSNNベースの融合戦略（初期、中間、後期）を開発し、評価した。
2. 特徴表現の分析: 本研究は、すべての融合戦略において2つのEEG特徴表現（生の振幅 vs. PSD）の影響を明示的に比較し、最適な融合戦略は選択された特徴表現に依存することを実証した。
3. 説明可能なAI（X-Meta分類器）: X-Meta分類器の導入は、分類性能を向上させるだけでなく、解釈性も提供する。これは、決定を駆動する最も識別的な特徴（特定のEEG電極/バンドおよびfMRIボクセル）を特定し、それらを既知の神経生理学的メカニズムに結びつける。
4. ベンチマーク: 提案されたフレームワークは、単一モダリティのSNN、従来の機械学習（SVM、MLP、XGBoost）、およびディープラーニング（LSTM）モデルと比較検証された。

結果

• 分類性能: **X-Meta分類器（後期融合）**が最高の精度を達成した。
  • PSD特徴量を用いた場合、**79.87%**の精度（MCC: 0.64）に達し、単一モダリティのアプローチを約6〜7%上回った。
  • 生のEEG特徴量を用いた場合、**77.11%**の精度に達した。
  • 対照的に、初期融合は、特にPSD特徴量において（69.74%）パフォーマンスが悪く、高次元で異質なデータの早期結合が情報損失を招くことを示唆している。
  • 中間融合は安定した結果（~76.7%）をもたらしたが、適応的な後期融合を上回ることはなかった。
  • 従来のベンチマーク: 提案されたSNNフレームワークは、LSTM（55.26%）を上回り、一般にSVMやMLPを上回るか、あるいはそれらに匹敵する性能を示した。これは、複雑なマルチモーダルデータの時空間パターンを扱う能力において特に顕著であった。
• モダリティの寄与: X-Meta分類器は、EEG特徴がfMRIよりも決定に対してより重要な寄与（約52-60%）をしていることを明らかにした。これは、開眼/閉眼の移行（アルファ抑制）の急速な時間的性質と一致している。しかし、fMRIは補完的な空間情報を提供していた。
• 生物学的解釈性: X-Meta分類器によって特定されたトップ特徴量は、既知の機能的脳領域に対応していた：
  • EEG: 後頭部領域（O1, O2）およびアルファバンドのパワー。これは視覚野の活動と一致する。
  • fMRI: デフォルトモードネットワーク（DMN）（例：内側前頭前野、後帯状皮質）および運動制御領域（中心前回）に関連する領域。これらは安静時の生理機能と一致している。

意義と主張
本論文は、提案されたフレームワークが、異質な時空間脳データが複数の融合レベルにわたって効果的に統合できることを示すことで、脳型計算モデリングを前進させると主張している。本研究は以下を断言している：

• 適応的な後期融合が優れている: 時間的・空間的解像度が一致しない異質なデータに対しては、適応的な重み付けを伴う後期融合（X-Meta）は、初期融合や中間融合よりも堅牢である。なぜなら、統合前にモダリティ固有の潜在表現を保持できるからである。
• 解釈性は達成可能である: 本フレームワークは、「ブラックボックス」的な分類を超え、生物学的な根拠に基づいた説明を提供する。特定された識別的特徴は、確立された神経生理学的知識（例：後頭部のアルファリズム、DMN）と一致しており、モデルの神経科学への妥当性を検証している。
• 特徴と融合の相互作用: EEGの表現（生 vs. PSD）の選択は、融合戦略と有意に相互作用する。すなわち、PSD特徴量は後期融合の恩恵を受けるが、生の特性は初期融合においてより堅牢である。

著者らは、本研究が、マルチモーダルな脳データを用いたSNNによる統合の概念実証として機能すると結論付けており、これは、さらなる臨床コホートでの検証が必要であることを認めつつも、より正確で解釈性の高いブレイン・コンピュータ・インターフェースや臨床診断への道筋を提供するものであるとしている。