技術的サマリー：PRiSE-EEG

問題定義

脳波（EEG）基盤モデル（EEG-FMs）は、異質なパラダイム全体で再利用可能な表現を学習することを目指している。しかし、既存のアプローチには 2 つの主要な限界が存在する：

1. 最適化の競合：睡眠ステージ分類対感情認識など、異質な EEG タスクは、しばしば競合する勾配更新方向を引き起こす。均一なパラメータを使用する密なトランスフォーマーモデルは、これらの分岐した最適化目標を調和させるのに苦しみ、結果としてパラダイム間転移が最適化されない。
2. 未活用の事前知識：現在のトークン化戦略は、センサー空間 EEG に内在する構造化された空間的規則性を無視することが多い。電極座標は既知であるが、脳ネットワークの構造化された組織化や短時間窓チャネル相互作用は、パッチ形成のための帰納的バイアスとして頻繁に未活用となっている。

さらに、EEG における既存の MoE（Mixture-of-Experts）アプローチは、すべての層に共有専門家と専門的専門家を均一に割り当てる傾向があり、浅い層はより一般的で、深い層はより具体的であるという、表現幾何学が深さとともに変化する観察結果を無視している。

手法：PRiSE-EEG

著者は、共有される EEG の規則性とタスク固有の専門化のバランスを取るために設計されたフレームワーク、PRiSE-EEG（深さ層別専門家を備えた事前知識誘導型 EEG 基盤モデル）を提案する。このアーキテクチャは 3 つの中核コンポーネントから構成される：

1. 事前知識誘導型連続トークン化

離散的なトークン化の代わりに、PRiSE-EEG は、弱いセンサー空間の事前知識と動的相互作用を統合することで、連続的なマルチチャネル EEG パッチを形成する：

• 静的パス：定義された解剖学的領域（例：前頭葉、頭頂葉）および機能的ネットワーク（例：デフォルト・モード・ネットワーク、サルエンス・ネットワーク）に基づき、学習可能なクエリとアテンションバイアスを利用する。学習可能な緩和項（$\Delta_{pri}$）により、モデルは訓練中にこれらの弱い事前知識を調整でき、硬直的な解剖学的割り当てを強制しない。
• 動的パス：サンプル依存のサブ秒チャネル相互作用を捉える。パッチをマイクロフレームに分割し、遅延制限付きチャネル親和性を計算して動的なグループクエリを形成する。Gumbel セレクターが、各サンプルに対して最も情報量の多いフレームペアグループを識別する。
• 出力：これらのパスは、モンタージュの異質性を処理しつつ神経科学的構造を注入する、連続的なグループトークンを生成する。

2. CKA 較正された深さ層別専門家

最適化の競合と層ごとの表現の違いに対処するため、このモデルは、共有専門家と専門的専門家の割り当てが層の深さによって決定される Mixture-of-Experts（MoE）アーキテクチャを採用する：

• パイロット分析：主要モデルの訓練前に、混合パラダイムバッチ上で密な「パイロット」トランスフォーマーを訓練する。層全体で Centered Kernel Alignment（CKA）を計算し、パラダイム間類似性とパラダイム内類似性の比率を測定する。
• 較正ルール：パラダイム間類似性が高い層（浅い層）には、より高い割合の共有専門家が割り当てられる。類似性が低い層（深い層）には、より多くの専門的専門家が割り当てられる。
• 実装：この割り当ては、パイロットの CKA メトリックに基づいたシグモイド関数を通じてマッピングされ、主要訓練フェーズ中に固定される。これにより、初期ブロックは一般的な EEG 規則性を保持し、後続のブロックはタスク固有の変換に特化することが保証される。

3. 訓練戦略

• 事前学習：モデルは、3 つの自己教師あり目的（マスク付き時間パッチ再構成（MAE-TP）、マスク付きチャネル再構成（MAE-CH）、未来パッチ予測（GPT））を使用して、17 の多様な公開データセット（28,000 時間以上）で事前学習される。
• 微調整：PRiSE-EEG は、パラメータ爆発を招かずに構造化情報を保持するため、時間次元とグループ次元を別々に平均化するタスク固有の双ストリーム MLP ヘッドを備えた、統一された複数データセット微調整をサポートする。

主な貢献

1. パラダイム間競合の特性評価：著者は、異質な EEG タスクが競合する勾配更新を引き起こし、表現類似性が（一般的から具体的への）深さ方向の遷移に従うことを実証的に示し、均一でない専門家割り当ての動機付けを行った。
2. CKA 較正された深さ層別専門家：ブロックごとの CKA 共有性を単純なシグモイド規則を用いて共有専門家の割合に変換する新規メカニズム。均一なヒューリスティックではなく、表現幾何学に基づいて容量割り当てを動的に調整する。
3. 事前知識誘導型連続トークン化：弱い静的領域/ネットワーク事前知識と動的短時間窓相互作用を組み合わせるトークン化方式。硬直的な解剖学的制約を回避しつつ、構造化されたセンサー空間情報を活用する。
4. 包括的な検証：モデルは、10 のタスクカテゴリ（例：発作検出、感情認識、睡眠ステージ分類）を網羅する 12 の公開ベンチマークで検証され、堅牢なパラダイム間性能を示した。

実験結果

12 の EEG データセットで評価された PRiSE-EEG（特に約 4100 万パラメータの B バリアント）は、一致したプロトコル下で最先端または競争力のある結果を達成した：

• 性能向上：疾患関連タスクおよび認知タスク（例：ADFTD、SEED-V、Workload）において主要指標で 6〜8% の有意な改善を示し、TUEV や PhysioMI などのタスクでは 2〜5% の一貫した向上が見られた。
• アブレーション研究：
  • トークン化から静的パスまたは動的パスのいずれかを除去すると、3% 以上の性能低下を招いた。
  • 専門家の比率シーケンスを逆転させる（浅い層により多くの専門的専門家を割り当てる）と、最大 8% 以上の低下を招き、深さ層別割り当ての必要性を確認した。
  • 固定された共有専門家比率を使用することは、CKA 較正アプローチよりも劣っていた。
• スケーリング：モデルはモデルサイズ（最大 1 億 2500 万パラメータ）および事前学習データ量（最大 28,000 時間）の両方に対して予測可能なスケーリング挙動を示し、高い $R^2$ 値はスケーリングに伴い性能が向上し続けることを示している。
• 解釈可能性：Grad-CAM 可視化により、モデルが神経科学的に妥当な領域（例：感情に対する前頭葉/側頭葉、睡眠ステージに対する頭頂葉）に注意を向け、既知の病理学的パターンに基づいて AD と FTD を正しく区別することが確認された。

意義と主張

本論文は、PRiSE-EEG が、共有される EEG の規則性とタスク固有の専門化のバランスを取るためのコンパクトなフレームワークを提供すると主張している。その意義は以下の点にある：

• 均一な適応を超えて：基盤モデルにおける専門家の専門化は、入力適応のみではなく、密なパイロットモデルによって学習された表現構造に応じて深さ層別であるべきであることを実証する。
• 弱い事前知識の活用：弱いセンサー空間の事前知識（領域とネットワーク）および動的相互作用を組み込むことが、硬い解剖学的制約を必要とせずに堅牢性を向上させることを示す。
• 統一学習：単一の事前学習バックボーンが、統一された微調整を通じて多様な臨床および認知タスクに効果的に適応でき、タスク固有のアーキテクチャの必要性を減らすことを検証する。

著者は控えめに、モデルが効果的にスケーリングする一方で、現代の言語/ビジョン基盤モデルよりも小さく残っており、将来の研究でマルチモーダルシナリオ（例：ビデオ -EEG）へのフレームワークの拡張や、新規タスクへのゼロショット一般化の達成が必要であると指摘している。