技術的サマリー：EEG-FM-Audit

問題定義

大規模な EEG ファウンデーションモデル（FM）が多様な認知タスクにおける EEG 信号のデコーディング可能性を示してきた一方で、既存の文献には 3 つの重大な限界が存在する：

1. 不透明なベースラインチューニング：FM と従来の教師ありモデルとの比較において、教師ありベースラインの最適化が透明性を欠いていることが多い。従来の深層学習モデルは通常ゼロから訓練され、ハイパーパラメータ設定に極めて敏感であるにもかかわらず、それらは FM と比較される際、最適化されていない設定やデフォルト設定で用いられることが多い。これにより「最適化ギャップ」が生じ、報告された FM の優位性は、本質的なアーキテクチャの優越性ではなく、不適切なベースラインチューニングに起因する可能性がある。
2. 検証されていない学習パラダイム：既存の研究は、モデルの層よりも、大規模な事前学習や事前学習済み言語モデルのバックボーンの統合といった、基盤となる学習パラダイムの有効性に焦点を当てていない。FM アーキテクチャの複雑さの増加が具体的な性能向上をもたらすのか、あるいは特定のコンポーネントが単に冗長なのかは不明確なままである。
3. 神経生理学的解釈可能性の欠如：現在の評価は、FM を「ブラックボックス」として扱うことが多く、確立された神経科学の知見と整合する有効な時間的、空間的、スペクトル的な EEG 特性をこれらのモデルが利用しているかどうかの厳密な分析が欠けている。

手法：EEG-FM-Audit パイプライン

これらのギャップに対処するため、著者は 3 つの主要なコンポーネントからなる体系的な評価・分析パイプラインであるEEG-FM-Auditを提案する：

1. ASHA 駆動のベンチマークプロトコル

公平な比較を確保するため、著者は非同期逐次ハルビングアルゴリズム（ASHA）に駆動された 2 段階のベンチマークプロトコルを実装する：

• ステージ 1（ハイパーパラメータ探索）：ASHA を用いて、各教師ありベースラインモデルのハイパーパラメータ空間（$\Omega$）を探索し、検証用バランス精度に基づいて最適な設定（$\Theta^*$）を特定する。重要なことに、データ漏洩を防ぐため、テストデータはこの探索から厳密に除外される。
• ステージ 2（完全再訓練とベンチマーク）：ベースラインモデルを、最適化された設定（$\Theta^*$）とデフォルト設定（$\Theta_{def}$）の両方を使用してゼロから再訓練する。最終的に報告される性能は、これら 2 つのバージョン間の優れた結果を反映し、ベースラインがその到達可能なピークの実装を表すことを保証する。

2. パラダイムレベルの除去実験

著者は FM を分解し、3 つの除去実験を通じて特定の学習パラダイムの貢献を分離する：

• 事前学習ソース除去：大規模な異種事前学習の必要性を評価するため、完全な FM と、ターゲットデータセットのみで事前学習されたバリアントを比較する。
• LLM-Rep 除去：FM エンコーダを事前学習を除去した従来の教師ありフレームワークに再構築し、性能向上が事前学習戦略に起因するのか、それとも基盤となるアーキテクチャに起因するのかを判定する。
• No-GPT 除去：事前学習済み言語モデルのバックボーン（例：GPT-2）をランダムに初期化された自己注意層に置き換え、言語的事前知識が神経デコーディングに与える特定の貢献を評価する。

3. 神経生理学的プロービング（NPP）フレームワーク

このフレームワークは、代理信号を用いてモデルが特定の生理学的特徴にどの程度依存しているかを定量化する：

• 時間的プロービング：位相ロックされた時間構造を破壊しつつ、空間共分散とパワースペクトルを維持するために、フーリエ位相ランダム化（FPR）を使用する。
• 空間的プロービング：特定の脳葉に対応する定義済みの関心領域（ROI）に信号認識型ガウスノイズを注入し、空間依存性を評価する。
• スペクトルプロービング：標準的な EEG 周波数帯域（例：アルファ、デルタ、ベータ）を選択的に除去するスペクトル除去を行い、周波数固有の特徴への依存度を測定する。

実験設定

本パイプラインは以下の対象に適用された：

• 4 つの最先端 EEG-FM：NeuroGPT、LaBraM-Base、NeuroLM-B、および EEGPT-Large。
• 5 つの教師ありベースライン：EEGNet、CSPNet、TS-SEFFNet、MSCFormer、および CTNet。
• 3 つの公開データセット：イベント検出の TUEV、異常検出の TUAB、およびモーターイメージの BCI Competition IV-2b。

主要な結果

1. 公平なベンチマーク結果

• 競争力のあるベースライン：適切にチューニングされた教師ありベースラインは、特に小規模データセット（例：BCI IV 2b）や特定の臨床タスク（TUAB）において、高度な FM と同等かそれ以上の性能を発揮し得る。例えば、BCI IV 2b において、ASHA 最適化を施した単純な EEGNet は、バランス精度で最良の FM を約 0.035 上回った。
• パラメータ効率：これらの高性能ベースラインは、FM（例：約 580 万〜2.53 億）と比較して、はるかに少ないパラメータ数（例：約 1.6 千〜33.7 万）で済む。
• 最適化の影響：ASHA による体系的なハイパーパラメータ最適化は、教師ありベースラインに大幅な性能向上をもたらした（例：バランス精度で 0.028〜0.074 の改善）。これは、過去の研究がベースラインの能力を過小評価していた可能性を浮き彫りにしている。

2. パラダイムレベルの知見

• 事前学習の必要性：大規模事前学習の有効性は、モデルアーキテクチャとデータセットの規模に強く依存する。離散トークン化モデル（LaBraM、NeuroLM）は大規模事前学習に大きく依存するのに対し、連続表現モデル（NeuroGPT、EEGPT）はターゲットのみの事前学習でも競争力のある性能を達成できる。ただし、すべてのモデルは、ターゲットのみの事前学習に制限された場合、小規模データセットで性能が低下した。
• LLM バックボーン：事前学習済み言語モデルの貢献はアーキテクチャによって異なる。生成ベースの FM（NeuroLM）では、言語バックボーンを除去すると予測が崩壊した。一方、直接分類ベースの FM（NeuroGPT）では、事前学習済み GPT コンポーネントはドメイン外タスクにおける汎化性を向上させたが、ドメイン内タスクでは限定的な、あるいはわずかに負の影響しか与えなかった。

3. 神経生理学的妥当性

• 時間的依存性：評価されたすべての FM は、時間的位相構造がランダム化された場合に性能が低下し、時間的依存性を活用していることが確認された。連続表現モデルは、離散モデルよりも位相ランダム化に対してより高い感度を示した。
• 空間的・スペクトル的整合性：FM は、確立された神経科学文献と整合するタスクに合致した領域的焦点（例：てんかん検出における前頭葉/側頭葉）とスペクトル感度（例：てんかんにおけるデルタ帯、モーターイメージにおけるアルファ/ベータ帯）を示した。

意義と主張

本論文は、EEG-FM-Auditが、EEG ファウンデーションモデルの公平かつ包括的な評価のための厳密で確立されたパイプラインをコミュニティに提供すると主張する。その主な貢献は以下の通りである：

1. 評価バイアスの是正：最適化された教師ありベースラインが FM と競合し得ることを実証することで、FM が本質的に優れた性能を持つという仮定に挑戦し、報告された多くの性能向上が不適切なベースラインチューニングの産物であることを示唆する。
2. 複雑性の解離：除去実験により、FM の「シグネチャ」（時間的、空間的、スペクトル的）が均一的に有益ではないことを明らかにし、その有効性はデータセットの規模と特定のアーキテクチャ選択に依存することを示した。
3. 解釈可能性の確立：NPP フレームワークは、FM が生理学的知見と整合する意味のある神経表現を学習していることを検証する方法を確立し、ブラックボックス的な性能指標を超えた評価を可能にする。

著者は結論として、FM は有望であるが、すべてのシナリオにおける EEG 分類において決定的な優位性をまだ持っておらず、その有用性は利用可能なデータの規模と学習パラダイムの具体的な設計に強く依存すると述べている。