EEG-FM-Bench: A Comprehensive Benchmark for the Systematic Evaluation and Diagnostic Analyses of EEG Foundation Models

脳波（EEG）を用いたブレイン・コンピュータ・インターフェース（思考を読み取るEEGヘッドセットなど）の分野を、誰もが最高の「脳の翻訳機」を作ろうと奮闘している賑やかな都市だと想像してみてください。長い間、研究者たちは膨大な量の脳信号データにモデルを学習させることで、これらの翻訳機（EEG基盤モデルと呼ばれます）を構築してきました。その狙いは、モデルに脳の普遍的な言語を学習させ、新しいタスク（睡眠段階の検出や発作の特定など）に直面した際、毎回ゼロから再学習する必要がないようにすることでした。

しかし、大きな問題がありました。誰も、これらのモデルがいかに優れているかについて、共通の言語を持っていなかったのです。

問題点：標準的な定規のない都市

あらゆる自動車メーカーが、異なるコースで、異なる天候の下、異なる燃料を使い、異なる審判によって新しいエンジンのテストを行っている状況を想像してみてください。ある会社は「我々のエンジンは最も速い！」と言い、別の会社は「我々のエンジンは最も効率的だ！」と言うかもしれません。しかし、テストの方法があまりに異なっていたため、それらを比較することはできませんでした。

EEGモデルの世界では、研究者たちはまさにこれを行っていました。彼らは異なるデータセット、異なる脳信号のクリーニング方法、そして異なるテスト手法を用いていました。これにより、どのモデルが本当に優れているのか、あるいはなぜ特定のモデルが他よりも優れた結果を出すのかを知ることは不可能でした。それはまるで、目隠しをした状態でリンゴとオレンジを比較しようとしているようなものでした。

解決策：EEG-FM-Bench（ユニバーサルなテストコース）

この論文の著者たちは、これらの脳の翻訳機のための、大規模で標準化されたテストコースとして機能するEEG-FM-Benchを構築しました。

• コース： 彼らは、10種類の異なる脳タスク（手の動きを想像する、感情を認識する、睡眠段階を検出するなど）をカバーする14の異なるデータセットを集めました。
• ルール： 彼らは厳格で公平なルールを作成しました。すべてのモデルは、同じデータクリーニングプロセスを経、同じテスト方法を用い、同じ指標によって判定されなければなりません。
• メカニズム： 彼らは単に最終スコアを見るだけではありませんでした。モデルがどのように「考え」、その内部の歯車（勾配や表現）がトレーニング中にどのように動くのかを分析するためのツールも構築しました。

彼らが発見したこと（レースの結果）

トップクラスのモデルをこの公平なテストコースに走らせたところ、いくつかの驚くべき事実が判明しました。

1. 「凍結された」エンジンの問題
多くの研究者が、事前学習済みモデルを使用する際、その「脳」を「凍結」（内部設定を変更しない）し、特定のタスクを解くための単純な新しい「ヘッド（出力層）」を追加する手法を試みました。

• 比喩： これは、フランス料理の作り方を熟知した高度な訓練を受けたシェフに対し、包丁の技術や食材を変えさせずに寿司を作らせるようなものです。
• 結果： それはうまくいきませんでした。モデルが新しいタスクを実際に学習するためには、「凍結」を解いて微調整（ファインチューニング）する必要があったのです。事前学習された知識は、そのまま直接使える状態ではなかったのです。

2. 「グループ学習」の効果（マルチタスク学習）
彼らは、一度に多くのタスクを教えること（数学、歴史、科学を同時に学ぶようなこと）と、一つずつ教えることの違いをテストしました。

• 比喩： 時には、複数の試験に向けて一緒に勉強することで、全体像を把握しやすくなり、特定の質問だけを丸暗記してしまうこと（過学習）を防げることもあります。しかし時には、科目が衝突して混乱を招くこともあります。
• 結果： 通常、複数のタスクを同時に学習することは、モデルをより堅牢にするための役立つ「正則化」として機能しました。しかし、特定のタスク（運動イメージなど）においては、他のタスクと混ぜることで性能が低下することがありました。これは繊細なバランスの問題です。

3. サイズがすべてではない
「大きいことは良いことだ」という前提のもと、モデルをより大きくし、より多くのデータを入力しようとする強い動きがありました。

• 比喩： 図書館にあるすべての本を読んだとしても、試験の具体的な問い方にどう答えるかを理解していなければ、試験に落ちてしまう学生を想像してください。
• 結果： 単にモデルを大きくしたり、より多くのデータを与えたりすることが、必ずしも良い結果を保証するわけではありませんでした。モデルのデザインと、学習の目的がいかに最終的なタスクと一致しているかの方が、はるかに重要でした。脳信号のために特別に設計された小さな特化型モデルが、巨大なモデルを凌駕することがありました。

4. 「ヘッド」が重要である
「ヘッド」とは、モデルが最終的な決定（例：「これは発作である」または「これは幸せである」）を下す部分のことです。

• 比喩： 素晴らしいエンジンを持っていても、そこに小さくて弱いステアリングホイールを取り付けてしまえば、車は望む方向へは進めません。
• 結果： 単純なタスクには単純な「ヘッド」が最適でした。しかし、動きを想像するといった複雑なタスクには、微細な詳細を捉えるためのより複雑な「ヘッド」が必要でした。「万能なデコーダー（復号器）」というものは存在しないのです。

5. 脳内の「衝突」
彼らはモデルの内部的な数学的構造を調査し、ある衝突を発見しました。

• 比喩： モデルは「次の文章の断片を予測すること（再構成）」を学習するように訓練されていますが、テストでは「特定の感情を識別すること（分類）」が求められます。これら二つの目標は、しばしばモデルを相反する方向へと引き合い、綱引きをしているような状態になります。
• 結果： この「勾配の衝突（gradient conflict）」により、膨大なデータがあっても、モデルは正しいことを効率的に学習できていませんでした。学習の目的（目的関数）は、私たちが実際にさせたいタスクとより良く一致させる必要があります。

結論

この論文は、単に新しいモデルを構築しただけではありません。分野全体のルールブックとスコアボードを構築したのです。脳の翻訳機のテスト方法を標準化することで、著者たちは混乱を止め、研究者が「何が機能し、何が機能せず、なぜそうなるのか」を正確に理解できるようになることを期待しています。彼らは、規模を拡大すること（スケールアップ）も有用ではあるものの、真のブレイクスルーは、より優れた設計、よりスマートな学習目標、そして脳信号特有の性質を理解することから生まれることを明らかにしました。