🤖 AI

Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models

本論文は、EEG 基盤モデル向け CBraMod トランスフォーマーバックボーン内で 5 つの位置符号化戦略をベンチマークし、タスク間で単一の戦略が他を普遍的に凌駕することはないことを明らかにし、その中で球面位置符号化は運動イメージングにおいて優れ、非対称条件付き位置符号化は多様なデコーディングシナリオにおいてより一貫した性能を提供することを示している。

原著者： Ayse Betul Yuce, Sebastian Stober

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ayse Betul Yuce, Sebastian Stober

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたの脳を巨大なオーケストラだと想像してください。EEG（脳波図）は、そのオーケストラが奏でる音楽を記録するために用いる技術です。この音楽を理解するために、科学者たちはトランスフォーマーと呼ばれる強力な AI モデルを使用します。これらのモデルは、超優秀な指揮者のように、録音された音楽を聴き、演奏者（あなたの脳細胞）が何をしているのかを解き明かすことができます。

しかし、一つの問題があります。トランスフォーマーは本質的に、物事がどこで起こっているかに対して「音痴」なのです。オーケストラの演奏者の順序を入れ替えても、トランスフォーマーは全く同じ曲を聴いていると認識します。しかし現実世界では、頭上の電極の位置は極めて重要です。額にある電極が聴く「音楽」と、頭の後部にある電極が聴く「音楽」は異なります。

この論文は、これらの AI 指揮者に電極の位置を教えるために、どの手法が最善かを試すための味見テストです。研究者たちは、標準的な AI モデル（CBraModと呼ばれる）を採用し、その「位置案内」を 5 つの異なる戦略に置き換えて、どの手法が脳信号の理解をより助けるかを確認しました。

以下に、彼らがテストした 5 つの「位置案内」の概要を示します。

1. 「地図なし」戦略（NoPE）

これは対照群です。AI は脳信号を与えられますが、電極の位置に関する情報は一切与えられません。まるで指揮者に楽譜は与えるものの、「どの楽器がどの音を奏でているかを知る必要はない；推測するだけでいい」と言われるようなものです。

結果: AI は最も苦労しました。これは、信号がどこから来るかを知ることは学習にとって決定的に重要であることを証明しました。

2. 「柔軟な近隣」案内（ACPE）

この手法は、各信号の直近の近隣を見るスマートな地図のようなものです。頭全体を固定された地図として見る代わりに、「今、この電極の隣には誰が座っているのか？」と問いかけます。これは畳み込み（コンボリューション）と呼ばれる特別な数学的トリックを用いて、レイアウトを動的に把握します。

結果: これは最も一貫した性能を示しました。「運動イメージ（手を動かすことを想像する）」と「感情認識（喜びや悲しみを感じる）」の両方で良好な結果を出しました。まるで、部屋に入るたびにその空間に適応する指揮者のようです。

3. 「地球儀」案内（SPE - 球状位置符号化）

これは著者らが考案したものです。人間の頭は丸いので、彼らは電極を地球儀上の点として扱いました。平坦なグリッドではなく、角度（緯度と経度のようなもの）を用いて各電極をマッピングしました。

結果: これは専門家でした。
- 運動イメージの場合: 優勝しました。動きを想像することは頭の特定の形状に大きく依存しているため、この「地球儀」地図が完璧に機能しました。
- 感情の場合: 失敗しました。感情は頭の正確な幾何学的形状をそれほど気にしない可能性があるため、この硬直的な地図はあまり役立ちませんでした。

4. 「翻訳付き地球儀」案内（SPE+Proj）

これは「地球儀」案内ですが、少しひねりを加えています。地球儀の地図を AI が好む形に「翻訳」しようとする、学習可能な小さな層を追加しました。

結果: 大きな助けにはなりませんでした。元の「地球儀」地図はすでに十分優れていたようで、翻訳者が追加されたことでわずかに混乱を招いたようです。

5. 「白紙」案内（学習可能 PE）

ここでは、AI に白紙の地図を与え、「学習中に自分で位置を把握せよ」と指示します。知識ゼロからスタートし、新しいタスクごとに電極の位置を一から学習します。

結果: 感情認識における驚きの勝者となりました。AI が感情タスクに特化して地図を再学習することを許された場合、最も良いパフォーマンスを発揮しました。ただし、これは重労働です。タスクを切り替えるたびに AI がすべてを再学習する必要があり、必ずしも効率的ではありません。

大きな教訓

研究者たちは、すべての脳タスクに通用する「完璧な」地図は存在しないことを発見しました。

運動の思考を検出したい場合、頭の丸い形状を尊重する幾何学的な地図（SPE）が優れています。
感情を検出したい場合、柔軟で近隣ベースの地図（ACPE）か、AI に地図を一から学習させる方法（学習可能 PE）の方が効果的です。
すべてを再学習させることなく、異なるタスク間で一貫して良好に機能する解決策が必要な場合、柔軟な近隣案内（ACPE）が最も信頼できる選択です。

要するに、平坦な街路地図を使って山岳地帯をナビゲートしないのと同じように、あらゆる種類の脳活動に対して単一の「位置案内」を使うべきではありません。最善の戦略は、その瞬間に脳が何をしているかに完全に依存します。

技術概要：トランスフォーマーベースの EEG ファウンデーションモデル向け位置符号化戦略のベンチマーク評価

問題定義

脳波（EEG）は、脳コンピュータインタフェース（BCI）応用における重要な非侵襲的技術であるが、低信号対雑音比と被験者間の高い変動性により、教師ありデコーディングモデルはタスク、被験者、データセット間での汎化に苦しんでいる。これを解決するため、自己教師あり学習で訓練されたトランスフォーマーベースのファウンデーションモデルが登場している。しかし、トランスフォーマーは本質的に置換不変であり、構造的依存関係をモデル化するために明示的な位置符号化（PE）を必要とする。

テキストトークンとは異なり、EEG 電極は頭蓋骨上に特定の空間分布を持つ。現在のトランスフォーマーベースの EEG ファウンデーションモデルは、チャネル固有の埋め込み、相対的時間符号化、学習済み埋め込みなど、この時空間構造を符号化するための多様かつしばしば比較不可能なメカニズムを採用している。電極配置の解剖学的な意味と、データセット間のチャネル配置（モンタージュ）の変動性を考慮すると、EEG デコーディングにおいてどの位置符号化戦略が最適であるかに関する体系的な評価が欠如している。

手法

著者は、時空間依存関係を捉えるためにクロスアテンションメカニズムを利用する自己教師あり EEG ファウンデーションモデルであるCBraModバックボーン内で、制御されたベンチマークを実施した。位置設計の影響を孤立させるため、本研究では元のトランスフォーマーアーキテクチャ、訓練プロトコル、ハイパーパラメータを維持し、位置符号化モジュールのみを置換した。

評価された位置符号化戦略

5 つの戦略を比較した：

位置符号化なし（NoPE）： 明示的な位置情報を持たないベースライン。
非対称条件付き位置符号化（ACPE）： EEG パッチの時空間近傍から深度方向 2 次元畳み込み（非対称カーネル $k_s > k_t$ を使用）を用いて位置表現を動的に生成する手法。絶対座標に依存することなく、長距離のチャネル間依存関係と短距離の時間的コンテキストを捉える。
球面位置符号化（SPE）： 本稿で提案された新規戦略であり、電極配置の球面幾何学を利用する。各電極の方位角（ $\theta$ ）と傾斜角（ $\phi$ ）を計算し、多周波正弦関数を用いて固定長の表現にマッピングする。学習可能なパラメータなしで、頭部サイズやスケーリングに不変な角度関係を符号化する。
投影付き SPE（SPE+Proj）： SPE の拡張版。チャネル埋め込みとパッチ埋め込みを、加算前に個別の学習可能な線形投影に通す。
学習可能 PE： 最終的な符号化を形成するために加算される、完全に学習可能なチャネルおよびパッチ埋め込み。これらは、下流のモンタージュが事前学習時と異なる場合、ファインチューニング中に再初期化され、ゼロから学習される。

実験設定

事前学習： マスク付きパッチ再構成目的を用いて、**Healthy Brain Network EEG（HBN-EEG）**データセット（3,000 人以上の参加者、128 チャネル）で実施。
下流タスク：
- 運動イメージング（MI）： PhysioNet MI データセット（64 チャネル、4 クラス）での分類。
- 感情認識： FACED データセット（32 チャネル、9 クラス）での分類。
評価プロトコル： リニアプロービング（バックボーンを凍結し、分類器のみを訓練）およびファインチューニング（すべての重みを更新）の下でモデルを評価。
指標： バランス正解率、コエンの kappa 係数、加重 F1 スコア。

主要な結果

本研究では、すべてのタスクおよびプロトコルにおいて一貫して他を凌駕する単一の位置符号化戦略は見つからなかった。性能はタスクに強く依存した：

運動イメージング（PhysioNet-MI）：
- SPEはリニアプロービングプロトコルで最良の性能を達成し、空間的活性化パターンが明確な場合、明示的な幾何学的事前知識が有益であることを示唆した。
- ACPEはファインチューニングプロトコルで最良の性能を達成した。
- NoPEはリニアプロービングでは一貫して最も弱かったが、ファインチューニング後は競争力のある性能を示し、バックボーンがエンドツーエンドの最適化を通じて位置構造を部分的に回復できることを示した。
感情認識（FACED）：
- ACPEおよび学習可能 PEが最良の結果をもたらした。
- SPEは両方のプロトコルにおいて他の戦略と比較して著しく性能が劣り、厳密な幾何学的事前知識が運動イメージングほど感情関連表現には寄与しない可能性を示唆した。
事前学習損失： 位置符号化がない場合、マスク付き再構成損失が最も高くなり、位置情報が事前学習表現の品質にとって不可欠であることを確認した。学習可能 PEおよびSPE+Projが最低の検証損失を達成した。

意義と結論

本論文は、EEG ファウンデーションモデルにおける最適な位置符号化戦略はタスク依存性があり、普遍的な解決策はないと結論づけている。

タスク固有性： 明示的な解剖学的幾何学を符号化する戦略（SPE）は、空間的識別性が強いタスク（例：運動イメージング）では有利であるが、空間パターンが厳密でないタスク（例：感情認識）では最適でない可能性がある。
汎化性対適応性： ACPE はパッチ内容から局所的な近傍パターンを学習することで一貫した性能を示し、明示的な座標知識を必要とせずに多様なタスクに対して頑健である。一方、学習可能 PE は異なるモンタージュに対して再初期化を必要とするが、モデルがターゲットデータセット上でゼロからタスク固有の空間構造を学習することを許容すれば、固定された戦略を上回る性能を発揮し得る。
実用的含意： SPE は、電極角度から事前計算される軽量でパラメータ不要かつモンタージュに依存しない代替手段を提供し、空間構造が関連し再訓練が望ましくない場合に実用的な選択肢となる。

著者は、性能差は比較的小さいものの、位置符号化モジュールのみが変更されたことを考慮すると測定可能かつ有意であると強調している。今後の研究としては、これらの戦略をより多様な EEG タスク、電極モンタージュ、および大規模な事前学習データセットにわたって探索し、トポロジーを認識する符号化の汎化性をさらに評価することが提案されている。