Reconstructing the brain’s language network from non-invasive EEG enables interpretable speech decoding

何十年もの間、科学者たちは、口を動かす能力を失った人々に再び言葉を取り戻すことを願い、外部から脳の言語を直接読み取ることを夢見てきました。脳は電気活動による広大で騒がしい都市であり、私たちが言葉を考えるとき、特定の領域が正確な順序で光り輝きます。しかし、手術なしでこの活動を捉えることは、満員のスタジアムで行われている単一の会話を、駐車場から聞き取ろうとするようなものでした。信号は弱く、混ざり合い、個人によって大きく異なります。従来の脳波をテキストに変換する試みは、多くの場合、強力なコンピュータプログラムという「ブラックボックス」に依存してきました。これらのプログラムは、データの統計的なパターンを見つけ出すことで次の単語を推測することを学習しますが、脳が実際にどのようにその思考を生み出したのかというプロセスについては何も示さず、なぜ時として失敗するのかについても説明しません。基礎となるメカニズムを理解しなければ、これらのシステムは異なる人々や異なる種類の言語タスクに対して安定して動作することに苦労し、普遍的なコミュニケーション・デバイスという約束を、すぐ手の届かない場所に置き去りにしたままにしてしまいます。

現在、深センと香港の研究チームが、異なる道を提案しています。それは、単なる推測を超えて、脳の言語ネットワークの実際のマップを再構築する道です。彼らは、脳をブラックボックスとしてではなく、特定の規則を持つ物理的なシステムとして扱うCAGNNFと呼ばれる新しいフレームワークを開発しました。このシステムは、頭皮上の生の電気信号から文章のテキストへと直接飛びつくのではなく、まず脳の内部活動の動的な三次元モデルを構築します。ここでは「神経摂動推論（neural perturbational inference）」と呼ばれる手法を用い、脳の一箇所で発生した活動の火花が、どのように外側へと波及して他の領域に影響を与えるかを追跡します。これは、池に石を投げ込み、波が広がる様子を観察することに似ています。このモデルを生物学的な現実に根ざしたものにするため、彼らはヒトの皮質の実際の形状と構造に基づいた幾何学的制約を加え、再構築された活動が、空中に浮遊するのではなく、脳の自然なハイウェイに沿って流れるようにしました。

このプロセスの結果として得られるのは、脳内の言語ネットワークが作動している様子を示す、明確で解釈可能なマップです。研究者たちは、このマップが、言語にとって極めて重要であるとされる領域、具体的には文の理解に不可欠な経路である腹側流を形成する側頭領域を一貫して強調していることを発見しました。これは単なる理論的な演習ではありませんでした。このシステムは、中国語と英語の両方で、人々が静かに読書をしている間に記録された脳波からテキストを解読することに成功しました。テストにおいて、この新しいアプローチは既存の最先端の手法を凌駕し、従来の最高モデルと比較して、デコードされたテキストのエラー数を最大11パーセント減少させました。決定的なことに、このシステムは、人が画面上の単語を読んでいるときも、話されている言葉を聞いているときも、脳の言語ネットワークが同様に機能していることを証明しました。これは、言語の核となる仕組みが異なる感覚間で共有されていることを示唆しています。

この研究が特に重要である理由は、デコードのエラーを診断ツールへと変えた点にあります。システムは言語処理の段階を理解しているため、どこで間違いが起きたのかを正確に特定することができます。研究者たちは、文字の形を認識する際のエラーは初期の視覚処理信号に関連しており、単語を見落とすエラーは注意に関連する信号に結びついており、意味の理解におけるエラーは意味統合に関連する信号に繋がっていることを発見しました。これらの具体的な失敗点を特定することで、システムは標的を絞った修正を適用することができ、エラー率をさらに8パーセント以上低下させることができました。間違いを脳の処理チェーンにおける特定の瞬間にまで遡って特定できるこの能力は、従来のメソッドには欠けていた明晰さを提供し、デコードのプロセスを統計的な推測から、生理学的に裏付けられた再構築へと変貌させました。

また、この研究は、このシステムが新しい個人に迅速に適応できることも実証しました。非常に少ない例からモデルを学習させる技術を用いることで、研究者たちは、わずか100文の読書データがあれば、新しい人の脳に合わせてシステムを校正できることを示しました。この効率性は、核となる言語ネットワークが、最小限のトレーニングで捉えられるほど安定していることを示唆しており、このような技術を長期的な使用に向けて実用化するための重要なステップとなります。現在のシステムは、データを記録した後に処理を行う「オフライン」の設定で動作していますが、研究者たちは、その速度がすでにリアルタイム通信に必要なレベルに近づいていると指摘しています。頭皮上の電気信号、再構築された脳内の言語ネットワーク、そして最終的なテキストとの間の、明確で解釈可能なリンクを確立することで、この研究は、強力であるだけでなく、理解可能で信頼できるブレイン・コンピュータ・インターフェースへの具体的な一歩を提示しています。