Decoding silent reading from non-invasive EEG

人間のコミュニケーションは、口、舌、声帯を動かして空気を音の形に変えるという、単純で物理的な行為に依存しています。病気や怪我がこの能力を奪うとき、人と外部の世界とのつながりは消滅してしまうことがあります。何十年もの間、科学者たちは、壊れた身体をバイパスして脳から直接思考を読み取る方法を模索してきました。これまでの最も成功した試みは、頭蓋骨の奥深くに電極を植え付け、個々のニューロンの電気的なざわめきを聴くという、外科手術を必要とするものでした。これらの侵襲的なツールは、脳の言語センターが高い精度でデコードできることを示してきましたが、それらは手術のリスクを伴い、それを必要とする大多数の人々が使用できるものではありません。大きな未解決の問いは、頭皮に配置されたセンサーを用いる非侵襲的な手法が、果たしてこれらのはかない思考を捉えるのに十分な感度を持ち得るのかという点でした。

脳の思考を非侵襲的に読み取ることの核心的な困難さは、単に信号が弱いことだけでなく、「地図」の欠如にあります。コンピュータに思考を認識させるには、特定の脳信号が発生したまさにその瞬間に、その人が何を考えていたかを知る必要があります。言葉を発する場合、これは簡単です。人は言葉を発し、それに合わせて記録が始まります。しかし、「内言（インナー・スピーチ）」、つまり静かな思考の場合、外部のマーカーが存在しません。人は文章を考えますが、それを完璧なタイミングで報告することはできません。人が「バナナのことを考えていた」と言う頃には、その思考を生み出した脳活動はとうに過ぎ去っています。正確なタイムスタンプがなければ、データはぼやけてしまい、内言をデコードしようとするこれまでの試みは、ランダムな推測を上回ることに苦慮してきました。

nubrainの研究チームは、異なるタスクを訓練の場として利用することで、このタイミングの問題を回避することにしました。参加者に言葉を想像させる代わりに、彼らに「読書」をさせたのです。読書は、心の中で静かに行われる言語処理の一種ですが、そこには組み込まれた「時計」が存在します。それは、単語が画面に現れる瞬間です。読書中の脳活動を記録することで、研究者たちは電気信号を、見ている特定の単語と一致させることができました。これにより、膨大な、かつ精密なデータセットを作成することができたのです。彼らの目標は、頭皮上の電気的パターンを見るだけで、コンピュータが特定の単語のユニークな脳のシグネチャーを認識することを学習できるか、そして、そのスキルがより困難な課題である「声に出さない思考」のデコードに最終的に応用できるかどうかを確認することでした。

この研究には、1人の参加者がコンピュータ画面上で連続する物語を約49時間にわたって読み続けるというプロセスが含まれました。テキストは「高速逐次視覚提示（rapid serial visual presentation）」と呼ばれる手法を用いて、一単語ずつ高速に連続して提示されました。コンピュータが単語の意味を学習し、単なる文字の形状を学習しないようにするために、研究者たちはすべての単訳のフォント、サイズ、色、および間隔を変更しました。これにより、脳は文字の視覚的なパターンではなく、言語そのものを処理しなければならなくなりました。参加者は19個のドライ電極を備えたキャップを着用しており、このセットアップは快適で使いやすいように設計されており、高速度で脳の電気活動を記録しました。

研究者たちは、これらの脳信号を読んでいる単語に一致させるようコンピュータモデルを訓練しました。彼らは、電気的パターンを、大規模言語モデルから導き出された単語のデジタルな「意味」と比較する高度なシステムを使用しました。コンピュータはゼロから単語を推測するのではなく、512個の可能性の中から正しい単語を選択するように設定されました。結果は明白でした。システムは、読んでいる単語を確実に特定でき、偶然による的中率を大幅に上回る性能を示しました。この成功は、頻繁に登場する一般的な単語だけでなく、稀で珍しい単語に対しても当てはまりました。

決定的なことに、研究者たちは2つの異なる種類の成功を区別することに細心の注意を払いました。コンピュータは、物語の一般的なトピックを知っているだけで、例えば農場についての話だから「犬」と推測するというように、正解に辿り着く可能性があります。これは、画面上の特定の単語を実際に認識しているわけではないかもしれません。これを排除するために、チームは特定の単語の信号と、物語の文脈（コンテキスト）の信号を分離する方法を開発しました。その結果、システムは物語の文脈を利用して助けを得てはいるものの、成功の大部分は特定の単語自体を特定することによってもたらされていることが分かりました。また、別のショートカットについても確認を行いました。つまり、コンピュータが脳信号ではなく、文中の位置に基づいて単語を推測しているのではないかという懸念です。脳データを隠し、位置情報だけを残した特定のテストを実行することで、コンピュータが位置ではなく、実際に脳活動を読み取っていることを確認しました。

この研究はまた、データの量が以前考えられていた以上に重要であることを明らかにしました。研究者たちは、全時間のわずかな一部から全49時間に至るまで、異なる量の訓練データを用いてシステムをテストしました。その結果、データが追加されるにつれてシステムの精度は向上し続け、限界に達した兆候は見られませんでした。これは、より優れたパフォーマンスへの障壁が技術的な根本的欠陥ではなく、単に、より多くの記録時間が必要であることであることを示唆しています。さらに、後頭部（視覚を処理する領域）に配置された電極を取り除いた場合でも、精度はわずかに低下したものの、システムは機能し続けました。これは、読書における脳信号が単なる視覚的なものではなく、頭皮からも検出可能な、より深い言語処理領域に関わっていることを示しています。

これらの知見は、非侵襲的なブレイン・コンピュータ・インターフェースへの有望な道筋を提示しています。この研究は、十分な高品質のデータがあれば、頭皮上のセンサーのみを使用して、脳活動から特定の単語をデコードすることが可能であることを実証しました。現在の研究は読書に焦点を当てていますが、著者らは、このアプローチが内言をデコードするための基礎となり得ると示唆しています。信頼性が高く、時間が固定された「読書」のデータを用いてシステムをまず訓練し、その後、その知識をより困難な課題である「静かな思考」へと転移させることで、科学者たちは最終的に、声を失った人々のコミュニケーションを回復できるかもしれません。この研究は、思考を即座に読み取る問題を解決したと主張しているわけではありませんが、十分な忍耐とデータがあれば、その信号はそこに存在し、発見されるのを待っているのだということを確立しました。