人間の脳は、目に飛び込んでくる光を、私たちが知覚する豊かで色彩豊かな世界へと変える、広大で複雑な機械です。何十年もの間、科学者たちはこれが正確にどのように行われているのかを理解しようと試み、単純な線や色から「犬」や「車」といった複雑な概念に至るまでの経路をマッピングしてきました。近年、その逆を行おうとする新しい分野が登場しました。それは、脳の電気活動を読み取り、その人が何を見ているのかを再構成しようとする試みです。これが「神経視覚デコーディング（neural visual decoding）」の領域です。頭皮にセンサーを取り付けて脳波を測定することで、研究者たちは、そのノイズが多く混沌とした信号を、その人が見ている画像へと翻訳することを目指しています。これは、生物学的な精神とデジタル世界の間に架け橋を築くための探求であり、言葉を発さずにコミュニケーションをとったり、盲目の人に視力を回復させたりするための将来的なテクノロジーを約束するものです。

長い間、この架け橋を築くための標準的なアプローチは、特定の仮定に基づいていました。それは、画像の最終的な理解こそが、一致させるべき最も重要な部分であるという仮定です。研究者たちは、物体を認識するように訓練されたコンピュータプログラム（例えば、猫と犬を区別することを学んだ洗練されたデジタルな「目」のようなもの）を使用し、脳の信号を、その画像に対するコンピュータの最終的かつ高次な結論と比較してきました。もしコンピュータが「猫」と言えば、脳も自身の電気的な言語において「猫」と言っているはずだ、という考え方です。しかし、この手法はしばしば壁に突き当たりました。コンピュータのプログラムがいかに強力になっても、脳信号から画像を正確に再構成する能力は向上しませんでした。実際、最も高度なコンピュータモデルが、より単純なモデルよりも性能が悪くなることさえあり、なぜ機械の知能が高まっても心の読み取りが向上しないのかについて、科学者たちを困惑させました。

『Transactions on Machine Learning Research』に掲載された新しい研究は、この長年の仮定に異を唱えています。ピッツバーグ大学などのチームが率いる研究者たちは、問題はコンピュータの知能にあるのではなく、比較の「タイミング」にあると提案しています。彼らは、脳は単に物体の最終的なラベルを保存しているのではなく、光の最初の閃光や色彩から最終的な概念に至るまで、視覚体験の詳細で多層的な記録を保持していると主張しています。脳の信号をコンピュータの最終的で抽象的な結論にのみ一致させようとすることは、脳に対して、画像の豊かな詳細をすべて忘れ、物体の名前だけを記憶するように強いるようなものでした。これは、四角い杭を丸い穴に無理やり押し込もうとするような、ミスマッチを生み出していたのです。

これを解決するために、チームは「シャロー・アライメント（Shallow Alignment：浅い整合）」と呼ぶ手法を開発しました。コンピュータプログラムが最終的な結論に達つのを待つのではなく、コンピュータの中間ステップに対して脳の電気信号を比較し始めたのです。コンピュータプログラムがダチョウの写真を分析している場面を想像してみてください。初期のステップでは、細長く細い脚や特定の質感に注目します。中間のステップでは、鳥の形を認識します。そして最終ステップに到達して初めて、「これはダチョウである」と判断します。研究者たちは、頭皮のセンサーで測定される脳の信号には、これらすべての詳細が混ざり合っていることを発見しました。脳の信号を、画像がまだ詳細でありながらも意味を持ち始めている状態である、コンピュータの中間層の観察結果と一致させたところ、結果は劇的に改善されました。

チームはこのアイデアを検証するため、人々が数千種類の物体を見ている間の、電気活動と磁場をそれぞれ測定した2つの大規模な脳記録データセットを使用しました。彼らは、この新手法を既存の最高の手法と比較しました。その差は歴然でした。脳波に基づいて人がどの画像を見ているかをコンピュータが推測するテストにおいて、新手法は精度を大幅に向上させました。テストした最も高度なコンピュータモデルの一つでは、成功率が約17パーセントから、ほぼ83パーセントへと跳ね上がりました。これは単なる小さな微調整ではなく、脳と機械の接続方法における根本的な転換でした。

おそらく最も驚くべき発見は、より大規模で強力なコンピュータモデルを使用したときに起こったことです。古い手法の下では、コンピュータを賢くすることが、かえってデコーディングの精度を低下させることがありました。著者たちが「深度容量パラドックス（depth-capacity paradox）」と呼ぶこの現象です。コンピュータが画像を単純なラベルへと圧縮すればするほど、脳の信号と一致させることが困難になったのです。しかし、この新しい「シャロー・アライメント」手法を用いると、その逆が起こりました。コンピュータモデルがより大きく、より有能になるにつれて、デコーディングの性能は一貫して向上しました。研究者たちは、適切な詳細レベルに一致させることで、ついに人間の思考を読み取るための、これらの巨大なデジタル脳の全潜在能力を解き放つことができることを示しました。

また、この研究は、脳の信号が単に最終的な物体の名前についてのだけではないことも明らかにしました。研究者が、コンピュータが間違いを犯したときに何を「見ていた」かを調べたところ、古い手法では、カテゴリは正しいものの形状が異なる画像が頻繁に呼び出されることがわかりました。例えば、人がダチョウを見ているとき、古い手法では、動物としてはすべて鳥の仲間であるが、ダチョウ特有の長い脚を持たない羊やハトの画像が呼び出されることがありました。しかし、新手法は、たとえ他のオブジェクトがテーブルやベビーベッドのように全く異なるものであったとしても、ダチョウや、それらと共通する構造的な詳細（長い、細い支持脚など）を共有する画像を正常に呼び出すことができました。これは、脳が単に属するカテゴリだけでなく、私たちが目にしているものの物理的な形状や質感をも保持していることを示唆しています。

この結果が特定のコンピュータモデルによる偶然の的中ではないことを確認するため、研究者たちは、古い単純な設計から最新の最も複雑なシステムに至るまで、幅広いデジタル・アーキテクチャを用いて彼らのアプローチをテストしました。あらゆるケースにおいて、コンピュータの処理の中間層を見ることが、最終層を見ることよりも優れた結果をもたらしました。また、最も優れた層はすべてのモデルで同じではないことも発見しました。それはモデルの深さと複雑さに依存していました。あるモデルでは、処理の約3分の1の地点が最適であり、別のモデルでは、3分の2に近い位置でした。この柔軟性は、鍵となるのが単一の「魔法の層」ではなく、コンピュータの内部表現が脳の信号の自然な「粒度」と一致する特定のポイントを見つけることにあることを示唆しています。

この研究の含意は、脳・コンピュータ・インターフェースの未来にとって極めて重要です。それは、脳を読み取る際のボトルネックが、計算能力やデータの不足ではなく、脳が世界をどのように表現しているかという誤解にあることを示唆しています。脳の自然で多層的な見方に合わせることで、画像を単一の抽象的な箱に押し込めるのではなく、デジタルツールの豊かで中間的な詳細を利用して、私たちの精神の同様に豊かで中間的な詳細をデコードすることができるのです。この研究は、進むべき道は、脳の視覚プロセスの複雑さを尊重することにあると結論づけています。つまり、私たちのデジタルツールの豊かな中間的詳細を用いることで、私たちの精神の等しく豊かな中間的詳細を解読できるのです。このアプローチは、フラストレーションの溜まる行き止まりを、明確な前進への道へと変え、時には全体像を理解するために、最終的な答えが書かれる前の「パーツ」を見なければならないことを教えてくれます。