Deep-layer cortical tracking abruptly collapses in the absence of language comprehension

人間の脳は音の達人であり、混沌とした振動の奔流を取り込み、一貫した物語、明確な指示、あるいは共有されたジョークへと変えることができる。数十年にわたり、科学者たちはこの変容が段階的に起こることを知ってきた。まず、耳と脳の初期部分が、音のピッチ、音量、リズムといった生の物理的特性を捉える。その後、脳の他の部分がそれらの音を繋ぎ合わせ、言葉、文章、そして意味へと編み上げていく。しかし、単に音を聞いている状態と、その内容を理解している状態の間の境界線がどこにあるのかについては、長らく謎のままであった。流れるような会話の最中には、物理的な音と意味が非常に密接に織り込まれているため、どこで一方が終わり、もう一方が始まるのかを判別することはほぼ不可能である。この溝が重要なのは、理解がどこから始まるのかを知らなければ、重度の損傷などによって話したり動いたりすることができない人が、実際に周囲の世界を理解しているのかどうかを測定することが困難だからである。

研究チームは、脳を複雑な機械として扱い、それを高度なコンピュータモデルと直接比較するという新しい手法を用いることで、この境界を前例のない精度でマッピングすることに成功した。人々が自然な発話を聞いている間の脳の電気信号を記録し、それらの信号を言語を学習した人工知能の内部動作と照合させることで、彼らは明確な分水嶺を発見した。聞き手が言語を理解しているとき、脳の活動は意味を扱うコンピュータモデルの深く複雑な層と一致する。しかし、聞き手が知らない言語の音を聞いているとき、その深い繋がりは瞬時に消失する。脳は基本的な音を完璧に追跡し続けるが、高次の理解を司る脳の部分は、モデルへの追従を単純に停止してしまうのである。この発見は、脳の処理過程において「聞くこと」が「理解すること」へと変わる正確な瞬間を特定しており、聞き手が言葉を発せられない場合でも、理解が行われているかどうかを確認できる、明確で非侵襲的な方法を提示している。

この境界を見つけ出すために、研究者たちは強力なツール、すなわち音声を処理するために設計された大規模言語モデルである「Qwen2.5-Omni」というシステムを利用した。このモデルは、多層構造の工場のようになっている。最初の層はマイクロフォンの役割を果たし、生の音波を周波数や音量といった基本的な構成要素へと分解する。データが数十の層を経てモデルの深部へと進むにつれ、モデルはパターンや単語を認識し、最終的には概念間の複雑な関係性を認識し始める。研究者たちは、人間の脳もこれと同じ経路を辿っているのかどうかを知りたいと考えた。彼らは、英語のポッドキャストを聴いている英語のネイティブスピーカーと、ロシア語のポッドキャストを聴いているロシア語のネイティブスピーカーの脳活動を記録した。同時に、全く同じ音声データをコンピュータモデルに入力し、14万5千個の個別の人工ニューロンの活動が時間の経過とともにどのように変化するかを観察した。

結果は驚くべきものだった。ネイティブの聞き手においては、脳の活動は、音の処理を行う最初の層から、意味が構築される最も深い層に至るまで、コンピュータモデルと一致していた。それはまるで、脳とコンピュータが、層を重ねるごとに完璧に足並みを揃えて歩んでいるかのようであった。コンピュータモデルが単純な音の検出から複雑な言語理解へと移行するにつれて、人間の脳も同様に、わずかな遅延を伴いながら移行していくことが確認された。これは、脳が自然な発話を階層的な方法で処理していること、そしてこのプロセスが、同様の手法を用いる機械と比較することによって追跡可能であることを裏付けている。

理解と単純なリスニングが分岐する正確な地点を見つけ出すため、研究者たちは極めて重要な仕掛けを導入した。彼らはロシア語の音声を取り上げ、ロシア語を理解しない英語のネイティブスピーカーのグループに聞かせた。音波自体は、ネイティブのロシア語話者が聞いたものと物理的に同一であるが、このグループにとって、その音は単なるノイズであった。彼らはリズムや音量は聞き取れるが、意味を把握することはできない。研究者が、理解していない聞き手の脳活動をコンピュータモデルと比較したとき、劇的な変化が起こった。脳は依然としてコンピュータの初期の層とは完璧に一致しており、ネイティブスピーカーと同様の精度で基本的な音を追跡していた。しかし、コンピュータモデルが意味を構築し始めるより深い層へと移動した瞬間、人間との整合性は崩壊したのである。

この崩壊は唐突かつ完全であった。コンピュータモデルの特定の層を超えると、理解していない聞き手の脳は、コンピュータの内部状態を追うことを止めた。生き残ったわずかな接続は、単語や概念を追跡しているのではなく、音の大きさや単語の長さといった、最も基本的な物理的特徴のみを追跡していた。それはまるで、脳が流れの中から意味を見出せないことに気づき、複雑な層に存在する意味へと至る道を諦め、生のデータという安全な場所へと退却したかのようであった。研究者たちは、このモデルのアーキテクチャにおける特定の層において、この破綻点を高い精度で特定した。このことは、言語が馴染みのないものになったとき、脳が徐々に意味への把握力を失っていくのではなく、ある一定の壁に突き当たった瞬間に、高次の追跡機能が単に「オフ」になることを示唆している。

また、この研究は、この境界が曖昧な領域ではなく、明確な閾値であることを明らかにした。データを層ごとに分析することで、研究者たちは、高い追跡率から追跡なしへの遷移があまりに急激であるため、モデル内の単一の層にまで特定できることを発見した。この詳細なレベルの分析が可能となったのは、コンピュータモデルの各ユニットを平均化して扱うのではなく、一つずつ個別に検証したからである。脳とコンピュータモデルを全体として捉えていた従来の研究では、単純な音の処理と複雑な意味の処理が混ざり合ってしまうため、この区別を見落としてきた。各ステップを分離することで、研究者たちは、深い抽象的な表現を追跡する脳の能力が、聞き手の言語知識に完全に依存していることを示したのである。

この発見は、脳がいかにして意味を構築するかについての新たな視点を提供する。これは、理解とは単に「聞こえ方」が強調されたものではなく、聞き手が適切な言語知識を持っていることを必要とする、明確に異なる計算段階であることを裏付けている。その知識が欠如しているとき、脳は意味を見出そうともがくのではなく、複雑なパターンの追跡を単純に停止し、音の物理的特性にのみ集中するのである。この知見は、コミュニケーションが困難な状況、例えば、話したり反応したりすることができない患者などの状況において、脳がどのように機能しているかを理解するための潜在的な示唆を含んでいる。もし、深い層での追跡が理解の欠如とともに崩壊するのであれば、この追跡を測定することは、たとえ本人が言葉に出せなくても、その人が言葉を理解しているかどうかを確認するための、信頼できる非侵襲的なテストになり得る。研究者らは、今回の知見が特定の言語やモデルに基づいているものの、この手法が異なる言語や種類の音声においても、この境界が存在するかどうかを検証するための明確な道筋を示すものであると述べている。

この研究は、人工知能と神経科学の間の溝を埋めるための、重要な一歩を象徴している。透明性が高く解釈可能な方法で言語を処理するコンピュータモデルを用いることで、研究者たちは脳の活動を地図のように読み取ることができた。彼らは単に脳が活動していることを見たのではなく、どの部分が活動しており、その瞬間ごとに何を行っているのかを正確に把握したのである。このアプローチは、「脳が発話を理解しているか」という問いを超えて、「脳がいかにして、層を重ねるごとに理解を構築していくのか」という問いへと踏み込むものである。その結果、音から意味へと至る旅路の、明快で詳細な姿が描き出された。つまり、私たちが言語の理解を止める瞬間とは、脳が意味の経路を辿ることを止め、音そのものという安全な場所へと立ち戻る瞬間なのである。