Neural tracking of surprisal and semantic distance in naturalistic movie viewing
被験者が長編映画を視聴している際のfMRIデータを用いた本研究は、自然な音響視覚的言語理解において、ヒトの脳が両側性の側頭部および前頭部の領域における神経活動の独自の予測因子として、驚き（surprisal）と意味的距離（semantic distance）の両方を追跡していることを示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
物語を聴いているとき、私たちの脳は単に音を記録するだけの受動的な存在ではありません。これまでに聴いたものに基づいて、次に何が来るかを常に推測する能動的な予測装置なのです。このプロセスは、2つの異なる、しかし関連したメンタルツールに依存しています。1つ目は「確率」の感覚です。それまでの言葉を前提として、次の言葉が現れる可能性がどの程度あるかというものです。もし文章が「空は……」で終わっていれば、脳は強く「青い」という言葉を期待し、その言葉が現れることは全く驚きを感じさせません。しかし、もし文章が「空は……」で終わり、次に現れた言葉が「バナナ」であったなら、脳は不意を突かれます。この「不意を突かれた」という感覚は、「サプライザル（驚き）」として知られています。2つ目のツールは「意味の尺度」、つまり現在の言葉が、直前に処理された概念とどれほど密接に関連しているかという指標です。たとえその言葉が統計的に最もありそうなものではなかったとしても、会話のテーマには完璧に合致している場合があります。脳が言語を理解するために、これら2種類の情報（統計的な尤もらしさと意味的な関連性）をどのように使い分けているのかを理解することは、神経科学における中心的な問いであり、特に映画を観るような、豊かで現実的な環境に没入している場合には極めて重要です。
ある研究チームは、人々が一本の映画を鑑賞している間、脳がこれら2つの特定の信号をどのように追跡しているかを探求することに乗り出しました。彼らは、2009年の映画『きっと、サイモンは嘘つき（500 Days of Summer）』を一度も見たことがない20人の成人を募り、90分強に及ぶ映画全編を、機能的磁気共鳴画像装置（fMRI）のスキャナーの中に横たわった状態で鑑賞させました。この装置によって、科学者たちは物語が展開する中で、リアルタイムで脳の活動を観察することができました。脳が何を行っているのかを理解するために、研究者たちはまず、映画の音声と映像のトラックを数千の微細なデータポイントへと分解しました。画面の明るさからカメラの動き、さらには台詞の音量や特定の単語の出現頻度に至るまで、あらゆる要素を測定しました。そして、映画の中で話されるすべての単語に対して、2つの複雑な数値を算出しました。一つは、前の文脈に基づいたその単語の「驚きの度合い」を表すもの、もう一つは、その単ディングが直前の言葉と意味的にどれほど離れているか、あるいは近いかを表すものです。
高度なコンピュータ・モデリング手法を用いて、研究者たちは、どのデータポイントが脳に見られる活動パターンを最もよく説明できるかを確認するために、一連の段階的な予測モデルを構築しました。彼らはまず、画面上の視覚的な変化や音の生のボリュームといった、最も単純な要素から始めました。これらの基本的な特徴は、視覚処理が行われる脳の後方や、音が最初に受け取られる脳の側面における活動をうまく予測できました。次に、一般的な単語の使用頻度や、似た響きの単語がどれだけ存在するかといった、より複雑な言語的特徴を加えると、予測精度は向上し、言語や記憶に関わる領域へと広がっていきました。最後に、彼らは関心の対象である2つの主要な変数、すなわち、単語の統計的なサプライザルと意味的な距離を加えました。その結果、これら2つの要因を含めることで、特に音声処理を司る脳の側面の領域である上側頭回や、左前頭葉における脳活動の予測能力が著しく向上することが示されました。
最も重要な発見は、これら2つの要因が単に同じ役割を果たしているのではないということでした。研究者が一方の影響を考慮した後でも、もう一方が脳活動の独自の変動を説明できたのです。これは、脳が「次に何が起こるかという統計的な確率」と「概念的な関係性」の両方を同時に追跡しており、2つの補完的なシステムを使用していることを示唆しています。両方の信号は側頭葉の類似した領域を活性化させましたが、単語の統計的なサプライザルは、小脳（頭蓋骨の底部にあり、調整やタイミングに関連するとされる部位）の特定の領域とも独自のつながりを示しました。この発見は、脳の予測メカニズムが精緻であり、「何が起こりそうか」と「意味として成立するか」を、別個の、しかし並行した情報の流れとして処理していることを示しています。
これらの結果は、従来の実験室のような制御された静かな環境を超えたものであるという点で重要です。言語予測に関するこれまでの研究は、孤立した文章を聴かせたり、静寂の中でテキストを読ませたりすることに依存してきました。映画一本を用いることで、研究者たちは、複雑な視覚シーン、音楽、感情的なストーリーテリングにさらされている状況下でも、脳がこれらの微妙な言語的信号を追跡し続けていることを証明しました。この研究は、言語を予測する脳の能力が強固であり、豊かでマルチモーダル（多角的）かつ予測不可能な入力に対しても効果的に機能する、私たちの世界体験に深く統合されたものであることを裏付けています。この研究は言語処理の全容を解明したと主張するものではありませんが、私たちの脳が、聴いている言葉に対して2種類の異なるチェックを絶えず行い、単に何が話されているかだけでなく、それが物語の流れの中でなぜ重要なのかを理解させているという強力な証拠を提供しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。