Hierarchical Uncertainty Transformation During Multimodal Comprehension

人間のコミュニケーションは、単なる言葉の連なりであることは滅多にありません。対面での会話においては、意味は話し言葉と身振り手振りの絡み合った網を通じて届き、それぞれが独自の速度と重みを持って動いています。時にはジェスチャーが曖昧な言葉を明確にし、またある時には、話し言葉が混乱した動きに意味を与えることもあります。脳は、たとえそれぞれの情報源からの情報が不完全であったり曖昧であったりする場合でも、これらの別々の糸を編み合わせて、単一の首尾一貫した理解へと作り上げなければなりません。数十年にわたり、科学者たちは、脳がこのプロセスを確率の問題として扱っていることを理解してきました。つまり、脳は同時に複数の可能な意味を保持し、それぞれの可能性がどの程度高いかを計量し、さらなる証拠が得られるにつれて、最も適したものへと落ち着くのです。支配的な見解は、情報をより多く受け取るにつれて、脳は単に不確実性を減少させ、答えが明らかになるまで可能性を絞り込んでいくというものでした。

新しい研究は、この単純な「着実な減少」という考えに異を唱えています。中国科学院心理研究所の研究者たちは、脳は単に不確実性のボリュームを下げるのではなく、処理の段階が進むにつれて、その不確実性の性質そのものを変化させているのだと提唱しています。ジェスチャーと音声の断片を人々がどのように解釈するかを観察することで、研究チームは、不確実性が3つの相互に関連した計算レベル（computational levels）において変容することを発見しました。それは、単一の感覚内での混乱として始まり、感覚同士が互いに作用することで変化し、最後に脳がそれらを一つの意味へと統合する際に、新たな形態へと落ち着きます。このプロセスは固定された一連のステップではなく、各情報源から利用可能な情報量に応じて自らを再編成する柔軟なシステムなのです。

この隠れた構造を明らかにするために、研究者たちは、ジェスチャーと音声断片のそれぞれにどれだけの意味が含まれているかを正確に制御できる一連の実験を設計しました。彼らは、人々がジェスチャーを行い、動詞を話しているビデオを記録しました。予備テストにおいて、彼らはジェスチャーや言葉が、人物がその意味を特定できるほど明確になる正確な瞬間を特定しました。そして、ビデオと音声を3種類の断片に切り分けました。すなわち、「理解するには短すぎる断片」、「識別できるかできないかの境界にある断片」、そして「より長く、完全に明確な断片」です。これらを組み合わせることで、両方の信号が不明瞭な場合、一方が明確で他方が不明瞭な場合、そして両方が明確な場合といったシナリオを作り出しました。

まず、行動実験として、参加者は自分が見たものと聞いたものを命名する課題を行いました。研究者たちは、単に参加者が正解したかどうかを見たのではなく、人々が行った推測の全範囲を分析しました。各試行において参加者は一つの動詞を回答しましたが、研究者たちは、各刺激条件における命名の回答を参加者間で集計し、報告された動詞の相対的な頻度から確率分布を推定しました。そして、情報理論に基づいた数学的手法を用いて、シャノン・エントロピーを算出することで、この不確実性を単一の数値としてではなく、変化する可能性の風景として測定しました。彼らは、不確実性が脳の処理のどの計算レベルにあるかによって、その振る舞いが異なることを発見しました。

計算レベルの一つは、それぞれの感覚が単独で行う不確実性です。研究者たちは、ジェスチャーや音声の断片が長くなり明確になるにつれて、可能な意味の数が減少し、脳の不確実性が低下することを発見しました。これは、選択肢を絞り込んでいくという、よく知られたプロセスです。しかし、二つの感覚が提示されると、物語は変わりました。明確な音声信号が曖昧なジェスチャーと組み合わされたとき、脳は曖昧なジェスチャーを単に無視するのではなく、音声に基づいてそのジェスチャーの不確実性を能動的に再形成しました。逆に、明確なジェスチャーが曖昧な言葉の不確実性を再形成することもありました。決定的なことは、この再形成は非対称的であり、各モダリティが他方の解釈に与える影響は、それぞれのモダリティで利用可能な意味情報に依存していたことです。これは、感覚間の相互作用が単なる情報の平均化ではなく、複雑で方向性を持った変換であることを示しています。

もう一つの計算レベルは、二つの信号が単一の理解へと融合するマルチセンソリーな収束です。ここで研究者たちは、最終的な結果の不確実性は、前のステップでの変化を単純に足し合わせるだけでは説明できないことを発見しました。代わりに、脳は結合されたシステムに属する、新しい種類の不確実性を創り出していたのです。

これらの計算レベルが脳内でどのように表現されるかを調べるために、チームは頭皮に設置したセンサーを用いて、参加者の脳からの電気活動を記録しました。このEEG実験において、参加者は話者の性別を判断する課題を行いました。これにより、研究者たちは、明示的な意味判断を必要とせずに、ジェスチャーと音声の意味的な統合を暗黙的に調査することが可能となりました。

結果は、脳がこれらの異なる形態の不確実性を表現する方法について、区別可能ではあるものの、部分的に重なり合う神経学的関連があることを明らかにしました。単一の感覚内におけるモダリティ固有の不確実性は、初期のタイムウィンドウに限定されるものではなく、刺激の提示後、比較的早い段階から現れました。ジェスチャーと音声の相互作用による不確実性の再形成は、N1-P2の範囲に関連付けられる活動と、モダリティや意味の構成に応じてN400に関連付けられる活動の両方を示しました。なお、N400とは、音声とジェスチャーの間での意味の統合を含む、文脈依存的な意味処理に敏感な事象関連電位成分です。二つの信号が単一の理解へと融合するマルチセンソリーな収束は、特にN400の範囲で一貫した関連を示しました。これらは、脳がこれらの計算レベルを概ね逐次的に処理しているものの、タイミングは柔軟であり、大きく重なり合っていることを示唆しています。

おそらく最も重要なことは、このシステム全体が動的であるという点です。脳がこれらの異なるタイプの不確実性を表現する方法は、明確な信号と不明瞭な信号の具体的な組み合わせによって変化しました。ジェスチャーと音声の両方が曖昧な場合、脳の反応は、一方が明確で他方が不明瞭な場合とは異なっていました。神経信号は、硬直した不変の台本に従うのではありません。むしろ、脳は状況の特定の要求に合わせて、リアルタイムでその活動を再編成していたのです。この柔軟性は、脳が単に情報が到着するのを受動的に待ってから不確実性を減少させているのではなく、会話が進展するにつれて、不確実性の扱い方を能動的に再構築していることを示しています。

研究者たちはまた、統計モデルを用いて、これら3つの計算レベルが深く結びついていることを示しました。中間のレベルで脳が不確実性をどのように変換したかは、最終的な収束の仕方と直接関連していました。このつながりは固定されておらず、ジェスチャーと音声のどちらがより明確な信号であるかによって変化しました。この発見は、脳が、異なるレベルの処理が常に互いに影響を及ぼし合う、統一された階層的なシステムとして機能しているという考えを支持しています。本研究の結果は、マルチモーダルな理解が、単に答えが明白になるまで証拠を蓄積することに過ぎないという考えを否定するものではなく、むしろ、証拠が蓄積されるにつれて不確実性の大きさが変化するのと並行して、脳が不確実性の計算形式そのものを変容させていることを示唆しています。

この研究は、情報が複数のソースから来る場合に、私たちがどのように世界を理解しているかを理解するための新しい枠組みを提供します。それは、脳が世界を理解する能力が、単に不確実性を減少させることではなく、不確実性を「変容」させる能力に依存していることを示唆しています。不確実性が処理の異なる段階でその性質を変えることを認識することで、科学者は、脳がどのように断片的で曖昧な信号から首尾一貫した現実を構築しているのかを、より深く理解できるようになります。この知見は、人間コミュニケーションの複雑な仕組みを垣間見せ、理解への道が、疑念が減少していく直線的なプロセスではなく、再編成と適応のダイナミックな旅であることを明らかにしています。