Quantifying the perceptual value of lexical and non-lexical channels in speech

あなたは、友人が次に何を言うかを推測しようとしている場面を想像してみてください。あなたには、その推測を助けるための主に2つのツールがあります。

1. 「何を（What）」：語彙的チャネル（Lexical Channel）
   友人が実際に発している言葉です。
2. 「どのように（How）」：非語彙的チャネル（Non-Lexical Channel）
   声のトーン、リズム、間（ま）、そして声に含まれる感情（韻律／プロソディ）です。

通常、私たちは「何を」の方が重要だと考えます。例えば、誰かが「店に行ってくるね」と言えば、どこへ行くのか正確に分かります。しかし、もし「何を」が混乱を招くような、あるいは曖昧で、十分な手がかりを与えてくれないとしたらどうでしょう？ その時、「どのように」は理解を助けてくれるのでしょうか？ それとも、あなたをさらに混乱させるのでしょうか？

エディンバラ大学によるこの論文は、会話における理解に対して「どのように」がどれほどの価値を加えているのかを、正確に測定することで、この問いに答えようとしています。

実験： 「次のセリフを当てろ」ゲーム

研究者たちは、これをテストするためのゲームを用意しました。彼らは実際の会話を取り上げ、参加者に3ターンの対話（セットアップ）を見せました。その後、参加者に、起こりうる5つの展開の選択肢を提示しました。

• セットアップ： 参加者は最初の3行のテキストを見ました。
• タスク： 参加者は、5つの選択肢のうち、どれが「実際の」次のセリフである可能性が高いかを評価しなければなりませんでした。
• ひねり： 研究者たちは、このゲームを2つの異なる方法で実施しました。
  1. 「テキストのみ」グループ： セットアップと5つの選択肢のテキストのみを見ました。言葉のみに基づいて推測しなければなりません。
  2. 「音声」グループ： セットアップはテキストで見ますが、5つの選択肢の次のセリフはオーディオクリップとして再生されました。彼らは声のトーン、間、リズムを聞くことができました。

テストを公平にするため、彼らはスマートなコンピュータプログラム（言語モデル）を使用して「次のセリフ」を生成しました。これにより、すべての選択肢が文法的に正しく、意味も通じるものの、互いに異なるものになるようにしました。これにより、言葉だけでは明確な答えが出ない状況をテストすることが可能になりました。

結果：「どのように」が助けになる時と、邪魔になる時

結果からは、非常に興味深く、かつ少し意外な2つのパターンが明らかになりました。

1. 言葉が紛らわしい時、「どのように」は救世主となる。
テキストだけでは曖昧（正解を当てるのが難しい）な状況において、音声を聞いたグループははるかに優れた成績を収めました。声のトーン、間、リズムが、テキストにはない追加の手がかりを与えてくれたのです。これは、テキストメッセージを読んで相手が冗談を言っているのか真剣なのかを判断するのは難しい（難しい）一方で、特定のトーンで言っているのを聞けば簡単に分かる、という状況に似ています。「どのように」が、可能性を絞り込む助けとなったのです。

2. 言葉が明快な時、「どのように」は実は邪魔になる。
ここが驚きの部分です。テキストによって次に続くセリフがすでに非常に明白であった状況では、音声を聞いたグループは、テキストのみのグループよりも成績が悪くなりました。

なぜでしょうか？ 研究者たちの示唆によれば、言葉が明確な場合、音声を追加することは「ノイズ」や「認知負荷」を加えることになります。これは、簡単な算数の問題を解いている時に、背後で大きな音楽が流れているようなものです。音楽は問題を解く助けにはならず、むしろ集中を妨げます。参加者たちは、追加の情報によって注意を削がれ、ミスをしてしまったのです。

「コンセンサス（合意）」の発見：私たちは皆、同じものを聞いている

研究者たちはまた、「エントロピー」と呼ばれるものについても調査しました。これは、人々がどの程度一致しているかを測定する、少し専門的な方法です。

• 高いエントロピー： 全員がバラバラの答えを推測している状態（混沌）。
• 低いエントロピー： 全員が同じ答えを推測している状態（コンセンサス／合意）。

彼らは、音声グループが間違った答えを選んだとしても、彼らは皆「同じ」間違いを選んでいることを発見しました。

例え話： 一団の人々が絵画を見ている場面を想像してください。

• テキストのみ： 説明が曖昧なため、人々はそれぞれ異なるものを見ています。
• 音声： 声のトーンが想像力を特定の方向へと導くため、人々は皆「同じもの」を見ています。たとえその方向が、事実と比較して技術的に「間違って」いたとしてもです。

これは、「どのように（プロソディ）」がいかに強力であるかを証明しています。それは単に情報を追加するだけでなく、共有された期待を生み出します。たとえその共有された期待が、必ずしも正解に至らないとしても、グループの全員は、トーンを全く同じように解釈しているため、一緒に同じ結論へと向かうのです。

結論

この研究は、私たちの脳が会話の次に来るものを予測するために、2つの異なるチャネルを使用していることを示しています。

• 言葉が曖昧な場合、私たちの脳は理解を深めるために声に大きく依存します。
• 言葉が明確な場合、私たちの脳は時として声を無視するか、あるいはそれに混乱させられます。

最も重要なことは、「声」のチャネルは強い合意感を生み出すということです。私たちは皆、トーンやリズムを同じように解釈する傾向があり、それが、たとえ事実に対して100％正しくなかったとしても、私たちが同じ認識を共有することを助けているのです。