How Reliable Are Multimodal Signals of Conversational State? Evidence from Remote Dyadic Collaborative Tasks

あなたは、部屋の空気を「読む」ことができるロボットを作ろうとしていると想像してください。あなたは、人々がストレスを感じているのか、誰かが会話を支配しているのか、あるいは思考に苦労しているのかを知りたいと考えています。これを行うために、科学者たちは人々がどのように話し、どのような音を出し、どのような言葉を選ぶのかを調査します。この分野はマルチモーダル解析と呼ばれますが、これは単に「多くの異なる手がかりを同時に見る」という、少し凝った言い方です。大きな疑問は、これらの手がかりは信頼できるのか？ ということです。もしロボットが、特定のパズルゲームからストレスを察知する方法を学んだとしたら、人々が週末の予定についてただ雑談しているときにも、それは機能するのでしょうか？ それとも、間違ったことを学んでしまったために、ロボットは混乱してしまうのでしょうか？ これが、コンピュータに人間の会話を理解させるように教えようとする研究者が直面しているパズルです。彼らは、使用している信号が私たちの感情を示す真の指標なのか、それとも、たまたまストレスのように見えるだけの偶然のパターンに過ぎないのかを知る必要があります。

この論文の中で、研究者のタヒヤ・チョウドリー（Tahiya Chowdhury）は、これらの手がかりを調査する探偵のように振る舞っています。彼女は、どの信号が最も信頼できるかを見極めるために、3部構成のテストを設定しました。彼女は、正確性（その手がかりは正しいことを予測しているか？）、汎用性（異なる状況でも機能するか？）、そして信頼性（その手がかりは一貫しているか、それとも話し手によって変わってしまうのか？）という3つの側面を調査しています。彼女は、マップパズルを解いたりジョークを共有したりといった9つの異なるタスクをZoom上で行う53組のペア（ダイアド）に対して、これらの手がかりをテストしました。

彼女が見つけた結果は以下の通りですが、これは一種のプロット・ツイスト（物語の急展開）となっています。

まず、彼女は**言葉（言語的特徴）**に注目しました。これらは、正確性の面ではグループの中で「スター選手」でした。もし目標が、人がどれほどの精神的負荷を使っているかを推測することであれば、選ばれた言葉が最高の予測因子となりました。それは、語彙を聞くだけで容疑者の気分を推測できる探偵のようなものです。しかし、これらの言葉は「旅人」になるには最悪でした。新しいタイプのタスクでテストしたところ、正確性は崩壊しました。結局のところ、これらの言葉は「ストレス」を測定していたのではなく、その特定のゲームに必要な特定の語彙を測定していただけだったのです。もし誰かにマップパズルを解かせれば、その人はマップに関する言葉を使い、ジョークを言わせれば、その人はジョークに関する言葉を使いました。ロボットはストレスを測定していると思っていましたが、実際にはその日のための辞書を暗記していただけだったのです。

次に、彼女は**音（音響的特徴）**を調査しました。長い間、科学者たちは声のピッチや声の大きさは、脳がいかに働いているかを示す確かなサインであると考えてきました。それは、車のエンジンがドライバーのストレスに応じて常に回転数を上げる、と仮定するようなものです。しかし、チョウドリーがテストを実行した際、彼女は巨大な錯覚を発見しました。データの「正規化（ノーマライズ）」を行う前は、音は信頼できるものに見えました。しかし、彼女がデータを正規化した（つまり、「もし同じ人が別のタスクを行ったとしても、その音は変わるだろうか？」と問いかけた）瞬間、信頼性は消え去りました。音は、その人のストレスレベルではなく、その人独自の「声の構造」や話し方を測定していたのです。それは、探偵が「手がかり」が実は容疑者の身長（ストレスに関わらず変わらないもの）に過ぎないと気づくようなものでした。「誰が」を取り除くと、「どのように」が消えてしまったのです。

最後に、彼女は**相互作用（相互作用的特徴）を調べました。これらは、人々がどのように順番を回すか、誰が誰を遮るか、そして誰が会話をコントロールしているかについてのヒントです。これらの手がかりは、最も正直でした。これらは話し手のアイデンティティに基づいて変化しないため、なぜならこれらは二人の間の「関係性」に関するものだからです。これら自体は単独でストレスを予測する精度は高くありませんでしたが、異なるタスク間でも一貫性を保っていた唯一の要素でした。一つの特定の相互作用の手がかりが際立っていました。それは発話支配（floor dominance）**です。これは、誰が「フロア（話す権利）」を保持しているかの尺度です。研究の結果、ペアの一方が会話を支配しているとき、もう一人の人物がより重い精神的負荷を負っている可能性が著しく高いことが分かりました。それはシーソーのようなものです。もし一人が端を強く押し下げている（たくさん話している）なら、もう一方は精神的な作業を維持するのに苦労している可能性があります。

また、この論文は「会話の権力（誰が権力を持ち、誰が無力感を感じているか）」を予測しようと試みましたが、ここでロボットは完全に失敗しました。どのような手がかりを使用しても、コンピュータが正解を当てる確率は、コイン投げで決まる確率と同程度でした。これは、タスク全体の要約に基づいて権力を推測しようとすることは、あまりにも漠然としすぎていることを示唆しています。権力のダイナミクスはあまりにも微細であり、あまりにも速く変化するため、こうした広範な測定では捉えきれないのです。

では、私たちを理解するロボットを作るための教訓は何でしょうか？ 論文は、私たちは「簡単な」手がかりを信じるのをやめる必要があると示唆しています。人々が使う言葉をただ信じてはいけません。なぜなら、それらはトピックによって変わるからです。声の音をただ信じてはいけません。なぜなら、それらは人と共に変化するからです。最も信頼できる信号は、人々がどのように相互作用しているか、具体的には、誰が話し、誰が聞いているのかを観察することから得られます。もし私たちが、タスクが変わり、異なる人々が現れる現実世界で機能するシステムを構築したいのであれば、私たちはこれらの相互作用のパターンに焦点を当て、誤って「人の声」を「心の状態」として測定していないかを確認する必要があります。研究は、ある信号を信頼する前に、それが「アイデンティティ・テスト」を生き残り、新しい状況でも機能するかどうかを確認しなければならないと結論づけています。さもなければ、私たちは、誰が話しているかを当てることには非常に長けているが、その人が何を感じているかを理解することはできないロボットを作っているだけになってしまうのです。