When the Interviewer Is a Bot: Behavior, Breakdowns, and Trust in MLLM-Led Interviews

機械の中のインタビュアー

あなたは、人々がどのように考え、感じ、あるいは問題を解決するのかを理解しようとしているところだと想像してください。何十年もの間、科学者たちは人々に座ってもらい、「半構造化」された方法で質問をすることでこれを行ってきました。これは、ガイド付きのハイキングのようなものです。研究者は地図（カバーすべきトピックの輪郭）を持っていますが、ハイカーが指し示した興味深い小道へと、道から外れて進むこともできます。この手法は柔軟であるという点で強力ですが、同時に非常に骨の折れる作業でもあります。人間が耳を傾け、適切な追質問をし、自然に会話の流れを維持するためには、多大な時間とエネルギーを要するからです。

最近、新しいツールが登場しました。大規模マルチモーダルモデル（MLLM）です。これらは、話したり、聞いたり、見たりすることができる超スマートなAIチャットボットとして知られているかもしれません。科学者たちはこう考え始めました。「AIにインタビューをさせてしまえばいいのではないか？」これは効率性の面では夢のような話に聞こえます。しかし、そこには落とし穴があります。インタビューとは単なるデータの抽出ではなく、信頼、アイコンタクト、そして「誰かが本当に聞いてくれている」という感覚によって構築された、社会的なダンスなのです。もし私たちが人間をボットに入れ替えたとしたら、そのダンスは成立するのでしょうか？ それとも、音楽は止まってしまうのでしょうか？ 本論文は、まさにこの問い、つまりロボットが会話の主導権を握ったときに何が起こるのかを検証しています。

---

人間になろうとしたボット

研究チームは、AIがリアルタイムの音声ベースのインタビューを行う際に、実際に何が起こるのかを解明するために、「InterviewBot」と呼ばれるシステムを構築しました。彼らは凝った新しいロボットの脳を作ったわけではありません。代わりに、強力な既製品のAIモデルを取り上げ、トピックのリストを読み込ませることができるシンプルなインターフェースで包み込みました。彼らは、この「デフォルト状態」のAIが、15人の実在の人物に対してインタビュアーとして振る舞う際、どのように行動するかを見たいと考えたのです。

セットアップは単純でした。参加者が座ると、InterviewBotが彼らのAIツールに関する経験について質問します。ボットが終了した後、人間の研究者が戻ってきて、参加者に「それで、どう感じましたか？」と尋ねます。

結果は、驚くべき不具合と、私たちが機械をどのように信頼するかについての深い洞察が混ざり合ったものでした。研究者が発見した内容は以下の通りです。

ボットの「悪い癖」

研究者がボットの発話ターン（ボットが話した特定の瞬間）を分析したところ、AIにはいくつかの独特な癖があることが分かりました。

第一に、ボットは頷くことには非常に長けていますが、深く掘り下げることは苦手でした。それは「相槌は多いが、深掘りが少ない」状態でした。ボットが行ったターンのうち、多くの時間を「それは興味深いですね」や「なるほど」といった言葉に費やしていました。しかし、詳細を引き出すための深い追質問を行うとなると、ほとんど行いませんでした。ボットのターンのわずか**4.9%**しか、深い探求（プローブ）ではありませんでした。それは、あなたの言うことすべてに「わあ！」と言うけれど、「なぜ？」や「もっと詳しく教えて」とは決して聞かない友人のようでした。

第二に、ボットは会話の最も基本的なルールである**「一度に一つの質問をする」ことに苦労していました。研究者が明確に「一度に一つの質問をしてください」と指示していたにもかかわらず、質問を含むターンの28.7%**において、ボットはその指示を無視していました。一つの文章の中に二つ、三つの質問を詰め込んでしまったのです。その結果、参加者はしばしば混乱し、最初の部分だけに答えてしまい、残りのデータが台無しになってしまいました。

第三に、システムには技術的な問題がありました。研究者は、インタビューが崩壊した主な4つのケースを特定しました。

1. 情報の喪失： ボットが一度に多くの質問をしすぎたため、人々がプロンプトの一部を見逃してしまいました。
2. 時期尚早な終了： あるケースでは、参加者がまだ考えの途中であるにもかかわらず、ボットが突然話し始めてしまいました。
3. レイテンシ（遅延）： ボットの返答に時間がかかりすぎることがあり、人々はシステムがクラッシュしたか、自分を忘れたのではないかと思いました。
4. 割り込み： ボットは、人々が割り込むことを許容する機能（「バージイン」と呼ばれる機能）を備えていましたが、技術は完璧ではありませんでした。人々が話すのを許可する代わりに、ボットはしばしば相手の話を遮ってしまい、会話をぎこちなく、失礼なものにしてしまいました。

人々はどう感じたか：「幽霊」の存在

研究の最も興味深い部分は、ボットのミスではなく、人間がそれに対してどのように反応したかでした。研究者は、ロボットによるインタビューを受けることについて、人々が感じた3つの大きなテーマを見出しました。

1. 「安全な場所」対「浅い会話」のパラドックス
一部の参加者は、ボットと話すことに驚くほど快適さを感じました。人間が見つめて、アクセントや考えを判断してくることがないため、プレッシャーが少なかったのです。ある人は、「（ボットは）混乱しませんでした……私の意図を素早く伝えてくれました」と述べました。この「判断されない」という感覚が、安心感を生みました。

しかし、それには裏返しがありました。人間に対して自分を良く見せようとする社会的プレッシャーを感じないため、自分の考えを深く説明しようとする努力も払わなかったのです。ある参加者は、「すべての答えについて、もっと深く掘り下げる必要性を感じませんでした」と認めました。ボットは、話し始めるのは簡単だが、深く入り込むのは難しい空間を作り出しました。それは鏡に向かって話しているようなものです。何でも言えるけれど、鏡はあなたに「もっと何かを言おう」とは促してくれません。

2. 「声」ではなく「組織」への信頼
人々がインタビューが公正であるか、あるいは正当であるかを判断する際、彼らはボットがどれほど上手く話したかを見ているのではありませんでした。彼らは、そのボットが何を「象徴しているか」を見ていました。もしボットが標準化されたタスク（クイックな調査など）のために使われていると感じれば、人々は問題ないと判断しました。しかし、もし組織が忙しすぎて人間と話す時間がなかったためにボットを使っていると感じられた場合、人々は軽視されていると感じました。

ある参加者は、「AIインタビューと聞くと、会社が座って話す時間がなかったのだと考えてしまいます」と述べました。ボットは単なる道具ではなく、一つの「信号」でした。もし会社がボットを使用すれば、それは、その人に対して時間を投資するほど重要視していないというサインとなったのです。これは、ボットが実際にはスクリプトを非常によく守っていたにもかかわらず起こりました。

3. 「聞いている」のか、それとも「ただ頷いている」だけなのか
参加者は、偽りの「聞き方」を見抜くことに非常に鋭敏でした。ボットは「わあ、それは面白いですね」や「理解しました」といった、ありふれたフレーズを多用していました。参加者はこれを嫌いました。彼らはこれを「フレーズの繰り返し」と呼び、空虚だと感じました。

逆に、彼らが好んだのは、ボットが自分の言ったことを実際に**言い換えた（パラフレーズした）**時でした。ボットが彼らの具体的な言葉を取り上げ、内容を理解したことを示すために言い換えたとき、参加者は「自分の話を聞いてもらえている」と感じました。結局のところ、ロボットにとっての「積極的な傾聴」とは、「共感しています」と言うことではなく、事実を理解したことを証明することなのです。

大きな教訓

本研究は、AIは技術的にインタビューを行うことは可能だが、それは社会的なダイナミクスを根本的に変えてしまうと結論づけています。それは単に人間のインタビュアーを高速化したバージョンではなく、全く異なる種類の相互作用なのです。

研究者は、もし将来的にインタビューにAIを使用したいのであれば、単にAIを自由に走らせるだけではいけないと示唆しています。私たちは、以下のようなシステムを設計する必要があります。

• 深さを強制する： ボットが単に次に進むのではなく、必ず追質問を行うようにすること。
• 透明性を持たせる： なぜボットが使われているのかを明確に伝え、人々が無視されていると感じないようにすること。
• 真に耳を傾ける： 単に「すごい」や「わあ」と言うのではなく、パラフレーズや要約を行うようにプログラムすること。

究極的に、この論文は、AIは強力なツールではあるが、人間同士のつながりの代わりとなる魔法の存在ではないことを示唆しています。もし私たちが人々から豊かで深い物語を引き出したいのであれば、ボットの効率性が、会話を価値あるものにしている要素――すなわち「誰かが本当に耳を傾けている」という感覚――を殺してしまわないよう、細心の注意を払わなければなりません。