Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation
本論文は、大規模言語モデルが言外の信念を認識し更新する能力を評価するための、含意の取消しに関する初の専門家によるアノテーション付きデータセットを紹介するものであり、現在のLLMがこれらの語用論的推論タスクにおいて人間の性能に遅れをとっていることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ジェスチャーゲームを想像してみてください。ただし、言葉を演じるのではなく、あなたが「言わなかったこと」が最も重要となる会話をしているようなゲームです。人間の言語の世界では、私たちは常に、互いに何が真実であるかに合意する「共通基盤（コモン・グラウンド）」、つまり共有された現実を交渉し続けています。私たちは単に事実を述べるだけでなく、ヒントを落としたり、すなわち**含意（インプリカチュア）を用いたりすることでこれを行います。もし私が「クッキーがいくらかなくなった」と言えば、私は（直接的には言わずに）「すべてがなくなったわけではない」ということを暗示しています。あなたは、行間を読むことに長けた脳を持っているため、これを即座に理解します。しかし、時として私は考えを変えて、「実は、全部なくなったと思う」と言うかもしれません。これは取消（キャンセル）**と呼ばれ、先ほど出したヒントを撤回することにあたります。こうした微細で言葉にされない手がかりに基づいて、共有された信念を即座に更新する能力こそが、人間の会話を繋ぎ止める接着剤なのです。
さて、このゲームを遊べるように、超スマートなロボットに教える場面を想像してください。私たちは、詩を書き、数学の問題を解き、人間のようにチャットができる大規模言語モデル（LLM）と呼ばれる巨大なAIモデルを構築してきました。しかし、彼らはこの「ヒントと撤回の目に見えないダンス」を本当に理解しているのでしょうか？ 会話が変化したときに、彼らは理解しているのでしょうか、それとも単に以前見たものに基づいて推測しているだけなのでしょうか？ これが、研究者たちが問いかけている大きな疑問です。もしAIが、こうした微細で言葉にされない更新を扱うことができなければ、人間との真に流暢な会話を行うことは難しくなり、しばれて要点を逃したり、私たちが考えを変えたときに混乱したりすることになるでしょう。
この論文において、研究者たちはこれらのAIモデルをテストすることに決めました。彼らは、IMPLICATUREXという新しい遊び場、すなわち、271個の入念に作られた会話のスニペット（断片）のデータセットを作成しました。それは、ある登場人物がヒントを落とし、そして直後にそれを取り消すという、一連のミニ映画のようなものです。彼らは人間のボランティアと様々なAIモデルに対し、これらのクリップを見せて次のように問いかけました。「ヒントは発生したか？ 撤回は機能したか？ 登場人物の信念は変化したか？」
結果は、AIにとって厳しい現実を突きつけるものでした。最も賢いAIモデルは、教科書的な典型的なヒント（先ほどの「一部 vs 全て」のクッキーの例のようなもの）を見つけることには驚くほど優れていました。しかし、会話が乱雑で現実的になると、彼らはひどく躓きました。ヒントが、パーティーや趣味について話す二人の友人のような、自然で日常的なチャットから来た場合、AIモデルはそもそもヒントを理解できなかったり、あるいは撤回を完全に見逃したりすることがよくありました。実際、最も自然なシナリオにおいては、AIのパフォーマンスはランダムに推測する場合とほとんど変わりませんでした。
研究者たちはまた、AIがなぜ苦戦しているのかを突き止めるために、巧妙な対照実験を行いました。彼らは、AIがヒントを正しく捉えたとき、それは必ずしも会話を理解していたからではなく、時には単に「事前信念」に頼っていただけであることを発見しました。それは、まるで問題を読まずに解答集を暗記した学生のようなものです。例えば、AIは「いくらか（some）」という言葉を見ると、文章の残りの部分を聞くことなく、自動的に「すべてではない（not all）」と仮定してしまうことがあります。さらに、撤回後に自身の信念を更新するように求められた際、AIは元の推測に固執する傾向があり、考えを変えることよりも、元の推測に留まる方が得意でした。それはまるで、新しい情報を無視することを好み、理解を更新するために必要な精神的な体操を行うことを避ける、頑固な存在であるかのようです。
結局のところ、この研究は、私たちのAIモデルは人間の話し方を模倣することには長けてきているものの、会話における人間の「思考」の術をまだマスターしていないことを示唆しています。彼らは台本に従うことはできますが、真のコミュニケーションを成立させるための、言葉にされない、移ろいゆく信念に関しては、依然として私たちに後れを取っています。この論文は、AIが壊れていると主張しているのではなく、自然なチャットにおけるヒントの取消を扱えるようになるまでは、彼らは真の会話パートナーにはなり得ないということを示唆しているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。