Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation
本文介绍了首个用于评估大语言模型识别与更新隐含信念能力的专家标注蕴涵取消数据集，揭示了当前大语言模型在这些语用推理任务中仍落后于人类表现。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在玩一场猜词游戏（charades），但你不是在表演词语，而是在进行一场对话，而对话中最重要的部分是那些你没有说出口的话。在人类语言的世界里，我们不断地在协商一种共享的现实，一种我们双方都认同的“共同基础”（common ground），即我们对什么是真实的达成共识。我们不仅通过陈述事实来做到这一点，还通过留下暗示，或者说蕴含（implicatures）。如果我说，“有些饼干没了，”我是在暗示（没有直接说出来）并非所有饼干都没了。你能瞬间理解这一点，因为你的大脑是阅读“言外之意”的高手。但有时，我可能会改变主意并说：“事实上，我觉得全都没了。”这被称为取消（cancellation），即我收回了刚才给出的暗示。这种根据微妙、不言自明的线索来即时更新我们共同信念的能力，是维系人类对话的粘合剂。
现在，想象一下教一个超级聪明的机器人来玩这个游戏。我们已经构建了庞大的 AI 模型，称为大语言模型（LLMs），它们可以写诗、解数学题，并像人类一样聊天。但它们真的理解这种暗示与撤回的无形舞步吗？当对话发生转变时，它们是真的理解了，还是仅仅根据之前见过的内容在进行猜测？这是研究人员正在提出的重大问题。如果 AI 无法处理这些微小的、未言明的更新，它在与我们进行真实、流利的对话时就会感到吃力，经常会误解重点或在我们的想法改变时感到困惑。
在这篇论文中，研究人员决定对这些 AI 模型进行测试。他们创建了一个全新的游乐场，名为 IMPLICATUREX，这是一个包含 271 个精心设计的对话片段的数据集。把它想象成一系列微型电影：角色丢下一个暗示，然后立即将其收回。他们要求人类志愿者和各种 AI 模型观看这些片段，并回答：“暗示发生了吗？撤回成功了吗？角色的信念改变了吗？”
结果对 AI 来说是一次现实的警示。虽然最聪明的 AI 模型在识别简单的、教科书式的暗示（比如“一些 vs 全部”的饼干例子）方面表现得相当出色，但当对话变得混乱且具有现实感时，它们就表现得很糟糕。当暗示来自自然的、日常的聊天——比如两个朋友谈论聚会或爱好时——AI 模型往往首先无法理解暗示，或者完全忽略了撤回。事实上，在最自然的情境下，AI 的表现几乎不比随机猜测好多少。
研究人员还进行了隐蔽的控制实验，以查明 AI 为什么会表现挣扎。他们发现，当 AI 正确识别出一个暗示时，并不总是因为它理解了对话；有时，它只是在依赖一种“先验信念（prior belief）”，就像一个背下了答案表的学生，甚至还没读题。例如，如果 AI 看到“一些”这个词，它可能会自动假设“并非全部”，而无需听完句子的其余部分。此外，当 AI 被要求在撤回后更新其信念时，它在坚持最初的猜测方面表现得比改变主意要好得多。这就像是 AI 很固执，比起进行更新理解所需的脑力体操，它更倾向于忽略新信息。
最终，这项研究表明，尽管我们的 AI 模型在模仿人类言语方面做得越来越好，但它们尚未完全掌握对话中人类的思维方式。它们可以遵循剧本，但在处理让真实沟通得以运作的那些未言明的、变化的信念方面，仍然落后于我们。这篇论文并不声称 AI 是坏掉的，但它确实表明，除非这些模型能够处理自然聊天中取消暗示的细微差别，否则它们还不具备成为真正的对话伙伴的准备。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。