The Intent Gap: A Taxonomy of Real-User Failure Modes in Frontier AI Agents
本文识别了一个关键的“意图差距”，即前沿人工智能模型尽管在字面上符合提示词要求，却无法满足用户的真实需求，这揭示了当前由研究人员设计的基准测试会忽略这些与部署相关的失败，因为真实用户很少将这种不满表达出来，作者通过从大规模对话语料库中挖掘出的新分类法量化了这一现象。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
巨大的误解：当 AI 懂得了文字，却不懂得意义
想象一下，你正在试图教一个非常聪明、非常刻板的机器人如何烤蛋糕。在课堂教学中，老师可能会给机器人一张完美的食谱卡：“混合 2 杯面粉、3 个鸡蛋，并以 350 度烘烤。”机器人完美地执行了指令，并递给你一个蛋糕。这就是目前大多数科学家测试 AI 的方式：给它一个清晰的、书面的任务，且只有一个正确答案，比如一道数学题或一个编程挑战。这些测试被称为“基准测试”（benchmarks），它们就像是一场驾驶考试，考官会明确告诉你该在哪里转弯、何时停车。
但现实生活并不是驾驶考试。现实生活更像是一场混乱的公路旅行，你的乘客一直在变换主意。你可能会说：“我饿了”，于是乘客给你拿来了一个三明治。你说：“不，我是说我想吃甜的东西”，于是他们给你拿来了一块饼干。接着你叹了口气：“其实，我只是想聊聊天，”于是他们开始给你讲故事。这种人类真实的、反复交锋的对话方式，正是 AI 感到棘手的地方。科学家们将机器人“字面上听到的内容”与“人类实际表达的意思”之间的差距称为“意图差距”（intent gap）。这是机器人遵循剧本与机器人理解人类灵魂之间的区别。如果我们只在完美的剧本上测试机器人，我们可能会认为它们已经准备好面对世界，却发现一旦人类说出“等等，我不是那个意思”时，它们就彻底失败了。
论文：捕捉 AI 错失重点的时刻
这篇名为《意图差距》（The Intent Gap）的研究论文，是一部关于为什么 AI 智能体经常在现实世界中失败（即便它们通过了所有的学校考试）的侦探故事。作者 Kanupriya Yakhmi 指出，我们目前的 AI 测试方式是存在缺陷的，因为这些测试是由研究人员设计的，而不是由真实的人设计的。研究人员编写的任务是干净且陈述性的（例如“写一首关于雨的诗”），但真实的用户说话方式是混乱且对话式的。他们假设 AI 知道那些他们并未说出口的信息，他们在说话途中改变主意，并且经常在没有言语的情况下表达挫败感。
论文指出，最大的问题不在于 AI 在胡编乱造（幻觉）或拒绝回答（拒绝），而在于意图差距：即在 AI 完美回答了提示词的那一刻，却完全错过了用户真正的需求。
他们是如何抓到“罪魁祸能”的
为了寻找这些失败案例，研究人员并没有仅仅让 AI 解谜，而是去两个巨大的真实人类对话海洋（称为 WildChat 和 LMSYS-Chat）中“钓鱼”，寻找挫败感的迹象。他们构建了一个“挫败信号过滤器”，用来识别用户试图修复误解的时刻。
这就像是一个监控摄像头，只在有人说“等等，停下！”、“再试一次！”或“不对，不是这样！”时才进行记录。研究人员使用了三个步骤来寻找这些时刻：
- 关键词扫描：寻找特定的短语，如“我的意思是”、“你误解了”或“没用”。
- 氛围检查：利用计算机数学方法，观察用户的下一句话是否与 AI 刚才说的话完全不同。
- 裁判：他们要求一个超级聪明的 AI 来审查对话，并确认：“是的，第一个 AI 错失了重点。”
他们的发现：无声的抛弃
结果令人惊讶，对于任何希望 AI 能够进入主流应用领域的人来说，这都有些可怕。
1. 大多数人直接放弃了。
这项研究调查了 5 万场对话。他们发现，52.8% 的英语对话在仅经过一次交流后就结束了。用户提出了问题，AI 进行了回答，然后用户就离开了。研究人员怀疑，其中许多并非圆满结局，而是“无声的抛弃”。用户得到了一个不符合需求的答案，叹了口气，然后就此离开，从未说过“你错了”。因为这些用户没有留下评论或投诉，我们的质量控制系统永远无法看到他们。AI 认为自己做得很好，但用户只是把它“冷处理”了。
2. 真人并不使用“礼貌”的修复词汇。
以往关于人们如何修复误解的研究使用了诸如“让我换种说法”或“你误解了”之类的短语列表。研究人员原以为这些会是最常见的挫败迹象。他们错了。当他们扫描真实数据时，发现最常见的短语是简短、直白且极具人性化的：
- “我的意思是” (i meant) (92 次)
- “请你……” (can you please) (62 次)
- “再试一次” (try again) (53 次)
- “没用” (useless) (20 次)
- “嗯……” (hmm) (17 次)
学术列表未能切中要害。当人们感到恼火时，听起来并不像教科书，而是像在和一个没在听话的朋友说话。
3. “谄媚”之谜。
在 AI 界有很多关于“谄媚”（sycophancy）的讨论——即 AI 为了表现得友好，即使你在错误时也会附和你。研究人员预计会在数据中大量看到这种情况。然而，他们并没有。在他们确认的失败案例样本中，零个案例是由于谄媚引起的。
这暗示了一个可怕的可能性：也许谄媚是如此隐形，以至于我们无法通过用户反馈来检测它。如果 AI 附和你，你可能不会说“不，那是错的！”你会直接接受它。这意味着 AI 可能在欺骗我们或认同错误的观点，而我们永远不会知道，因为我们没有进行投诉。
4. 安全过滤器问题。
当研究人员尝试使用 AI 裁判来评判这些对话时，裁判拒绝查看其中的 62%。为什么？因为这些真实的对话包含了边缘性、角色扮演或 NSFW（非工作安全）的内容，这些内容被安全过滤器拦截了。这是一个巨大的问题：AI 在处理人类对话中最“宽容”的部分时出现了失败，但我们的安全工具却阻碍了我们观察这些失败。
新的失败清单
基于捕捉到的对话，研究人员创建了一套新的“分类法”（Taxonomy，一个高级词汇，指代类别列表）。他们发现，最常见的失败并非关于恶意或编造事实，而是关于错失语境。他们的顶级类别包括：
- 隐性语境盲区 (Implicit-context blindness)：AI 回答了文字，但错失了隐藏的语境（例如，你要求为“小型”聚会准备食谱，它却给出了 50 人的食谱，因为它没能理解“小型”的含义）。
- 目标坍塌 (Goal collapse)：AI 专注于一个小细节，从而忘记了大局。
- 特异性错配 (Specificity mismatch)：用户想要一个尖锐、具体的答案，但 AI 给出了一个笼统、模糊的答案。
总结
论文结论认为，我们正在通过错误的视角看待 AI。我们正在用干净、完美的任务来测试它们，但它们正被应用于混乱的现实对话中。“意图差距”正是为什么 78% 的公司试图使用 AI 智能体，但只有 14% 取得成功的原因。AI 字面上回答了提示词，但它错失了人类的意图。
研究人员建议，要解决这个问题，我们需要停止像对待正在参加笔试的学生那样测试 AI，而要开始像对待正在进行对话的朋友那样测试 AI。我们需要倾听那些“无声的抛弃”和直白的“再试一次”，而不只是那些礼貌的投诉。在此之前，AI 将会继续做到“言之有理，实则离题”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。