Reference Games as a Testbed for the Alignment of Model Uncertainty and Clarification Requests
本文提出参照游戏作为一种受控测试环境，以评估视觉语言模型能否有效识别其内部不确定性并请求澄清，结果发现，即使在简单任务中，当前模型也难以将不确定性转化为恰当的澄清行为。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在和朋友玩一个“猜物体”的游戏。你们面前都摆着一组彩色的网格。你的朋友指向其中一个特定的网格，说：“中间的正方形是深紫色的。”你的任务就是选出正确的那一个。
通常，这很容易。但有时，你的朋友可能会说一些模糊的话，比如“那个蓝色的”，而实际上有三种略有不同的蓝色。在真实的人类对话中，如果你不确定他们指的是哪一个，你会自然地说：“等等，你是指浅蓝色的那个还是深蓝色的那个？”这被称为寻求澄清。这是一种表达“我很困惑，请帮我理解”的方式。
本文提出了一个简单但重要的问题：AI 模型能做到同样的事情吗？ 当 AI 不确定时，它是会承认并寻求帮助，还是只是自信地猜测并寄希望于最好的结果？
测试：一场受控游戏
为了找出答案，研究人员使用了一种“指称游戏”。你可以把它想象成一个专门设计用来测试倾听能力的视频游戏关卡。
- 设置：AI 扮演“倾听者”的角色。它看到三个网格，并听到一段描述。
- 挑战：描述可能很棘手。有时网格看起来非常相似（困难模式），有时则截然不同（简单模式）。
- 目标：AI 必须要么选出正确的网格，要么在感到困惑时提出问题以消除困惑。
研究人员测试了三种不同的 AI 模型（两个来自通义千问家族，一个来自 OpenAI），以观察它们如何处理这种情况。
结果：“过度自信”的 AI
以下是他们发现的一些简单类比：
1. 表现得像“万事通”的 AI
其中两个模型（通义千问系列的）表现得像一个害怕说“我不知道”的学生。即使任务非常困难，网格看起来几乎一模一样，这些模型也很少寻求帮助。相反，它们会选择一个答案，并对自己的选择极度自信。
- 比喻：想象一个在浓雾中开车的司机。他们不是减速或问路，而是继续加速，坚信自己完全知道要去哪里，尽管他们很可能会撞车。论文将这种现象称为“过度自信”。它们难以识别自己的困惑。
2. 表现得像“谨慎人类”的 AI
第三个模型（GPT-5-mini）的表现更像是一个谨慎的人。当任务简单时，它回答得很快。但当网格难以区分时，它开始更频繁地提问。
- 比喻：这个 AI 就像在岔路口停下脚步的徒步者。如果路径清晰，他们就继续前行。如果路径迷雾重重，他们就会停下来问：“哪条路是对的？”
3. “假问题”的难题
研究人员随后检查了 AI 提出的问题是否真的有帮助。他们发现了一个大问题：
- 即使 AI 寻求澄清，这些问题也往往是无用的。
- 比喻：想象你问朋友：“哪支蓝色铅笔？”而对方回答：“你能澄清一下你在说哪支铅笔吗？”却没有具体指出哪个部分令人困惑。这是一个通用的问题，无法解决问题。
- 当人类试图回答这些模糊的 AI 问题时，AI 在解决谜题方面并没有变得更好。就好像 AI 只是为了遵守规则而寻求帮助，而不是因为它真的需要这些信息。
主要结论
该论文得出结论，虽然 AI 能够流利地交谈，但在知道自己不知道什么方面仍然非常糟糕。
- 人类善于察觉自己何时感到困惑，并寻求帮助以解决它。
- AI 往往忽视自己的困惑。它更喜欢自信地猜测，而不是承认不确定性。
研究人员认为，这些“指称游戏”就像测试这种技能的完美训练健身房。它们表明，即使在一个简单、受控且困惑显而易见的环境中，当前的 AI 模型也难以将其内部的“我不确定”的感觉转化为有帮助的问题。它们是流利的说话者，但仍在努力学习如何成为好的倾听者。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。