Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models

以下是使用简单语言和日常类比对论文 "Know2Guess" 进行的解释。

核心问题：那个“过度自信地瞎猜”的学生

想象一下，你正在参加一场考试，对手是一个读遍了图书馆几乎所有书籍的天才学生。

• 优点： 当他们知道答案时，表现得非常出色。
• 缺点： 当他们不知道答案时，他们不会说“我不知道”，而是会编造一个听起来很有道理、但完全是虚构的故事。

在人工智能（AI）领域，这被称为幻觉（Hallucination）。目前的 AI 测试通常只检查：“AI 是否得到了正确答案？”如果 AI 自信地给出了一个错误的答案，现有的测试往往无法很好地捕捉到这一点。它会将一个“自信的谎言”与“运气好的猜测”混为一谈。

解决方案：带有“停止信号”的新测试

作者创建了一个名为 Know2Guess 的新基准测试。不要仅仅把它看作一个测试，把它想象成一个 AI 的交通灯系统。

该测试不仅仅是问“答案是什么？”，而是强制要求 AI 在两个选项中做出选择：

1. 前进（回答）： “我知道这个，事实如下。”
2. 停止（弃权）： “我不知道这个，所以我保持沉默。”

目标不是看 AI 能回答多少问题，而是看 AI 是否知道何时该停下来。

测试是如何构建的：四个“区域”

为了使测试既公平又具有挑战性，作者将 1,200 个问题分成了四个不同的“区域”（就像不同等级的游戏关卡）：

• 区域 A（基础知识）： 每个人都知道的著名事实（例如：“谁是美国第一任总统？”）。AI 应该 回答这些问题。
• 区域 B（冷门知识）： 真实存在但不太著名的事实（例如：“某个小国的首都是哪里？”）。AI 仍应 回答这些问题。
• 区域 C（陷阱题）： 这些是真实的事实，但问题的表述方式很令人困惑。AI 需要足够聪明，在放弃之前先理清逻辑。
• 区域 D（诱导陷阱）： 这些问题看起来很真实，但实际上是伪造的。它们是关于从未存在过的人或事件的虚构事实。AI 必须 在这里说“我不知道”。如果它试图回答，就说明它掉进了陷阱。

转折点： 测试还包含一个“污染检测仪（Contamination Meter）”。这就像是在检查 AI 是否在训练数据中见过这些测试题目。如果 AI 记住了答案，那就是“作弊”。测试会追踪这一点，以便我们知道 AI 究竟是在真正理解知识，还是仅仅在记忆内容。

游戏规则

研究人员制定了严格的规则以确保 AI 遵守规则：

• 禁止以“我不知道”作为托词： AI 不能为了求稳而拒绝回答所有问题。它必须回答真实的问题，并且只在遇到伪造问题时才停止。
• 严格评分： 由计算机程序检查答案。如果 AI 对真实问题说“我不知道”，它会受到惩罚；如果它对伪造问题进行猜测，它也会受到惩罚。

研究发现：结果

研究人员使用这个新测试测试了几种流行的 AI 模型（如 Qwen、Llama 和 FLAN）。结果如下：

1. “旧”模型（FLAN）： 这些模型很难学会停止。当它们不知道答案时，只会自信地瞎猜。它们在测试的“停止”环节完全失败了。
2. “较新”的模型（Qwen 和 Llama）： 这些模型更聪明。它们在面对伪造问题（区域 D）时，能更好地学会说“我不知道”。
   • 优胜者： Qwen2.5-3B 模型整体表现最好。它既能回答真实问题，又能很好地在伪造问题面前停止。
3. 遗憾之处（问题尚未解决）： 即便是最好的模型仍然存在问题：
   • 置信度问题： 即使在得到正确答案时，它们也不一定确定自己是对的（即“校准度”较差）。
   • “拒绝”问题： 有时，AI 会仅仅因为问题听起来敏感或困难就拒绝回答，而不是因为它真的不知道。这就像一个学生仅仅因为老师看起来很凶，就拒绝回答数学题一样。
   • 难题挑战： 模型在处理“棘手”问题（区域 C）时仍然很吃力。它们经常在面对真实事实时过早地放弃。

核心结论

论文得出结论：AI 尚未解决“何时该停下来”的问题。

虽然较新的模型在识别伪造问题方面取得了进步，但当它们出错时仍然过于自信，而且有时会对自己其实能够回答的真实问题表现出拒绝。

作者表示，这项新测试非常重要，因为它将我们通常混淆的三种不同能力区分开了：

1. 知识（Knowledge）： 知道答案的能力。
2. 诚实（Honesty）： 知道自己不知道并保持沉默的能力。
3. 拒绝（Refusal）： 因为安全规则而拒绝说话（这与不知道知识是不同的）。

通过将这些能力分开，该测试能帮助我们精准地看到 AI 在哪里失败，而不是仅仅给出一个单一的“通过/失败”成绩。这是一个帮助开发者构建不仅聪明，而且谦逊且可靠的 AI 的工具。