Do Benchmarks Underestimate LLM Performance? Evaluating Hallucination Detection With LLM-First Human-Adjudicated Assessment
本研究通过人类对大语言模型生成推理的裁决来重新评估幻觉检测基准，表明原始标注往往低估了模型性能，从而提示在易产生歧义的任务中，借助模型辅助的重新评估能提供更可靠的基准。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位正在批改学生作文的老师。学生需要总结一篇长篇新闻报道。你的任务是找出学生是否捏造了原文中不存在的事实。研究人员将这一过程称为“幻觉检测”。
多年来，科学家们一直使用由人类专家创建的“黄金标准”答案键（基准）来评估这些人工智能模型。他们曾假设这个答案键是完美的。但这篇新论文提出了一个简单而大胆的问题：如果答案键本身就有错呢？
以下是他们发现的故事，通过几个日常类比来讲述。
设定：“三位法官”与"AI 侦探”
研究人员选取了两个著名的测试集（QAGS-C 和 SummEval），在这些测试集中，人类专家已将摘要评定为“真实”或“幻觉”。
随后，他们引入了两位超级聪明的 AI 侦探（GPT-5 Mini 和 Gemini 2.5 Flash）。这些侦探不仅给出“真/假”的评分，还像法医调查员一样行动。他们指着特定的句子说：“这部分是编造的，”甚至写下简短的说明，解释他们为何这样认为。
冲突：当答案键与侦探意见相左
研究人员将原始的人类评分与 AI 侦探的发现进行了对比。他们发现了一个令人惊讶的差距。
- 类比：想象一位裁判（人类标签）判定一名足球运动员没有犯规。但两台即时回放摄像机（AI 模型）清晰地显示该球员绊倒了别人。
- 现实：在约 9% 的案例中，AI 侦探一致认为发生了幻觉，但原始的人类答案键却表示一切正常。
审判：人类仲裁者
为了定分止争，研究人员请来了两位新的人类法官（仲裁者）。这些法官对原始答案一无所知。他们获得了原始文章、摘要、原始“错误”的评分，以及 AI 侦探的详细说明和标出的证据。
裁决：
当人类法官审视 AI 提供的证据时，他们经常改变主意。
- 隐喻：这就像陪审团观看犯罪重演。原始证人（数据集标签）说：“我没看到任何事。”但随后侦探（AI）展示了一张放大后的隐藏线索照片，并精确解释了线索所在的位置。陪审团（新的人类法官）看着照片，点头说道：“好吧，你是对的。这里确实发生过犯罪。”
事实上，当 AI 模型提供了具体理由并指出确切的谎言时，人类法官支持 AI 的频率甚至高于支持原始答案键的频率。
结果：“答案键”低估了 AI
一旦研究人员用这些新的、更细致的判断更新了答案键，结果发生了巨大变化：
- 发现了更多谎言：更新后的数据集显示，实际存在的幻觉比原始测试承认的要多。原始的人类评分者遗漏了一些细微的谎言。
- AI 表现更好：由于 AI 模型实际上已经正确指出了那些被遗漏的谎言，它们的“准确率得分”显著上升。
- 一个 AI 模型的得分提高了约 8.5%。
- 另一个提高了约 4%。
- 达成共识：AI 的看法与人类的看法之间的差距大大缩小。他们终于达成了共识。
核心结论
该论文得出结论，对于像识别文本中谎言这样棘手的任务，单次人工评分是不够的。人类会感到疲惫，或者会忽略细微的细节。
作者建议，我们不应将基准视为固定不变、不可更改的“圣经”，而应将其视为草稿。通过利用 AI 帮助发现错误，然后让人类在 AI 的协助下审查这些具体案例，我们可以获得更公平、更准确的测试。
简而言之：该论文认为，我们一直低估了 AI 识别谎言的能力，因为我们要依赖的“答案键”本身遗漏了一些谎言。当我们让 AI 展示其工作过程时，即使是人类也同意，AI 从一开始就是对的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。