💬 NLP

Judging Against the Reference: Uncovering Knowledge-Driven Failures in LLM-Judges on QA Evaluation

本文揭示了在问答评估中，当参考答案与大语言模型内部的参数化知识发生冲突时，基于大语言模型的裁判经常无法遵循所提供的参考答案，从而导致尽管采用了常见的缓解策略，评分仍然不可靠。

原作者： Dongryeol Lee, Yerin Hwang, Taegwan Kang, Minwoo Lee, Younhyung Chae, Kyomin Jung

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Dongryeol Lee, Yerin Hwang, Taegwan Kang, Minwoo Lee, Younhyung Chae, Kyomin Jung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一位非常聪明、博学多才的图书管理员来批改一叠学生论文。你的规则很简单：“仅根据我给你的答案解析进行评分，不要根据你自己的记忆。”

这篇论文研究的是，当这位图书管理员是一个人工智能（大语言模型，或称 LLM），且答案解析中包含一个“陷阱”时，会发生什么。

设定：“被调换”的答案解析

研究人员设计了一个特殊的测试。他们选取了一系列问题及其正确答案（“金标准”）。然后，他们秘密地将正确答案与一个听起来很合理的错误答案进行了调换。

原始场景：
- 问题： 谁赢得了 2ized 2024 年 F1 锦标赛？
- 答案解析（金标准）： 马克斯·维斯塔潘 (Max Verstappen)。
- 学生的回答： 马克斯·维斯塔潘。
- AI 评委的判定： ✅ 正确。（轻而易举）。
“调换后”的场景：
- 问题： 谁赢得了 2024 年 F1 锦标赛？
- 答案解析（金标准）： 兰多·诺里斯 (Lando Norris)。（注意：在现实中这是错误的，但 AI 被告知这是本次测试的“金标准”真相）。
- 学生的回答： 兰多·诺里斯。
- AI 评委的判定： ❌ 错误。

等等，怎么回事？学生完美地匹配了答案解析！但 AI 却给了不及格。为什么？因为 AI 的内部记忆（其“参数化知识”）在尖叫着说：“不！马克斯·维斯塔潘赢了！兰多·诺里斯没赢！” AI 忽略了指令和答案解析，因为它更信任自己的记忆。

核心发现：“好为人师”的问题

论文将此称为**“知识驱动型失败” (Knowledge-Driven Failure)**。

把这个 AI 评委想象成一个自以为是的学生，如果老师的答案解析与他们在高中背下的知识相冲突，他们就拒绝参加考试。即使老师说：“对于这次特定的考试，答案是 X”，学生仍坚持认为：“不，我知道事实是 Y”，并根据 Y 来评分。

研究人员发现：

这发生在所有人身上： 即使是最聪明、最强大的 AI 模型（如 GPT-4o、GPT-5 和庞大的 Llama 模型）也会这样做。
随着知名度增加而恶化： 如果解析中的“错误”答案是一个名人或事实（如“埃隆·马斯克”或“月球”），AI 就更有可能忽略解析。事实越出名，AI 的内在信念就越强，也就越难以被覆盖。
规模大并不代表更好： 增大 AI 模型（增加“脑力”）并没有解决这个问题。事实上，有时更大的模型反而更固执，因为它们拥有更多的内部知识可以依赖。

“魔法咒语”不起作用

研究人员尝试通过给 AI 提供“魔法咒语”（提示词）来修复这个问题。他们尝试了：

直接命令： “请忽略你自己的知识，只看解析！”
出声思考： “在评分前，请逐步思考。”
示例： 向 AI 展示如何操作的例子。

结果： 这些都没有奏效。当两者发生冲突时，AI 仍然倾向于选择自己的记忆而非提供的指令。这就像是在告诉一只固执的狗：“别追那只松鼠，看这个球！”而松鼠就在那里。狗的本能（参数化知识）压倒了指令。

为什么这很重要

在现实世界中，我们使用这些 AI 评委来评判从学校考试到医疗建议的一切事物。我们假设它们是公正且遵守规则的。

这篇论文揭示了一个关键缺陷：如果“规则”（参考答案）与 AI 的“信念”（训练数据）相冲突，AI 就会破坏规则。

如果一个数据集更新了新事实（例如，“2025 年选举的获胜者是人物 B”），但 AI 仍然“记得”人物 A，那么任何说人物 B 的答案都会被 AI 不公平地判错，即便人物 B 是根据新数据得出的正确答案。

底线

论文得出结论：如果提供的答案解析与 AI 的内部记忆发生冲突，我们目前无法信任 AI 评委能够严格执行该解析。这不是代码中的漏洞；这是这些模型思考方式的一个基本习惯。它们对自己的“知识”如此自信，以至于当事实发生变化时，很难作为一个中立的裁判。

简而言之： 这个 AI 评委是一位博学的图书管理员，但如果图书馆的目录与他们自己在互联网上读到的内容不符，他们就会拒绝使用目录。在我们解决这个问题之前，我们无法完全信任他们根据特定的参考资料来评分。

技术摘要：针对参考答案的评判

问题陈述

本文探讨了“LLM-as-a-judge”（大模型作为评审）范式在问答（QA）评估中一个关键且尚未得到充分研究的失效模式。虽然大语言模型（LLMs）越来越多地被用于根据提供的参考（金标准）答案对候选答案进行自动评分，但它们在面对与自身内部参数知识相冲突的参考答案时，能否严格遵循该参考答案的研究尚不明确。作者发现，当提供的参考答案被故意替换为一个与评审模型的内部信念相矛盾的错误实体时，评审模型往往会忽略所提供的参考答案。评审模型并没有根据给定的指令和参考答案进行评估，而是回归到了其自身的参数知识，从而导致评估结果不可靠且保真度下降。这一问题在事实知识不断演进、且数据集可能刻意编码了与模型训练数据相悖的反事实目标时显得尤为突出。

研究方法

为了系统地研究这一现象，作者引入了一个交换参考问答评估框架（Swapped-Reference QA Evaluation Framework）。该框架构建了受控的评估实例，以诱导提供的参考答案与评审模型的内部知识之间产生冲突。

数据集构建： 作者策划了四个现有的问答数据集（NaturalQuestions-Open, PopQA, SciQ, 和 FreshQA）。他们应用命名实体识别（NER）来识别参考答案中的实体，然后使用几种策略进行参考交换（Reference Swapping）：
- 随机交换 (Random Swap, RS)： 用数据集中的另一个同类型实体替换原始参考（例如，将一个人物替换为另一个人）。
- 合理交换 (Plausible Swap, PS)： 用由强模型（GPT-5）生成的看似合理但错误的答案替换参考。
- 高/低流行度交换 (Popularity-High/Low Swap)： 通过交换具有不同维基百科页面浏览量流行度的实体，来测试知识强度的影响。
- 评审器知识交换 (Evaluator-Knowledge Swap)： 用评审模型本身会生成的特定答案替换参考，从而创建一个交换后的参考与评审模型内部信念完全一致的情景。
候选答案生成： 对于每个交换后的参考，该框架会生成与该交换参考相一致的长文本候选答案，以及与原始参考相一致的候选答案。
元评估： 本研究在四个数据集上评估了 13 种不同的 LLM 评审模型（包括 GPT-4o, GPT-5, Llama-3, 和 Qwen-3 系列）。核心指标是参考极性准确度差距（Reference-Polarity Accuracy Gap, RPAG），定义为原始参考设置下的准确度（ $ACC_o$ ）与交换参考设置下的准确度（ $ACC_s$ ）之间的差异。高 RPAG 表示当参考被交换时，评审模型的性能显著下降，揭示了其未能基于提供的文本进行条件化处理。
缓解分析： 作者测试了常见的提示策略——直接指令、上下文学习（ICL）、思维链（CoT）以及结合自一致性的思维链（CoT with Self-Consistency）——是否能缓解这一脆弱性。

关键发现

普遍的脆弱性： 在所有 13 个评审模型和四个数据集上，交换参考答案都导致了评分可靠性的剧烈下降。即使是像 GPT-4o 和 GPT-5 这样的强模型也表现出显著的准确度退化（例如，在随机交换场景下下降了 30–50%）。
对参数知识的过度依赖： 这种失败是由评审模型对内部信念的过度依赖驱动的。当交换后的参考与评审模型的参数知识一致时（评审器知识交换），这种脆弱性消失了（RPAG 趋于零）。相反，当交换后的参考与强大的内部信念相冲突时，评审模型就会忽略提供的参考。
知识强度与流行度： 脆弱性与冲突知识的强度相关。涉及高流行度实体（强先验）的交换比涉及晦涩实体的交换会导致更大的准确度下降。同样，涉及稳定、长期事实的问题比涉及快速变化或时效性知识的问题表现出更高的脆弱性。
规模化并无帮助： 增加模型容量（例如，从 8B 增加到 70B 参数）并不能缓解该问题；在某些情况下，更大的模型表现出更强的脆弱性，这表明增加容量反而强化了模型对内部世界知识的依赖，而非提高对外部指令的遵循能力。
提示策略的局限性： 常用的缓解策略，包括详细指令和思维链提示，均未能解决该问题。值得注意的是，在高度冲突（随机交换）的情况下，CoT 提示有时反而增加了脆弱性，因为推理过程似乎放大了模型利用其自身参数信念来覆盖所提供参考的倾向。

意义与贡献

本文做出了三个主要贡献：

识别了一个关键的失效模式： 它揭示了当参考答案与其参数知识相冲突时，LLM 评审经常会忽略评估指令，这是参考条件化评估中的一个根本性局限。
系统性框架： 它引入了一个受控的交换参考问答评估框架，能够实现跨数据集、跨交换类型和跨知识对齐的细粒度评审遵循度分析。
诊断性见解： 它指出问题的根源在于无法在解决知识冲突时优先考虑提供的参考，并且标准的提示技术提供的帮助有限。

作者得出结论，这些发现凸显了 LLM-as-a-judge 范式中的一个基本风险。当提供的参考与内部知识发生冲突时，无法可靠地遵循所提供的参考，这表明当前的评估协议在处理涉及演进事实或反事实场景的任务时可能存在缺陷。本文旨在推动开发能够强制执行对所提供参考的更强遵循度，而非依赖模型内部先验的新协议和训练方法。

注：论文明确指出其并未提出具体的缓解策略，而是侧重于诊断失效模式。此外，其研究范围仅限于问答评估，并指出在没有进一步研究的情况下，其发现可能无法直接推广到总结或对话评估等其他参考条件任务。