💬 NLP

Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence

本文表明，作为裁判的大语言模型会受到其上下文元数据中包含的先前评分的显著影响，从而导致系统性的评分偏移和决策错误，且这种现象在采用思维链（Chain-of-Thought）或警告等缓解措施后依然存在，进而对 LLM-as-a-Judge 系统中评估独立性的假设提出了挑战。

原作者： Ante Kapetanovic, Kemal Altwlkany, Andro Mercep, Tomislav Duricic, Emanuel Lacic

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ante Kapetanovic, Kemal Altwlkany, Andro Mercep, Tomislav Duricic, Emanuel Lacic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数字化景观中，人工智能已从一个仅仅回答问题的工具，演变成了一个能够评判其他系统质量的系统。这种被称为“AI作为评判者”（AI as a judge）的新角色，正越来越多地被用于评分论文、审查代码以及在内容到达人类读者之前进行过滤。这种做法背后的假设是，AI评判者会根据每一件作品自身的优点进行评估，将每一次提交都视为一个全新的开始。然而，人类心理学早已发现了一种被称为“锚定效应”（anchoring）的现象，即一个人的估计或决策会被其之前看到的某个数字微妙地拉向该数字，即使那个数字是随机的或无关的。几十年来，研究人员在人类身上观察到了这种现象，从法庭判决到价格谈判。对于数字时代的关键问题在于，这些我们信任其公正性的机器内部是否存在同样的类人偏见。如果一个AI评判者受到背景中看到的先前分数的干扰，那么整个自动化评估系统可能会出现系统性的偏差，导致内容的通过或拒绝变得不公平。

Infobip的一个研究团队致力于直接测试这一假设。他们设计了一个实验，旨在观察AI评判者的分数是否仅仅因为看到了来自不同评判者的先前分数而发生变化，即便这个先前的分数与当前的作品完全无关。他们收集了八种不同的语言大模型，涵盖了从庞大强大的系统到更小、更高效的系统，并要求它们对二十篇不同的文本进行评分。这些文本涵盖了四个不同的领域：总结文章、审查计算机代码、创作创意故事以及回答事实性问题。研究人员为AI评判者创建了三种不同的场景。在第一种场景中，评判者只看到任务和文本。在第二种场景中，评判者看到文本时附带了一个表示它是修订版的注释。在第三种场景中，评判者看到文本的同时，还看到了一段包含代表前一次尝试的特定数字的“先前分数”的注释。至关重要的是，这些先前分数是随机生成的数字，且始终低于及格线，这意味着它们被设计为是非信息性的且无关紧要的。

结果在大多数测试的模型中都是清晰且一致的。当AI评判者被展示随机的先前分数时，它们的评分显著下降。模型似乎并没有将文本视为独立的个体作品，而是将判断锚定在了那个较低的数字上。在研究中，八个模型中有七个表现出了在存在先前分数时评分统计学意义上的显著下降。这种影响不仅仅是微小的波动；对于某些模型而言，这种偏移大到足以改变评估结果。例如，在测试的最强力模型之一中，先前分数的出现导致文本的接受率下降了近百分之二十二。这意味着原本会被批准为高质量的内容，仅仅因为评判者在背景中看到了一个较低的数字，就突然被拒绝了。研究人员发现，这种偏见在不同类型的任务中并不统一；它在创意写作和事实性问题中最为强烈，而在代码审查中的反应则较弱且不一致。

为了理解机器内部是如何发生这种情况的，研究人员观察了模型在生成评分时所考虑的具体词汇。他们发现了一种看起来更像是“开关切换”而非“逐渐下滑”的模式。当引入先前分数时，模型选择高分的概率急剧下降，而选择低分的概率则跃升。然而，改变该先前分数的具体数值似乎并不重要；仅仅是该数字的存在就触发了这种转变。这表明模型并非在仔细计算一个新的平均值，而是在对元数据本身的存在做出反应。研究人员还测试了简单的指令是否能解决这个问题。他们尝试要求模型在评分前进行“逐步思考”，并尝试明确警告模型忽略先前分数。这两项策略都没有奏效。事实上，在某些情况下，逐步思考的指令反而加剧了偏见，而明确的警告未能阻止分数下降，尽管它确实降低了模型在已经产生偏见的情况下跟随特定数字的倾向。

研究进一步探讨了这种偏见是否会影响现实世界的决策，而不仅仅是抽象的数字。利用一个已被人类标记为“安全”或“违规”的消息营销数据集，研究人员测试了当AI评判者被给予错误的先前标签时表现如何。当AI看到一个错误的先前标签时，在原本可以纠正错误的近一半案例中，它未能纠正错误。相反，它经常固守于元数据中提供的错误标签。在一次AI此前判断正确的配对测试中，引入错误的先前标签导致它在超过百分之十的案例中将正确的判断转变为错误的判断。这证明了这种偏见不仅限于简单的评分，还延伸到了决定内容是否允许或拦截的类别决策中。研究人员得出结论，防止这种偏见的唯一可靠方法是从提示词（prompt）中完全移除无关的元数据。他们发现，无论多少提示或警告，一旦该先前信息存在，都无法完全恢复评判者的独立性。

这些发现的意义对于任何依赖AI进行公平评估的人来说都非常重大。研究表明，自动化系统中公正性的假设是脆弱的。即使提供的信息显然是无关的，模型也无法免受上下文的影响。这种偏见不是一个可以通过简单指令轻松修复的“漏洞”；它似乎是这些系统处理信息的一种基本方式。研究人员强调，虽然他们的测试涵盖了一组特定的模型和任务，但结果表明存在更广泛的脆弱性。为了构建值得信赖的系统，开发人员必须仔细设计AI运行的上下文，确保没有任何无关的数字或来自前一步骤的标签泄露到当前的评估中。未来的路径需要对每一个具体的模型和任务进行主动验证，而不是被动地相信机器能够清晰地看待世界。

技术摘要：LLM-as-a-Judge 系统中的锚定偏差

问题陈述
“LLM-as-a-Judge”（大语言模型作为评审员）范式已成为自动化内容评估的标准，其中大语言模型（LLM）负责为输出评分、过滤内容，并在生产流水线中控制迭代优化循环。此类系统的一个关键且往往被忽视的假设是：每次评审都是独立于先前评估的。然而，在迭代工作流中，评审员先前的评分经常作为元数据（例如：修订标签、尝试次数或先前的分数）持久存在于上下文窗口中。本文研究了此类先前的评估元数据是否充当了“锚点”，系统性地使后续评审向提供的数值偏移，从而破坏了评估的独立性。本研究借鉴了人类的认知偏差，特别是 Tversky 和 Kahneman 描述的“锚定-调整启发式”（anchoring-and-adjustment heuristic），即即使初始观察值没有信息量，估计值也会被拉向该初始值。

方法论
作者进行了一项大规模实证研究，涉及 192,000 次尝试评估（其中 185,271 次成功），涵盖 8 个大语言模型和 20 个固定文本任务。实验设计采用了三种不同的提示条件：

C0 (基准): 评审员接收任务、答案和评分标准，但不包含任何修订或评估元数据。
C1 (框架): 评审员接收到表明提交内容为“修订版”的元数据，但不包含具体数值分数。
C2 (锚定): 评审员接收到修订框架、尝试索引以及一个“先前的分数”( $a$ )。至关重要的是，这些先前的分数是从 $[0, 3.99)$ 中均匀采样的，严格低于 4.0 的接受阈值。这种设计确保了锚点与当前答案质量是外生的且在实验上是无关的，模拟了将随机或任意先前的分数作为真实评估呈现的情景。

主要估计量为总锚定元数据效应，定义为 $\Delta_{C2-C0} = \mu_{C2} - \mu_{C0}$ 。研究采用了任务分层的自助法（bootstrap）区间，将 20 个固定文本视为推断单位而非重复解码，以确保针对基准构成具有鲁棒性。评估的模型包括 API 服务模型（GPT-4.1, Claude-4.5-Sonnet, DeepSeek-R1）和本地托管的开源权重模型（各种 Llama-3, Qwen2.5, 以及 Gemma-2 变体）。

核心贡献与结果

跨模型的系统性偏差： 在被评估的模型中，有七个模型表现出在存在锚定元数据时评分显著负向偏移（ $\Delta_{C2-C0} < 0$ ）。效应量变化较大，Cohen's $d$ 的绝对值最高达到 0.71 (Llama-3.2-3B) 和 0.67 (GPT-4.1)。这表明，即使先前的分数是随机的且低于接受阈值，锚定元数据的存在也会系统性地将后续评分向下拉低。
类阈值响应模式： 对 GPT-4.1 和 Llama-3.2-3B 的标记级概率分析揭示了一种类阈值的响应机制。引入锚定元数据导致输出分数的概率分布发生显著重分配（例如，从“5”的概率质量转移到“4”），但测试范围内特定锚定值（$1.0 $到$ 3.9$）的变化对产生额外变化的贡献相对较小。这表明，偏差是由锚点的存在触发的，而非对其具体量级的线性调整。
对分类决策的影响： 这种偏差不仅限于数值评分，还延伸到了分类决策。在一项使用人工标注真值（消息营销合规性）的工业验证研究中，锚定条件阻碍了 48% 的潜在错误修正。此外，在配对实验中，锚定元数据导致 10.18% 的先前正确判断被判定为错误的标签。
标准缓解策略的无效性： 研究测试了两种常见的缓解策略：思维链（CoT）提示和明确要求忽略先前分数。
- 在数值评分任务中，这两种策略均未能减少总效应（ $\Delta_{total}$ ）；CoT 实际上反而使偏差的幅度恶化了 47.7%。
- 在分类工业任务中，明确的警告相对于基准提高了配对准确性的效应，并减少了与错误锚定一致性的增加，而 CoT 相比基准并未显示出显著改善。
- 作者得出结论，没有任何测试过的提示策略支持通用的部署建议，因为其有效性高度依赖于特定的模型、任务和领域。

意义与主张
本文主张，可靠的 LLM 评估需要精细的上下文工程，而非被动地假设其公正性。研究结果表明，先前的评估元数据会损害 LLM 评审员在基于评分标准评分和分类任务中的独立性。作者强调，这种偏差不仅是模型规模或架构的函数，因为它影响了 API 模型和开源权重模型，且在不同任务间并不统一（例如，代码审查的效应弱于创意写作）。

研究断言，有效的缓解必须针对目标模型和特定任务进行验证，因为在一种语境下有效的策略（如分类任务中的警告）在另一种语境下（如数值评分）可能会失效甚至加剧偏差。作者警告不要对提示字段进行未经支持的因果分解，并强调在工作流设计允许的情况下，排除实验无关的元数据是最直接的保障措施。研究结果挑战了“LLM 评审员在迭代流水线中作为独立评分者运行”的假设，表明在上下文窗口中持久存在的先前分数引入了一个系统性的误差源，而目前的缓解技术无法可靠地解决这一问题。

类似论文