💬 NLP

Evaluating Scoring Bias in LLM-as-a-Judge

本文通过定义和量化三种新型评分偏差——评分标准顺序偏差、分数标识偏差及参考答案分数偏差，并提出通过改进提示词设计与自动化评估来缓解这些偏差的综合框架，从而解决了大语言模型作为裁判系统中评分偏差这一研究不足的问题。

原作者： Qingquan Li, Shaoyu Dou, Kailai Shao, Chao Chen, Haixiang Hu

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Qingquan Li, Shaoyu Dou, Kailai Shao, Chao Chen, Haixiang Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一位非常聪明的自动化机器人教师来批改作文。这位机器人本应公平、客观且一致。你给它一篇学生作文和一份评分标准（即一篇好作文的检查清单），它就会给这篇作文打出一个从 1 到 5 的分数。

本文旨在揭示：即使是最聪明的机器人教师，实际上也极易被误导。它们不仅仅是在看作文本身；即使指令表达的意思完全相同，它们也会因指令的书写方式不同而感到困惑。

以下是用简单类比对该研究发现的拆解：

核心问题：“魔法 8 号球”效应

研究人员发现，如果你稍微改变评分指令的格式——而不改变其实际含义——机器人对同一篇作文的评分可能会发生剧烈变化。这就像问朋友：“这部电影怎么样？”如果你礼貌地询问，得到的回答是"5 分满分”；但如果你倒立着问，得到的回答却是"2 分满分”。电影本身没有变，但答案却变了。

本文聚焦于评分偏差，即机器人仅仅因为提示词被微调（而非答案本身发生变化），就给出了不同的绝对分数（例如 3 分或 4 分）。

机器人感到困惑的三种方式

研究人员确定了三种会扰乱机器人评分的具体“把戏”：

菜单顺序偏差（评分标准顺序）：
想象一下餐厅菜单。通常，开胃菜列在前面，然后是主菜。如果你把菜单反过来，让主菜列在前面，食物的味道会变吗？不会。但机器人教师却认为会变。
- 研究发现： 如果评分规则按"1 到 5"（从低到高）列出，机器人的评分结果与按"5 到 1"（从高到低）或随机顺序列出的结果不同。机器人会被序列顺序搞糊涂。
姓名标签偏差（分数标识）：
通常，我们使用数字如 1、2、3、4、5。但如果我们使用字母（A、B、C、D、E）或罗马数字（I、II、III、IV、V）呢？
- 研究发现： 机器人的大脑对这些不同的分数“名称”反应不同。有时使用罗马数字会让机器人成为更好的评分者；有时则会让它变得更差。这就好比机器人有一个偏爱的字母表。
“完美范例”偏差（参考答案分数）：
有时，老师会给学生展示一篇“完美范例”作文，以说明什么是"5 分”。研究人员测试了如果给该范例附加一个分数会发生什么。
- 研究发现： 如果你向机器人展示一个完美范例并将其标记为“分数 5"，机器人会变得非常一致且准确。然而，如果你将同一个完美范例标记为“分数 3"，机器人就会感到困惑，并开始给其他所有作文打更低的分数，心想：“哦，如果完美范例只有 3 分，那么这篇学生作文肯定糟糕透顶。”

实验：测试机器人

研究人员在多种不同的“机器人教师”（AI 模型）上测试了这一点，范围从最强大的模型（如 GPT-4o）到较小、较便宜的模型。

大机器人 vs. 小机器人： 最强大的机器人不太容易被混淆。它们就像资深教师，对内容了如指掌，菜单顺序的颠倒不会让它们失态。而较小的机器人则像紧张的学生教师；指令中微小的变化会让它们的分数剧烈波动。
意外发现： 有时，这些“把戏”反而起了作用！对于某些机器人，使用罗马数字或颠倒规则顺序，使其评分比标准方式更准确。事实证明，人类通常编写提示词的“标准”方式，并不总是最适合机器人的方式。

解决方案：如何修正评分

基于实验，作者提出了三种使这些机器人法官更可靠的方法：

雇佣大机器人： 如果你需要关键的评分（例如用于求职或升学），请使用可用的最强大的 AI 模型。它们天生更稳定，不太容易受格式把戏的影响。
打破规则（有意为之）： 不要只是照搬标准的"1 到 5"列表。尝试按"5 到 1"的顺序列出规则，或者使用字母代替数字。该论文建议，做一些稍微“非传统”但清晰的事情，实际上可以防止机器人落入其惯常的偏差陷阱。
展示完美范例（并标记为 5）： 如果你要展示一个“黄金标准”答案以帮助机器人评分，请确保将其标记为"5"（最高分）。这能锚定机器人的思维，使其更加准确。

结论

该论文得出结论："LLM-as-a-Judge"（使用 AI 来评估 AI）并不像我们想象的那么客观。机器人对规则的呈现方式很敏感，而不仅仅是对规则本身敏感。为了获得公平的评分，我们需要非常谨慎地编写指令，或许要使用最强大的模型，并以与我们习惯略有不同的方式设计提示词。

技术摘要：评估“大语言模型作为裁判”中的评分偏差

问题定义

“大语言模型作为裁判”（LLM-as-a-Judge）范式利用大语言模型（LLM）作为自动化评估器，为复杂任务提供可扩展的反馈。尽管现有研究已广泛调查了比较性评估（例如，判断两个回答中哪一个更好）中的偏差，但基于评分的评估——即 LLM 为单个回答分配绝对分数——仍缺乏深入研究。基于评分的方法通常更适用于工业应用和标准化的定量分析。

本文指出了一个关键缺口：当提示词受到扰动时，基于评分的 LLM 裁判表现出显著的不稳定性，即使评估目标（被评分的回答）保持不变。作者将评分偏差定义为：LLM 裁判在评分提示词本身受到扰动（而非评估目标发生变化）时，所表现出的可测量的分数偏移。

方法论

评估框架

作者提出了一套综合框架来量化评分偏差，其灵感来源于关于提示词偏差的先前工作。该框架包括：

提示词扰动：系统性地修改评分提示词中的非目标组件，同时保持评估目标实例（ $I$ ）不变。
指标：采用三个维度的评估指标：
- 稳定性：通过翻转率（FP）（分数发生变化的样本百分比）以及扰动分数与基准分数之间的*平均绝对偏差（MAD）*来衡量。
- 准确性：通过裁判分数与“金标准分数”（源自 GPT-4.1 等高级 LLM 及人工标注者）之间的斯皮尔曼（Spearman, $\rho$ ）和皮尔逊（Pearson, $r$ ）相关系数来衡量。
- 评分倾向：通过分析分数分布直方图来检测对特定分数类别的固有偏好。

扰动类型

本研究引入并定义了三种新颖的评分偏差类型：

评分标准顺序偏差：改变评分标准中分数描述的顺序（例如，升序 1–5、降序 5–1 或随机顺序）。
分数标识偏差：更改用于分数的标识符（例如，阿拉伯数字 {1–5}、字母等级 {A–E} 或罗马数字 {i–v}）。
参考答案分数偏差：调查在提示词中为参考答案附加特定分数（1–5）的影响，这是一个此前在鲁棒性背景下未被探索的因素。

数据集与模型

数据集：评估利用了四个已建立的基准：BiGGen Bench、FLASK、MT Bench 和 Vicuna Bench。对于缺乏所有分数等级参考答案的数据集（BiGGen Bench 和 FLASK），作者开发了一个自动数据合成管道（生成 - 审查循环），以创建分数 1 至 4 的参考答案。
裁判模型：实验在多样化的模型集合上进行，包括 GPT-4o、DeepSeek-V3-671B、Qwen3-32B、Qwen3-8B 和 Mistral-Small-24B-Instruct。
金标准分数：使用 GPT-4.1 生成金标准分数，经验证，在测试的模型中，其与人工标注的相关性最高。

主要结果

1. 评分偏差的普遍性

即使是最先进的 LLM 也遭受严重的评分偏差。提示词结构的扰动导致了显著的不一致性：

稳定性：在扰动下，翻转率（FR）根据模型和扰动类型的不同，范围从约 16% 到超过 46%。例如，Qwen3-8B 在 BiGGen Bench 上，面对简单的降序评分标准顺序扰动时，表现出 46.22% 的翻转率，这意味着近一半的分数发生了改变。
模型敏感性：更大、能力更强的模型（如 GPT-4o、DeepSeek-V3）通常表现出比小模型（如 Qwen3-8B）更高的鲁棒性（更低的 FR 和 MAD）。

2. 对准确性的非线性影响

与偏差总是有害的假设相反，研究发现某些扰动可以提高相对于金标准分数的评分准确性：

分数标识：使用罗马数字提高了 GPT-4o 的准确性，而字母等级提高了 DeepSeek-V3-671B 的准确性。相反，这些变化往往降低了其他模型的准确性。
评分标准顺序：降序评分标准顺序提高了 DeepSeek-V3 和 Mistral-Small 的准确性，而随机顺序通常损害了所有模型的准确性。

3. 评分倾向与参考答案

固有偏好：不同模型表现出不同的分数分布（例如，DeepSeek-V3-671B 倾向于分配高分，而 Mistral-Small 偏爱分数 4）。
参考答案的影响：包含带有**满分（分数 5）**的参考答案始终能产生最高的评分准确性，并稳定了各模型的评分倾向。相比之下，带有较低分数（1–4）的参考答案往往导致模型将其分数“拉向”参考答案，从而降低准确性。

主要贡献

识别新颖偏差：本文正式定义并调查了三种此前未被研究的评分偏差：评分标准顺序偏差、分数标识偏差和参考答案分数偏差。
评估框架：提出了首个专门用于量化评分偏差的框架，引入了一套指标（稳定性、准确性、倾向性）以及一个自动数据合成管道，以创建定制化的评估语料库。
实证证据：该研究提供了实证证据，表明即使是最先进的 LLM 也容易受到这些偏差的影响，这对当前自动化评分实践的可靠性提出了挑战。

意义与建议

本文认为，这些由提示词引发的偏差损害了“大语言模型作为裁判”在工业应用中的可靠性。作者为设计更鲁棒的评分提示词提供了可操作的见解：

模型选择：优先选择更大、能力更强的模型用于高风险评估，以减轻偏差。
提示词设计：采用“有意但具有意义的对常规的偏离”。这包括在适当情况下使用降序评分标准顺序或非数字标识符（如字母等级），同时避免混乱的随机化。
参考答案：在使用参考答案时，建议使用**满分（分数 5）**的参考答案，以最大化准确性和稳定性，这与 BLEU 和 ROUGE 等指标的逻辑相一致。

该工作得出结论，解决评分偏差对于自动化 LLM 评估的公平性和可靠性至关重要，并为未来的去偏差策略和鲁棒提示词工程研究奠定了基础。