💬 NLP

Am I More Pointwise or Pairwise? Revealing Position Bias in Rubric-Based LLM-as-a-Judge

本文揭示了基于评分量表的 LLM-as-a-judge 评估本质上存在类似于多项选择任务的模型特定位置偏差，即评分选项和标准的排序会显著影响判断，但同时也表明，通过对这些顺序应用随机排列可以有效缓解这种偏差并提高与人类标注的一致性。

原作者： Yuzheng Xu, Tosho Hirasawa, Tadashi Kozuno, Yoshitaka Ushiku

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuzheng Xu, Tosho Hirasawa, Tadashi Kozuno, Yoshitaka Ushiku

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个机器人法官（大型语言模型，或称 LLM），它的工作是给学生的作文评分。你给这个机器人一个评分标准——一份包含评分选项的列表，比如“1：糟糕”、“2：较差”、“3：一般”、“4：良好”和“5：优秀”。

名为《我是点对点还是对对点？》（Am I More Pointwise or Pairwise?）的论文提出了一个简单但令人惊讶的问题：机器人是否在意这些选项在页面上的排列位置？

以下是他们研究结果的解读，使用了日常生活的类比。

1. “菜单”问题

通常，我们认为这些评分标准只是一个简单的清单。但研究人员发现，对于这些 AI 法官来说，评分标准更像是一个多项选择题。

当机器人阅读列表时，它不仅仅是在看分数的含义；它还会观察它们所处的位置。就像人类可能会下意识地选择菜单上的第一个选项（因为它是第一个被看到的），或者最后一个选项（因为它最令人印象深刻）一样，这些 AI 法官也存在“位置偏差”。

研究发现： 有些机器人偏爱第一个选项（“首位偏向型”法官）。另一些机器人则偏爱最后一个选项（“末位偏向型”法官）。
令人惊讶之处： 并非所有模型都一样。一个模型可能仅仅因为“良好”排在顶部就总是选它，而另一个模型可能仅仅因为“优秀”在底部就总是选它。这是特定机器人的个性化特征，而不是评分标准本身的问题。

2. “排队”偏差

研究人员还观察了一个场景：如果机器人需要同时对多个方面进行评分（例如：连贯性、共情力和惊喜感）。

想象一下嫌疑人站成一排。如果你要求警察识别罪犯，他们可能会更加关注站在队伍最前面的那个人。同样，研究发现标准的顺序会产生影响。

如果“连贯性”排在第一位，机器人给出的分数可能会与“连连贯性”排在第三位时略有不同。
即使机器人完全有能力理解文本，这种情况依然会发生。顺序的变化会改变最终得分。

3. “洗牌”解决方案

那么，如何解决一个容易被书写位置所干扰的机器人呢？

研究人员尝试了一种称为**平衡置换（Balanced Permutation）**的方法。这就像洗一副扑克牌。

他们不是让机器人仅用一种顺序（1, 2, 3, 4, 5）对作文进行一次评分，而是让它对同一篇作文进行十次评分。
每次，他们都会打乱分数的顺序（例如：3, 1, 5, 2, 4；然后是 5, 2, 1, 4, 3，等等）。
通过计算平均值，这种“位置偏差”就会被抵消掉，从而留下真实的得分。

关键点： 论文发现，你不需要进行完美的洗牌。你不需要做所有的数学运算来创建一个完美的平衡列表。

类比： 这就像试图测量一个公平的平均温度。你不需要在一天中的每一秒钟都进行测量。如果你只是在一天中随机进行几次测量，你就能得到一个相当不错的平均值。
结果： 仅仅随机打乱几次列表（大约 3 到 5 次）的效果，就几乎等同于进行复杂的完美洗牌。这是消除机器人被顺序干扰的一种廉价且简便的方法。

4. 为什么这很重要（“赢家”会改变）

你可能会想：“好吧，分数确实会有微小的变化，但这真的重要吗？”

论文指出，是的，这非常重要，尤其是在挑选赢家的时候。

想象一场有 4 名参赛者的比赛。如果机器人的偏差改变了分数，排名第一的选手可能会发生易位。
研究人员发现，仅仅改变评分标准的顺序，就会导致在 16% 到 39% 的案例中“赢家”发生改变。
隐喻： 这就像一场比赛，终点线的位置会根据你在哪个赛道而略有移动。如果这场比赛是为了决定谁能获得奖学金，那么移动终点线（改变评分标准顺序）可能会在无意中把奖项给错人。

总结

问题： AI 法官会受到它们所看到的选项顺序的影响，就像人类一样。
特性： 一些 AI 模型偏爱第一个选项，而另一些则偏爱最后一个。
解决方法： 你可以通过让 AI 在不同的顺序下多次对同一内容进行评分来解决这个问题。
捷径： 你不需要完美的洗牌；只需进行几次随机洗牌就足以获得公平的结果。
影响： 如果你不解决这个问题，即使 AI 非常聪明，你也可能会在无意中选错“最佳”答案。

论文的结论是，我们需要将这些基于评分标准的 AI 法官视为正在参加多项选择题，其中答案的位置至关重要，因此我们需要通过“洗牌”来获取真相。

技术摘要：我是点对点还是对对点？揭示基于评分标准的 LLM-as-a-Judge 中的位置偏见

问题陈述

虽然大语言模型（LLMs）正越来越多地被用作评估器（LLM-as-a-Judge），但先前的研究主要集中在点对点（point-wise，单响应评分）和对对点（pair-wise，比较选择）范式的偏见上。本文识别了基于评分标准（rubric-based）评估中一个此前未被充分探索的偏见来源，在这种范式下，模型根据明确的准则和分值范围进行评分。

作者认为，基于评分标准的评估在本质上表现为一种多项选择任务：给定一段文本，LLM 必须选择与内容最匹配的评分选项。因此，评分选项的顺序（例如，“1. 最差”到“5. 完美”）或单个提示词中多个准则的顺序可能会诱发位置偏见（position bias）。在对对点设置中，交换两个响应是一种已知的缓解方法；但在基于评分标准的设置中，涉及的是多个选项，简单的交换并不奏效。本文研究了 LLM 是否会仅仅基于准则在提示词列表中的位置，而对评分选项或准则表现出系统性的偏好，以及这种偏见是否会影响下游排名和人类一致性。

研究方法

本研究采用了一种平衡置换协议（balanced permutation protocol），旨在将评分/准则的语义价值与其位置影响解耦。

实验设置：
- 设置 1（评分选项顺序）： 模型针对具有 $n$ 个评分选项（如 1–5）的评分标准对文本进行评估。这些选项的顺序经过置换。
- 设置 2（准则顺序）： 模型针对多个准则（如连贯性、共情力）对文本进行评估。这些准则的顺序经过置换。
平衡置换策略：
为了抵消位置偏见，作者构建了平衡排序，使得每个评分或准则在多次评估运行中，在每个位置出现的次数相等。
- 对于 $n$ 个选项，他们使用正向和反向循环旋转生成 $2n$ 种排序方式（例如，对于 5 个评分：[1,2,3,4,5], [2,3,4,5,1], ..., [5,4,3,2,1], [4,3,2,1,5]）。
- 这确保了如果模型存在位置偏好（例如，偏好第一个选项），在聚合平衡集合的结果时，这种偏好会被平均化。
比较策略：
作者比较了三种预算匹配的策略：
- BALANCED（平衡）： $2n$ 种循环旋转。
- RANDOM（随机）： $K$ 种随机排序的变体（其中 $K$ 与平衡集合的预算相等）。
- FIXED（固定）： 重复 $K$ 次的单一规范顺序。
数据集与模型：
- 数据集： MT-Bench, Vicuna-Bench, HANNA (故事生成), 以及 SummEval (摘要)。
- 评判者（Judges）： 六个来自三个家族（GPT-OSS, Qwen3.5, Gemma-3）的不同规模（9B 到 120B）的开源模型。
- 指标： 用于均匀性检验的卡方（ $\chi^2$ ）拟合优度检验、用于衡量偏见强度的 Cramér's $V$ 值、与人类评分的 Pearson/Spearman 相关性，以及用于衡量下游排名稳定性的 Kendall $\tau$ 。

核心结果

1. 位置偏见的存在性与性质

统计显著性： 在所有测试的模型和数据集上，基于评分标准的评估均表现出统计学意义上的显著位置偏见。该偏见并非统一的；它是模型特异性的。
- 某些模型（如 GPT-OSS-20B）是首位偏向型（偏好第一个选项）。
- 其他模型（如 Gemma-3-27B, Qwen3.5-27B）是末位偏向型（偏好最后一个选项）。
- 有些模型（如 GPT-OSS-120B）则接近均匀分布。
正交偏见轴： 第二个独立的偏见存在于多准则提示词中的准则顺序方面。准则的位置会显著影响其分配的分数，某些准则的分数会根据其位置变化高达 0.80 分。

2. 缓解措施与人类一致性

置换 vs. 随机化： 研究发现，当聚合判断的数量（ $K$ ）足够多时（例如 $K=10$ ），平衡置换相对于随机排序并没有显著优势。与人类分数相关性的提升主要来自于方差缩减（聚合不同的排序方式），而非机械性地消除位置偏见。
条件性改进： 去偏见（通过置换）仅在模型表现出强初始偏见时才能提高人类相关性。对于本身偏见较低的模型，置换并不会带来显著收益。
预算效率： 聚合带来的收益会很快饱和。对于受益的模型，大约三分之二的提升是通过仅 $K=3$ 个随机排序实现的，而 85% 的提升通过 $K=5$ 实现。

3. 下游影响

排名翻转： 即便平均分与人类的相关性保持相似，位置偏见也会显著影响排名。仅改变评分标准的顺序，就会导致在不同评判者中，有 16% 至 39% 的提示词出现 Top-1 候选人发生翻转。
启示： 这种差异对于“Best-of-N”选择、基于 AI 反馈的强化学习（RLAIF）以及排行榜排名等应用至关重要，因为在这些场景中，选出的特定候选人比平均分更重要。

意义与主张

本文将基于评分标准的 LLM-as-a-Judge 重新定义为一个隐性的多项选择问题，该问题受到可测量的、模型特异性的位置偏见的影响。

实践指导： 作者认为，虽然通过平衡置换可以从机械层面“消除偏见”，但提高人类相关性的实际目标更好地通过简单的随机化评分顺序来实现。对于大多数模型，通过少量随机置换（ $K \approx 3$ 到 $5$）就足以减轻由这种偏见引入的误差。
影响范围： 这种偏见在选择场景（排名候选人）中比在绝对评分中更具破坏性。作者警告说，依赖单一的规范评分标准可能会导致不稳定的下游决策，即使该模型在平均意义上看起来是无偏的。
局限性： 本研究仅限于开源模型，由于预算限制，并未扩展到最新的闭源模型或直接应用于模型训练流水线。

总之，本文证明了评分标准排序是 LLM 评估中一个不可忽视的噪声源。虽然复杂的平衡协议在理论上是成立的，但在实践中，采用聚合少量随机排序变体的低成本策略，在统计学上与精确平衡是无法区分的，并且能有效降低实际应用中排名翻转的风险。