💬 NLP

Self- and Other-Labels Induce Bidirectional Bias in LLM Judges

本文表明，虽然在控制输出质量后，大语言模型裁判中真实的自我偏好现象基本消失，但自我标签或他者标签的存在本身会诱发一种双向偏差，即抬高带有自我标签内容的评分并降低带有他者标签内容的评分，从而揭示了作者身份归属是导致评估偏差的另一独立驱动因素。

原作者： Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，出现了一种测试这些系统效能的新方法：利用一个人工智能来为另一个人工智能的作品评分。这种通常被称为“AI即裁判”（AI-as-a-judge）的方法已成为研究人员的标准工具，因为它快速且具有可扩展性，能够无需人工干预即可评估数以千计的响应。然而，在这些自动化评估中出现了一个令人不安的模式。当一个人工智能系统被要求评价自己的输出时，它往往会给自己比给其他系统更高的分数。这种被称为“自我偏好”（self-preference）的倾向，引发了一个关于这些自动化评估可靠性的严肃问题。如果裁判倾向于自己的同类，那么评估结果可能会发生偏差，使得人们难以得知哪种人工智能的表现真正更好。

问题的核心在于这些评估通常是如何进行的。通常情况下，研究人员会让一个人工智能写故事或回答问题，然后让另一个人工智能对该文本进行评分。问题在于，文本本身带有该模型的“指纹”。特定的AI可能会使用其自然偏好的特定句式、词汇或复杂度。当一个裁判AI阅读由它自己编写的文本时，它可能仅仅是在识别自己熟悉的风格并给予奖励，并不是因为内容在客观上更好，而是因为它感觉“像家一样”。这使得人们很难分辨AI是真的对自身存在偏好，还是仅仅在对写作风格做出反应。为了解决这个谜题，来自韩国KAIST的研究团队决定剥离文字本身，转而观察文字背后的选择。

研究人员设计了一个独特的研究实验，让十个不同的语言大模型同时担任创作者和裁判的角色，但从未生成过任何一句叙事文本。相反，它们被给予了一组由两百个预先写好的叙事构建块组成的集合。这些构建块是描述事件、人物、风格或环境的单句，全部由人类编写。每个AI的任务是选择它认为最适合构建单一故事的二十个构建块。由于这些句子已经是既定且固定的，AI无法影响文本本身的风格或质量；它只能选择包含哪些部分。这种设计移除了通常的干扰因素，确保任何偏差都必须来自于选择过程或评审过程，而非来自写作的外观或感觉。

在研究的第一阶段，AI裁判在不知道是谁做出选择的情况下对这些选择进行了评估。这是一项盲测，非常类似于品牌被隐藏的盲品测试。研究人员发现，乍看之下，AI模型似乎确实偏向于自己的选择，平均给出的分数更高。然而，当研究人员仔细考虑了选择的质量和裁判的严格程度后，这种表象上的偏爱基本消失了。事实上，在衡量故事构思的新颖度或原创性的一个特定指标上，一旦数据经过清洗，裁判给出的自己选择的分数实际上比其他模型的选择要低。这表明，最初的自我偏好并非一种根深蒂固的对他者的排斥，而是由于某些模型做出了更好的选择，或者某些裁判在评分时更加慷慨，从而产生的副作用。

实验的第二阶段引入了一个扭转局面的变化，揭示了一个更为强大且令人惊讶的力量。研究人员选取了两组质量相当的选择——一组由裁判自己做出，另一组由其他模型做出——并将它们再次呈现给裁判。这一次，他们为每个选择附上了一个标签。有时标签显示“这是你自己的选择”，有时则显示“这是另一个语言模型的选择”。至关重要的是，这些标签并没有指明具体的AI，而只是表明了工作属于“自我”还是“他者”。结果令人震惊。仅仅是标签本身就足以使分数向两个方向移动。当一个裁判被告知某个选择是它自己的时，即使该选择实际上是由其他模型做出的，它也会给出更高的分数。反之，当被告知某个选择属于另一个模型时，即使那是它自己的作品，它也会给出较低的分数。

这一发现表明，偏见不仅仅在于识别自己的写作风格或内容。相反，仅仅是将某物标记为“我的”或“他们的”这一行为，就足以触发评价过程中的系统性偏移。这种偏见是双向运作的：AI会抬高它认为属于自己的事物的分数，并降低它认为属于他者的事物的分数。无论实际的质量或来源如何，这种情况都会发生。研究表明，在缺乏明确事实的情况下，AI在很大程度上依赖这些外部线索来形成判断。这暗示，在以往研究中看到的自我偏好，与其说是对自身输出的真实喜爱，不如说是对作者身份标签的敏感性。

这一发现对于我们如何构建和信任人工智能系统具有重要意义。它揭示了自动化的评估很容易受到简单元数据（例如谁被归功于这项工作）的破坏。如果一个AI裁判可以被一个标签所左右，从而改变它对故事质量的看法，那么它产生的评分反映的可能更多是标签而非作品本身。研究人员得出结论，为了获得真实的性能衡量，我们必须设计能够控制这些表面特征的评估任务。通过使用地面真相（ground truth）未知且风格中立的开放式任务，我们可以更好地理解这些系统的真实思维方式。这项研究并不声称已经解决了AI偏见问题，但它提供了一张清晰的地图，展示了偏见源自何处，表明“自我”与“他者”之间的界限是一个强大的杠杆，可以使判断的天平向任何一方倾斜。

技术摘要：自我与他人标签诱发 LLM 评判者的双向偏差

问题陈述

随着“LLM 作为评判者”（LLM-as-a-judge）范式成为实现可扩展评估的标准，人们对自我偏好偏差（self-preference bias）的担忧日益增长：即大语言模型（LLM）倾向于对自己生成的输出给出比对他模型更高的评分。先前的研究虽然识别了这一现象，但在方法论上存在显著局限。现有研究主要评估生成的文本，其中风格特征、响应质量和困惑度（perplexity）不可避免地与模型的身份混淆在一起。因此，目前尚不清楚观察到的自我偏好究竟源于对自身“语调”的真实偏好，还是仅仅是评判者识别出更高质量输出或更低困惑度的产物。此外，先前的研究未能充分将显式的作者身份标签（authorship labels）从被评估内容的内在属性中分离出来。

研究方法

为了将真正的自我偏好与混杂因素解耦，作者引入了一种以叙事约束选择任务（narrative constraint selection task）为核心的新颖实验设计。这种方法消除了模型特有的风格指纹，同时保留了可恢复的模型特定选择特征。

实验设计

十个 LLM（五个商业模型和五个开源模型）承担双重角色：

选择者（Selectors）： 每个模型进行 30 次运行，从包含 200 个预设约束（涵盖事件、风格、角色和场景）的池中选择 20 个叙事约束。这生成了 300 个唯一的约束集。
评判者（Judges）： 同这十个模型使用四轴量表（原创性、维度性、连贯性和可讲述性）对这些集合进行评估，采用 7 分李克特量表。

研究分为两个截然不同的实验进行：

实验 1：盲测评估

评判者在没有任何来源归属的情况下评估所有 300 个选择。

目标： 确定在移除表面层级线索并控制选择质量和评判严苛度时，自我偏好是否依然存在。
分析： 作者采用混合效应模型来隔离自我偏好系数 ( $\beta_S$ )，将评判严苛度、选择质量和重复评估视为随机截距。这控制了“强”模型可能仅仅是产生了更好选择这一混杂因素。

实验 2：带标签评估

评判者在四种标签条件下对选择进行评估，采用 $2 \times 2$ 设计：

真实标签 (TL)： 标签与实际来源（自我或他人）一致。
错误标签 (FL)： 标签与实际来源矛盾。
质量匹配： 为了隔离标签效应，作者构建了选择对（一个由自我产生，一个由他人产生），这些选择在实验 1 中获得了几乎相同的分数。
操纵： 标签以匿名形式呈现为“你自己的选择”或“另一个语言模型”，从而移除了特定的模型身份效应。
分析： 混合效应模型估计显示的标签主效应 ( $\beta_L$ )、实际来源 ( $\beta_A$ ) 以及它们的交互作用 ( $\beta_{LA}$ )。

关键结果

1. 在受控条件下，表象上的自我偏好消失了（实验 1）

在不受控的比较中，十个评判者中有七个对自己的选择给出了更高的平均分。然而，一旦通过混合效应模型控制了选择质量和评判严苛度：

在三个维度的量表中（维度性、连贯性和可讲述性），正向的自我偏好效应消失了。
在原创性维度上，效应发生了反转：评判者对自己的选择给出的原创性评分比对他人的选择更低。
结论： 先前工作中观察到的原始自我偏好差距，很大程度上反映了输出质量和评判者严苛度的差异，而非对自身生成内容的真实偏好。

2. 标签本身诱发双向偏差（实验 2）

当引入作者身份标签时，无论选择的实际来源如何，评分都会发生系统性偏移：

双向偏移： 标签效应 ( $\beta_L$ ) 在所有维度上均显著为正。评判者会抬高被标记为“自我”的选择的分数，并降低被标记为“他人”的选择的分数。
独立于来源： 实际来源 ( $\beta_A$ ) 以及标签与来源的交互作用 ( $\beta_{LA}$ ) 均不显著。这证实了偏差是由标签本身驱动的，而非内容的起源。
模式： 十个评判者中有九个表现出差异化的反应。其中六个表现出对称模式（抬高自我标签并降低他人标签）。其他则表现出单向变体（例如仅自我提升或仅他人惩罚）。

贡献

本文做出了两个主要贡献：

作者身份归属作为独立的驱动因素： 本研究提供了直接证据，证明自我/他人标签本身即可诱发 LLM 评判者的双向评估偏差。通过在结构上消除风格混杂因素并控制质量，作者证明了先前的工作可能夸大了真实自我偏好的普遍性。
方法论工具： 作者建立了一种开放式、无需地面真值（ground-truth-free）的任务（如叙事约束选择），可以作为研究 LLM 评判者行为的受控工具，有效地将归属效应从内容质量中分离出来。

意义与主张

作者认为，自我偏好的机制比此前理解的更为复杂。虽然先前的理论认为自我偏好源于内部线索（例如，对自身困惑度或风格的熟悉感），但本研究表明，显式的归属框架足以触发系统性偏差。

偏差的反转： 评判者在盲测条件下对“原创性”维度表现出自我贬低，但在带有自我标签时表现出自我抬高，这一发现表明外部归属线索可以覆盖对内容的内在评估。
对评估的影响： 结果表明，LLM 评判者极易受到表面来源线索的影响。在缺乏地面真值的创意或主观评估领域，仅仅是“自我”标签的存在就可能显著扭曲评分，如果归属管理不当或标签被操纵，可能会损害 LLM-as-a-judge 系统的有效性。

论文最后进行了谦逊的总结，指出这些发现目前仅限于创意选择领域，对于推理或指令遵循任务的普适性仍是一个开放性问题。同时，作者也承认现实世界的部署通常涉及隐式而非显式的归属，这值得进一步研究更隐晦的线索是如何发挥作用的。