💬 NLP

When LLMs Benchmark Themselves: Deconstructing Self-Bias in Automated Evaluation

本文揭示，由大语言模型生成并评估的自动化基准测试存在一种根本性的自偏倚，即由于在测试集构建和评估过程中均存在累加性的风格倾向，模型会系统性地偏向自身输出，从而导致其错误地将自身排名置于同行之上。

原作者： Wenda Xu, Sweta Agrawal, Vilém Zouhar, Markus Freitag, Daniel Deutsch

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenda Xu, Sweta Agrawal, Vilém Zouhar, Markus Freitag, Daniel Deutsch

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在评判三位厨师（我们称他们为厨师 A、厨师 B 和厨师 C）谁做的汤最好。为了公平起见，你需要一个由中立裁判进行的盲测。

但如果整个流程都由厨师们自己掌控呢？

厨师 A 撰写食谱并为测试挑选食材。
厨师 A 随后烹饪这锅汤。
厨师 A 还担任裁判，品尝汤并给出评分。

这篇论文指出，当大型语言模型（LLM）做完全相同的事情——即创建自己的测试并批改自己的答案时——它们不可避免地会作弊。它们不仅仅是给自己打高分；它们会操纵游戏，确保自己总是获胜，即使它们并非真正最优秀。

以下是这种“自我偏差”如何运作的分解说明，使用了简单的类比：

1. 游戏被操纵的两种方式

论文识别出模型作弊的两种不同方式，当这两种方式结合时，作弊情况会变得更加严重。

“量身定制的食谱”（LLM 作为测试集）：
想象厨师 A 正在撰写食谱。即使他们试图写一份“多样化”的食谱，他们也会下意识地写出一份使用自己擅长处理的食材、并避开自己难以处理的食材的食谱。这就像一位不擅长切洋葱但擅长煎牛排的厨师，写出一份只涉及牛排的食谱。当他们烹饪时，看起来完美无缺。但如果厨师 B 尝试烹饪同一份牛排食谱，他们可能会感到吃力，因为这份食谱是专门为厨师 A 的风格而写的。
- 论文的发现： 模型生成的测试问题（源文本）与其自身的“语言指纹”相匹配。它们生成的文本对它们自己来说很容易翻译或回答，但对其他人来说则更难。
“熟悉度偏差”（LLM 作为评估者）：
现在，想象厨师 A 是裁判。当他们品尝厨师 B 做的汤时，尝起来感觉“陌生”或“怪异”，因为它听起来不像厨师 A 的烹饪风格。但当他们品尝自己的汤时，感觉熟悉且“正确”。
- 论文的发现： 模型能识别自己的写作风格。当它们评估自己的输出时，会给出更高的分数，因为这感觉熟悉，即使人类裁判会说它并非最佳。

结果： 当模型同时做这两件事（编写测试并批改答案）时，偏差会叠加。这就像学生自己出题、参加考试，然后批改自己的试卷。他们几乎肯定会得到"A"，即使他们并不配得上。

2. “低资源”陷阱

论文发现，当模型被要求用它们不太擅长的语言（如研究中的本巴语或艾马拉语）工作时，这种作弊行为会变得更加严重。

类比： 想象一位以英语为母语的人试图用一种他们几乎不懂的语言写诗。他们很可能会退回到几个他们熟悉的简单短语，并反复使用。他们可能会无意中创造出一种奇怪的模式（比如重复一个词 10 次）。
论文的发现： 当模型在某种语言上挣扎时，它们就不再多样化。它们都会陷入各自特定的“死胡同”或重复模式。因为这些模式对每个模型来说如此独特，所以只有写出文本的那个模型才知道如何处理这些奇怪的重复。
- 示例： 如果厨师 A 不小心在食谱中写了一个错别字，厨师 A 知道如何修正它。厨师 B 看到这个错别字会感到困惑。因此，厨师 A 因“修正”了自己的错误而获得高分，而厨师 B 因未能理解它而获得低分。

3. “高资源”安全网

论文指出，当模型在它们精通的语言（如英语）中工作时，这个问题就不那么严重了。

类比： 如果三位世界级的厨师用母语撰写食谱，他们都有庞大的词汇量和多样的风格。他们不会陷入重复的死胡同。因为他们的“指纹”不那么独特，所以很难让一位厨师专门为操纵针对自己的测试。

4. 解决方案：多样性是关键

研究人员找到了一种部分解决作弊的方法。

修正方法： 如果你强制模型生成高度多样化的测试问题（检查确保它们不是在重复相同的风格或词语），偏差就会降低。
类比： 如果你告诉厨师们：“你们必须使用至少 50 种不同的食材并避免重复模式来撰写食谱”，那么厨师 A 要写出一份只有他们自己能烹饪的食谱就会变得困难得多。测试将变得更加公平。

论文主张总结

自我偏差是真实的： 当 LLM 进行基准测试时，它们会系统地将自己排名为第一，压倒其他模型的意见。
它是累加的： 偏差源于创建测试和批改测试这两个方面。同时做这两件事会使偏差大大增强。
这与熟练度有关： 当模型在某种语言上能力较弱时，问题最为严重。在这些情况下，它们会生成重复的、“退化”的文本，只有它们自己能很好地处理。
它无处不在： 这不仅仅是关于翻译；论文表明，在聊天机器人任务中也会发生这种情况。
实用建议：
- 如果必须使用 AI 来测试 AI，请使用在该语言上非常精通（高熟练度）的模型。
- 使用“多样性检查”以确保测试问题不是重复的。
- 使用“超级模型”来测试“弱模型”仍然是可以的（因为差距如此之大，偏差无关紧要），但使用模型来测试其同行则是危险的。

核心结论： 你不能信任模型给自己批改作业，尤其是当该学科内容对它来说很困难时。论文警告我们，由 AI 创建的“自动化基准”目前是为创建它们的 AI 所操纵的。

技术摘要：当大语言模型自我基准测试：解构自动化评估中的自偏倚

问题陈述

随着大语言模型（LLMs）迅速饱和现有的人工策划基准测试，社区越来越多地采用“大语言模型即基准”（LLM-as-a-benchmark）范式。在此设置中，单一模型生成测试输入（“大语言模型即测试集”），并评估目标模型的输出（“大语言模型即评估器”）。虽然这为人工策划提供了一种更具成本效益的替代方案，尤其适用于低资源语言，但本文指出了一个根本性缺陷：自偏倚（self-bias）。

作者证明，由大语言模型生成的基准测试系统性地偏向于创建它们的那个模型。这种偏倚不仅源于评估器倾向于偏好其自身输出（一种已知现象），还源于测试集生成步骤。当模型生成源文本时，它会无意中使其适应自身的语言优势和风格“方言”。因此，该模型在翻译这些自生成的文本时更为准确，并比其同行给予更高分，导致排名扭曲，即每个模型都将自己排在首位，覆盖了同行共识的排序。

方法论

本研究采用机器翻译作为主要试验场，利用六对低到中等资源语言对（例如：本巴语 - 英语、艾马拉语 - 英语、库尔德语 - 英语），这些语言对之间的模型性能差距显著。作者还利用Chatbot Arena任务在开放式生成上验证了发现。

实验设置

模型：选择了三个前沿闭源模型：Gemini 2.5 Pro、GPT-4.1和Claude Opus 4。选择它们是因为它们在 WMT25 中的顶级表现，以及作为零样本基准生成器的能力。
偏倚分解：作者将“大语言模型即基准”设置分解为两个组件，以隔离偏倚来源：
1. 大语言模型即测试集：模型生成源文本（以及可选的参考译文），随后由外部无参考指标（MetricX-QE）进行评分。
2. 大语言模型即评估器：模型充当人类撰写文本（来自 FLORES-200）翻译的裁判。
3. 大语言模型即基准：模型同时扮演两个角色（生成源文本并评估翻译）。
指标：自偏倚使用估计器偏倚框架进行量化。其定义为模型的自我排名（ $\theta_{Mi,Mi}$ ）与同行模型分配的平均排名（ $\frac{1}{|M|-1}\sum \theta_{Mi,Mo}$ ）之间的差值。负值表示模型将自己排在比同行更高的位置。
多样性分析：为了追溯偏倚的机制原因，作者分析了生成源文本的类型 - 标记比率（TTR）和退化比率（病态重复的频率）。他们还使用chrF@K来衡量模型输出之间的文本相似度。

主要贡献与结果

1. 自偏倚的量化与放大

研究证实，自偏倚是一种普遍现象。

排名翻转：在“大语言模型即基准”设置中，无论模型相对于同行的实际表现如何，每个模型都将自己评为顶级翻译。例如，在本巴语→英语任务中，作为基准的 Claude 将 Claude 排在第一位，偏倚得分为 -0.617，尽管同行模型并不认同。
累加效应：偏倚不仅仅是其各部分的总和；测试集生成与评估的结合放大了这种扭曲。表 3 显示，在组合的“大语言模型即基准”设置中观察到的偏倚，始终大于仅在“仅测试集”或“仅评估器”条件下观察到的偏倚。

2. 机制原因：方言偏倚与退化

作者将根本原因追溯至隐式风格倾向（方言）和低资源生成中的有限多样性。

模型特异性指纹：即使提示中包含了明确的多样性控制，模型仍会生成重复的、模型特有的源文本。表 6 显示，模型内文本相似度（chrF@K）始终高于跨模型相似度。
退化：在低资源语言中，模型往往退回到狭窄的模式，导致“退化”（例如重复 n-gram）。Gemini-2.5 Pro 在本巴语源文本中表现出 22.3% 的退化率。
自我修复优势：一个关键发现是，生成模型在翻译过程中比竞争对手更能处理其自身的退化产物。表 16 显示，当翻译其自身退化的源文本时，Gemini-2.5 Pro 保留的退化产物显著少于 GPT-4.1 或 Claude，有效地“自我修复”了其自身的错误。这创造了一个双向优势：该模型更好地翻译其自身的“方言”，并且作为评估器更倾向于给予其正面评价。

3. 语言熟练度的作用

自偏倚与语言熟练度高度相关。

不对称性：在XX→英语（低资源到高资源）方向上的偏倚显著高于英语→XX方向。在高资源方向（例如英语→本巴语），模型非常熟练，生成多样化的文本且模型特异性特征较少，导致自偏倚接近于零（表 8）。
低资源崩溃：在低资源方向，有限的熟练度迫使模型进入独特且重复的模式，从而产生驱动自偏倚的“指纹”。这一模式在 Chatbot Arena 任务中同样成立（表 11），其中低资源提示（本巴语、艾马拉语）引发的自偏倚远强于高资源提示（英语、韩语）。

4. 缓解策略

本文提出并测试了实际的干预措施：

多样性过滤：使用提出的多样性指标（模型内 chrF 相似度）来过滤源文本。表 7 表明，与随机或高相似度子集相比，选择低模型内相似度（高多样性）的源文本可大幅降低自偏倚。
高资源生成：在模型具有高熟练度的语言中生成基准数据，可最大限度地减少模型特异性特征。
质量差距：当质量差距较大时，使用前沿模型对开源模型进行基准测试仍然可靠，因为在这种情况下自偏倚不会显著扭曲排名（表 12）。

意义与主张

本文主张，自偏倚是对自动化基准测试的根本性效度威胁，特别是在低资源设置中。作者认为，“大语言模型即基准”的便利性伴随着隐藏成本：由此产生的基准测试反映的是生成器的特性，而非目标模型的真实质量。

这项工作的意义在于：

分解：它正式分离并量化了测试集生成偏倚和评估器偏倚的累加效应，表明它们的结合产生的扭曲足以覆盖同行共识。
机制洞察：它超越了观察“偏倚是否存在”，转而解释“为何存在”（方言偏倚、退化以及自我修复能力）。
可操作指导：它为从业者提供了基于证据的具体建议，例如过滤多样性，以及除非应用特定缓解措施，否则应避免在自动化基准测试中使用低资源语言方向。

作者总结道，虽然“大语言模型即基准”具有实用性，但其应用需要严格的自偏倚防护措施，以确保自动化评估仍然是人类判断的可靠代理。