🤖 machine learning

Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards

本文揭示了专家与众包标注者在项目层面的显著分歧被较小的排行榜规模所掩盖，从而产生了一种模型排名稳定的假象，而这种假象在模型数量增加时无法得到泛化。

原作者： Anik Jha

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Anik Jha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在构建更智能人工智能的竞赛中，研究人员依赖于一个简单而强大的理念：要了解一台机器是否正在变得更好，你必须要求人类来评判其工作。这个被称为“偏好基准”（preference benchmark）的过程，涉及向人类展示两个不同的 AI 回答，并询问哪一个更好。这些人类投票的收集过程成为了“金标准”，即一个用于衡量所有新模型的可靠参考点。多年来，该领域一直基于一个默认为真的假设：雇佣哪些人来进行评判并不重要。普遍观点认为，虽然个体可能会犯随机错误，但作为一个整体，人类是一个可靠的工具，能够衡量出关于什么是好答案的单一且稳定的真理。如果这个假设成立，那么评判者的具体身份就只是一个微小的细节，就像用来记录分数的笔的品牌一样。

但一项新的调查表明，这个细节实际上是方程中最重要的部分。研究人员通过使用两组完全不同的人群两次运行同一套 AI 对比实验，旨在测试选择人类评判者是否真的重要。其中一组由普通的众包人员组成，即那些被成千上ś地雇佣从事在线任务的人。另一组则由经过筛选的领域专家组成，即在该领域拥有专业知识的个人。研究人员提取了一个包含数千次 AI 对比的大规模数据集，并要求这两组人都对胜者进行投票。他们发现，这两组人类之间的意见并不像该领域所假设的那样一致。在近四分之一的项目中，两组人选择了不同的多数获胜者。在几乎十分之一的情况下，众包人员和专家选择了相反的获胜者，将一组眼中的失败者宣布为另一组眼中的冠军。

尽管在单个项目层面存在如此巨大的分歧，但最终结果看起来却具有欺骗性的稳定性。当研究人员使用这些冲突的投票来对研究中的六个 AI 模型进行排名时，无论由哪组人类进行评判，最终的排行榜都是完全相同的。模型的顺序没有发生任何变化。这呈现出一个令人困惑的画面：评判者们在喊着不同的答案，但计分板却保持沉默。研究人员意识到，这种稳定性并不是系统稳健的迹象，而是由于对比的模型数量较少而导致的幸运巧合。因为模型之间的性能差距很大，所以由更换评判者引起的投票微调不足以推动一个模型超越另一个模型。

为了测试这种稳定性的脆弱程度，研究人员进行了模拟实验，以观察如果排行榜规模更大（即包含现实世界竞赛中常见的数十个模型）时会发生什么。结果非常鲜明。虽然六个模型的排行榜保持不变，但如果排行榜有十个模型，模型被取代的情况将达到 86%。当模型增加到二十个时，排名重洗的可能性接近 100%。研究得出结论，目前领域内报告小型排行榜的做法之所以安全，仅仅是因为模型数量稀少且性能差异显著。如果该领域发布一个更大、更真实的竞技场，人类评判者的选择会立即打乱排名。“金标准”并非固定不变的真理；它是一个移动的目标，其位置取决于谁被雇佣来拿着测量尺。

这项调查并未止步于人类评判者。研究人员还检查了日益被用于自动化这些排名的 AI 评判者如何处理人类群体之间的分歧。他们测试了三种不同的 AI 评判者（包括来自不同公司的模型），以观察它们更倾向于与哪组人类达成一致。每一位 AI 评判者都显著地更多地与众包人员保持一致，而非专家。这表明 AI 评判者已经学会了模仿大众的偏好，很可能是因为用于训练它们的数据也来自类似的众包人员。研究人员发现，AI 评判者与人类的一致性不仅是其智能水平的衡量，也是对其训练数据收集年份所做的招聘决策的反映。

研究还发现，这些 AI 评判者的提示词（prompting）方式对它们决策的影响，比选择人类评判者本身的影响还要大。当研究人员改变回答呈现的顺序时，AI 评判者会逆转其决策，在近一半的项目中（具体而言，其中一个模型为 44.6%）。此外，当研究人员仅改变输出格式（要求使用 JSON 对象而非纯标记/token）而保持其他一切不变时，同一个评判者在项目上的自我一致性仅为 47.2%，显示出单向的系统性偏移。这种对呈现顺序和格式的敏感性，是比专家与众包人员之间差异更大的误差来源。研究人员认为，整个领域需要改变报告这些结果的方式。仅仅说明一个模型与人类的一致性百分比是不完整的，如果不明确指出使用了哪些人类。当前排名的安全性是一种由小样本量创造的幻觉，而未来排名的可靠性完全取决于承认：选择标注者并非一个微小的细节，而是一个塑造结果的基础变量。

技术摘要：“谁的金标准？标注员池在项目层面的分歧巨大，且被小型排行榜所掩盖”

问题陈述
大语言模型（LLM）评估中的偏好基准测试依赖于人类标注来建立“金标准”。然而，这些标注者的身份（例如，众包人员 vs. 领域专家）通常被视为实现细节，其隐含的假设是标注者仅仅是测量单一底层真相的带噪声工具。本文挑战了这一假设，调查了标注员池的选择是否会显著改变项目级标签，并进而影响模型排名。作者指出，现有的数据集（如 MULTIPREF）明确假设不存在组内差异，而这项工作旨在测试这一假设。

方法论
本研究通过两个不同的语料库进行对比分析，在这两个语料库中，多个标注员池对相同的项目进行了评分：

MULTIPREF：一个包含 10,461 个成对比较的数据集，由众包人员和经过筛选的领域专家共同标注。分析重点在于 2,885 个内部达成一致（无需决胜机制）的项目子集，以确保能够对“专家金标准”与“众包金标准”标签进行清晰对比。
MT-BENCH：包含 246 个项目的子集，由该基准测试的原作者和招募的专家池共同评分。

作者测量了三个层面的差异：

项目级分歧（Item-Level Divergence）：不同池分配不同多数标签或反转胜者情况的频率。
聚合不变性（Aggregate Invariance）：在不同专家标签与众包标签之间切换时，模型排名的稳定性（通过 Kendall $\tau$ 测量）。
扰动分析（Perturbation Analysis）：统计检验切换标注员池如何影响模型的胜率，以及在不同规模排行榜（ $K=6$ 到 $K=50$ ）中发生模型位移的概率。
LLM 裁判验证（LLM Judge Validation）：对三个 LLM 裁判（来自两个不同供应商）进行了评估，以确定它们更接近于众包还是专家偏好。

至关重要的是，作者预先注册了决策规则以避免事后选择偏差，包括一条规则：如果排名保持一致（ $\tau > 0.9$ ）则停止分析，以防止“寻找”排名翻转。

关键结果

显著的项目级分歧：尽管存在统一性的假设，但不同池之间的分歧很大。在 MULTIPREF 的一致性子集上，专家池和众包池在 23.6% 的项目上分配了不同的多数标签，并在 9.2% 的案例中反转了胜者。MT-BENCH 也发现了类似结果（30.5% 的标签差异，8.5% 的胜者反转）。
小型排行榜中的聚合不变性：尽管存在高度的项目级噪声，但两个语料库产生的模型排行榜在切换池时是完全一致的（ $\tau = 1.00$ ），且没有任何模型发生位移。这种不变性在多种决胜机制下均保持稳定。
不变性的脆弱性：作者证明这种稳定性是由于模型数量较少（6 个）以及胜率分布间距特定的产物。
- 切换标注员池使模型胜率平均偏移了 1.9 个百分点 (pp) (标准差)。
- 虽然 6 模型排行榜保持了稳定，但参数化估计显示，在同样的扰动下，一个 10 模型 的排行榜有 86% 的概率发生位移，而一个 20 模型 的排行榜发生位移的概率为 99.97%。
- 所观察到的稳定性是小 $K$ 值下的“常见结果”，而非聚合方法的属性。
LLM 裁判偏差：所有三个测试的 LLM 裁判都表现出更倾向于众包多数派而非专家多数派的测量特征（差异分别为 -6.9pp、-5.2pp 和 -3.7pp）。这表明，LLM 裁判报告的与“人类”的一致性，在一定程度上是对其雇佣了哪种人类池的陈述。
裁判敏感性：研究还发现，LLM 裁判对输出格式（JSON vs. 纯文本标记）和呈现顺序高度敏感，格式变化会导致其自我一致性降至约 47%。

核心贡献

分歧的量化：量化了专家池与众包池之间的项目级分歧很大（取决于指标，约为 9–30%），且不仅限于困难的边缘案例。
区分不同层面：建立了项目级可靠性与排行榜稳定性之间的关键区别。论文认为，稳定的排行榜并不意味着项目级标签可靠；相反，它往往意味着模型之间的间距足够大，足以吸收噪声。
LLM 裁判对齐：证明了 LLM 裁判系统性地追踪众包偏好而非专家偏好，挑战了在不指定参考池的情况下将裁判作为中立验证者的有效性。
数据集局限性：强调许多现有语料库（如 PRISM、HELPSTEER2）丢弃了每个标注者的身份信息，使得此类分析变得不可能，并可能掩盖显著的评估偏差。

意义与主张
本文声称，业界对小型排行榜（例如 6 个模型）的依赖造成了一种关于评估鲁棒性的虚假安全感。观察到的不变性（ $\tau=1.00$ ）并非证据表明标注者选择无关紧要；相反，它是证据表明当前的排行榜配置对于该扰动规模而言恰好是“安全”的。

作者认为：

在报告排行榜时不注明标注员池是定义不充分的。
从排行榜稳定性推断项目级可靠性是无效的。
任何消耗项目级标签的评估机制（如奖励模型训练、主动标注路由或 LLM 裁判验证）在任何规模下都不是安全的，因为底层的标签噪声非常大。
当前小型排行榜的“安全性”并不能推广到该领域实际发布的更大规模竞技场中。

论文总结道，标注员池的选择是一个根本性的设计决策，直接影响测量的模型能力，并将其框架化为一个关于人类-AI 共演化的问题，而非仅仅是数据集的维护问题。

技术摘要：“谁的金标准？标注员池在项目层面的分歧巨大，且被小型排行榜所掩盖”

类似论文