🤖 machine learning

How Hard is it to Rig a Benchmark? A Social Choice Analysis of Leaderboard Robustness

本文应用计算社会选择理论证明，通过针对特定基准的训练来操纵机器学习排行榜是一个 NP 难问题，同时引入并评估了“实例级鲁棒性”，以表明胜率均值指标比算术平均值、中位数或成对多数得分具有显著更强的抗操纵性。

原作者： Polina Gordienko, Georg Schollmeyer, Frauke Kreuter, Christoph Jansen

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Polina Gordienko, Georg Schollmeyer, Frauke Kreuter, Christoph Jansen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一场规模宏大、 stakes 极高的烹饪比赛，数百位厨师（AI 模型）根据他们烹饪 50 道不同菜肴（如数学问题、逻辑谜题或语言翻译等任务）的能力接受评判。比赛结束后，会公布一份“排行榜”，将厨师从最佳到最差进行排名。这份排行榜决定了谁获得聘用、谁获得资助，以及谁被视为“世界最佳”。

本文提出了一个简单却令人不安的问题：想要登上这份排行榜的顶端，作弊有多容易？

作者将这场竞争比作一场政治选举。在这个类比中：

厨师是候选人。
**菜肴（任务）**是选民。
排行榜规则是投票系统（例如，“谁赢得的菜肴最多？”与“谁的平均分最高？”）。

作弊手段：“针对基准的训练”

通常，厨师们会使用自己的秘密食材进行练习。但如果一位厨师在赛前秘密获得了实际考题（基准任务）的副本，并专门针对这些考题进行练习，会发生什么？

在现实世界中，这被称为“数据污染”或“在测试集上进行训练”。本文将其称为针对基准的训练。这就像一名学生在参加期末考试前，背下了考试中的确切题目。本文假设了最坏的情况：厨师可以完美掌握他们选择练习的任何菜肴。

核心问题：操纵比赛有多难？

作者想知道：如果一位厨师想要获胜，他需要背下并练习多少道菜肴，才能确保获得第一名？

作者将这个数字称为排行榜的**“鲁棒性”**。

低鲁棒性：你只需要背下 2 或 3 道菜肴就能获胜。该系统脆弱且易于操纵。
高鲁棒性：你需要背下 40 或 50 道菜肴。该系统坚固且难以操纵。

四种投票系统（聚合规则）

本文测试了四种不同的计算获胜者的方法，就像选举中不同的计票方式一样：

算术平均数（平均值）：这是最常用的方法。你将所有分数相加，然后除以菜肴的数量。
- 类比：如果你在一道简单的菜肴上得了 100 分，而在其余菜肴上得了 0 分，你的平均分就会很低。但如果你只在几道菜肴上得了 90 分，这可能会显著拉高你的平均分。
- 结果：极易被操纵。一位厨师只需要掌握一小部分菜肴（在一次测试中约为 24 道中的 13 道）就能跃居榜首。一两个“超级菜肴”就能带动整个团队。
中位数（中间的孩子）：你将所有分数从低到高排列，然后选出正中间的那个。
- 类比：如果你有 10 道菜肴，中位数就是第 5 高的分数。它不在乎你最低分是 0 还是 1；它只关心中间值。
- 结果：中等程度容易操纵。与平均值类似，你需要掌握约 12 道菜肴才能获胜。这比平均值稍难一点，但差别不大。
成对多数（一对一）：对于每一对厨师，你计算厨师 A 在多少道菜肴上击败了厨师 B。如果厨师 A 在与厨师 B 的对决中赢得了超过一半的菜肴，那么厨师 A 赢得该场对决。
- 类比：这就像循环赛。你需要在超过一半的类别中击败你的对手。
- 结果：中等程度容易操纵。你需要赢得约 12 道菜肴才能击败其他所有人。
平均胜率（“谁击败了谁”的平均值）：这是最复杂的一种。对于每一道菜肴，你计算你击败了所有其他厨师的百分比。然后，你计算这些百分比的平均值。
- 类比：想象你在每一道菜肴上都要与 1,000 名其他厨师对抗。要获得高分，你不仅需要“表现良好”；你需要在几乎每一道菜肴上都比大多数人表现更好。
- 结果：极难被操纵。在这种系统下获胜，一位厨师在一次测试中必须掌握24 道菜肴中的 22 道（92%），在另一次测试中必须掌握57 个科目中的 44.5 个（78%）。
- 原因？因为如果你只掌握了几道菜肴，你可能会在这些菜肴上击败其他厨师，但在你没有练习的菜肴上，你很可能会输给几乎所有人，从而拉低你的“胜率”。要获胜，你必须在所有方面都持续地优于所有人。

主要结论

本文得出结论：我们计票的方式比我们想象的更重要。

如果我们使用平均值（算术平均数），排行榜就像纸牌屋。开发者可以通过秘密练习少数特定任务来操纵结果。这会制造一种“进步的假象”，即一个模型看起来很棒，是因为它背下了考题，而不是因为它实际上很聪明。
如果我们使用平均胜率，排行榜就像一座堡垒。要操纵它，开发者必须背下几乎整个考题。这使得伪造成功变得困难得多。

那又怎样？

作者发现，目前流行的排行榜（如 MMLU 和 BIG-Bench）通常使用平均值，这使得它们非常容易受到作弊的影响。然而，如果它们切换到平均胜率，任何人想要操纵系统将变得极其困难。

本文并没有告诉我们如何作弊；相反，它充当了一个给这些比赛设计者的警告标签：“如果你使用平均值，你就是在邀请作弊者。如果你想要一场公平的比赛，请使用一种要求广泛、持续掌握的系统，而不仅仅是靠几次幸运的突破。”

技术摘要：“操纵基准测试有多难？一种关于排行榜稳健性的社会选择分析”

问题定义
本文探讨了日益增长的“基准测试博弈”动机，即策略性地将基准测试数据纳入模型训练，以人为地抬高排行榜排名。虽然数据污染和泄露是众所周知的现象，但作者指出，由于闭源模型的训练数据具有专有性，操纵的程度难以验证。本文并未聚焦于检测，而是从构建角度调查基准测试对此类操纵的稳健性。核心问题是：给定一套固定的数据集和一组竞争模型，开发者必须在其目标模型的训练中纳入多少项任务，才能确保该目标模型成为排名第一的条目？

方法论：社会选择与计算复杂性
作者将多任务基准测试形式化为一个社会选择问题，将数据集视为“选民”，将模型视为“候选人”。在此框架下，针对特定基准的训练被识别为一种选举操纵形式，具体对应于具有“全有或全无”价格的移位贿赂（shift bribery）。在此类比中，外部代理（模型开发者）支付成本，以将首选候选人（目标模型）在特定选民（数据集）的排名中向上推移。

本文利用计算社会选择来分析此类操纵的难度：

复杂性分析：作者证明，对于任何序数基准算子，选择用于训练的最优数据集子集的问题等价于移位贿赂。因此，他们表明，在Borda 计数和平均胜率聚合规则下，寻找操纵基准的最廉价方法是NP-hard（NP 难）的。
实例级稳健性：为了补充最坏情况下的复杂性分析，作者引入了一项名为实例级稳健性（ $k_B$ $k_{B}$ ）的指标。这被定义为开发者必须纳入训练以使特定目标模型排名第一的最少数据集数量。他们推导了四种常见聚合规则下 $k_B$ $k_{B}$ 的精确数学表达式：
- 算术平均：稳健性由“平均赤字”（目标与领先者之间的差距）以及单项任务上的最大可能增益决定。最优策略是贪婪地选择具有最大潜在增益的任务。
- 中位数：稳健性取决于需要将目标模型的中位数分数推高至超过竞争模型最高中位数所需的任务数量。只有在目标能够跨越特定阈值的那些任务才有助于减少赤字。
- 平均胜率：这需要求解一个整数线性规划（ILP），以找到能同时消除与所有竞争模型之间成对胜率赤字的最小任务集。
- 成对多数：与平均胜率类似，这也涉及一个 ILP，以确保目标模型在与所有其他模型的成对比较中赢得多数。

实验评估
作者在两个主要基准测试套件上评估了这些稳健性表达式：

MMLU（大规模多任务语言理解）：通过 HELM 框架进行评估，涉及 57 个学科数据集中的 22 个模型。
BIG-Bench Hard (BBH)：通过 Open LLM Leaderboard 进行评估，涉及 24 个推理任务中的 4,507 个模型。

对于每个套件，他们计算了集合中每个模型的实例级稳健性，依次将每个模型视为目标。他们报告了中位数稳健性（使“典型”目标模型操纵排行榜所需任务的数量），以及可以通过训练少量任务（例如 $K \le 5$ ）而成为排名第一的模型比例。

主要结果
实证分析揭示了不同聚合规则在稳健性方面存在显著差异：

平均胜率最稳健：在两个套件中，平均胜率规则始终是最难被操纵的。
- 在 BBH 上，平均胜率的中位数稳健性为 22 项任务（92%），这意味着典型的目标模型必须在几乎整个套件上进行训练才能登顶。相比之下，算术平均仅需 13 项任务（54%），而中位数/成对多数仅需 12 项任务（50%）。
- 在 MMLU 上，平均胜率的中位数稳健性为 44.5 个学科（78%），而算术平均为 16 个（28%）。
算术平均的脆弱性：算术平均是最不稳健的规则。少量高增益任务可以显著改变排行榜，允许大量模型通过最小程度的操纵被提升至顶端。
统计显著性：配对 Wilcoxon 符号秩检验证实，这些稳健性差异在目标模型之间是系统性的，并非由异常值驱动。
归一化稳健性：即使针对模型可用的“提升空间”进行归一化（考虑到较弱的模型具有更大的潜在增益），平均胜率仍然是最稳健的规则。

意义与主张
本文主张聚合规则是基准测试脆弱性的主要决定因素。作者认为，对特定基准训练的稳健性应被视为基准测试设计的核心标准。

权衡：虽然平均胜率通过要求在整个套件上进行广泛操纵来提供高稳健性，但它依赖于被比较的模型集合（对模型池的敏感性）。相反，成对多数对模型集合具有不变性，但可能导致循环排名（孔多塞循环），尽管作者指出在所研究的套件顶层中存在孔多塞胜者。
影响：结果表明，当前对算术平均聚合（如 GLUE 和 SuperGLUE 等套件中常见）的依赖为操纵创造了低门槛。转向更稳健的规则（如平均胜率）提高了操纵成本，要求开发者在更广泛的任务集上提升性能才能获得顶级排名。
局限性：作者承认，他们的操纵模型对开发者是有利的（假设训练仅提升目标模型且从未在其他地方降低性能）。在实践中，数据泄露可能产生部分或负面影响。然而，即使在这些强假设下，聚合规则的选择也严格决定了操纵基准测试的难度。

本文得出结论，虽然没有任何聚合规则能免于操纵（根据 Gibbard-Satterthwaite 定理），但操纵的计算和结构难度存在巨大差异，这为设计更可靠的排行榜提供了定量基础。