💬 NLP

Dynamically Allocating Evaluation Effort for Model Ranking

本文提出了一种多臂老虎机框架，该框架能够动态地将人工评估精力分配给最具竞争力的模型，从而与详尽的评估协议相比，降低了成本并提高了识别顶尖 NLP 模型的效率。

原作者： Vilém Zouhar, Julia Kreutzer, Alon Lavie, Tom Kocmi, Matt Post, Ondřej Bojar, Mrinmaya Sachan

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Vilém Zouhar, Julia Kreutzer, Alon Lavie, Tom Kocmi, Matt Post, Ondřej Bojar, Mrinmaya Sachan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位大型、高风险烹饪比赛的主审判官。你有二十位了不起的厨师，但你只有足够的时间和资金来品尝有限数量的菜肴。在过去，标准的比赛运行方式是让每一位厨师都烹饪菜单上的每一道菜，然后品尝每一位厨师的每一盘菜。这很公平，没错，但也极其缓慢且昂贵。当你品尝完第二十二位厨师的最后一盘菜时，你可能已经用完了钱，而且你仍然在苦苦思索哪三位顶尖厨师中谁才是真正的佼佼者，因为你把太多时间浪费在了那些显然不是赢家的厨师身上。

这正是目前人工智能领域面临的问题。每年都有科学家开发出数十种新的 AI 模型，但彻底测试它们所有的工作量就像要品尝每一位厨师的每一道菜一样。这需要耗费巨额的人力和计算资源。你即将阅读的这篇论文正是在解决这个“品尝预算”问题。它提出了一种更聪明的评判方式：与其品尝每个人的每一道菜，不如先从每个人那里各品尝一点，以获得一个大致的概念，然后将我们剩余的所有精力投入到那些看起来像是赢家的厨师的菜肴上。通过这种方式，我们可以更快、更便宜、更有信心地找到真正的冠军，而不会在那些显然落败的厨师身上浪费资源。

伟大的 AI 味觉测试：挑选赢家的全新方式

那么，当你的预算有限时，该如何挑选最好的 AI 模型呢？这篇论文的作者们——来自苏黎世联邦理工学院（ETH Zurich）和微软等机构的研究团队——决定将这个问题视为一场老虎机的游戏，或者用数学术语来说，是一个“多臂赌博机”（multi-armed bandit）问题。

想象一排老虎机（即“赌博机臂”）。每台机器代表一个不同的 AI 模型。你拥有一定数量的硬币（你的“预算”）可以玩。你的目标不是赢得总额最多的钱；你的目标是以最高的确定性找出哪台机器是最好的那一台。在传统做法中，你会让每个杠杆被拉动的次数完全相同。你会玩 A 号机器十次，B 号机器十次，以此类推。但问题在于：如果 A 号机器在前几次拉动时就开始带来大奖，而 B 号机器一直没给你任何回报，你为了所谓的“公平”，仍然在 B 号机器上浪费你的硬币。

作者们提出了一种动态的方法。与其平等地拉动每个杠杆，不如先拉动每个杠杆几次，以感受一下这些机器的情况。然后，你开始把硬币集中在那些看起来回报最高的机器上。如果一台机器看起来是个输家，你就停止玩它。如果一台机器看起来是个赢家，你就继续玩它，以确保它真的是最好的。

“赌博机”策略在行动中

论文介绍了几种聪明的决策方法，用来决定下一个要测试的“机器”（AI 模型）是谁。他们最喜欢的策略之一叫做加权采样（Weighted Sampling）。把它想象成一场人气竞赛：越受欢迎的模型，获得再次机会的可能性就越大。但这不仅仅关乎谁目前领先；更关乎谁可能会成为赢家。

他们从数学上证明了，如果你想对顶尖排名非常有把握，你不应该仅仅选择当前的领先者。相反，你应该根据一个特定的公式来选择模型：选择某个模型的概率应与该排名的重要性的平方根相关。用通俗易懂的话说，这意味着你重点关注顶尖竞争者，但并不会完全忽略其他人。你会保持对他们的检查，程度足以确保他们没有在暗中进步。

他们还尝试了一种名为**消除困惑（Confusion Minimization）**的方法。想象你正在两个势均力敌的选手之间做抉择。你不需要去计时那个已经遥遥领先的人；你需要让这两个正在争夺第一名的选手进行更多的比赛，以看看到底谁能赢。该算法会观察那些得分最接近的模型，并问道：“我需要对这两个中的哪一个进行更多测试，才能消除我的困惑？”然后将预算导向那里。

他们的发现（以及未发现的部分）

研究人员使用真实世界翻译竞赛的数据（在这种竞赛中，AI 尝试进行语言间的文本翻译）测试了这些想法。他们模拟了在这些测试中分配预算的过程。

这里是重大新闻：他们发现，他们只需使用 40% 的预算，就能获得同样准确的排名。

在他们的模拟中，当使用这种新的动态方法时，他们能以不到通常一半的资金和时间，以 95% 的置信度可靠地确定前三名模型的顺序。传统的“公平”方法（即每个人获得相同次数的测试）在那些显然不是最佳的模型上浪费了大量的精力。

然而，有几个重要的限制需要注意。论文并未表示这种方法在所有情况下都完美适用。

这是一个模拟实验： 结果来自于使用现有数据的计算机模拟。他们还没有使用这种方法从头开始运行一场全新的、实时的竞赛（尽管他们计划这样做）。
它不是魔法： 该方法在你想寻找顶尖模型时效果最好。如果你希望对每一个模型进行从优到劣的精确排序，这种方法可能不是最佳选择。它是为了高效寻找赢家而设计的，而不是为了创建一个完美的全体名单。
它需要预热： 你不能直接跳到热门选手那里。算法需要先测试每个模型几次（一个“预热”阶段），以获得一个基准。如果你跳过这一步，你可能会不小心忽略了一个起步较慢但最终可能成为赢家的选手。

这为什么很重要

这种方法就像一份聪明的购物清单。你不是去买遍超市里的每一件商品来测试哪种味道最好，而是先买一些样本进行试吃，然后针对那种味道惊艳的产品，再去买好几袋。你节省了金钱，并且依然能得到最好的产品。

对于 AI 领域来说，这意味着我们可以停止在那些我们已经知道表现不佳的模型上浪费数百万美元和大量人类时间进行测试。我们可以把精力集中在那些真正竞争“最佳 AI”头衔的模型上。这使得改进 AI 的过程变得更快、更便宜，并且更加专注于真正重要的事情：找到最适合任务的最佳工具。

作者甚至建议，这种方法可以用于其他领域，例如在开发过程中为新的 AI 选择最佳配置，或者在模型相互对抗的锦标赛模式中。但就目前而言，核心结论很简单：不要把所有的 AI 模型都同等对待。给赢家更多的关注，你就能更快地找到真正的冠军。

技术摘要：动态分配评估精力以进行模型排名

问题陈述

人类评估仍然是排名自然语言处理（NLP）模型的金标准，但面临着高昂的成本和可扩展性问题。传统的评估协议采用均匀分配策略，即对整个基准数据集上的每个模型都进行详尽评估。这种方法效率低下，因为当主要目标是识别并区分顶尖候选模型时，它会在明显较差的模型上浪费标注预算。

作者将高效评估的问题形式化为具有相关臂（correlated arms）的**多臂老虎机（Multi-Armed Bandit, MAB）框架下的最佳臂识别（Best-Arm Identification, BAI）**问题。在此设置中：

臂（Arms） 对应于正在被评估的模型。
拉动一个臂（Pulling an arm） 对应于在测试集中的下一个可用项上评估一个模型。
目标不是最大化累积回报（遗憾最小化），而是在固定预算 $B$ 下，识别模型的正确排名，并特别关注顶层候选模型。

作者证明，即使拥有先验知识（完美掌握真实得分），寻找能够使排名相关性最大化的最优评估子集也是 NP-hard 的。

方法论

1. 问题形式化与假设

作者将评估过程定义为一个序列决策问题。为了使问题具有可处理性，他们最初假设：

无偏项目排序： 项目按随机顺序或难度顺序排列，其方式不会使不同样本量的模型均值估计器产生偏差。
恒定成本： 每个评估项具有统一的成本。

随后，他们通过引入统计估计器（基于项目反应理论和加法模型）来放宽这些假设，以预测缺失的得分。这使得任意项目排序（例如优先考虑困难项目）和成本感知选择成为可能，确保模型在一致的估计难度集合上进行比较。

2. 目标函数

目标是最大化估计排名与真实排名之间的加权 Kendall's $\tau$ ( $\tau_\omega$ ) 相关性。与标准的 Kendall's $\tau$ 不同，该指标会对排名顶尖模型的误差分配更高的权重（例如使用权重 $\omega_m = 1/\text{rank}_m^2$ ）。这使得优化过程与区分最先进（SOTA）模型而非平等排名所有模型的实际目标保持一致。

3. 提出的算法

论文提出了几种动态分配策略，用于选择下一个要评估的模型：

加权采样（Weighted Sampling）： 模型根据其当前估计排名的函数进行比例采样。作者证明，为了最小化加权排名不确定性，按 $\sqrt{\omega_m}$ $ω_{m}$ 进行比例采样是最优的。具体而言，当目标权重为 $1/\text{rank}_m^2$ $1/ rank_{m}^{2}$ 时，按 $1/\text{rank}_m$ $1/ rank_{m}$ 进行比例采样是最优的。
- 变体包括 $\epsilon$ -greedy、Boltzmann 采样和基于排名的采样。
混淆最小化（Confusion Minimization）： 该算法解决了加权采样的局限性（后者假设同方差性且忽略了成对不确定性）。它选择能使成对排名加权确定性期望增量最大的模型。它计算一对 $(a, b)$ 的估计排名与真实排名相匹配的概率，并选择在增加一次额外评估后，能最大限度降低高权重对的排名错误（混淆）概率的模型。
贪婪先验（Greedy Oracle）： 一种上界近似算法，它选择如果进行下一次评估，将使与真实排名的加权相关性最大化的模型（假设拥有完整数据集的先验访问权限）。

4. 理论保证

一致性（Consistency）： 作者证明，对于每个模型都有非零被选中概率的分配策略（例如加权采样）是一致的，这意味着随着预算趋于无穷大，估计排名会收敛到真实排名。
最优性（Optimality）： 在假设模型得分估计遵循独立高斯分布的假设下，证明了按 $\sqrt{\omega}$ 进行比例采样是最小化加权排名不确定性的最优策略。

实验结果

作者使用来自 WMT (Workshop on Machine Translation) 共享任务（2023–2025）的大规模翻译基准数据进行了基于模拟的分析，该数据涉及约 20 个模型和每个语言对 400 多个评估项。

性能： 动态分配策略（特别是混淆最小化和基于排名的采样）显著优于均匀采样。在相同的预算下，它们实现了更高的加权 Kendall's $\tau$ 分数，并且仅需一小部分预算即可达到均匀采样的性能水平。
预算效率： 研究发现，在 20 个竞争者中，使用动态分配可以可靠地检索前 3 名模型的顺序（置信度为 95%），仅需使用总标注预算的 40%。
鲁棒性： 即使在项目排序存在偏差（例如先易后难或先难后易）以及成本各异的情况下，只要使用线性估计器来修正项目难度，所提出的方法仍然有效。
基准对比： 动态方法接近“贪婪先验”（理论上界）的性能，并且在排名稳定性及顶尖模型区分度方面优于其他 Bandit 策略（如 Successive Rejects 或 Successive Halving）。

意义与主张

论文声称，动态评估分配提供了一种从静态、详尽基准测试向战略性、资源高效型评估转变的范式。

效率： 通过将标注预算集中在最具竞争力的（顶尖表现的）模型上，评估变得更快、更便宜，同时不会牺牲区分最先进系统的能力。
目标对齐： 该方法明确地将评估过程与识别最佳模型的实际目标对齐，而不是将所有模型视为同等重要。
适用性： 该方法适用于：
1. 大规模基准测试活动（如 WMT、IWSLT）。
2. 锦标赛式设置（如 Chatbot Arena），其中将评估路由到高不确定性、顶层候选模型至关重要。
3. 快速模型检查点选择，即使在自动评估成本（如 LLM-as-a-judge）成为瓶颈的情况下也是如此。

作者强调，虽然他们的实验是在现有数据上进行的模拟（由于真实世界标注的规模限制，这是一种局限性），但其理论证明和模拟结果强烈表明，动态分配是现代大规模模型评估的一种可行且更优的策略。他们还指出，在公开排行榜中保持透明度的重要性，以防止通过自适应分配策略进行“操纵”。