🤖 machine learning

Resolution Diagnostics for Paired LLM Evaluation

本文诊断出当前成对大语言模型排行榜存在关键的统计功效不足问题，揭示了许多成对排名因样本量不足以及广泛误用会低估所需样本量约两倍的非成对效应量捷径而未能得出明确结论。

原作者： Anany Kotawala

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Anany Kotawala

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位烹饪比赛的评委。两位厨师，A 厨师和 B 厨师，刚刚完成了他们的菜肴。你品尝后说道："A 厨师的菜肴比 B 厨师的好 0.8%。”人群沸腾了，新闻头条高呼"A 厨师获胜！”，人们开始购买 A 厨师的烹饪书。

但等等。你真的是“知道”A 厨师更好，还是仅仅因为碰巧尝到的特定食材而运气好？

这篇论文是对大型语言模型（LLM）世界的一次“现实检验”。它指出，当前的许多排行榜（即人工智能的“烹饪比赛”）所做出的声明过于 shaky，难以成立。它们基于微小的差异宣布获胜者，而这些差异很容易只是随机噪声。

以下是该论文发现的简要说明，使用了简单的类比：

1. “配对”问题：这不是赛跑，而是决斗

大多数人认为测试两个 AI 模型就像让它们在各自的跑道上赛跑。但事实上，这些模型是在完全相同的问题（同一条跑道）上进行测试的。

类比：想象两名跑步者在同一时间于同一条跑道上奔跑。如果风吹，它同时吹向两人；如果跑道湿滑，对两人来说都湿滑。因为他们面临完全相同的条件，他们的结果是“配对”的。
错误：许多现有工具计算“统计效力”（即结果真实性的置信度）时，仿佛这些跑步者是在不同的跑道上。这就像忽略了风和跑道条件。
结果：论文发现，通过忽略这种“配对”性质，许多工具将所需的样本量低估了两倍。这就像认为你只需要 50 名品尝者来证明差异，而实际上你需要 100 名。

2. “分辨率”诊断：显微镜检查

作者创建了一种名为“分辨率诊断”的新工具。将其视为排行榜的显微镜。

工作原理：在宣布获胜者之前，你通过显微镜观察。
- 如果模型之间的差距巨大（例如 15%），显微镜会显示出清晰、锐利的图像。获胜者是真实的。
- 如果差距微小（例如 0.5%），显微镜会显示出模糊、朦胧的图像。你无法判断这种模糊是因为一个模型确实更好，还是仅仅因为随机噪声。
发现：当他们查看两个著名的排行榜（Open LLM Leaderboard 和 MMLU-Pro）时，发现许多所谓的“获胜者”实际上只是模糊的图像。
- 在 Open LLM Leaderboard 上，40 对声称的配对中有 11 对过于模糊，无法确定。
- 在 MMLU-Pro 前 10 名中，9 对最接近的匹配中有 4 对未解决。

3. “捷径”陷阱：坏掉的计算器

论文发现，许多研究人员正在使用一种“捷径”来进行计算。

类比：想象你有一台专为单人赛跑（非配对）设计的计算器。你试图通过最后按一个“乘以 0.7"的按钮，将其用于决斗（配对）。
问题：论文从数学上证明，这种捷径对于近距离比赛是坏掉的。它始终告诉你所需的数据量只有实际所需的一半。
证据：他们测试了五种流行的统计工具。其中三种（包括一本著名教科书中的公式和一个名为 G*Power 的流行软件）落入了这个陷阱。它们静默地给出了只有应有大小一半的答案，导致人们误以为他们拥有足够的数据，而实际上并没有。

4. “群组”效应：朋友坐在一起

现实世界的测试不仅仅是随机的问题；它们通常按主题分组（例如数学、历史、科学）。

类比：想象你在测试一种新的学习方法是否有效。如果你在一群坐在一起并互相抄袭答案的朋友身上进行测试，他们的结果是相关的。你不能将他们视为 100 个独立的人；他们更像 10 个人。
发现：当作者在 MMLU-Pro 测试中考虑这些“群组”（聚类）时，“未解决”（模糊）的配对数量增加了。
- 未检查群组：4 对是模糊的。
- 检查群组后：6 对是模糊的。
- 一些看起来像明确获胜者的配对突然变得难以判断。

5. “直播”问题：过早停止

排行榜不断更新。每天都有新模型加入。

类比：想象你在观看一场赛跑的直播。如果你一看到一名跑者领先就停止比赛，你可能会错。他们可能只是运气好，而另一名跑者稍后可能会追上来。
发现：论文测试了将排行榜视为连续直播流而非单一快照时会发生什么。这种“随时有效”的测试更为严格。它标记了额外的一对为未解决，而标准测试漏掉了这一对。

结论

这篇论文并没有说模型不好或排行榜是假的。它说的是：“我们宣布获胜者的速度太快了。”

我们在排行榜上看到的许多微小差距（如 0.5% 或 1%）目前太小，无法在统计上确定。“显微镜”（分辨率诊断）表明，我们往往是在将静态噪声视为信号。

作者的建议：在你将某个模型标榜为“更好”并以此作为头条之前，你需要检查你的测试是否有足够的“分辨率”来清晰地看到这种差异。如果答案是否定的，那么这种差距就只是一个猜测，而非事实。

技术摘要：成对大语言模型评估的分辨率诊断

问题陈述
现代大语言模型（LLM）排行榜经常基于共享提示基准测试得出的百分点差距对模型进行排名。虽然头条差距（例如 78.3% 对 77.5%）会驱动产品决策和叙事，但“一个模型在意义上优于另一个模型”这一统计主张是否成立，取决于基准测试的规模和数据结构是否提供了足够的分辨率，以将差距与采样噪声区分开来。

本文指出了当前评估实践中的一个关键缺口：公共排行榜上显示的许多成对排名未能达到常规成对测试的分辨率目标（具体为 $\alpha=0.05$ 和统计功效 $1-\beta=0.8$ ）。作者认为，标准的功效计算器和评估协议往往忽略了共享提示基准测试的成对性质，导致比较缺乏统计功效。具体而言，本文强调：

在 Open LLM Leaderboard (OLL) v1 上，40 个成对比较中有 11 个未解决。
在 MMLU-Pro 前 10 名中，在基准测试实际规模（ $N=12,032$ ）下，9 个相邻排名对中有 4 个未解决。
在成对设置中计算所需样本量的常见“捷径”（例如，对非成对的 Cohen's $h$ 应用 $(1-\rho)$ 修正）在近距离比较 regimes 中系统性地低估了约两倍的所需样本量。

方法论
作者将成对 LLM 评估框架化为假设检验问题，并通过反转水平为 $\alpha$ 、功效为 $(1-\beta)$ 的检验，推导出了一个分辨率报告框架。

分辨率比率（ $q$ ）： 主要诊断指标定义为 $q = N / N^\star$ ，其中 $N$ 是实际基准测试规模， $N^\star$ 是以目标功效检测观测差距 $\hat{\delta}$ 所需的样本量。如果 $q \ge 1$ ，则差距被视为“已解决”。
成对方差： 对于二项准确率，所需样本量 $N^\star$ 是使用 McNemar-Connor 公式推导得出的，该公式考虑了成对差异的方差 $\sigma_D^2 = p_A q_A + p_B q_B - 2\rho\sqrt{p_A q_A p_B q_B}$ 。这与忽略协方差 $\rho$ 从而人为增大所需 $N$ 的非成对公式形成对比。
捷径引理（引理 1）： 本文提供了一个精确的小效应展开式，刻画了广泛使用的“非成对 Cohen- $h$ 加上 $(1-\rho)$ "捷径的失效。作者证明，对于小效应量 $\delta$ ，捷径估计值（ $n_h$ ）与正确的成对估计值（ $N^\star$ ）之比收敛于 $1/2$ ，并带有显式的二阶常数 $C(p, \rho)$ 。这解释了为何对单臂非成对输出应用 $(1-\rho)$ 的工具，在近距离比较 regimes 中会系统性地低估约一半的 $N^\star$ 。
扩展： 该框架集成了：
- 多重性修正： 在评估多个对时，对族系误差率（Bonferroni/Holm）或错误发现率（BH）进行调整。
- 聚类敏感性： 通过设计效应（$DE $）缩放$ N^\star$，以考虑组内相关性（例如 MMLU-Pro 中的学科类别）。
- 随时有效检验： 用源自 e-过程的时间均匀边界替换固定- $N$ 阈值，以处理排行榜的连续更新。

主要贡献

误用模式的理论刻画： 本文提供了一条新引理（引理 1），带有显式常数，量化了“非成对 + $(1-\rho)$ "捷径与正确成对样本量之间的偏差。它表明，在近距离比较 regimes 中，该捷径将所需样本量低估了两倍，这一模式被三种常见的功效计算器（Cohen 1988、G*Power、R pwr）无声地继承。
实证分辨率诊断： 作者将他们的框架应用于真实的排行榜数据（OLL v1 和 MMLU-Pro）。他们证明，在标准功效目标下，显示的大量相邻排名差距是未解决的。
- 在 OLL v1 上，40 个成对比较中有 11 个未解决。
- 在 MMLU-Pro 上，未解决的相邻对数量从假设独立同分布（IID）时的 4/9，增加到考虑真实学科级别聚类后的 6/9。
报告协议与工具： 本文介绍了一个打包协议（llm-power），将分辨率诊断暴露为单行调用，允许基准测试设计者在报告头条差距的同时，报告最小可检测效应（MDE）和分辨率比率 $q$ 。

结果

计算器误用： 在一个参数为 $(p_A, p_B, \rho) = (0.65, 0.60, 0.30)$ 的示例中，当正确的成对 $N^\star$ 为 1,028 时，三个流行工具返回的所需样本量约为 515。这些工具将 $(1-\rho)$ 修正应用于单臂方差，而非成对差异方差。
现实世界影响：
- OLL v1： 28% 的成对比较（11/40）未能达到分辨率目标。所有差距 $\le 2\%$ 的对均未解决。
- MMLU-Pro： 在假设项目独立的条件下，9 个相邻对中有 4 个未解决。当基于 14 个学科类别应用聚类修正时，未解决的数量增加到 6/9。两对（第 4 名与第 5 名，以及第 5 名与第 6 名）从“轻松解决”转变为需要 $>3N$ 的样本量。
- 随时有效检验： 应用时间均匀阈值进行连续监控进一步收紧了判决，使得 9 个 MMLU-Pro 对中有 5 个未解决（比固定- $N$ 检验多一对）。
校准： 该框架的 $N^\star$ 处方通过真实数据上的自助法（bootstrap）重采样进行了验证，确认推导出的样本量在经验上达到了目标功效（ $\approx 0.80$ ）。

意义与主张
本文主张，断言一个模型“优于”另一个模型，是关于差距的统计主张，而非差距本身。这项工作的意义在于将重点从仅仅报告差距和 p 值，转移到报告基准测试的分辨率。

作者认为，许多当前的排行榜主张缺乏数据统计功效的支持，特别是在相邻模型被排名的“近距离比较 regimes"中。通过揭示常见工具中两倍的低估因素，并证明聚类和多重性会进一步降低分辨率，本文提供了一个诊断框架以防止过度自信的结论。这项工作并不声称模型是相等的，而是指出当前的基准测试规模不足以在严格的统计标准下将观测到的差距与噪声区分开来。本文得出结论：一个基准测试可能具有很高的构念效度，但对于手头特定的假设检验来说仍然太小，因此需要为 LLM 评估建立新的报告标准。