📊 statistics

Statistical Methods for Multiple Language Model Comparison on a Shared Evaluation

本文提出了一种统一的随机效应模型，该模型扩展了标准的配对统计方法，用于在共享的聚类评估上对多个语言模型进行严谨比较，并通过模拟实验和真实数据证明，准确的成对排序取决于对问题级相关性和多重比较的妥善处理。

原作者： Juan Francisco Mandujano Reyes

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Juan Francisco Mandujano Reyes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，研究人员不断构建新的计算机程序，旨在理解并生成人类语言。为了确定哪个程序最聪明，他们会让这些程序接受一系列测试，就像学生参加标准化考试一样。这些测试包含数千个问题，涵盖了从历史、科学到逻辑和数学等主题。多年来，比较这些程序的标准方法一直是观察它们的平均分。如果一个程序的正确率百分比高于另一个程序，它就被宣布为获胜者。然而，这种简单的方法往往忽略了一个关键细节：问题本身并不都是一样的。有些问题本质上比其他问题更难，而且同一学科（如一组数学题）内的题目往往是相关的。如果两个程序都在同样的难题上遇到困难，它们的得分就是相关的，而非独立的。忽视这些联系可能会使一个程序看起来比实际更好或更差，从而导致引导该领域的排行榜出现令人困惑或错误的排名。

一位研究人员致力于通过开发一种更严谨的方法来同时比较多个语言模型，以解决这一问题。他们不再将每个问题视为孤立的事件，而是提出了一个承认测试本身结构的统计框架。他们将不同的计算机程序视为主要的研究对象，而将问题及其所属的问题组视为影响所有人的随机变量。通过使用单一且统一的统计模型，他们可以解释为什么所有程序都使用了同一套问题。这种方法使他们能够将模型的真实技能与特定问题的难度以及这些问题在阅读理解或翻译等类别中的自然分组区分开来。

该研究人员使用来自一个名为 MMLU-Pro 的主要基准测试的真实数据测试了他们的方法，该基准测试包含超过 12,000 个问题，涵盖 14 个不同学科领域。他们选择了六个规模相似的流行语言模型，并让它们回答了完全相同的 1,497 个问题。当他们使用新方法分析结果时，发现传统的模型比较方法经常导致错误的结论。在他们的模拟研究中，他们展示了如果你只是进行两两对比，而不纠正由于同时进行多次比较而产生的影响，那么你很有可能在差异实际上只是随机噪声时，就宣布差异存在。在现实世界的测试中，他们发现一旦应用了适当的统计修正，一些关于哪个模型优于另一个模型的说法就会消失。例如，一个模型看起来以微弱优势领先于另一个模型，但在考虑了多次比较和问题的结构后，这种差异在统计学上不再显著。

研究还强调了问题如何分组的重要性。当问题按主题（如一组数学题）进行聚类时，模型在这些问题上的表现是相关的。研究人员发现，忽视这种聚类会导致对得分不确定性的估计被低估，其程度高达近三倍。通过使用他们的混合效应模型（将这些组视为随机因子），他们可以准确测量有多少得分变化来自于学科内容，又有多少来自于模型的实际能力。这表明，虽然学科聚类确实发挥了作用，但差异的主要驱动因素是模型本身，但前提是必须对统计噪声进行适当控制。

最终，该论文为该领域未来如何发展提供了一套明确的建议。研究人员认为，在宣布多个模型之间的任何排名之前，科学家们应该首先进行一项广泛的测试，以观察该群体之间是否存在任何差异。如果这项测试显示存在差异，他们随后应该使用特定的、经过修正的方法来进行模型间的两两比较，以确保误报的概率保持在较低水平。他们还建议，当问题按主题分组时，这些组应该被纳入统计模型中，而不是尝试手动调整数值。通过遵循这些步骤，社区可以确保他们所依赖的排行榜反映的是人工智能的真实进步，而非数据分析方式产生的偏差。这项工作并不声称已经解决了评估中的所有问题，但它为在利益攸关且误差容限极小的领域中进行公平、准确的比较，提供了一个坚实且经过验证的基础。

技术摘要：针对共享评估中多语言模型的统计方法

问题陈述

当前的大语言模型（LLM）研究评估实践经常涉及在共享问题集上同时比较 $K > 2$ 个模型，例如在排行榜、消融实验或超参数搜索中。虽然现有文献（如 Miller [7]）为比较恰好两个模型提供了严谨的统计框架（使用配对 t 检验和聚类标准误差），但这些工具并不自然地扩展到多个模型。

主要的统计挑战在于，如果研究人员在不进行校正的情况下，对所有 $K(K-1)/2$ 个模型对进行两两比较，就会产生多重比较问题，导致错误发现率（false discovery rates）上升。例如，对于 $K=4$ 个模型且显著性水平 $\alpha=0.05$ 的情况，至少发生一次假阳性声明的概率会超过 25%。此外，非配对检验无法解释模型回答相同问题时产生的相关性，而忽视问题层级结构（例如按主题或段落进行聚类）的方法会导致标准误差被低估。

方法论

本文提出了一种统一的随机效应模型，用于处理 $K$ 个模型在共享评估集上的得分，将模型视为固定效应，将问题（或问题簇）视为随机效应。

1. 通用模型

对于回答 $n$ 个问题的 $K$ 个模型，模型 $m$ 在问题 $i$ 上的得分 $s_{i,m}$ 可分解为：
$s_{i,m} = \mu + \alpha_m + \delta_i + \gamma_{i,m}$
其中：

$\alpha_m$ 是模型 $m$ 的固定效应（即研究关注的对象）。
$\delta_i$ 是所有模型共享的问题级随机效应。
$\gamma_{i,m}$ 是残差噪声。

该公式允许将总平方和划分为模型、问题和残差部分。

2. 两阶段检验程序

作者建议使用两阶段逻辑来控制族错误率（FWER）：

全项检验（Omnibus Test）： 首先，使用单因素重复测量方差分析（或用于聚类数据的线性混合模型）来检验零假设 $H_0: \alpha_1 = \dots = \alpha_K = 0$ 。这单个测试可以控制 FWER。
事后分析（Post-Hoc Analysis）： 仅当全项检验显著时，才进行两两对比。
- 对于平衡且非聚类的设计，使用 Tukey 检验。
- 对于不平衡或聚类的设计，本文提倡使用**估计边际均值（EMM）**并配合显式的多重性调整（例如，为了获得精确保证使用 Holm 或 Bonferroni，或使用 Tukey 类方法作为近似）。

3. 向聚类数据的扩展

为了解决相关问题组（例如阅读理解段落、学科类别）的问题，该模型被扩展为线性混合模型：
$s_{i,c,m} = \mu + \alpha_m + u_c + \delta_{i,c} + \epsilon_{i,c,m}$
其中 $u_c$ 代表簇 $c$ 的随机效应， $\delta_{i,c}$ 是嵌套在簇 $c$ 中的问题 $i$ 的随机效应。这种方法直接估计方差分量（簇的 $\tau^2$ 和问题的 $\sigma^2_q$ ），将 Miller 的聚类标准误差公式推广到任意 $K$ 。

核心贡献

统一框架： 本文确立了 Miller 对 $K=2$ 时配对和聚类估计量是通用随机效应模型的特例。该框架将这些结果扩展到任何 $K > 2$ 的情况，并能处理不平衡和聚类设计，而无需为每种场景重新进行推导。
恢复现有估计量： 作者证明，通过 ANOVA 或线性混合模型拟合该模型，可以恢复当 $K=2$ 时配对 t 检验和聚类标准误差的精确统计特性。
多重性与聚类的校正： 研究强调，忽视多重比较会导致排名不稳定，而忽视问题聚类则会低估标准误差（在模拟中低估了 1.4–2.7 倍）。
实际实现： 本文提供了具体的 R 代码（使用 lme4 和 lmerTest）以及可复现的工作流，供研究人员实施这些校正。

实验结果

该方法通过模拟和实际应用进行了验证。

模拟研究

将 Miller 的 “Galleon/Dreadnought” 示例扩展到四个模型（ $K=4$ ）及 400 个共享问题：

错误发现率： 未经校正的两两 z 检验在 $\alpha=0.05$ 时，其族错误率约为 $\approx 0.26$ ，而经过校正的重复测量 ANOVA 将该速率维持在 $\approx 0.05$ 。
聚类影响： 当存在聚类时，忽略聚类会导致标准误差被低估 1.4–2.7 倍。

真实数据应用 (MMLU-Pro)

该框架应用于在 14 个学科簇中、基于 1,497 个 MMLU-Pro 问题分层抽样的 6 个约 7B 参数规模的模型。

多重性的影响： 虽然未经校正的配对检验识别出了 5 个显著的两两差异，但只有 3 个在经过 Bonferroni 或 Holm 校正后依然显著。具体而言，一旦考虑了多重性，关于 Mistral-7B-v0.1 优于 Qwen1.5-7B-Chat 以及 Yi-6B-Chat 优于 Mistral-7B-Instruct-0.1 的说法被证明与噪声无异。
区组化的影响： 与忽略问题身份的单因素 ANOVA（ $F=2.90, p=0.013$ ）相比，经过正确区组化的重复测量 ANOVA（ $F=4.45, p=4.8 \times 10^{-4}$ ）展示了显著更高的统计功效。
方差分量： 混合效应模型估计，学科类别聚类解释了残差方差中虽小但确实存在的比例（ $\hat{\tau}^2 \approx 0.011$ ），这为是否针对特定基准包含聚类校正提供了决策依据。

意义与建议

论文指出，LLM 评估中的排名主张是脆弱的，高度依赖于所使用的统计程序。作者得出结论，单一的随机效应模型可以有效地将两模型比较技术推广到多模型设置，明确地对相关结构进行建模并控制错误率。

给研究者的核心建议：

全项检验优先： 在做出两两对比声明之前，务必先运行全项重复测量 ANOVA（或 Friedman 检验）。
进行多重性调整： 在显著的全项检验之后，进行经过多重性调整的事后程序（对于复杂设计，使用 Holm/Bonferroni 以获得精确保证）。
对聚类建模： 使用带有簇和问题随机效应的混合效应模型，而不是手动推导聚类标准误差。
透明度： 同时报告标准统计量和经过正确区组化的统计量，以说明评估结构的实际影响。
温度稳定性： 不要为了降低方差而调整采样温度；模型假设是在部署温度下进行估计。

本文强调，这些方法可以从根本上改变 LLM 排名主张的可信度，推动该领域向更严谨、更具可复现性的评估标准迈进。