技术摘要：平均值的缺陷：衡量基准测试层级的分布鲁棒性

问题陈述

基准测试是衡量语言模型（LM）进展的核心，然而聚合得分往往掩盖了子领域间的显著差异。这种现象被称为“平均值的缺陷”（Flaw of Averages），它可能使模型在表现出广泛能力的同时，实际上在特定领域存在集中的优势与劣势。尽管先前的研究已经探讨了关于冗余、数据污染和分布偏移的基准测试鲁棒性，但较少有研究关注基准测试旨在覆盖的内部子领域是否能忠实地代表其性能。作者识别了一种特定的失效模式，即聚合基准测试得分通过掩盖不均匀的性能分布，从而误导了对广泛能力的评估。

方法论

基准测试 HARMONY

为了量化这一问题，作者引入了 HARMONY，一种基于熵的诊断指标，用于衡量模型性能在基准测试各子领域间分布的均匀程度。

1. 语义划分： 将基准测试 $B$ 划分为语义子领域（簇） $G = \{A_1, \dots, A_k\}$。不同于固定的、由人工定义的分类法，作者利用预测相似性（predictive similarity）来诱导这些划分。

   • 预测相似性： 定义为 $S(x_i, x_j) = \exp\left(-\frac{\tau}{2} [D_{KL}(\bar{p}_f(x_i) \| \bar{p}_f(x_j)) + D_{KL}(\bar{p}_f(x_j) \| \bar{p}_f(x_i))]\right)$，其中 $\bar{p}_f$ 是模型 $f$ 的平均预测分布。这衡量了基于其预测分布，模型在两个输入上的行为有多相似。
   • 聚类： 通过对基于预测相似性的亲和矩阵进行谱聚类（Spectral clustering）来生成子领域。簇的数量 $k$ 通过轮廓系数（silhouette score）进行选择。

2. HARMONY 计算：

   • 测量每个子领域 $A_i$ 的性能 $\Psi(f; A_i)$（例如准确率）。
   • 计算加权平均性能 $\mu$。
   • 使用惩罚偏离均值的高斯核来推导性能质量 $p_i$：$p_i \propto w_i \exp\left(-\left(\frac{\Psi(f; A_i) - \mu}{b}\right)^2\right)$，其中 $w_i$ 是子领域的相对大小。
   • HARMONY 定义为这些质量的归一化香农熵：$H(G_f) = -\frac{1}{\log k} \sum p_i \log(p_i + \epsilon)$。
   • 解释： 高 HARMONY（接近 1）表示性能在子领域间分布均匀，意味着聚合得分具有代表性。低 HARMONY 则表示性能集中在少数几个子领域，表明聚合得分可能具有误导性。

3. 基准测试层级分析：

   • 作者对来自五个家族（Llama 3, Qwen3, Gemma 3, Phi-3, OLMo 2）的 36 个模型的 19 个 MCQA 基准测试进行了 HARMONY 计算。
   • 基准测试被绘制在由 $\mu_H(B)$（平均 HARMONY）和 $\sigma^2_H(B)$（HARMONY 方差）定义的均值-方差平面上。高均值和低方差表明该基准测试是稳健且具有代表性的。

验证

作者使用 RedundantQA 验证了其方法，这是一个具有已知地面真值结构（包含生物、历史、经济和流行文化四个领域）的合成基准测试。每个条目包含一个参考问题、两个真相似改写和两个假相似干扰项。结果显示，估计的 HARMONY 与地面真值 HARMONY 之间存在强正相关，证实了该方法区分和谐（harmonious）与非和谐分布的能力。

关键结果

1. 鲁棒性的显著差异： 基准测试层级的分布鲁棒性存在显著差异。像 BoolQ 这样的基准测试表现出高 HARMONY，并且在重新平衡时保持稳定。相比之下，像 PubMedQA 这样的基准测试表现出低 HARMONY；通过修剪过度代表的子领域来增加 HARMONY，会导致聚合准确率发生实质性的、通常是统计学显著的变化。
2. 重平衡效应： 低 HARMONY 的基准测试是脆弱的。当通过修剪以移除过度相似的条目（从而提高 HARMONY）时，它们的聚合得分会发生显著偏移，这表明其原始得分是由一部分子领域驱动的。高 HARMONY 的基准测试在类似的修剪下保持稳定。
3. 缩放趋势具有家族特异性：
   • 模型规模： 参数量与 HARMONY 之间的关系因家族而异。Qwen 和 Llama 家族呈现负相关（更大的模型将性能集中在更少的子领域上），而 Gemma 和 OLMo 则呈现正相关（更大的模型使性能分布得更均匀）。
   • 预训练 Token 数： 对于 OLMo 模型，增加预训练 Token 预算最初会导致 HARMONY 下降，随后稳步上升，即使聚合准确率的变化很小。这表明额外的训练会导致性能分布更加均匀。
4. 均值-方差图谱： 位于 HARMONY 均值-方差平面左上角的基准测试（高均值、低方差）提供了更具代表性和稳定性的评估。右下角的基准测试则发出信号，表明其结论可能是脆弱或依赖于模型的。

意义与主张

本文声称，当性能在子领域间分布不均时，聚合基准测试得分可能会系统性地误导对广泛能力的判断。作者认为，HARMONY 应与聚合准确率一起报告，作为基准测试代表性的诊断工具。

• 诊断效用： HARMONY 不是衡量整体基准测试质量的指标（它不检测污染或标注伪影），而是专门用于诊断聚合得分是否能有效总结内部子领域的性能。
• 互补作用： 该指标旨在作为子领域级分析的补充，而非替代。虽然子领域分解揭示了哪里存在优势与劣势，但 HARMONY 总结了聚合得分是否在整体上具有代表性。
• 建议： 作者建议，在解释关于广泛模型能力的说法时，研究人员应考虑底层基准测试的 HARMONY，以确保聚合得分不是由不均匀的性能分布所导致的产物。

局限性

作者承认存在以下几点局限性：

• 本研究主要侧重于多项选择题（MCQA）基准测试，因为其准确率定义明确，尽管作者也在开放式任务上进行了验证。
• HARMONY 依赖于诱导的子领域划分，这可能对相似性度量和聚类参数较为敏感。
• 高 HARMONY 并不能保证基准测试不存在污染或覆盖范围狭窄的问题；它仅表示性能分布的均匀性。
• 实证结果是基于所研究的特定基准测试和开源模型家族得出的。