🤖 AI

Submodular Benchmark Selection

本文在多元高斯模型下，将评估大语言模型时选择一小部分具有信息量的相关基准测试子集的形式化问题表述为次模最大化问题，并证明在小规模子集情形下，基于贪心互信息的方法在插补任务上优于基于熵的方法。

原作者： Alexander Smola

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Smola

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位美食评论家，试图品尝一个巨大且无尽的自助餐中的每一道菜，以决定哪位厨师最出色。你有 57 道不同的菜肴（基准测试）需要尝试。但品尝每一道菜都需要耗费无尽的时间，花费巨额资金，而且你的胃也只能承受有限的分量。

问题出在哪里？许多菜肴的味道非常相似。如果你喜欢辣味意大利面，你可能也会喜欢辣味面条。它们是“相关的”。因此，核心问题是：你实际上只需要品尝哪一小部分菜肴，就能了解全貌？

这篇由 Alex Smola 撰写的论文，提供了解决该确切问题的数学配方。它将不同 AI 模型在不同测试中的得分视为一大锅汤中的食材，利用一个名为次模优化（submodular optimization）的数学分支（这仅仅是一种“边际收益递减”的 fancy 说法）来挑选最佳的子集。

以下是他们方法的分解，使用了简单的类比：

1. 两种策略：“多样化采样者”与“连接者”

作者提出了两种不同的方法来挑选你的小份基准测试子集。可以将它们想象为针对该自助餐的两份不同的购物清单。

策略 A：“多样化采样者”（熵最大化）
- 目标： 挑选彼此截然不同的菜肴。
- 类比： 你想要一道辣菜、一道甜菜、一道咸菜和一道酸菜。你不想要三种不同类型的辣味意大利面，因为它们告诉你的信息都是一样的。
- 工作原理： 这种方法寻找“最独特”的基准测试。这就像挑选地图上的枢纽点。论文指出，这在数学上等同于一种名为“枢轴 Cholesky 分解”（pivoted Cholesky）的标准技术，这是一种将大矩阵分解为更小、更易处理部分的方法。
- 结果： 这对于获得广泛的概览非常有用，但它可能会遗漏将菜肴联系在一起的特定细节。
策略 B：“连接者”（互信息）
- 目标： 挑选那些能告诉你关于未挑选的其他菜肴最多信息的菜肴。
- 类比： 想象你挑选了一道“万能钥匙”菜肴。如果你知道厨师如何处理这一道特定的菜，你就能准确推测出他们如何处理其他 50 道菜，即使你从未品尝过它们。你不仅仅是在寻找多样性；你正在寻找那道作为通往菜单其余部分最佳“枢纽”或“桥梁”的菜肴。
- 工作原理： 这种方法计算一个基准测试能为你提供多少关于其余未选基准测试的信息。
- 结果： 论文发现，对于小预算（仅品尝 1 到 5 道菜），“连接者”策略是获胜者。它比“多样化采样者”更能准确地预测缺失的得分。

2. “缺失菜单”问题

在现实世界中，并非每个 AI 模型都在每个基准测试上接受过测试。这就像一份菜单，有些厨师尚未烹饪某些菜肴。数据是不完整的。

解决方案： 作者使用了一种称为**EM（期望最大化）**的统计技巧。
类比： 想象你试图猜测汤的食谱，但你只有几勺汤。你根据你拥有的东西猜测缺失的食材，品尝这个“猜测”，然后调整你的食谱。你反复重复这个过程，直到你的猜测变成对整个汤非常准确的估计。这使得他们即使在数据杂乱且不完整的情况下，也能构建出完整的图景。

3. “代理差距”（获胜者为何获胜）

论文发现了一个有趣的怪癖，他们称之为“代理差距”。

观察： “多样化采样者”（熵）实际上在减少剩余菜肴的数学误差（残差方差）方面做得更好。它挑选的是统计上最独立的项。
转折： 然而，当涉及到预测你未挑选的菜肴的得分时，“连接者”（互信息）胜出，尤其是当你只能挑选少数几道时。
为什么？ 因为“多样化采样者”挑选的是独特的项，但它们可能对于猜测其他项并没有太大帮助。“连接者”挑选的是与组内其余部分紧密相连的项。如果你想预测未来，你需要的是枢纽，而不仅仅是离群值。

4. 结果：你需要多少？

作者在来自十个不同 AI 排行榜（例如拥有 57 个科目的 MMLU 和拥有 56 个任务的 MTEB）的真实数据上测试了这一点。

好消息： 你不需要测试所有内容。
数据：
- 在 MMLU 数据集（57 个科目）上，仅挑选5个精心挑选的基准测试，就使他们能够以**91%**的准确率预测其余 52 个的得分。
- 即使在一个杂乱且不完整的数据集上，挑选 15 个基准测试也捕捉到了整个集合一半以上的信息。
可视化： 他们观察了数据的“谱”（就像观察彩虹中的颜色）。他们发现信息被打包在非常少量的“颜色”（维度）中。一旦你挑选了正确的少数几个，其余的只是噪音。

总结

如果你想在既不破费又不耗尽耐心的情况下评估 AI 模型：

不要只挑选随机的测试。
不要只挑选最“不同”的测试。
挑选那些作为组内其余部分最佳“连接者”的测试。
如果你只有极小的预算（1–5 个测试），请使用互信息方法。如果你拥有更大的预算，“多样化采样者”会迎头赶上。

这篇论文提供了一份数学“购物清单”，帮助研究人员停止在冗余测试上浪费时间，转而关注那些真正重要的少数测试。

技术摘要：次模基准选择

问题陈述

全面评估大语言模型（LLM）需要在一个庞大且不断增长的基准测试集上运行这些模型。这一过程计算成本高昂且耗时。然而，实证证据表明，许多基准测试之间存在高度相关性；在一个基准上的优异表现往往能预测在另一个基准上的优异表现。这种冗余性意味着，一个精心挑选的小规模基准子集可以捕捉完整集合中包含的大部分信息。核心挑战在于确定选择哪个具体子集，并确定最优的子集规模，以在最小化评估成本的同时最大化信息增益。

方法论

作者将基准选择形式化为一个次模优化问题。给定一个表示 $M$ 个模型在 $N$ 个基准上评估结果的得分矩阵 $B \in \mathbb{R}^{M \times N}$ ，这些得分被建模为来自多元高斯分布 $\mathcal{N}(\mu, \Sigma)$ 的独立抽取。目标是选择一个大小为 $k$ 的子集 $A \subseteq \{1, \dots, N\}$ ，以优化以下两个目标之一：

熵最大化（ $H(X_A)$ ）： 最大化所选基准的联合不确定性。在高斯模型下，这等价于最大化 $\log \det(\Sigma_{AA})$ 。该目标（经适当平移后）是单调次模的，并与主元 Cholesky 分解一致。针对该目标的贪心算法选择那些能最大化残差条件方差的基准，提供了一种与协方差谱相关的诊断工具。
互信息最大化（ $I(X_A; X_{\bar{A}})$ ）： 最大化所选基准关于未选补集所提供的信息量。该目标是次模的，但通常是非单调的。作者观察到，对于较小的子集规模 $k$ ，边际增益仍保持为正，从而允许使用贪心启发式方法。该方法结合了前向 Cholesky 更新与补集重分解，以高效计算边际增益。

处理缺失数据：
现实世界的得分矩阵通常是不完整的（并非所有模型都在所有基准上运行过）。作者采用**期望最大化（EM）**算法，在缺失完全随机（MAR）假设下将缺失值视为潜变量，从而从部分观测条目中估计均值向量 $\mu$ 和协方差矩阵 $\Sigma$ 。

插补：
一旦选定子集 $A$ ，新模型的未观测得分即利用高斯分布的条件期望进行插补：
$E[B_{i\bar{A}} | B_{iA}] = \mu_{\bar{A}} + \Sigma_{\bar{A}A} \Sigma_{AA}^{-1} (B_{iA} - \mu_A)$

主要贡献

本文提出了一个端到端的基准选择流程，具体贡献如下：

次模目标： 提出了用于基准选择的两个次模目标（熵和互信息），并为两者设计了高效且数值稳定的贪心算法。
基于 EM 的估计： 提出了一种利用 EM 从不完整得分矩阵中估计协方差矩阵的方法，使得这些方法能够应用于现实世界中稀疏的排行榜数据。
谱诊断： 一种利用特征值衰减和主元 Cholesky 残差迹来确定合适子集规模 $k$ 的诊断工具。快速的经验谱衰减表明，小子集很可能是有效的。
实证验证： 在源自十个公共排行榜（MMLU、MTEB 以及一个合并的异构集合）的三个得分矩阵上进行了实验。

实验结果

作者在三个数据集上使用 10 折交叉验证评估了其方法：

MMLU（5,452 个模型，57 个任务，完全观测）： 仅使用 $k=5$ 个选定的基准，互信息（MI）选择实现了 0.91 的插补 $R^2$ 。熵选择达到了 0.89。两种方法均显著优于随机选择。
MTEB（263 个模型，56 个任务，77% 观测）： 对于较小的 $k$ （例如 $k \le 3$ ），MI 选择优于熵选择，差距约为 10 个 $R^2$ 点。
MERGED（118 个模型，114 个任务，31% 观测）： 这个稀疏且异构的数据集最具挑战性。MI 选择在较大的 $k$ 值下仍保持对熵选择的明显优势，在 $k=15$ 时达到 $R^2 \approx 0.59$ ，而熵选择为 0.55。

主要发现：

“代理差距”： 虽然熵选择最小化了所选集的残差方差（这是主元 Cholesky 的一个属性），但它并不总是能最大化对未选基准的预测能力。MI 选择明确奖励与补集的耦合，对于小子集规模，能产生更优越的插补质量。
可扩展性： 对于条件良好的数据集，随着 $k$ 的增加，熵选择最终会赶上甚至超过 MI。然而，对于预算受限的场景（小 $k$ ），MI 是首选目标。
鲁棒性： 尽管正式的正态性检验在所有数据集上均拒绝了高斯假设，但高斯条件均值（最佳线性预测器）提供了高度准确的插补结果，验证了高斯模型作为一种实用的工作近似是有效的。

意义与主张

本文声称提供了一种原则性的、信息论框架，用于规范性基准选择。与以往专注于减少单一基准内的冗余或学习潜在技能的工作不同，该方法选择要运行的整个基准，并插补其余部分，而无需训练复杂的预测模型，仅需进行协方差估计。

作者强调：

MI 适用于小预算： 当计算资源有限且目标是为剩余基准插补得分时，互信息选择是推荐的策略。
熵有助于多样性： 熵选择在最大化所选集的多样性或减少条件良好且较大子集的残差方差方面仍然有价值。
谱分析具有诊断性： 得分协方差的特征值衰减可作为小子集何时有效的可靠指标。

该研究得出结论：少量精心挑选的基准可以捕捉不成比例的大量评估信息，从而有可能在保持性能估计高保真度的同时，降低大语言模型评估的计算成本。