🤖 machine learning

Crossing the Validation Crisis: Cross-Validation Reduces Benchmarking Variance Surprisingly Well

本文通过证明交叉验证能通过一种被称为“样本增益”的概念显著降低性能估计的方差，从而应对机器学习基准测试中的验证危机，并提供了一种动态早停程序，以实现在有限数据下对算法进行稳健且可靠的比较。

原作者： Célestin Eve, Gaël Varoquaux, Thomas Moreau

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Célestin Eve, Gaël Varoquaux, Thomas Moreau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图判断两名跑步者谁更快的裁判。你只有一段非常短的赛道（一个很小的数据集），而且只有几秒钟的时间观察他们奔跑。如果你只让他们跑一次，结果可能只是个偶然。也许是跑得快的那个被一颗小石子绊了一下，或者是跑得慢的那个正好赶上了一阵幸运的顺风。你无法确定谁才是真正的强者。

这就是机器学习研究人员今天面临的问题。他们试图比较新的 AI 算法，但测试数据往往非常匮乏。由于数据稀缺且算法极其复杂（就像是在掷一个拥有数百万个面的骰子），单次测试运行往往只是“噪声”。这就像是根据一个脚步来评判一场马拉松的冠军。

这篇论文指出，解决方案不是只拍一张快照，而是开始拍摄许多张快照。这被称为交叉验证（Cross-Validation），但作者向我们展示了如何比以往更有效地使用它。

以下是利用简单类比对他们发现的解读：

1. 问题所在：“单次尝试”的赌博

在过去，研究人员通常只进行一次数据拆分：80% 用于训练 AI，20% 用于测试。他们运行一次，然后宣布胜者。

缺陷： 如果你抛 10 次硬币，可能会得到 7 次正面。这是否意味着硬币有偏差？也许。但如果你抛 1,000 次，结果会接近 50/50。
现实情况： 许多著名的 AI 数据集都非常小（有些甚至少于 1,000 个样本）。在如此小的数字面前，单次测试就像抛 10 次硬币一样。结果是摇摆不定的，你可能会仅仅因为运气不好而选错“赢家”。

2. 解决方案：“样本增益”

作者引入了一个概念，叫做样本增益（Sample Gain）。把它想象成你数据的“魔法乘数”。

类比： 想象你有一个装满弹珠的小罐子（你的测试数据）。你想知道弹珠的平均颜色。
- 方法 A（单次拆分）： 你只取 20 颗弹珠出来看一次，然后进行猜测。
- 方法 B（交叉验证）： 你取出 20 颗弹珠，记录颜色，把它们放回罐中，摇匀，再取出 20 颗不同的弹珠。你重复这个过程 20 次。
发现： 论文表明，进行这种“摇匀并取出”的方法 20 次，并不仅仅是让你获得了 20 倍的数据。它产生的效果就像是你最初就拥有一个大 10 到 15 倍的罐子！
为什么？ 通过平均化许多不同拆分的结果，你可以抵消掉“运气不好”（那些小石子和顺风）的影响。作者发现，对于许多算法，你可以一直进行下去（多达 200 次拆分！），直到不再看到收益为止。这反驳了旧有的经验法则，即“一旦你测试过每个样本一次，任务就完成了”。

3. “提前停止”的小技巧

你可能会问：“如果我必须运行 200 次测试，那不会耗时很久且成本高昂吗？”

答案： 是的，这会消耗更多的计算能力。但作者找到了一种方法，可以在不运行完所有 200 次的情况下知道何时停止。
类比： 想象你正在品尝一锅汤，看看是否需要加盐。你不需要品尝整锅汤 200 次。只需喝两三勺，如果味道每次都完全一样，你就知道这汤的味道是一致的。你可以停止品尝。
工具： 他们创建了一个“冗余度评分（Redundancy Score）”。在仅运行 2 或 3 次拆分后，你可以检查：“这些结果是否在重复相同的信息？”
- 高冗余度： 结果是完全相同的。停止！继续下去也不会学到任何新信息。
- 低冗余度： 结果是不同的。继续！你仍在寻找有价值的信息，这会让你的结论更加可靠。

4. 为什么这很重要（“排名”问题）

论文还研究了我们如何对算法进行排名。

场景： 算法 A 比算法 B 稍微好一点。
单次拆分： 在 70% 的单次测试中，算法 B 因为随机噪声看起来更好。你选错了。
多次拆分： 当你平均多次拆分的结果时，噪声会被抵消。你终于看到了算法 A 才是真正的赢家。
结果： 使用多次拆分有助于你避免选出“虚假赢家”，并确保当你说“这个 AI 更好”时，你确实是对的。

总结

论文告诉我们，在 AI 的世界里，重复并不意味着冗余；重复意味着可靠。

通过更积极地使用交叉验证技术（运行比平时更多的拆分次数），我们可以将一个微小的、摇摆不定的数据集转化为一个稳健、可靠的基准。这就像是通过从不同角度拍摄许多照片，将一张模糊的单张照片变成一个高清的 3D 模型。

作者还给了我们一个“智能停止”按钮：一种方法，可以在尝试几次后就检查我们是否需要继续，或者是否已经收集到了足够的证据。这使得寻找最佳 AI 算法的过程变得更加科学、减少了猜测，并且更加值得信赖。

技术摘要：通过交叉验证跨越验证危机

1. 问题陈述：验证危机

现代机器学习的进展高度依赖于通过经验基准测试来评估和比较学习算法。然而，这一过程正面临着由两个复合因素驱动的“验证危机”：

统计变异性： 由于数据划分、样本排序、权重初始化和超参数优化的随机性，评估指标本质上是具有噪声的。
数据稀缺性： 许多关键领域（如医学影像、自然语言处理）依赖于样本量有限的数据集。元研究表明，超过 50% 最常用的 OpenML 数据集包含少于 1,000 个样本。

在小样本机制下，性能估计的方差很高。因此，单次训练/测试划分（留出法）往往会产生不可靠的排名，使得真实的进步被噪声掩盖，且性能在统计学上无法区分的算法会被错误地排序。虽然交叉验证（CV）是减轻这一问题的标准工具（通过在多次划分中平均结果），但在现代实践中它经常被低估使用（在医疗机器学习研究中，执行 CV 的比例不足 14%），原因在于其感知的计算成本以及缺乏关于需要多少次划分的明确指导原则。

2. 方法论与理论框架

2.1 基准测试形式化

本文区分了对静态决策函数进行基准测试与对学习算法进行基准测试。对于学习算法，目标是估计先验得分（Oracle Score, $R^*_{n_{tr}}(F_\lambda)$ ），该得分定义为在所有可能的训练集规模为 $n_{tr}$ 且内部算法随机状态（种子）下的预期泛化性能。

作者采用了蒙特卡洛交叉验证（MCCV），也称为重复随机子采样，即将数据集重复划分为训练集和测试集。估计量 $\hat{R}_K$ 是 $K$ 次独立评估的平均值。

2.2 方差分解

MCCV 估计量的方差被分解为两个组成部分：
$\text{Var}[\hat{R}_K] = \frac{1}{K}\sigma^2_{HO} + \frac{K-1}{K}\tau$
其中：

$\sigma^2_{HO}$ 是单次留出法评估的方差。
$\tau$ 是不同划分之间评估的协方差，这是由于重复使用有限数据（不同划分之间训练集和测试集的重叠）所导致的。

当 $K \to \infty$ 时，方差并不会消失，而是收敛于 $\tau$ 。这种不可约的方差成分源于数据集的有限性。

2.3 样本增益的概念

为了量化增加 $K$ 所带来的收益，作者引入了样本增益（Sample Gain, $G^{\text{test}}_K$ ）。该指标衡量了交叉验证实现的“虚拟数据增强”。具体而言，它定义了等效测试集规模（ $N^{\text{equiv}}_K$ ）：即一个单次留出测试集需要达到的规模，才能达到与 $K$ 次划分 CV 程序相同的估计方差。

$G^{\text{test}}_K = \frac{N^{\text{equiv}}_K}{n_{te}}$
若 $G^{\text{test}}_K = 10$ ，则意味着进行 $K$ 次划分所减少的估计方差，相当于拥有一个比原始测试集大 10 倍的测试集。

2.4 基于冗余性的早停

考虑到计算成本随 $K$ 线性增加，本文提出了一个仅针对研究的冗余得分（ $\hat{\omega}^{\text{study}}_K$ ）。该指标在单次 CV 运行仅进行几次划分（例如 $k=2$ 或 $3$）后即可计算得出。它衡量了不同折叠特定预测器在共享研究观测值上的预测和损失的相关性。

高冗余度： 表明额外的划分可能会平均掉冗余信息，暗示可以提前停止。
低冗余度： 表明进一步的划分可能仍能带来显著的方差降低。

3. 实验评估

作者通过合成数据、组织病理学图像分类（PatchCamelyon）和 NLP 微调（Yelp Review Full）三个领域的实验验证了其发现。

3.1 实验设置

合成数据： 具有不同噪声水平和模型复杂度的回归任务（Ridge, GradientBoosting, MLP 等）。
医学影像： 使用 CNN（DenseNet, WideResNet, MobileNet, ViT）在 PatchCamelyon 数据集上进行的淋巴结转移分类。
NLP： 在 Yelp Review Full 数据集上对 BERT 和 XLM-RoBERTa 进行微调。
协议： 实验利用大型“基准测试集”（从主研究集中分离出来）来逼近先验得分且使噪声忽略不计，从而实现对方差降低的精确估计。

3.2 关键结果

显著的样本增益： 增加划分次数会带来显著的统计功效提升。
- 在合成回归任务中， $K=200$ 次划分使得 Ridge 和 MLP 模型的样本增益约为 14 到 15。
- 即使在 $K=5$ 或 $K=10$ 之后，增益依然存在，这反驳了“每个样本只需被留出一次”的启发式假设。
- 收益递减出现的时间比预想的要晚；对于某些算法（如 Ridge, MLP），增益在 $K > 20$ 后仍在持续增加。
算法依赖性： 增益率因算法而异。树集成模型（ExtraTrees, GradientBoosting）通常收敛较快，而神经网络或线性模型则会持续从更高的 $K$ 中获益。
排名可靠性： 多次划分的 CV 显著提高了算法两两比较排名的可靠性。
- 在 NLP 实验中，尽管 BERT 的平均得分更高，但单次划分评估在 70–80% 的运行中将 XLM-RoBERTa 排在 BERT 之上。这是由于 XLM-RoBERTa 存在严重的低分离群值。
- 随着 $K$ 的增加，CV 正确识别了平均性能差异，更可靠地恢复了准先验（quasi-oracle）排名。
早停有效性： 在仅经过 2 或 3 次划分后计算出的冗余得分，对于预测是否可以实现大幅增益（ $G^{\text{test}}_{20} \ge 10$ ）具有高度预测性。高冗余度几乎排除了未来获得大幅增益的可能性。

4. 核心贡献

量化 CV 效率： 引入样本增益这一可解释指标，以“额外测试样本”为单位来量化交叉验证的方差降低效果。
对启发式方法的实证反驳： 本研究证明了限制划分次数（如 $K=5$ 或 $K=10$ ）的常见启发式方法通常过于保守，尤其是在面对复杂模型和小型数据集时。
实用的早停程序： 一种基于冗余得分动态决定是否继续交叉验证的方法，该得分可通过前几次划分计算得出，从而平衡计算成本与统计可靠性。
排名稳定性： 提供了证据表明，在小样本机制下，多划分 CV 对于稳健的算法排名至关重要，能够防止由评估噪声导致的误导性结论。

5. 重要性与主张

本文认为，交叉验证是解决机器学习验证危机的关键且尚未被充分利用的工具。通过将交叉验证推向更高的划分次数，研究人员即使在数据有限的情况下也能实现稳健且可靠的基准测试。

作者主张：

可靠性： 多次划分 CV 大幅提升了比较学习算法的信心，通常能提供相当于 10 倍测试集规模的统计功效。
成本效益： 虽然 CV 增加了计算成本，但“样本增益”指标允许从业者做出明智的权衡。所提出的冗余得分提供了一种数据驱动的方法，以便在增益趋于平缓时提前停止。
必要性： 在数据稀缺的领域（如医学影像），依赖单次训练/测试划分是危险的，并可能导致虚假的优越性声明。本文倡导在计算可行的情况下，特别是在算法性能差异接近时，将多划分 CV 作为标准做法。

研究结论指出，在小样本领域进行严谨的算法选择，需要超越单次划分评估，转而拥抱广泛交叉验证所带来的方差降低能力。