📊 statistics

Optimal Hold-Out Size in Cross-Validation

本文提出了一个基于效用的原则性框架，通过显式地平衡训练样本量与评估不确定性，来选择交叉验证中的最优留出集大小，从而以特定于上下文的选择取代任意约定，进而提高模型选择和下游科学推断的可靠性。

原作者： Kenichiro McAlinn, Kōsaku Takanashi

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Kenichiro McAlinn, Kōsaku Takanashi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《交叉验证中的最优留出集大小》（Optimal Hold-Out Size in Cross-Validation）的解释，采用了简单易懂的语言和日常类比。

核心问题：“金发姑娘”式的两难困境（即：过犹不及）

想象你是一位正在尝试完善新汤配方的厨师。你有一锅食材（你的数据）。为了知道这汤好不好喝，你必须尝一下。但问题在于：你不能在汤还没煮好之前就去尝味道，但如果你因为频繁停下来尝味而导致烹饪中断，你也无法把汤煮得完美。

在数据科学中，这被称为交叉验证（Cross-Validation）。你将数据分为两部分：

训练集（The Training Pile）： 用于教导模型（厨师）如何做汤。
测试集/留出集（The Testing Pile/Hold-out）： 用于品尝汤的味道，看看它是否真的好喝。

论文指出，多年来，科学家们一直在猜测这两部分的大小应该如何分配。他们通常只是遵循一个标准规则，比如“80%用于训练，20%用于测试”（或者将其分成5份或10份）。作者认为，这就像一位厨师在不知道需要多少食材才能煮出一锅好汤的情况下，盲目猜测该留出多少汤来品尝一样。

权衡：烹饪 vs. 品尝

论文识别了两个相互竞争的需求之间的“拉锯战”：

需要更多训练（较小的测试集）： 如果你给厨师几乎所有的食材进行练习（极小的测试集），他们会学得非常好。汤的味道很可能很棒。但是，由于你只剩下一小勺用来品尝，你不确定这一小勺是否能代表整锅汤。这一小勺可能刚好是运气好尝到了好的一口，也可能刚好是坏的一口。你的“确定性”很低。
需要更多测试（较大的测试集）： 如果你留了一大碗汤来品尝，你可以非常确定这汤的味道。你的“确定性”很高。但是，厨师因为食材减少而不得不减少烹饪量，所以汤本身可能调味不足或制作拙劣。模型的准确度较低。

论文的目标： 找到那个“金发姑娘”式的平衡点——既能保证汤煮得好，又能进行可靠的味觉测试的完美测试集大小。

秘密配料：“不可约噪声”（ $\sigma^2$ ）

作者发现，答案取决于一个叫做**不可约噪声（Irreducible Noise）**的东西。

你可以把它理解为食材中的“混乱度”或“随机性”。

低噪声： 想象你在一个温度和湿度都受到严格控制的完美实验室里烤蛋糕。食材的表现完全符合预期。“噪声”很低。
高噪声： 想象你在预测天气或人类行为。其中存在大量的随机性，即使是一个完美的模型也无法做到100%确定。此时“噪声”很高。

论文声称，你对测试结果的信任程度取决于你的数据有多“吵”（噪声有多大）。

如果你的数据干净且可预测（低噪声），你可以让模型用更多的数据来学习（减小测试集），因为结果是稳定的。
如果你的数据杂乱且混乱（高噪声），你需要一个更大的测试集来确保模型不是在瞎猜，即便这意味着模型练习的机会变少了。

解决方案：是用“调谐旋钮”而非“规则手册”

作者建议不要再说“始终使用5折交叉验证”，而是提出一种新方法，让研究者扮演“收音机调谐器”的角色。

估计噪声： 你必须决定（或猜测）你的数据有多嘈杂。这就是你的“调谐旋钮”。
运行计算： 论文提供了一个公式，它通过你的噪声水平来告诉你最优的测试集大小。
结果： 你会得到一张地图。它可能会告诉你：“如果你的数据噪声很大，请使用2折拆分；如果数据很干净，请使用20折拆分。”

论文中的现实案例

作者在真实数据上进行了测试，以证明“一刀切”的规则是错误的。

鲍鱼（海螺）案例： 他们尝试预测海螺的年龄。
- 对于一个简单模型（线性回归），最佳测试集大小会随着他们假设的噪声水平变化而发生剧烈波动。
- 对于一个复杂模型（随机森林），最佳测试集大小又是另一种情况。
- 教训： 对这两个模型使用相同的测试集大小会产生误导。复杂模型需要更多练习（更小的测试集），而简单模型则需要更高的确定性（更大的测试集）。
癌症突变案例： 他们研究了遗传数据以寻找癌症模式。
- 当他们改变测试集大小（即 K 值）时，那些被判定为“重要”的癌症基因列表也随之改变了。
- 教训： 仅仅是拆分数据的方式发生微小变化，就可能改变关于哪些基因导致疾病的科学结论。

为什么这对每个人都很重要

论文总结道，不存在单一的“最佳”数据拆分数字。

对于科学家： 停止盲目使用“5折”或“10折”交叉验证。你需要自问：“我的数据噪声有多大？”以及“我的模型有多复杂？”
核心启示： 如何拆分数据是一个科学决策，而不只是一个计算机设置。通过将对“噪声”的假设明确化，研究人员可以避免得出错误的结论。

简而言之： 论文为科学家提供了一个新工具，让他们不再靠猜，而是通过计算来找到“教学”与“测试”之间的完美平衡，从而确保他们的科学发现是真实的，而不是仅仅因为数据切割方式不同而产生的偶然现象。

技术摘要：交叉验证中的最优留出集大小

问题陈述

交叉验证（CV）是模型选择和参数调优的标准程序，然而，留出集大小（或等效地，折数 $K$ ）的选择通常是由惯例（例如 $K=5, 10$ ，或 80/20 分割）决定的，而非基于原则性的准则。本文识别了交叉验证过程中存在的一个基本权衡：增加训练样本量 ( $n$ ) 可以提高模型准确度（降低预测偏差），而减小测试样本量 ( $m$ ) 则会增加方差（不确定性）。

在许多现代语境下——特别是在灵活的模型、高维数据或平坦性能曲线的情况下—— $K$ 的微小变化可能会导致不同的选定模型和分歧的科学结论，即便估计的损失值几乎相同。核心问题在于，在没有额外假设的情况下，通过观测数据无法普遍估计 $K$ 折交叉验证中的评估不确定性（Bengio 和 Grandvalet, 2004），这使得研究人员缺乏一个通用的、有限样本的、针对特定数据集的规则来平衡准确度与评估确定性。

方法论

作者将留出集大小的选择形式化为一个旨在追求纯预测性能（即扣除不可约噪声后的性能）而非原始经验损失的决策问题。该方法通过四个主要步骤进行：

1. 不确定性的理论特征化

论文推导了无偏纯损失估计量的有限样本方差表达式。

对称误差： 在误差 $\epsilon_i$ 服从对称分布（如高斯分布）的假设下，作者推导了损失方差的精确表达式。
非对称误差： 对于一般情况（如 Gamma 分布、二元结果），他们推导了一个保守的上界。
核心见解： 研究表明，损失的方差是模型偏差、不可约误差 ( $\sigma^2$ ) 以及留出集大小 ( $m$ ) 的函数。具体而言，方差随 $1/m$ 和模型偏差的平方而缩放。作者指出，虽然 $K$ 折交叉验证平均了相关的损失，但单折的方差可以作为全量 $K$ 折估计的一个有效且保守的上界。

2. 均值-方差效用框架

为了确定最优权衡，作者采用了冯·诺依曼-摩根斯特恩（von Neumann-Morgenstern）期望效用框架。他们定义了一个同时惩罚预期损失和该损失方差的效用函数：
$\text{Utility}(n, m) = - \left( E[\hat{L}_k] + \text{Var}[\hat{L}_k] \right)$
该公式将不可约噪声参数 $\sigma^2$ 视为一个可调节的“旋钮”，反映了分析师对评估不确定性的容忍度。

3. 估计策略

寻找最优 $m$ （从而确定 $K$ ）的建议策略包括：

损失曲线估计： 在三个锚点处估计经验预测损失：留一法交叉验证（ $m \approx 1$ ）、留最多法交叉验证（ $m \approx N/2$ ）以及一个中间点（例如 5 折交叉验证）。这些点用于插值出作为测试集大小函数 $m$ 的损失曲线 $E\hat{L}(m)$ 。
方差曲线计算： 利用推导出的理论界限，计算作为估计损失和假设 $\sigma^2$ 函数的方差曲线 $V\hat{L}(m)$ 。
优化： 最优留出集大小是使估计损失与其方差上界之和最小化（即效用最大化）的 $m$ 值。

4. 帕累托前沿 (Pareto Frontier)

通过改变假设的不可约噪声 $\sigma^2$ ，作者构建了一个帕累托前沿。该映射图展示了不同噪声机制下的最优 $K$ ，允许研究人员根据其对数据质量的假设来可视化最优分割方式的变化。

关键结果

在多个领域（生物学、材料工程、社会科学）和模型（线性回归、随机森林）中的实证分析得出了以下发现：

上下文依赖性： 最优 $K$ 并非普适的；它随特定数据集、模型类别以及假设的不可约噪声水平的不同而显著变化。
模型复杂度： 复杂模型（如随机森林）通常需要更大的训练集（较小的 $K$ ）来降低偏差，而简单模型（如线性回归）可以容忍更大的测试集（较大的 $K$ ）以降低评估方差。
惯例的失效： 常规选择（如 $K=5$ ）往往是次优的。在多次实验中， $K=5$ 在复杂模型中从未成为最优选择；对于简单模型，它仅在特定的噪声假设下才是最优的。
反向工程 $\sigma^2$ ： 该框架允许研究人员“反向工程”常规分割所隐含的噪声水平。作者发现，标准分割所隐含的噪声水平与观察到的模型性能并不一致（例如，暗示 $\sigma^2$ 过高，以至于无法支持观察到的低误差），这表明常规的 $K$ 选择可能不适用于特定问题。
科学影响： 在一项高维基因组学应用（TCGA 突变特征归因）中， $K$ 的选择改变了“可靠存在”的突变特征集合。高不确定性机制（倾向于小 $K$ ）排除了在低不确定性机制（倾向于大 $K$ ）下被检测到的特征，证明了 $K$ 是控制稀疏性和下游科学推断的杠杆。

意义与主张

本文声称要以一种特定于上下文且显式包含假设的框架，取代“一刀切”的交叉验证惯例。其主要贡献在于：

显式权衡： 它使训练准确度与评估确定性之间的隐式权衡变得显式，为选择 $K$ 提供了一个透明的基于效用的规则。
有限样本理论： 它提供了精确的有限样本方差表达式（在对称情况下）和通用的上界，填补了以往理论仅提供渐近描述或特定案例指导的空白。
诊断工具： 通过将 $\sigma^2$ 视为一个参数，该框架实现了敏感性分析。研究人员可以识别结论在不同噪声假设下保持不变的稳健 $K$ 范围，或者检测常规分割是否暗示了不切实际的噪声水平。
科学严谨性： 作者认为，由于交叉验证通常是推断流程的一部分（决定哪些变量或机制得到“支持”），因此 $K$ 的选择必须是一个与数据质量领域知识相一致的科学决策，而非默认的计算设置。

文章总结道，虽然很难普遍确定精确的最优 $K$ 值，但该框架表明，最优分割很少与极端的惯例（如 LOOCV 或 2 折交叉验证）重合，也极少在所有语境下都固定在 5 或 10 等标准值上。相反，研究人员应该根据其特定的数据和模型特征，确定合理的留出集大小范围。