🤖 machine learning

Revisiting the Volume Hypothesis

本文通过证明随着训练数据集规模的增加，基于梯度的学习相对于随机采样的泛化优势会逐渐减弱，从而解决了体积假设中表面的矛盾，这表明该假设主要在较小的数据规模下成立。

原作者： Ari Pakman, Lior Kreimer, Yakir Berchenko

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Ari Pakman, Lior Kreimer, Yakir Berchenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心谜题：为什么超级复杂的 AI 模型能奏效？

想象一下，你正试图在一个装有数百万把钥匙的巨大黑暗仓库里寻找一把特定的钥匙。其中大多数钥匙根本对不上锁。但现代 AI 模型就像是一个神奇的寻钥者，尽管仓库巨大且充满了无用的钥匙，它几乎总能找到一把完美契合的钥匙。

这很奇怪，因为这些 AI 模型拥有的“旋钮”（参数）远比解决问题所需的要多。事实上，它们完全可以仅仅通过死记硬背训练数据（就像死记硬背某场特定考试的答案）来应对，从而在面对新问题时彻底失败。然而，它们通常并不会这样，它们具有良好的泛化能力。

长期以来，科学家们认为这种魔力在于 AI 如何学习（这个过程被称为“随机梯度下降”或 SGD）。他们认为学习算法是一个聪明的向导，引导 AI 远离坏钥匙，走向好钥匙。

新理论：“体积假设”

一个较新的观点，被称为**“体积假设”**（Volume Hypothesis），提出了一个不同的理由。它说：“也许学习算法并没有那么特别。也许是因为‘好’钥匙占据的面积比‘坏’钥匙大得多。”

如果“好”的区域非常广阔，而“bad”的区域非常微小，那么即使你只是对着仓库墙壁乱投飞镖（随机挑选钥匙），你也很有可能击中一把好钥匙，仅仅是因为那里有足够大的空间可以击中。

困惑：两个实验，两个不同的答案

最近，两组不同的科学家测试了这个想法，并得到了截然相反的结果：

“小数据”组： 他们尝试通过在只有少量物品的仓库（小数据集）中随机猜测来寻找好钥匙。他们发现随机猜测的效果非常糟糕。“聪明”的学习算法仍然要出色得多。
- 结论： 学习算法才是英雄；“体积假设”是错误的。
“大数据”组： 他们观察了拥有数百万件物品的仓库（大型数据集）。他们发现“好”的区域确实非常庞大。随机猜测实际上经常能落在好钥匙上，效果几乎与聪明的算法不相上下。
- 结论： “体积假设”是正确的；学习算法并没有承担太多重任。

该论文的解决方案：取决于仓库的大小

这篇论文的作者意识到，两组人观察的是不同规模的仓库。他们决定测试“中间地带”——即中等规模的仓库——以观察随着数据量的增加会发生什么。

他们使用了一种特殊的统计工具（称为 Wang-Landau 算法）来绘制仓库的“体积”图。他们不仅仅是投掷飞镖，而是精确计算了在不同数据集大小下，“好”钥匙和“坏”钥匙分别占据了多少空间。

以下是他们的发现：

在小仓库中（小数据集）： “好”钥匙隐藏在一个极其微小、难以找到的角落里。“坏”钥匙则无处不在。
- 结果： 如果你随机猜测，你几乎肯定会选到一把坏钥匙。你需要聪明的学习算法（SGD）来引导你前往那个微小的正确位置。
在大仓库中（大数据集）： 随着你增加更多数据，“好”钥匙的范围也在扩大。“坏”钥匙的范围则在缩小。“好”的区域变成了一个巨大的、显眼的岛屿。
- 结果： 现在，如果你随机猜测，你很有可能会落在好钥匙上。相比之下，聪明学习算法的优势缩小了，甚至几乎消失了。

最终总结

这篇论文通过以下方式解开了谜团：双方都是正确的，但他们观察的是过程的不同阶段。

当你拥有很少的数据时，“聪明的学习”是最重要的。它就像黑暗中的手电筒，寻找那仅有的几个正确解。
当你拥有大量的数据时，AI 的“架构”（设计）承担了主要工作。由于“好”的解自然而然地占据了如此大的空间，以至于随机猜测者也能找到它们。

“大海捞针”的比喻：

小数据： 在草堆里找一根针，靠随机机会是不可能的。你需要一块磁铁（学习算法）。
大数据： 想象一下，当草堆变得如此巨大，以至于针变成了一根巨大的钢梁。现在，你不需要磁铁；你只需要走进草堆，几乎肯定会撞到那根钢梁。

论文得出结论：体积假设是成立的，但前提是你拥有足够的数据，让“好”的解能够增长到足以被随机发现的程度。在开始阶段，学习算法是英雄；而在最后，数据的 sheer size（规模/纯粹量级）使得架构成为了英雄。

技术摘要：重新审视容量假说（Volume Hypothesis）

问题陈述
现代深度神经网络通常拥有远超拟合训练数据所需的参数量，但它们在未见数据上的泛化能力却表现出色。主流解释将其归因于随机梯度下降（SGD）的隐式偏置，而一个竞争性的“容量假说”则认为，在低训练损失区域内，通向强泛化能力的盆地（basins）在权重空间中所占的体积远大于泛化能力差的盆地。近期的文献对该假说提出了矛盾的发现：

Peleg & Hein (2024) 发现，通过随机采样权重直到达到零训练误差（猜解法/Guess-and-Check）得到的泛化性能优于随机水平，但远逊于 SGD，这表明优化偏置占据主导地位。
Yang et al. (2026) 利用分子动力学估算参数密度，发现对于低训练损失，参数密度在泛化值处于与优化后的 SGD 相似或更优的水平处达到峰值，这支持了容量假说。

作者观察到这些研究是在不同的数据机制下进行的：Peleg & Hein 使用的是小数据集（最多 32 个样本），而 Yang et al. 使用的是大数据集。本文旨在解决的核心问题是：容量假说的有效性是否取决于训练数据集的大小，从而可能调和这些分歧的结果。

方法论
为了研究训练准确率（ $A$ ）与测试准确率（ $Q$ ）的联合状态密度，作者采用了复制交换 Wang–Landau (REWL) 算法。该技术改编自统计物理学，能够高效地对参数空间进行采样，以估计状态密度 $g(A, Q)$ ，该密度代表了产生特定准确率对的网络配置的体积。

设置： 实验在二值神经网络（权重 $\in \{\pm 1\}$ ）上进行，涵盖三种架构（基础型、更深型、更宽型）和两个数据集（MNIST、Fashion-MNIST）。
数据机制： 系统地改变训练集大小（ $D$ ），取值为 30、300 和 600 个样本，以探索从低数据到中/高数据机制的过渡。
算法： Wang-Landau 算法在权重空间中执行随机游走，并通过 $1/g(A, Q)$ 进行重加权，以确保访问过的 $(A, Q)$ 状态呈现平坦直方图。修改因子 $f$ 被迭代减小直至收敛。
比较： 零训练误差（ $A=D$ ）处的密度曲线峰值，记为 $Q^* = \arg\max_Q g(A=D, Q)$ ，代表了随机采样的预期泛化性能。将其与标准（随机）梯度下降的泛化性能进行对比。

核心贡献

调和矛盾结果： 本文通过证明随机采样与基于梯度的训练之间的关系具有强烈的依赖于数据的特性，弥合了以往研究之间的差距。
数据依赖型过渡： 作者识别出了一个过渡机制：随着训练数据量的增加，SGD 相对于随机采样的泛化优势会逐渐减弱。
完善容量假说： 研究明确了“容量假说”并非独立于优化的普遍原语。相反，体积效应（架构偏置）会随着数据约束的增加而显现并集中，而在小数据机制下，优化诱导的偏置占据主导。

结果

递减的 SGD 优势： 随着数据集大小从 30 增加到 600，随机采样（随机寻找零训练误差解）与 SGD 之间的泛化准确率差距显著缩小。在小数据机制下（如 $D=30$ ），SGD 显著优于随机采样。在较大的机制下（如 $D=600$ ），典型的随机插值解性能接近 SGD。
密度曲线的锐化： 在所有架构和数据集下，泛化准确率密度的曲率随数据集大小的增加而变得更加尖锐。这表明，随着观测到的数据增多，具有良好泛化能力的解的概率体积会愈发集中在一段狭窄的测试准确率范围内。
架构效应： 较宽的网络在随机采样中始终表现出更高的泛化准确率。深度的影响则较为复杂，这表明这些架构细节是次要的，主要的依赖关系在于数据规模。

意义与主张
本文声称为过度参数化泛化中优化与架构的角色提供了一个统一的解释。其观点如下：

在小数据机制下，插值解虽然丰富但具有异质性；SGD 的隐式偏置对于导航至权重空间中稀有的高性能区域至关重要。
在大数据机制下，数据施加的约束将有效的插值解体积集中在一个高泛化的高窄带内。因此，“典型”的随机采样解在竞争中可以与 SGD 旗鼓相当，此时架构的体积效应成为主导因素。

作者总结道，架构偏置与优化偏置是互补的机制，它们的相对重要性随数据集大小的变化而转移。他们强调，其研究结果是针对二值权重网络和中等规模架构的，旨在分离基本几何效应，而非直接模拟现代大规模连续权重训练。