How abundant are good interpolators?
本文确立了在样本量与维度比例较小的过参数化机制下，绝大多数单位范数线性插值器的泛化误差都由一个大偏差原理所决定，而诸如梯度下降和线性规划等高效优化方法的表现显著优于这一典型性能，从而证明了良性过拟合。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大局观：在大海捞针（但捞的不是针）
想象你正在尝试解决一个巨大的谜题。你拥有一组线索（数据点）和一大盒拼图碎片（参数）。在现代机器学习中，我们拥有的碎片往往远多于线索。这被称为“过度参数化”（overparametrized）。
因为碎片如此之多，所以有成千上万种不同的排列方式，能让它们完美地契合这些线索。事实上，你可以通过排列，使每一个线索都被完美满足且误差为零。用论文中的术语来说，这些完美的排列被称为**“插值器”（interpolators）**。
作者提出的核心问题是：如果我们只是盲目地随机挑选其中一种完美的排列方式，它在面对尚未见过的“新谜题”时，表现会好吗？
类比：“完美” vs. “典型”
把所有可能的完美排列集合想象成一座巨大且蔓延开来的城市。
- “典型的”居民： 如果你在这一座城市中随机挑选一栋房子，它看起来是什么样的？
- “聪明的”居民： 如果你使用一种聪明的算法（比如梯度下降或线性规划）去寻找一栋房子，它又是什么样的？
论文的主要发现有点令人惊讶：“典型的”居民通常表现得很糟糕，完全不具备泛化能力。
如果你随机挑选一个完美拟合训练数据的解，它几乎注定会在新数据面前惨败。这就像是找到了一把能完美打开你家前门的钥匙，但这把钥匙是巧克力做的——一旦遇到雨天（新数据），它就会融化（失效）。
然而，“聪明的”算法（即我们实际使用的那些算法）并不会随机挑选房子。它们专门寻找这座城市中那些少数、稀有的、坚固且实用的房子。
核心发现：好的插值器是稀缺的
作者利用高级数学方法（具体来说是“大偏差理论”，Large Deviation Principles）绘制出了这片解的城市地图。他们计算了“好解”所在的区域与“坏解”所在的区域之间的“体积”比例。
以下是他们的发现：
- “坏区”规模宏大： 这座城市的绝大部分都充满了虽然完美拟合了训练数据、但对其他任务毫无用处的解。如果你随机挑选一个解，你几乎肯定会落在这一区域。
- “好区”极其微小： 那些真正具有泛化能力（能在新数据上表现良好）的解确实存在，但它们所占据的空间比例是指数级微小的。
- 算法是幸运的： 我们使用的这类高效算法（如梯度下降）本质上是“幸运的”或者说是有“引导”的，它们能够避开庞大的坏区，并找到那块微小的、好的区域。它们不仅仅是偶然撞到了一个好解，而是主动在寻找它。
“信噪比”的转折
论文还研究了数据有多“清晰”（即信噪比，Signal-to-Noise Ratio）。
- 在嘈杂的世界中（低信号）： 好解是极其罕见的。这就像是在一个由其他看起来几乎一模一样的“针”组成的草堆里寻找一根针。在这种情况下，那些“聪明的”算法正在做一些非常特殊的事情来找到正确的那一根。
- 在清晰的世界中（高信号）： 如果数据非常干净且易于理解，好解就会变得更加普遍。这解释了为什么之前的一些研究（那些研究针对的是非常干净的数据）曾认为好解是大量存在的。作者澄清了这一点：在我们通常面临的混乱且现实的场景中，好解实际上是非常稀缺的。
“良性过拟合”之谜
近年来，科学家们一直对“良性过拟合”（benign overfitting）感到困惑。这种现象是指：模型即使对训练数据进行了“过度完美”的拟合（甚至连噪声也一并记住了），但在处理新数据时表现依然出色。
这篇论文解释了为什么会发生这种情况：
- 这不是因为“大多数”完美的拟合都是好的。
- 而是因为我们使用的算法带有偏好（隐式正则化）。这种偏好将它们从数以亿计的“坏”完美拟合中引开，并导向那座微小的、“好”的完美拟合岛屿。
一句话总结
虽然有无数种方法可以完美地记住你的训练数据，但其中几乎所有的解对于现实世界都是无用的；我们的 AI 模型之所以有效，是因为我们的训练算法足够聪明，能够避开那些糟糕的解，并找到那些稀有的、优秀的解。
本文并未声称的内容
- 它并没有说随机猜测永远有效。
- 它并不声称这适用于每一种类型的神经网络（它侧重于线性分类器和特定的数据模型）。
- 它没有提供新的医疗或临床应用；这是一项关于现有方法为何有效的理论研究。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。