🤖 machine learning

On Regularization via Early Stopping for Least Squares Regression

本文通过刻画线性回归中离散全批量梯度下降的动力学特性，旨在证明早停机制会产生一个等价于最小范数广义岭回归的解，从而证明其在任意数据谱和学习率调度下的泛化优势，并提供对最优停止时间的估计。

原作者： Rishi Sonthalia, Jackie Lok, Elizaveta Rebrova

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Rishi Sonthalia, Jackie Lok, Elizaveta Rebrova

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个学生（机器学习模型）解决一个数学问题（从数据中预测结果）。你有一本包含示例的教科书（训练数据），你想让这个学生学习底层的规则，以便他们能够解决从未见过的新问题（泛化）。

你提供的论文是关于一种特定的教学策略，叫做早停法（Early Stopping）。通常情况下，老师会让学生一直学习，直到他们把每一道练习题都做得完美无缺。但有时，如果学生学得太久，他们会开始死记硬背练习册中的特定细节（比如字体或纸张纹理），而不是学习真正的数学规则。这被称为“过拟合（overfitting）”，这会导致他们在面对新测试时表现不佳。

早停法就是一种策略，即说：“好了，现在就停止学习，在开始死记硬背噪声之前停下来。”

以下是作者发现的内容，通过简单的语言进行了解释：

1. 提前停止的“无形之手”

作者想知道：当我们提前停止学习时，学生的脑部究竟发生了什么变化？

他们发现，提前停止在数学上等同于一种特定的“纪律”训练，称为岭回归（Ridge Regression）。

类比： 想象岭回归就像是给学生背上一个沉重的背包。这个背包迫使他们的答案保持简单并趋向于零（起始点）。
发现： 论文证明，如果你在正确的时机停止学生学习，他们的脑部状态就完全等同于他们全程背着那个沉重背包时的状态。你不需要物理性地添加那个背包（数学惩罚）；你只需要在完美的时机停止课程，结果就是一样的。

2. 不同频率的“音量旋钮”

作者观察了学生如何学习问题的不同部分。他们意识到，数据不仅仅是一个大块，它是由许多不同的“频率”或方向组成的（有些容易，有些困难）。

类比： 把数据想象成一场交响乐。有些乐器演奏着响亮、明显的音符（容易的模式），而另一些则演奏着微弱、复杂的音符（困难的模式）。
发现： 当你使用梯度下降（Gradient Descent）（标准的教学方式）时，学生会很快学会那些响亮的音符。如果你继续下去，他们会开始尝试学习那些微弱的音符，但在学习过程中，他们会开始听到“静电噪声”（噪声），并将这些噪声当作音乐的一部分死记硬背。
结果： 早停法充当了一个音量旋钮。它将复杂、微弱的音符的音量调低到恰到好处的程度，使得学生既能听到音乐，又能忽略静电噪声。论文给出了一个公式，用来计算该如何精确地调节这个音量旋钮。

3. “学习率”至关重要

论文的一个核心部分是关于学习率（Learning Rates）。这是学生在学习时迈步的速度。

恒定步速： 如果学生以稳定的慢速行走，他们会学会响亮的音符，然后是微弱的音符，最后开始听到静电噪声。在这种情况下，提前停止效果很好。
衰减步速： 如果学生起步很快，然后迅速减速（例如指数级衰减），他们可能在接触到静电噪声之前就已经停止学习微弱的音符了。在这种情况下，提前停止并没有太大帮助，因为他们已经在自动减速了。
论文的观点： 作者提供了一本规则手册。他们说：“如果你的学习率曲线看起来像 X，那么提前停止是一种超能力。如果它看起来像 Y，那么提前停止则毫无用处。”

4. 什么时候停止的“魔力公式”

论文中最具实践意义的部分是一个推导出的公式，用来告诉你在确切何时停止。

输入项： 你需要知道三件事：
1. 你的教科书中有多少“噪声”（数据有多乱）。
2. “信号”有多强（实际规则有多清晰）。
3. 学生走路有多快（学习率）。
输出项： 公式会给出一个具体的步数（迭代次数）。
测试： 作者在真实世界的数据（如手写数字和图像）上测试了这一点。他们发现，他们的公式几乎完美地预测了“最佳时机”。如果我们在公式建议的时间停止，学生的表现会比学习时间过长或过短都要好。

5. 何时不该提前停止

论文也警告说，提前停止并不总是解决问题的方案。

类比： 如果你已经背着一个非常沉重的背包（一种被称为“岭正则化”的数学惩罚），那么你就不需要提前停止。背包已经在发挥作用，让学生保持简单。
观点： 如果“背包”太重，提前停止反而会损害表现。学生需要继续学习以完成任务。作者在数学上证明了，如果惩罚足够强，你应该让学生一直学习直到结束。

总结

这篇论文是关于早停法策略的一本“用户手册”。

它解释了为什么有效（它等同于添加一种数学惩罚）。
它解释了何时有效（取决于你学习的速度以及数据的混乱程度）。
它提供了一个计算器来找到确切的停止时刻，他们证明了这在真实数据上是行之有效的。

他们并没有发明一种新的教学方法；他们只是弄清楚了在何时“拔掉电源”以获得最佳结果的精确物理机制。

技术摘要：通过早停法实现最小二乘回归的正则化

问题陈述

本文旨在解决理解早期停止（early stopping）对机器学习模型参数及其泛化能力影响这一基本挑战，特别是在线性回归的背景下。尽管早停是一种广泛使用的正则化技术，但其理论特性尚未得到充分理解，尤其是在具有任意学习率调度和数据分布的离散全批次梯度下降（full-batch gradient descent）场景下。

现有文献通常依赖于强假设，例如连续时间梯度流动力学或特征矩阵的高斯假设，来推导停止规则。这些方法无法在实际的非恒定学习率调度下量化最优停止时间，也无法解释在离散设置中出现的诸如“顿悟”（grokking，即模型在泛化之前先出现过拟合）等现象。此外，早停与显式 $L_2$ （岭）正则化之间的精确关系，以及早停何时有益、何时有害的条件，需要在不依赖限制性分布假设的情况下进行更严谨的刻画。

方法论

作者分析了全批次梯度下降的离散动力学，避免了使用连续时间梯度流近似。其核心方法论贡献在于推导出了参数轨迹 $\beta_k$ 在第 $k$ 步后的精确闭式表达式。

关键方法论组成部分包括：

谱分解： 分析是在样本协方差矩阵 $X^T X$ 的特征基下进行的。作者定义了一个函数 $\phi(k; \zeta, \{\eta_i\})$ ，用于捕捉特定特征值 $\zeta$ 受学习率调度 $\{\eta_i\}$ 的累积影响。
精确轨迹公式化： 利用该函数，作者推导出了 $\beta_k$ 的显式公式，该公式对任何数据矩阵 $X$ 、任何学习率调度及任何初始化都成立。该公式将误差分解为信号成分（取决于初始化和真实参数）和噪声成分（取决于残差）。
风险分析： 通过对噪声求期望，并在球面先验假设下对信号求期望，对超额风险进行分析。作者通过对迭代次数进行微分（通过假设 2 将其视为连续变量）来识别临界点。
等价性证明： 本文建立了早停解与广义岭回归问题解之间的数学等价关系，从而允许对正则化效果进行直接比较。

核心贡献

1. 离散动力学的精确轨迹

论文提供了 Proposition 1，给出了核岭回归问题中 $\beta_k$ 离散动力学的精确公式。与以往工作不同，这些公式对数据分布、学习率调度或噪声分布不做任何假设。作者还提供了 $\phi$ 在各种常见调度下的闭式表达式，包括恒定、多项式衰减、恒定加性衰减和指数衰减（使用了 Gamma 函数和 $q$ -Pochhammer 符号）。

2. 与广义岭回归的等价性

作者证明了 Theorem 5，表明对于通用数据和任意学习率调度，经过 $T$ 次迭代（ $\mu=0$ ）得到的早停解，等价于广义岭回归问题的最小范数解。该广义问题中的正则化矩阵 $D$ 由学习率调度和停止时间显式确定。
相反，Theorem 6 表明，如果能为样本协方差矩阵的每个特征空间分配不同的学习率，那么任何标准岭回归问题的最小范数解都可以通过早停获得。

3. 有益与无益的条件

论文确立了早停提升泛化性能的充分条件：

Theorem 8（有益）： 如果学习率调度允许“收缩因子” $\phi(k)$ 足够快地衰减，使得 $\phi(k)/\phi(0)$ 的极限小于由信噪比决定的阈值，则早停是有益的。这适用于恒定、线性衰减以及其他累积步长发散的调度方案。
Theorem 9（无益）： 如果学习率衰减过快（例如快速的多项式或指数衰减），导致收缩因子无法达到必要的阈值，则早停是无益的。在这种情况下，风险会随着进一步训练而继续下降。
Theorem 10（岭正则化）： 这些条件被扩展到了存在显式岭正则化（ $\mu > 0$ ）的情况。一个关键发现是，如果显式正则化参数 $\mu$ 超过临界值（ $\mu \ge \tau^2 / (n\sigma^2)$ ），则早停不再提供额外收益。

4. 最优停止时间估计

作者提出了一个基于累积学习率预算 $\sum \eta_i$ 的最优停止时间估计（公式 31）。该估计是通过将收缩因子与代表性特征值的信号与噪声的最佳平衡点进行等置而推导出来的。该估计将先前的结果从梯度流机制推广到了具有任意谱和非恒定学习率的离散动力学。

结果与实证验证

理论发现通过合成数据和真实数据集（MNIST 和 CIFAR10）得到了验证。

估计准确性： 所提出的停止时间估计（公式 31）在各种学习率调度（恒定、多项式、线性、指数、余弦退火和随机）下，都与经验观察到的最优停止时间高度吻合。
机制依赖性： 实验证实了理论预测：当显式岭参数 $\mu$ 低于最优岭参数 $\mu^*$ 时，早停是有益的；但当 $\mu \ge \mu^*$ 时，早停变得无益（或不再必要）。
调度敏感性： 结果表明，最优值所在的迭代次数随学习率调度的不同而显著变化，但累积学习率预算是预测最优停止点的稳健指标。
顿悟（Grokking）： 分析表明，对于许多常见的学习率调度（即累积步长发散的情况下），线性模型并不表现出“顿悟”（在过拟合后出现后期泛化）；相反，它们表现出经典的偏差-方差权衡，即早停是最优的。

重要性与主张

本文声称提供了一种对线性回归中早停行为的非渐近、无分布限制的刻画。其重要性在于：

弥合理论与实践： 通过脱离连续时间梯度流和高斯假设，研究结果适用于具有任意学习率调度的实际离散训练场景。
统一视角： 它正式将早停与广义岭正则化统一起来，表明早停的“隐式”正则化在数学上等价于一种显式的、与数据相关的 $L_2$ 惩罚。
实践指导： 它提供了一个基于理论支撑的最优停止时间估计，该估计仅取决于可观测量（信噪比、特征值谱和学习率调度），而不需要了解真实的底层信号。
澄清局限性： 该工作明确划定了早停何时有效以及何时无效的界限，特别是强调了显式岭正则化与早停之间的相互作用，并识别了使早停失效的特定学习率调度。

作者总结道，虽然目前的分析局限于线性模型，但该框架为理解更复杂的模型（如两层神经网络）提供了基础，并为将这些结果扩展到随机梯度下降（SGD）和自适应优化方法指明了未来方向。