🤖 machine learning

Effects of width-dependent model hyperparameters and $\ell_2$ -regularization on the loss landscape of two-layer ReLU networks

本文研究了宽度相关的超参数和 $\ell_2$ 正则化如何塑造两层 ReLU 网络损失函数的景观，推导出了零解坍缩的条件，提供了针对一维输入的解析解，并揭示了 AdamW 能防止参数坍缩而 SGD 则不能。

原作者： Haruka Eshima, Makoto Yamada

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Haruka Eshima, Makoto Yamada

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人识别猫。你给了它一个由无数微小开关组成的“大脑”，并让它通过看成千上万张图片来进行练习。但问题在于：机器人的大脑有点混乱。有时，当你试图教它时，整个结构会突然崩溃并忘掉一切，最后变成一个全是零的大脑。这有点像在有风的日子里试图平衡一座纸牌屋；如果风（或者背后的数学逻辑）太强，整个结构就会坍塌。

在机器学习的世界里，科学家们研究“损失景观”（loss landscape）。你可以把它想象成一座巨大的、起伏不平的山脉，地形的高度代表了机器人完成工作的糟糕程度。目标是找到最深的谷底，这意味着机器人表现得最好。但这个景观非常棘手。它的形状取决于机器人的大脑有多宽（有多少个开关）以及应用了多少“权重衰减”（weight decay）。权重衰减就像一只温柔的手，不断地将机器人的大脑推向简单化，试图阻止它变得过于复杂。大问题在于：这种温柔的推力是有助于机器人学习，还是会不小心把整个大脑推入一片平坦且毫无用处的零值之中？

这篇题为《宽度相关的模型超参数与 $\ell_2$ 正则化对两层 ReLU 网络损失景观的影响》的论文，深入探讨了正是这样一个问题。作者 Haruka Eshima 和 Makato Yamada 研究了一种特定类型的简单神经网络（带有 ReLU 激活函数的两层网络），观察了改变网络规模和权重衰减强度时会发生什么。他们想知道，在什么条件下机器人的大脑会坍塌成虚无，以及我们能否阻止这种现象。

研究人员发现，答案很大程度上取决于你如何进行“缩放”。他们发现了一个数学上的“临界点”。如果你让网络变得更宽（增加更多开关），但保持权重衰减相对于该宽度过强，机器人的大脑不可避免地会坍塌。想要到达谷底的唯一方法就是让每一个开关都关闭，这意味着机器人什么也没学到。这就像是用一个小杯子往游泳池里注水，而排水口却开得很大；无论你倒多少水，游泳池始终是空的。

然而，这篇论文还揭示了一个关于机器人“如何学习”的迷人转折。作者运行了计算机模拟，以观察使用不同的“优化器”（即引导机器人学习步骤的算法）时会发生什么。他们发现，如果你使用一种标准的方法叫做 SGD（随机梯度下降），当权重衰减过强时，机器人的大脑确实会像数学预测的那样坍塌为零。但如果你使用另一种叫做 AdamW 的方法，机器人却幸存了下来！即使在数学上预示着会坍塌的情况下，AdamW 依然让大脑保持活跃并持续学习。这就像是 AdamW 拥有一个特殊的技巧，如同一副安全绳，即使地形看起来很危险，它也能防止机器人跌入零值的深渊。

团队还专门研究了一个非常具体的简化场景，即机器人每次只能看到一个数字（一维输入）。在这个受控的设置中，他们能够写出最优解的精确地图。他们发现，加入权重衰减的作用就像雕塑家的凿子。如果没有它，最优解会散落在各处，形成一片巨大、连通且无界的可能性云团。但有了权重衰减，这片云团会缩小并变得更有组织。无论网络有多宽，“连通性”（即在不坠入悬崖的情况下，从一个好解走到另一个好解的难易程度）都保持不变。然而，“维度性”（即机器人可以调整大脑以寻找解的方法数量）随着网络变宽而显著缩小。这就像是将一个巨大、蔓延的游乐场变成了一条狭窄、定义明确的跑道。

简而言之，这篇论文表明，你的神经网络的大小和你正则化的强度之间是一场微妙的舞蹈。如果你没有将它们正确匹配，网络就会坍塌。但如果你选择了正确的学习算法（比如 AdamW），即使在条件看似不可能的情况下，你也能让这场舞蹈继续下去。这些结果基于关于坍塌情况和简化的一维情况的严谨数学证明，并得到了真实世界数据（如游艇流体力学和 MNIST 数字）的数值实验支持。虽然数学证明了在某些条件下坍塌确实会发生，但作者在模拟中观察到 AdamW 能让网络生存下来，这表明优化器的选择是一个关键的、或许是隐藏的因素，解释了为什么深度学习在实践中运作得如此之好。

技术摘要：宽度相关超参数与 $\ell_2$ -正则化对两层 ReLU 网络损失景观的影响

问题陈述
当应用显式权重衰减（ $\ell_2$ -正则化）时，深度神经网络（特别是两层 ReLU 网络）的理论特性仍难以被充分理解。虽然近期的研究已经刻画了正则化网络的全局最优解及其几何结构，但**宽度相关超参数缩放（width-dependent hyperparameter scalings）**对这些损失景观的系统性影响尚未得到充分探索。具体而言，目前尚不清楚缩放网络宽度 ( $m$ ) 与输出缩放 ( $\alpha$ )、初始化缩放 ( $\tau$ ) 以及正则化系数 ( $\beta$ ) 之间的关系，是如何影响全局最小值的存在性、维度以及连通性的。

方法论
作者分析了一个两层 ReLU 网络 $f_\theta: \mathbb{R}^d \to \mathbb{R}$ ，定义为：
$f_\theta(x) = \frac{1}{\alpha} \sum_{j=1}^m (x u_j)_+ \omega_j$
其中 $\theta = (u_j, \omega_j)_{j=1}^m$ 。本研究侧重于最小化损失函数 $\mathcal{L}_\ell(\theta) = \ell(\theta) + \frac{\beta}{2} \sum_{j=1}^m (\|u_j\|_2^2 + \omega_j^2)$ 。

其核心方法论在于引入了一种宽度相关的超参数设置，其中参数随网络宽度 $m$ 进行缩放：

输出缩放： $\alpha = m^a$
初始化缩放： $\tau_1 = m^{-b_1}, \tau_2 = m^{-b_2}$
正则化系数： $\beta = m^{-\delta}$

分析主要从两个方向展开：

一般维度 ( $d$ )：推导关于正则化系数与网络输出缩放之间的关系，从而得出全局最小值坍缩至零解的充分条件。
一维输入 ( $d=1$ )：将输入维度限制为 1，以推导出解析闭式解（analytical closed-form solutions）。这使得能够精确刻画无正则化（ $\beta=0$ ）和有正则化（ $\beta>0$ ）情况下解集的几何特性（维度、有界性及连通性）。证明过程利用了 Pilanci 和 Ergen [31] 提出的两层 ReLU 网络凸形式化方法，该方法在一维设定下具有可处理性。

主要贡献与结果

全局最优解的坍缩：
本文确立了全局最小值坍缩至零解的充分条件。定理 1 证明，如果正则化系数的缩放速度快于网络输出缩放（即 $\delta < a$ ），则对于足够大的 $m$ ，唯一的全局最小值为零权重向量。这一结论对实际应用中使用的多数凸损失函数均成立。
优化器依赖型坍缩：
数值实验揭示了理论全局最小值与实际训练动态之间的关键差异。当 $\delta < a$ （有利于坍缩的条件）时，SGD 会导致学习到的参数坍缩至零，这与定理 1 一致。然而，AdamW（以及 Adam）防止了这种坍缩，保持了非零参数。作者认为，这可能与 AdamW 的解耦权重衰减及其对 $\ell_\infty$ 约束优化的隐式偏置有关，而这种偏向与优化显式的 $\ell_2$ -正则化目标不同。
一维全局最小值的解析刻画：
对于 $d=1$ ，作者推导出了解集的精确描述：

无正则化 ( $\beta=0$ )：全局最小值的集合 $\phi^*(m)$ $ϕ^{*} (m)$ 由乘积之和 $u_j \omega_j$ $u_{j} ω_{j}$ 的约束来刻画。
- 连通性：当 $m=1$ 时，集合为空；当 $m=2$ 时，它恰好有 2 个连通分量；当 $m \ge 3$ 时，它是连通的。
- 维度：其维度为 $2m-2$ ，且该集合是无界的。
有正则化 ( $\beta>0$ )：解集 $\Theta^*(m)$ $Θ^{*} (m)$ 受到的约束显著增加。
- 连通性：本文识别了决定相变的临界宽度 $M$ 和 $\bar{M}$ （取决于超参数）。当 $m < M$ 时，解为零向量。当 $m > M$ 时，集合变为连通的。与无正则化情况相比，其连通性行为更为受限，对于非空集合，仅存在三种可能的行为（单点集、有限集或连通集）。
- 维度：解集的维度降低至 $m-2$ 。
- 有界性：与无正则化情况不同，有正则化解集是有界的。最优参数的范数随 $m$ 按 $\Theta(m^{a/2})$ 缩放。

宽度相关效应：
分析表明， $\ell_2$ -正则化对连通性具有宽度不变的影响（一旦网络足够宽以至于产生非平凡结果），但具有随宽度增强的降维效应。具体而言，参数空间（ $2m$ ）与正则化解集之间的维度差异随 $m$ 线性增长（在无正则化情况下差异为 2，而在有正则化情况下差异为 $m+2$ ）。

意义
本文提供了一个严谨的理论框架，用于理解超参数缩放如何与过参数化网络中的正则化相互作用。它强调了损失景观的几何结构并非静态，而是高度依赖于正则化系数与网络宽度之间的相对缩放关系。研究结果为 AdamW 在 SGD 失效的场景下仍能有效防止参数坍缩提供了理论解释，并阐明了正则化如何通过降低维度和强制有界性来从根本上改变最优解的几何结构，而这些效应会随着网络宽度的增加而变得更加显著。

类似论文