🤖 machine learning

Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

本文表明，对于多元回归任务中的宽两层 ReLU 网络，带有噪声的随机梯度下降训练会诱导一种隐式偏置，使其趋向于一个唯一的、实际上是有限宽度的预测器，其中神经元沿由训练数据组合几何结构所决定的有限数量的方向进行对齐，尽管该网络具有无限的过度参数化特性。

原作者： Shuang Liang, Tom Jacobs, Guido Montúfar

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuang Liang, Tom Jacobs, Guido Montúfar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、混乱的工作室，里面有成千上万名工人（神经元）。每个工人都有特定的工作：他们观察一组数据点（比如图片或数字），并根据自己发明的一条规则来决定是“开启”还是“关闭”。你希望这些工人能够学习一种模式，从而对新的数据做出正确的预测。

你提供的论文研究了当你使用一种特定的方法——带有少量“噪声”（随机性）和一种叫做“权重衰减”（旨在防止工人变得过于强大）的规则——来训练这个庞大的工作室时，会发生什么。

以下是其研究结果的简单拆解：

1. “无限”缩减的工作室

你开始时拥有一个宽广到近乎无限的网络。你可能会预期最终的解是一个由数千种不同规则组成的、杂乱且复杂的纠缠体。

令人惊讶的是： 尽管你最初拥有成千上万名工人，但训练过程自然地迫使他们发生了坍缩。

类比： 想象你有 1,000 个人试图画一张地图。与其让每个人都画出一条独特的、扭曲的曲线，训练过程就像一块磁铁。它将几乎所有人的画作都拉向了仅有的几种特定的直线。
结果： 最终的“地图”（网络学习到的函数）并不是一个平滑的、弯曲的团块。它变成了一个分段仿射函数（piecewise affine function）。用通俗的话说，这意味着最终的答案是由平坦的、直线的段组成的，并在尖锐的转角（折痕）处连接在一起。它看起来像是一个二维空间里的折线，或者是一个三维空间里的皱褶纸张。

2. “组合”极限

这些直线（或“折痕”）的数量是多少？网络最终会剩下多少条线？

论文证明了线条的数量并不取决于你最初拥有多少个工人（当时是无限的）。
相反，它完全是由你的训练数据的几何结构决定的。
类比： 把你的训练数据想象成钉在地面上的桩子。网络画出的线条数量，受限于你用刀切割地面以使桩子落入不同组别的各种方式。
数学表达： 如果你有 $P$ 种用直线分隔数据点的方式，网络最多只会学习 $2P - 1$ 个不同的方向。这是一个基于数据形状的硬性上限，而非基于网络的大小。

3. “对齐”现象

在训练之前，你的工人（神经元）指向随机的方向。在训练之后，神奇的事情发生了：

类比： 想象一个房间里挤满了拿着手电筒的人，他们正朝着随机的方向照射。随着训练的进行，手电筒的光束突然变得整齐划一。它们全部转向了仅有的几个特定方向。
结果： “输入权重”（input weights）和“偏置”（biases）（即神经元使用的规则）不再是独特的个体。它们沿着有限数量的方向对齐。这被称为有效宽度坍缩（Effective Width Collapse）。网络实际上“忘记”了自己拥有数千个神经元，其表现行为就像只拥有极少数神经元一样。

4. “无冗余”规则

论文还发现，这些剩余的方向是非常高效的。

类比： 如果你有一个专家团队，你不希望有两个专家做着完全相同的工作。论文表明，每一个“对齐的方向”（每一个幸存的专家）都在做着独特的事情。
结果： 每个学到的方向都为你的训练数据创造了一种独特的“开启/关闭”信号模式。没有两个方向是冗余的；没有两个方向仅仅是彼此的“版本”。它们都是必不可少的且各具特色。

5. “噪声”与“衰减”的角色

为什么会发生这种情况？论文认为这是训练算法的一个特定副作用（或“隐式偏差”）：

噪声： 训练中的随机性（就像摇晃工作室一样）帮助系统进入一个稳定的状态。
权重衰减： 这是一种针对“过强”的惩罚。它像一个过滤器，修剪掉不必要的复杂性。
结果： 两者结合，推动了无限网络去寻找最简单的、符合数据的“分段线性”解，而这个解严格受数据自身几何形状的约束。

总结

该论文声称，当你使用带噪声的 SGD 训练一个巨大的神经网络时，无限可能性的宇宙会发生坍缩。网络不仅仅是在“记忆”数据；它将自己组织成一个由直线段组成的有限且高效的结构。这个结构的复杂程度完全由你数据的形状决定，而不是由你的计算机规模决定。这就像是训练算法是一位雕塑家，不断凿去多余的大理石，直到只剩下那些本质的、在几何上必要的线条为止。

技术摘要：多变量 ReLU 网络中 SGD 的隐式偏差：有效宽度坍缩

问题陈述
过参数化神经网络拥有能够插值训练数据的无数个解，然而随机梯度下降（SGD）始终会选择具有强泛化能力的解。这一现象归功于优化算法的“隐式偏差”。虽然隐式偏差在线性模型以及宽网络中的“懒惰”（核）机制下已得到充分理解，但在非线性网络的特征学习机制中，其研究尚不完整。具体而言，目前缺乏关于噪声 SGD 在多变量回归设置中如何选择特定解的严谨表征，特别是关于所学特征的稀疏性以及所得预测器的几何结构。

方法论
作者通过**均值场机制（mean-field regime）**分析了宽两层 ReLU 网络在训练过程中的动力学。在该框架下，网络的参数被建模为神经元上的概率测度，而带噪声 SGD 的训练动力学被近似为 Wasserstein 梯度流。

关键方法步骤包括：

均值场近似： 具有 $N$ 个隐藏单元的网络训练由一个控制参数分布 $\rho_t$ 演化的偏微分方程（PDE）来描述。引入高斯噪声（温度 $\beta^{-1}$ ）和权重衰减（ $\lambda$ ）确保了当 $t \to \infty$ 时存在唯一的平稳测度 $\rho^*$ 。
ReLU 近似： 由于标准的 ReLU 神经元是无界的且非光滑的，违反了均值场收敛定理所需的假设，作者采用了 ReLU 函数的有界、光滑近似（ $\sigma_{m,\tau}$ ）。他们分析了当平滑参数 $\tau \to \infty$ 且截断参数 $m \to \infty$ 时的极限，从而有效地恢复了 ReLU 的行为。
消失温度极限： 研究聚焦于噪声水平 $\beta^{-1} \to 0$ （消失温度）的极限，这对应于带有权重衰减的标准 SGD。作者研究了在此极限下平稳测度及其对应解函数的结构性质，并未预先假设唯一极限的存在，而是分析了累积点。
几何分析： 证明依赖于对解函数的 Hessian 矩阵及参数空间几何结构的分析。具体而言，作者利用“二次正定条件”来限制 Hessian 矩阵，并证明平稳测度的支撑集集中在参数空间中的特定射线（rays）上。

主要贡献与结果

分段仿射解（定理 4）：
作者证明，随着网络宽度 $N \to \infty$ 且噪声消失，由带噪声 SGD 选择的解收敛于一个连续分段仿射函数。该函数在由有限个超平面组成的补集的连通分量上是仿射的。
- 复杂度界限： 折痕超平面（kink hyperplanes）的数量 $K$ 被限制为 $K \le 2P - 1$ ，其中 $P$ 是训练输入可以实现的线性二分法（linear dichotomies）的数量。该界限仅取决于训练数据的组合几何结构，而与网络宽度或环境维度无关。
有效宽度坍缩（定理 5）：
论文确立了尽管网络是无限过参数化的，但学习到的预测器具有有效有限的表示形式。
- 特征对齐： 训练后的网络，其输入权重和偏置沿参数空间中至多 $2P - 1$ 个不同的方向（射线）对齐。
- 坍缩： 因此，无限宽的网络坍缩为至多 $2P - 1$ 的有效宽度。该解可以由一个具有此有限数量隐藏神经元的浅层 ReLU 网络精确表示。
特征的非冗余性（定理 6）：
作者确立了学习方向的一种强非冗余特性。
- 不同模式： 每个学习到的方向都会在训练数据上诱导出唯一的三值激活模式（ternary activation pattern）（将输入映射到 $\{-1, 0, 1\}$ ）。
- 不可比性： 这些模式在特定的偏序关系下是不可比的（其中一种模式通过将 $\pm 1$ 标签变为 $0$ 成为另一种模式的“退化”）。具体而言，对于任何二进制符号模式，最多只有两个三值模式可以从其退化而来。
对称数据的特定表征（命题 7）：
对于对称的两点数据集，作者明确表征了折痕超平面的位置，表明它们取决于输入数据的范数和标签配置（偶数 vs 奇数标签）。

意义与主张
本文声称提供了针对一般训练数据的多变量回归中，带噪声 SGD 的有效宽度坍缩的首次推导。不同于以往依赖于严格假设（如正交或对称数据）或分析静态变分问题（如最小 $L_1$ 范数插值）的工作，本研究直接从带噪声 SGD 的训练动力学中推导出了有限宽度的结构。

这些结果弥合了静态优化表征与动态训练过程之间的鸿沟，表明训练数据的组合几何（特别是线性二分法的数量）决定了学习到的预测器的复杂度。作者指出，其分析依赖于网络足够宽以利用均值场框架，并且需要正的权重衰减参数（ $\lambda > 0$ ）以确保平稳测度分析的有效性。他们承认，与一维情况相比，在维度 $d > 1$ 时获得关于“失败集”（Hessian 不为零的集合）的非渐近界限仍是一个开放性挑战。

这项工作将 Shevchenko 等人（2022）的研究结论从一维扩展到了多变量设置，并独特地表征了参数空间而非仅仅是函数空间的平稳测度结构。

1. “无限”缩减的工作室

2. “组合”极限

3. “对齐”现象

4. “无冗余”规则

5. “噪声”与“衰减”的角色

总结

类似论文