🤖 machine learning

A law of robustness for two-layer neural networks with arbitrary weights

本文通过建立一种新的函数空间覆盖论证以及一个控制维度 $d \ge 3$ 时转折系数的刚性引理，证明了具有任意权重的两层神经网络的一个近乎最优的鲁棒性定律，表明拟合噪声数据会迫使网络具有高利普希茨常数，除非网络的宽度足够大。

原作者： Yitzchak Shmalo

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Yitzchak Shmalo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图建造一台机器，它能观察一堆杂乱、多噪的图片，并为每张图片猜出一个正确的标签。你希望这台机器是“鲁棒”的（robust），这意味着如果稍微挪动一下图片，机器不至于突然发出一个完全不同的答案。它需要是平滑的，而不是跳跃抖动的。

长期以来，数学家们一直有一个直觉，关于这种机器为了保持平滑需要多少“脑力”（神经元）。他们猜测，如果你有 $n$ 张带噪声的图片，你大约需要一个神经元对应一张图片，才能让机器保持稳定。如果你尝试使用更少的神经元，机器就会被迫变得极其跳跃（数学家称之为高“利普希茨常数”，Lipschitz constant）。

这篇由 Yitzchak Shmalo 撰写的论文，向证明这一直觉迈出了巨大的一步，但它带有一个非常具体的转折：它研究的是最简单的一种深度学习机器（两层网络），这种机器可以拥有其大脑中极其巨大的数字。

“无界”问题

以往的大多数证明都说：“好吧，我们可以证明你需要很多神经元，但前提是这些机器内部的数字必须保持在合理的范围内。”但如果机器决定使用大到足以打破规则的数字怎么办？如果权重是无穷大呢？

这篇论文说：这并不重要。 即使你允许机器使用任意大的数字，它仍然无法作弊。如果你试图用只有 $m$ 个神经元的两层机器去拟合 $n$ 个带噪声的标签（其中 $m$ 很小），这台机器将被迫变得极其跳跃。

论文证明了这种“跳跃性”（利普希茨常数）至少与 $\sqrt{n/m}$ 成正比，并乘以一个微小的额外数学噪声（对数因子）。

魔法技巧：“折痕”侦探

作者是如何在不迷失于无穷大数字的情况下证明这一点的呢？

想象一下机器的输出就像一张揉皱的纸。在这些特定网络（使用“ReLU”激活函数，类似于在零点开启或关闭的开关）的世界里，这张纸并不是平滑弯曲的；它是通过平坦的部分连接在一起的，且带有锐利的边缘。数学家们把这些锐利的边缘称为折痕（kinks）。

作者发现了一种“刚性”法则。想象你站在其中一个锐利边缘（折痕）上。如果你环顾四周，你会发现机器的其他部分都无法抵消掉这个特定边缘的锐利感。这就像是在安静的房间里试图隐藏一个响亮的鼓声；如果鼓声大到足以被听到，房间就无法保持安静。

因为这些折痕无法互相隐藏，作者表明每个折痕的“响度”直接关系到整个机器的跳跃程度。如果机器应该是平滑的（低跳跃性），那么折痕必须很小。但如果机器需要用 $m$ 个神经元来拟合 $n$ 个带噪声的点，它就需要巨大的折痕来完成这项工作。

这创造了一个陷阱：

为了拟合数据，你需要巨大的折痕。
巨大的折痕意味着机器是跳跃的。
因此，你无法既保持平滑又用太少的神经元来拟合数据。

“圆圈”例外

这种魔法技巧只有一个地方会失效：一个二维圆（比如一个呼啦圈）。论文明确指出，在圆上，你可以通过排列折痕的方式让它们完美抵消，从而使机器即使在神经元较少时也能保持平滑。但一旦你移动到球面（三维）或更高维度，折柄就无法隐藏，定律便开始生效。

我们有多确定？

对于使用“分段线性”激活函数（如 ReLU）的网络，该论文对主要结果非常有信心。它已经证明了跳跃性至少是 $\sqrt{n/m}$ 乘以一个对数因子。

对数因子： 证明中包含了一个小的“对数”因子（类似于 $\log(n)$ ）。作者很诚实：他们还没有证明可以完全消除这个对数因子。这是一个微小的差距。他们怀疑真正的答案仅仅是 $\sqrt{n/m}$ ，但证明这一点仍然是一个开放性的难题。
模拟实验： 论文包含了计算机模拟（使用来自 2026 年 7 月的一个种子）来检查他们的数学。这些模拟显示，当他们训练一个网络去拟合数据时，“跳跃性”保持在高位，与理论相符。但作者谨慎地表示，这些只是检查，而非证明本身。
“平滑”激活函数： 论文承认，如果你使用的是完美的平滑曲线（没有锐利折痕）而不是分段线性的一种，这个特定的“折痕侦探”技巧无法直接起作用。然而，他们暗示同样的规则可能也适用于那里，只是需要一种不同类型的证明。

“一个数据点对应一个神经元”的规则

关于鲁棒性的一个核心结论是：如果你想要一台在输入受到轻微扰动时不会发疯的机器，你大约需要为每一个试图记忆的数据点配备一个神经元。

如果你试图将 $n$ 个点挤进一个只有 $m$ 个神经元的机器中（其中 $m$ 远小于 $n$ ），该机器为了得到正确答案，将被迫变成一个“跳跃的怪物”。论文证明了对于两层网络来说，这是不可避免的，即使你让内部的数字变得无穷大。

还有哪些工作要做？

作者留下了几个悬而未决的方向：

对数因子： 能否证明不需要这个对数因子？（论文暗示可能不需要，但尚未完全证实）。
更深的网络： 这个定律是针对两层网络的。如果你增加第三层，规则就会改变，你确实可以通过巨大的数字来“作弊”。论文确认，深度三层正是“无界权重”漏洞真正开启的地方。
通用激活函数： 虽然对于“有折痕”的网络证明是稳固的，但要证明它适用于每一种可能的平滑网络，还需要最后一步数学上的假设（一个“乘法器估计”，multiplier estimate），而这尚未被完全解决。

简而言之：对于两层网络，宇宙存在着严格的“鲁棒性税”。无论你的数字变得多么巨大，你付出的跳跃性代价至少是 $\sqrt{n/m}$ 。

技术摘要：关于具有任意权重的两层神经网络的鲁棒性定律

问题陈述
本文探讨了一个基本问题，即在拟合噪声数据时，神经网络的容量与其鲁棒性（由 Lipschitz 常数衡量）之间的关系。具体而言，本文研究了 Bubeck, Li, 和 Nagaraj (BLN) 关于两层神经网络的猜想。该猜想指出，对于通用数据，任何具有 $m$ 个神经元并拟合 $n$ 个噪声标签的两层网络，其 Lipschitz 常数至少为 $\sqrt{n/m}$ 阶。

先前工作的关键差距在于对任意（无界）权重的处理。以往关于类似“鲁棒性定律”的证明依赖于限制参数的大小（多项式权重界限）来对参数空间进行离散化。然而，Bubeck 和 Sellke 已经证明，在深度为三时，无界权重可以使网络违反这些定律。由于标准参数空间覆盖论证在权重无界时会失效，深度为两层的网络中关于无界权重的案例仍是一个开放的边界情况。

方法论
本文引入了一种全新的证明策略，将重点从参数空间覆盖转向函数空间覆盖。由于权重是无界的，参数空间无法直接进行离散化。相反，作者利用分段线性函数的几何结构来对实现的函数本身进行离散化。

该方法论的核心依赖于三个支柱：

规范表示（Canonical Representation）： 利用引理 2.1 和 2.2，任何连续分段线性两层网络（包括 ReLU）都可以被重写为在定义域（单位球面 $S^{d-1}$ 或单位球 $B_2$ ）上的“规范形式”。这种形式将函数表示为一个仿射映射加上若干个具有不同超平面和非零系数的 ReLU 单元之和。至关重要的是，对于给定的定义域内的函数，这种重写对于原始参数化方式是唯一的。
刚性引理（确定性核心）： 本文建立了针对维度 $d \ge 3$ 的刚性现象（第 3 节）。它证明了对于一个 Lipschitz 常数为 $L$ 的函数 $f$ ，任何由超平面 $H_{u_j, t_j}$ 支持的折点（ReLU 单元）的系数 $\alpha_j$ 都受到 $L$ 的严格限制。
- 在球 $B_R$ 上， $|\alpha_j| \le 2L$ 。
- 在球面 $S^{d-1}$ 上， $|\alpha_j| \sqrt{1-t_j^2} \le 2L$ 。
  该界限成立的原因是，在特定折点超平面上的通用点处，不同的折点无法相互抵消；在该点处的导数跳变仅由被观察的单个折点决定。这一结果在 $d=2$ （圆）时失效，因为在 $d=2$ 时，折点集是零维的点，允许发生抵消。
度量熵与集中性：
- 由于规范系数受 $L$ 限制（而非原始权重），具有固定 Lipschitz 常数 $L$ 的实现函数类具有有界参数化特征。这使得推导出依赖于 $L, m, d$ 但独立于原始权重大小的度量熵界限成为可能（命题 4.1）。
- 概率论证（第 5 节）利用数据分布（高斯分布或球面均匀分布）的测度集中性（等周性质），以展示除非 Lipschitz 常数足够大，否则有限类函数无法在噪声水平之下拟合数据。

主要贡献与结果

证明了 BLN 猜想（在对数因子范围内）： 主定理（定理 1.2）证明了对于连续分段线性激活函数（包括 ReLU）且维度 $d \ge 3$ 的情况，任何在噪声水平 $\varepsilon$ 以下拟合数据的两层网络必须满足：
$\text{Lip}(f) \ge c \varepsilon \sqrt{\frac{n}{\bar{m}}} \log\left(C \frac{\bar{m} n d}{\varepsilon}\right)$
其中 $\bar{m} = (K-1)m + 1$ 考虑了线性分片的数量 $K$ 。这证实了 $\sqrt{n/m}$ 的缩放关系，并带有显式的对数开销。
实现折点计数定律（Realized Kink-Count Law）： 定理 1.5 强化了结果，表明该界限取决于函数实际实现的不同折点超平面数量 $k(f)$ ，而非标称宽度 $m$ 。这意味着冗余或抵消的单元并不能帮助降低 Lipschitz 常数。
推广至结构化架构： 推论 1.6 和 1.7 将这些界限推广到了具有权重共享（卷积层）、绑定权重、低秩分解以及向量值输出的架构，前提是不同折点超平面的数量是有界的。
小宽度与通用激活函数： 第 8 节提供了对于任何 Lipschitz 激活函数（不仅限于分段线性）在小宽度（ $m=1, 2, 3$ ）下的下界。对于 $m=1$ ，该猜想在没有对数损失的情况下满足 $\sqrt{n/\log(nd)}$ 。对于 $m=2$ ，它在整个可容许的维度范围内均成立。
锐度与上界： 命题 10.1 构建了一个宽度为 $2n$ 的两层 ReLU 网络，它可以拟合任意标签且具有 $O(1)$ 的 Lipschitz 常数。这表明在过参数化区域（ $m \asymp n$ ）该下界是紧致的（在对数因子范围内）。
局限性： 本文明确指出刚性论证在 $d=2$ 时失效（命题 3.3），并且对于“折点”机制无法直接应用的平滑激活函数也失效（尽管在补充说明中提出了向乘子估计转换的方案）。

意义与主张
本文声称解决了两层网络鲁棒性定律的“自然边界情况”。通过使用基于刚性引理的函数空间离散化取代参数空间离散化，它消除了对两层网络进行多项式权重限制的必要性。

作者对于剩余的对数因子保持谦逊。他们指出，目前的熵估计不足以完全消除 $\log(n)$ 项。他们将消除该因子的任务确定为一个开放问题，并将其归结为临界宽度带中的特定“乘子估计”（猜想 9.1）。本文强调，深度二的现象与深度三截然不同，在深度三中，无界权重确实允许非鲁棒插值，这使得深度二成为了该定律的关键阈值。

研究结果是以针对特定数据模型（高斯分布和球面均匀分布）及分段线性激活函数的严谨数学证明形式呈现的，并根据特定的集中性和局部化假设，将结论扩展到了通用激活函数和分布。