📊 statistics

Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity

本文引入了一种针对深度神经网络的统一函数空间理论，该理论揭示了当复杂度受限于适当的范数时，深度所提供的函数多样性是有限的，从而挑战了在这些约束条件下更深的网络必然具有更高表达能力的观点。

原作者： Julia Nakhleh, Robert D. Nowak

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Julia Nakhleh, Robert D. Nowak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图用粘土制作一座复杂的雕塑。在人工智能的世界里，这些雕塑就是“函数”（将输入转化为输出的数学规则），而粘土则是神经网络。

长期以来，研究人员一直认为，让雕塑变得更高（增加层数，或称之为“深度”）是创造极其复杂形状的秘诀，而这种形状是短小的雕塑（“浅层”网络）永远无法做出的。他们认为深度就像是一个神奇的乘数，能让网络以更高的效率完成任务。

然而，Julia Nakhlek 和 Robert Nowak 撰写的这篇论文指出，神奇之处可能不在于塔的高度，而在于我们如何衡量所使用的粘土量。

问题所在：数砖头 vs. 量重量

以往的大多数研究通过计算其“砖块”（参数、神经元或权重）的数量来衡量网络的复杂度。这就像是在说：“如果我有 1,000 块砖，我就能盖一座比只有 100 块砖更大的城堡。”

但在现代 AI 中，我们的“砖块”往往远多于实际所需。该论文认为，数砖头是具有误导性的。相反，我们应该衡量结构的总重量。如果你有一个固定的“重量预算”（即网络内部数字的大小限制），增加层数是否真的能让你建造出新种类的形状，还是仅仅让你把相同的形状拉伸或挤压？

新工具：“函数空间”标尺

作者创造了一个新的数学标尺（一种“函数空间范数”）来衡量这些神经网络的真实复杂度。

类比： 想象你有一套乐高说明书。
- 旧观点： “如果你有更多的步骤（层数），你就能建造更复杂的东西。”
- 新观点： “如果你受到特定总塑料重量的限制，增加步骤并不会给你带来新形状；它只是让你现有的形状变得更薄或更厚。”

他们发现，对于许多常见的神经网络类型（特别是使用“ReLU”激活函数的网络，这种函数就像一个简单的开关），深度实际上并没有增加新的创造力，如果你控制了权重。

“深度饱和”的发现

论文中最大的惊喜是他们称之为**“深度饱和”**的现象。

把浅层网络想象成一张纸。深层网络就像是将这张纸反复折叠。

旧观点： 折叠纸张（增加深度）可以让你制作出精美的折纸鹤，而平整的纸张永远做不到这一点。
论文的发现： 如果你受到纸张总量（权重范数）的限制，折叠它并不能让你做出纸鹤。它只能让你做出一个稍微大一点或小一点的原始平整纸张版本。

在处理一维数据（例如单行数字）的具体情况下，作者证明了：一个拥有固定权重预算的深层网络，其所能表示的函数，本质上是浅层网络已经能够表示的函数，只是经过了微小的常数缩放。这里的“深度”并没有增加任何新形状，它只是对旧有的形状进行了重新缩放。

为什么人们认为深度是强大的？

那么，为什么我们在现实世界中看到深层网络表现如此出色呢？论文解释说，许多著名的“深度优越性”案例都依赖于复合缩放（compounding rescaling）。

类比： 想象你有一台复印机。
- 如果你复印一张图片，然后复印那张复印件，再复印那份复印件，除非你在每一步都调整缩放比例，否则图像会变得模糊或扭曲。
- 在深层网络中，如果你被允许在每一层都极大程度地放大数字，你就可以创造出极其剧烈的、高频的振荡（比如非常锯齿状的波形）。
- 关键点： 作者的新标尺惩罚了这种“缩放”。它认为：“如果你在每一步都过度缩放，你就在消耗过多的‘重量'。” 当你执行这条规则时，创造那些锯齿状高频波形的能力就会消失。此时，深层网络在制作这些波形方面并不比浅层网络更擅长。

其他形状如何？

论文还研究了其他类型的“粘土”（如 GELU 或 SiLU 等比 ReLU 更平滑的激活函数）。

他们发现，对于这些更平滑的形状，深度确实允许产生一些新的结构，但这种益处仍然非常有限。你所能创造的“新形状”通常只是你用较少层数就能做出的形状的某种轻微变形版本。

核心结论

论文得出结论：深度学习的“魔力”并不一定在于深度创造了全新的数学能力。相反，深层的感知力量往往来自于跨层**放大（amplify）**信号（即缩放）的能力。

当使用他们的“重量”标尺来控制这种放大作用时，深度与复杂度之间的关系发生了变化：

深度并非免费的午餐： 你不能仅仅通过增加层数来获得无限的复杂度，而不必为数字的大小（权重）付出代价。
浅层通常足够： 对于许多任务，一个拥有合适权重预算的浅层网络可以做得和深层网络一样好。
高频是昂贵的： 创建快速摆动的函数（高频函数）需要深层网络拥有巨大的“重量”，而不仅仅是更多的层数。

简而言之，这篇论文表明，我们不应将深度视为创造新世界的魔杖，而应将其视为一种工具——当在使用它时受到权重控制时，它所能提供的构建能力的扩张是非常有限的。

技术摘要：深度神经变分空间

问题陈述

关于深度神经网络中“深度”的理论理解尚不完整。虽然经验证据表明深度增强了表示能力，但现有的理论框架主要依赖于基于参数的复杂度度量（例如，宽度、总参数量或平方和权重）。这些度量往往无法捕捉学习到的预测器的有效复杂度，特别是在参数数量超过数据规模的过参数化机制中。此外，现有的深度网络函数空间理论是碎片化的，通常专门针对齐次激活函数（如 ReLU），并使用难以比较的异构复杂度概念。需要一个统一的视角来区分源于非线性函数重复复合的函数复杂度，与仅仅源于跨层复合线性缩放的复杂度。

方法论

作者开发了一种用于深度全连接神经网络的统一函数空间理论，称为深度神经变分空间 ( $V_L$ )。核心方法论包括以下步骤：

归一化激活函数： 为了统一处理齐次（如 ReLU）和非齐次（如 GELU, SiLU）激活函数，作者引入了一族归一化激活函数 $\sigma_s(t) = \sigma(st)/s$ （或对于 $m$ 次齐次函数为 $\sigma(st)/s^m$ ）。这分离了特征的“形状”与其“大小”，确保具有不同尺度的特征所产生的范数成本与其 Lipschitz 常数成正比。
递归构建： 函数空间通过递归定义。基础层 $B_1$ 由仿射函数字典组成。后续层 $B_L$ 定义为复合函数 $\sigma_s \circ f$ 的闭绝对凸包，其中 $f \in B_{L-1}$ 。
变分范数： 空间 $V_L$ 配备了一个原子（或测度）范数 $\|f\|_{V_L}$ ，定义为使得 $f \in cB_L$ 的最小 $c > 0$ 。该范数衡量了将函数表示为来自前一层激活函数的凸组合的“成本”。
积分表示： 作者建立，属于 $V_L$ 的函数可以关于前一层函数空间和缩放参数上的有限测度进行积分表示。这建立了深层空间与广义 Barron 空间及神经树空间的联系。
与现有成本的比较： 所提议的范数与其它表示成本进行了比较，包括平方和权重（SOSW）以及各种组范数（ $\ell_{2,1}$ , $\ell_{1,1}$ ）。作者证明了其范数是函数空间上的真正 Banach 范数，而许多现有的成本仅作为拟范数（quasi-norms）或加性惩罚项，未能妥善处理由于层间缩放导致的函数输出的指数级放大。

核心贡献

通用激活函数的统一框架： 本文提供了一个适用于广泛连续激活函数家族（包括非齐次激活函数）的单一函数空间框架。作者证明了对于许多“类 ReLU”激活函数（Leaky ReLU, GELU, SiLU 等），其诱导的函数空间与 ReLU 空间在范数等价性上是等价的，并给出了显式的随深度变化的等价常数界限。
新型表示定理： 作者证明了一个表示定理，表明在 $V_L$ 上进行范数惩罚数据拟合问题的解是由宽度受限的神经网络实现的。具体而言，对于齐次激活函数，解是一个有限宽度的网络；对于非齐次激活函数，解可能涉及极限原子（ $\sigma_0, \sigma_\infty$ ），但仍保持宽度受限。
函数空间复杂度界限： 推导出了最坏情况经验 Rademacher 复杂度以及单位球 $B_L$ 的 $L_p(\mu)$ 度量熵的新界限。这些界限随深度增长非常缓慢（通常对深度 $L$ 是多项式或线性增长，在许多情况下对于 1-Lipschitz 激活函数与 $L$ 无关），这与基于参数计数分析所暗示的指数级增长形成对比。
深度饱和结果： 在一元 ReLU 情况下，作者证明了一个“深度饱和”定理：深层单位球满足 $B_2 \subset B_L \subset 2B_2$ （对于所有 $L \ge 2$ ）。这意味着深度除了对浅层类进行常数比例的缩放外，并未增加新的函数多样性。
频率控制： 作为一元饱和结果的推论，作者展示了多元深度 ReLU 类中的函数在输入域的任何单个方向上都不能表现出高频特性。

关键结果

范数等价性： 对于广泛的激活函数（Leaky ReLU, GELU, SiLU, Mish 等），深度变分空间 $V_L^\sigma$ 与 ReLU 空间 $V_L^{\text{ReLU}}$ 在范数上是等价的。然而，对于非齐次激活函数，等价常数可能会随深度增长。
复杂度界限：
- Rademacher 复杂度： 其复杂度至多以 $\sqrt{L}$ 增长（对于非 1-Lipschitz 激活函数为 $L$ ），并带有多项式对数因子，且与网络宽度无关。
- 度量熵： 单位球 $B_L$ 的度量熵也表现出类似的增长，随深度增长较为轻微。由浅层类（ $B_2$ ）导出的下界表明，在高输入维度下，上界与下界之间的差距很小。
深度饱和（一元 ReLU）： 本文证明，对于一元 ReLU 网络，增加深度并不会使可表示函数的集合超出浅层类 $B_2$ 的一个常数倍（具体为 2 倍）。诸如 Telgarsky 锯齿函数之类的函数，常被引用为深度的优势证据，但若要在函数空间范数下表示此类函数，需要指数级的权重，这实际上抵消了深度的益处。
频率约束： 多元深度 ReLU 类中的函数在其输入域的任何直线上必须表现出低频特性。如果一个函数在其直线限制上的二阶导数全变差超过特定常数，则它无法被任何深度范数受限的 ReLU 类所表示。

意义与主张

本文声称，从函数空间的视角出发，可以为深度与复杂度之间的关系提供新的结构性见解。其主要意义在于证明，许多所谓的“深度分离”结果——即声称深层网络比浅层网络能更高效地表示高频或复杂函数——依赖于那些未能惩罚层间权重复合缩放的表示成本度量（如参数计数或 SOSW）。

当复杂度由真正的函数空间范数（即考虑了函数幅值的范数）控制时，作者认为深度的结构性优势要有限得多。具体而言：

在一元 ReLU 情况下，深度本身并不产生新的函数形状，它仅允许缩放。
深度网络表示高频函数的能力，取决于允许权重随深度呈指数级增长，而这会被所提议的范数所惩罚。
受范数控制的深度网络的归纳偏置是沿所有方向的频率控制，而非生成任意高频振荡的能力。

作者总结道，虽然深度在特定语境下可能提供益处，但当网络的复杂度由一个能够妥善控制函数幅值的范数来衡量时，这些益处就会消失。这表明，深度的“表达能力”往往是未受约束的参数缩放的产物，而非非线性函数的重复应用。