📊 statistics

Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks

本文通过对非 ReLU 激活函数（如 SELU、ELU、LeakyReLU 等）在零点处非光滑性的刻画，研究了其在无限宽神经网络中生成的神经切线核（NTK）与高斯过程核（NNGP）的再生核希尔伯特空间（RKHS）特性及其平滑度。

原作者： David Holzmüller, Max Schölpple

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： David Holzmüller, Max Schölpple

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 背景：神经网络的“无限宽”幻觉

想象你在调音。如果你手里只有一把破旧的小提琴（一个很窄的神经网络），你很难弹奏出极其复杂的交响乐。但如果你有一台拥有无限根琴弦、无限个共鸣箱的超级乐器（无限宽的神经网络），理论上你可以模拟出世界上任何一种声音。

科学家们发现，当神经网络变得“无限宽”时，它就不再是一个乱糟糟的黑盒，而会变成一种非常优雅、规律的数学对象，叫做**“核”（Kernel）。这个“核”就像是乐器的“音色特征”**，决定了这台乐器能演奏出什么样的旋律（即学习什么样的规律）。

2. 核心问题：激活函数——乐器的“材质”

在神经网络里，有一个关键零件叫**“激活函数”**（Activation Function）。它决定了神经元在接收到信号时是“保持沉默”还是“兴奋跳跃”。

以前的科学家研究得比较简单，他们大多只研究一种材质的乐器——ReLU（修正线性单元）。ReLU 就像是**“木头”**，虽然好用，但它在零点处有一个很生硬的折痕（不光滑）。

这篇论文的核心贡献就在于： 作者不再只盯着“木头”看了，他们开始研究**“金属”、“塑料”、“橡胶”甚至“丝绸”**（比如 SELU, ELU, GELU 等各种复杂的激活函数）做成的乐器，其“音色”（数学上的 RKHS 空间）到底有什么不同。

3. 论文的发现：三个有趣的“乐理规律”

通过复杂的数学推导，作者发现了三个非常直观的规律：

① “折痕”决定了“音质” (Smoothness)

如果你用的材质在某个点有“折痕”（比如 ReLU 在 0 点的那个尖角），那么这台乐器演奏出来的声音就会带有某种“颗粒感”或“粗糙感”。

发现： 激活函数在 0 点有多“不光滑”（折痕有多深），直接决定了神经网络能学到的函数有多“平滑”。如果你想要乐器演奏出丝滑的古典乐，你就得选那些在 0 点非常圆润、光滑的材质（比如 GELU 或 Sigmoid）。

② “深度”的魔力消失了？ (The Depth Paradox)

这是一个非常惊人的发现！

类比： 以前人们觉得，增加乐器的层数（深度）会让音色发生质变。但作者发现，对于大多数“非丝滑”的材质（比如木头 ReLU），如果你把乐器做得足够宽，增加层数其实并不会改变它的基本音色。
也就是说，在“无限宽”的极限下，一个 3 层的木头乐器和一个 100 层的木头乐器，它们的“音色特征”其实是一模一样的。这解释了为什么有时候增加深度对某些模型并没有显著的数学提升。

③ “多项式”是特例 (The Polynomial Exception)

如果你的乐器是用“多项式”这种特殊的数学材料做的，情况就完全不同了。

类比： 多项式乐器就像是**“积木”**。随着你增加层数，你可以用越来越多的积木搭出越来越复杂的形状。在这种情况下，深度（层数）变得极其重要，层数越多，能搭出的形状（能表达的函数）就呈指数级增长。

4. 总结：为什么要关心这个？

这篇文章并不是在教你如何写代码，而是在为深度学习的“建筑师”们提供一份**“材料说明书”**。

它告诉我们：

选材很重要： 不同的激活函数不仅仅是性能高低的问题，它们从根本上改变了神经网络的“数学灵魂”。
别盲目堆深度： 如果你用的激活函数不够光滑，单纯堆叠深度可能只是在做重复劳动，并不会改变模型处理问题的本质能力。
理解“平滑度”： 通过理解激活函数的“折痕”，我们可以预判一个模型在训练时会表现得多么“稳健”或多么“抖动”。

一句话总结：这篇论文通过研究不同“材质”的神经网络，揭示了深度和激活函数是如何共同塑造人工智能“思维模式”的数学规律。

这是一篇关于深度学习理论中**神经切线核（NTK）与神经网络高斯过程核（NNGP）**性质的研究论文。以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

在深度学习理论中，当网络宽度趋于无穷大时，其训练动态和初始化状态可以用核方法（NTK 和 NNGP）来描述。然而，现有的理论研究大多集中在 ReLU 激活函数及其幂次函数上。

核心科学问题是： 对于其他常见的、在零点处非光滑（non-smooth）但其他地方光滑的激活函数（如 SELU, ELU, LeakyReLU 等），这些核函数的数学性质（特别是其对应的再生核希尔伯特空间 RKHS 的结构）是什么样的？理解这些性质对于理解深度学习的训练动力学、泛化能力以及深度（Depth）的作用至关重要。

2. 研究方法 (Methodology)

作者采用了一种基于**球面上点积核（Dot-product kernels on the sphere）**的分析框架。其核心技术路径如下：

数学建模： 将输入限制在单位球面上，利用旋转不变性将神经核转化为点积核。
对偶激活函数 (Dual Activation Functions)： 引入了由 Daniely 等人提出的对偶激活函数 $\hat{\phi}$ ，通过研究 $\hat{\phi}$ 在边界（ $\pm 1$ ）处的渐近行为，来推导核函数的特征值衰减速率。
边界行为分析： 开发了一套代数演算规则（见论文附录 B 和 C），用于处理对偶激活函数在求和、乘积和复合运算下的边界渐近性质。
特征值与 Sobolev 空间的关系： 利用特征值的衰减速率来刻画 RKHS。根据 Lemma 2，如果特征值以多项式速率衰减，则该 RKHS 等价于某个阶数的 Sobolev 空间 $H^s$ 。

3. 核心贡献 (Key Contributions)

该论文的主要贡献在于对非 ReLU 激活函数下神经核性质的系统性刻画：

广义 RKHS 特征化： 证明了对于大多数在零点处具有有限光滑度 $s$ 的激活函数，其生成的 NTK 和 NNGP 核的 RKHS 分别等价于特定阶数的 Sobolev 空间。
涵盖广泛的激活函数： 将理论从 ReLU 扩展到了 SELU、ELU、LeakyReLU、CELU 以及多项式激活函数等。
深入分析特殊情况： 详细研究了**无偏置（bias-free）网络、两层网络以及奇偶对称性（Parity）**对核结构的影响。
样本路径光滑度： 证明了在初始化时，无穷宽神经网络的样本路径（Sample Paths）具有特定的光滑度，并揭示了其与 RKHS 之间的关系。

4. 主要结果 (Results)

论文通过 Theorem 9 给出了核心结论，总结如下：

对于具有有限光滑度 $s \in [1, \infty)$ 的激活函数（如 ReLU, SELU, ELU）：
- NNGP 核的 RKHS 等价于 $H^{d/2 + s + 1/2}(S^d)$ 。
- NTK 核的 RKHS 等价于 $H^{d/2 + s - 1/2}(S^d)$ 。
- 结论： 只要光滑度 $s$ 固定，增加网络深度 $L$ 并不会改变 RKHS 的空间类型（即深度在核机制下对表达能力的提升有限）。
对于无穷光滑（ $s = \infty$ ）但非多项式的激活函数（如 GELU, Sigmoid, Tanh）：
- 其生成的核是通用核（Universal Kernels），RKHS 包含所有多项式，且特征值衰减速度快于任何多项式速率。
对于多项式激活函数：
- 其 RKHS 仅包含有限阶的多项式，且多项式的最高次数随网络深度 $L$ 指数级增长。
关于偏置与奇偶性：
- 在无偏置情况下，如果激活函数是奇函数或偶函数，核函数会表现出明显的奇偶性特征，导致某些特征值恒为零。

5. 研究意义 (Significance)

该研究在理论和实践层面均具有重要意义：

理论统一性： 为非 ReLU 激活函数的深度学习理论提供了统一的数学框架，填补了现有理论在激活函数多样性上的空白。
解释深度与泛化： 解释了为什么在核机制下，增加深度对某些激活函数可能不会改变函数空间的本质（即“深等于浅”的现象），同时也为研究不同激活函数如何影响**谱偏差（Spectral Bias）**和泛化界限提供了工具。
指导模型设计： 通过对光滑度 $s$ 与 Sobolev 空间阶数的关系研究，可以从数学上指导如何通过选择不同的激活函数来控制模型的平滑度，从而优化训练稳定性或泛化性能。