🔢 mathematics

How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs

本文通过证明在不同于线性设置的情况下，较大的固定点高斯过程方差能增强训练稳定性，将混沌边缘理论扩展到了稀疏激活的深度网络中，从而提出了一种能够使深度神经网络（DNNs）和卷积神经网络（CNNs）在隐藏层稀疏度高达 90% 的情况下仍能进行训练的新初始化策略。

原作者： Emily Dent, Jared Tanner

发布于 2026-06-16

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Emily Dent, Jared Tanner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个拥有 10 万人的庞大团队（深度神经网络）去解开一个谜题。为了让他们入门，你给了一套随机的指令（初始化）。

在过去，研究人员发现这些指令存在一个被称为“混沌边缘”（Edge-of-Chaos, EoC）的“金发姑娘区”（即最理想的状态）。如果指令过于混乱，团队会陷入恐慌并尖叫（梯度爆炸）；如果指令过于平静，他们会睡着并停止交流（梯度消失）。这个“金发姑娘区”让团队保持恰到好处的活跃度，从而能够进行学习。

然而，这篇论文探讨的是一种特定且棘手的指令类型：稀疏性（Sparsity）。在这种模式下，你要求团队中 85% 到 90% 的成员在处理特定任务时“闭嘴并保持沉默”。这对于节省能源和计算能力非常有效（就像一个只使用所需神经元的大脑），但它会让训练变得极其不稳定。这就像是在指挥一个管弦乐团，却要求 10 个人里有 9 个人保持沉默；如果指挥（数学逻辑）不够完美，那仅有的几个正在演奏的人可能会变得过于响亮或过于微弱，导致整场乐曲崩塌。

旧方法 vs. 新发现

旧有的信念：
多年来，针对这类“沉默大多数”网络的标准建议是：“要把活跃乐手的音量调得非常、非常低。”
从数学上讲，这意味着将方差（即数据的“响度”或分布范围）设置得极小，趋近于零。其理论是，如果你保持信号微弱，这种“沉默”就不会被破坏。

新发现：
Emily Dent 和 Jared Tanner 发现，对于这些特定的“闭嘴”指令，旧的建议反而会让情况变得更糟。他们发现，与其低声细语，不如提高音量，这会让网络变得更加稳定。

他们证明了，通过增加活跃神经元的“响度”（即它们所携带的方差， $q^*$ ），网络会变得：

更具对称性： 描述信号流动的数学过程变得更加平衡，就像一个完美的跷跷板。
敏感度更低： 网络不再会对数据的微小变化做出过度反应。它变得更加稳健，像一艘能够应对风浪而不翻船的船只。
训练更快： 网络学习谜题的速度也更快。

创意类比：“寂静之室”

想象一个大房间，你正试图将一个秘密信息从房间的一端传递到另一端。

问题所在： 你规定房间里 90% 的人必须保持完全静止且不说话。只有 10% 的人可以说话。
旧策略（低方差）： 你告诉那 10% 可以说话的人要轻声细语，声音小到几乎听不见。问题在于，在一个嘈杂的房间里，耳语很容易丢失。如果一个人磕绊了一下或者说话稍微大声了一点，信息就会中断。这 90% 的“沉默”放大了 10% 的不稳定性。
新策略（高方差）： 你告诉那 10% 的人要清晰、自信地大声说话。因为他们说话更有能量、更清晰，他们的信息能够穿透噪音。即使剩下的 90% 保持沉默，这少数活跃者的强信号也足够稳定，能够顺利传达到房间的另一端而不会失真。

他们实际做了什么

作者并非凭空猜测，而是通过严密的数学推导和实验验证：

理论部分： 他们利用高级数学（高斯过程）证明，当增加活跃神经元的“响度”（ $q^*$ ）时，描述网络行为的数学“曲线”会变得更加平滑且可预测。这能防止网络在训练期间崩溃。
实验部分： 他们构建了具有高达 90% 稀疏性（即 90% 的神经元处于沉默状态）的深度神经网络（DNN）和卷积网络（CNN）。
- 当他们使用旧的“耳语”法（ $q^*=1$ ）时，这些网络经常无法学习，或者结果很差，尤其是在高稀疏度的情况下。
- 当他们使用新的“大声说话”法（ $q^*=2$ 或 $3$）时，网络能够成功训练，达到更高的准确率，并且对参数调优的敏感度更低。

核心结论

这篇论文颠覆了我们训练高度稀疏神经网络的传统思路。我们不应该试图让信号变得微小且脆弱，而应该在开始时就赋予活跃部分更多的“劲头”（方差）。这一简单的改变使我们能够构建出既能保持 90% 沉默（节省大量计算能力），又能可靠且快速地进行训练的网络。

注：本文严格聚焦于关于初始化和在标准数据集（如 MNIST 和 CIFAR-10）上训练稳定性的数学理论。它并不声称这些结果适用于临床用途、特定的现实世界部署，或未来的架构（如 Transformer，作者已明确将其排除在本次研究之外）。

技术摘要：通过控制方差来提升稀疏激活 DNN 与 CNN 的训练稳定性

问题陈述
在具有高程度稀疏性（例如 85% 到 90%）的激活函数（如 $CReLU_{\tau,m}$ 、 $CST_{\tau,m}$ 、$HardShrink $和$ Sawtooth$）下，训练深度神经网络（DNN）和卷积神经网络（CNN）面临着显著的初始化挑战。传统的混沌边缘（Edge-of-Chaos, EoC）理论通常假设中间层为高斯过程以确保信息的稳定传播，并假设激活函数在原点附近近似线性。在此机制下，EoC 理论通常主张预激活分布的固定点方差 $q^*$ 收敛于零或一个较小的非零值，以实现动态等距性（dynamic isometry）。

然而，对于在原点附近存在 $\phi(z) = 0$ 区域（即 $|z| \leq \tau$ ）的稀疏诱导激活函数，上述线性假设失效了。前人的研究 [1] 表明，标准的 EoC 初始化策略在这些设定下会导致训练不稳定。这种不稳定性源于隐藏层的经验方差 $\tilde{q}^{(\ell)}$ 在理论固定点 $q^*$ 周围发生随机波动。由于在原点附近缺乏线性，这些波动会导致误差的乘性扰动（由 $\chi_1$ 控制）随深度呈指数级累积，从而导致梯度爆炸或网络表达能力的崩溃。

方法论
作者将 EoC 理论扩展到了稀疏诱导激活的设定中，特别分析了示例函数 $CReLU_{\tau,m}$ （以及相关的函数如 $CST_{\tau,m}$ 、$HardShrink $和$ Sawtooth $）。其核心方法论在于将固定点方差$ q^*$ 不仅仅视为一个推导出的参数，而是一个可调的超参数。

理论分析侧重于决定大规模宽度极限下训练稳定性的三个控制指标：

方差映射的对称性：作者分析了方差映射函数 $V(q)$ 的二阶导数 $V''(q^*)$ 。较大的 $V''(q^*)$ 表示固定点周围的对称性丧失，导致经验方差 $\tilde{q}^{(\ell)}$ 发生非对称漂移。
有限维度修正：利用有限宽度网络的无穷级数展开，作者推导了下一阶领先修正项 $\tilde{q}^{(1)}$ 的界限。该项代表了对无穷宽度高斯极限的偏差。
$\chi_1$ 的敏感性：作者研究了乘性扰动因子 $\chi_{1,\phi}(q^*)$ 对方差 $q$ 的导数。高敏感性意味着层方差的微小随机波动会导致误差传播产生巨大变化。

提出的初始化策略包括显式地增加 $q^*$ （例如从 1 增加到 2 或 3），并调整激活参数（ $\tau, m$ ）以及权重/偏置方差（ $\sigma_w^2, \sigma_b^2$ ），以使这些参数在新的、更高的固定点处满足 EoC 条件（ $\chi_1(q^*) = 1$ 且 $q^* = V(q^*)$ ）。

核心贡献

新现象的识别：本文识别了一种反直觉的现象，即对于在原点附近归零的激活函数，增加固定点方差 $q^*$ 可以提高训练稳定性。这与传统的 EoC 方法（寻求 $q^* \to 0$ ）形成了对比。
理论表征：作者证明了增加 $q^*$ $q^{*}$ 同时可以：
- 改善方差映射 $V(q)$ 在固定点附近的对称性（降低 $V''(q^*)$ ）。
- 收紧有限维度修正项 $\tilde{q}^{(1)}$ 的界限，使有限宽度行为更接近无穷宽度高斯极限。
- 降低误差传播因子 $\chi_1$ 对层方差波动的敏感性（降低 $\chi'_{1,\phi}(q^*)$ ）。
实用的初始化方案：文中提供了一套具体的针对稀疏化激活的初始化程序。该方案允许训练具有高达 90% 隐藏层稀疏性的网络，而这在以前是难以稳定的领域。

实验结果
作者通过在 MNIST、CIFAR10 和 Tiny ImageNet 上使用 $CReLU_{\tau,m}$ 激活函数训练的 DNN（100 层，宽度 300）和 CNN（50 层，300 通道）来验证其理论。

稳定性与准确率：对于高稀疏度水平（ $s=0.85$ 和 $s=0.9$ ），使用 $q^*=1$ 初始化的网络经常无法训练，或对斜率参数 $V'(q^*)$ 的选择表现出高度敏感。将 $q^*$ 增加到 2 或 3 显著降低了这种敏感性并恢复了训练稳定性。
性能：在 $q^*=1$ 导致低准确率的情况下（例如 DNN 在 $s=0.9$ 时仅为 11%），将 $q^*$ 增加到 3 可使准确率恢复至接近满水平（例如 89%）。
收敛性：训练损失和验证准确率曲线显示，在高 $q^*$ 值下，尤其是在高稀疏度机制下，收敛速度更快。
效率：论文包含了一个自定义 CUDA 内核实现，证明了所诱导的稀疏性带来了计算加速（约 2.9 倍）和能量降低，验证了该稀疏性的实际应用价值。

意义与主张
本文声称，固定点方差 $q^*$ 是控制稀疏激活网络训练动态的一个关键且此前未被充分探索的参数。通过重新审视针对非线性激活（在原点附近为零）的 EoC 框架，作者证明了通过一个简单的调整——增加 $q^*$ ——可以克服高稀疏度机制中固有的不稳定性。

作者谦虚地指出，其结果依赖于无穷宽度极限假设，并且主要是在深层代理架构（DNN 和 CNN）上进行演示，而非优化的生产级模型。他们明确表示，由于架构差异（例如跳跃连接会抵消激活稀疏性），该研究未涵盖向 Transformer 和状态空间模型（State-Space models）的扩展以及独立的分析路径。然而，这项工作为实现极端激活稀疏性（高达 90%）的稳定训练提供了理论基础和经验性的概念验证，这可能在不牺牲模型性能的前提下，解锁显著的计算效率。

旧方法 vs. 新发现

创意类比：“寂静之室”

他们实际做了什么

核心结论

类似论文