Exploding and vanishing gradients in deep neural networks: the effect of residual connections

技术摘要：深度神经网络中的梯度爆炸与梯度消失

问题陈述
本文探讨了深度神经网络（DNN）中已被广泛记录的梯度爆炸与梯度消失现象。在通过随机梯度下降（SGD）进行训练期间，某些方向上的梯度可能会渐近消失（衰减至零）或爆炸（其范数无界增长）。虽然现有文献提供了各种解释和缓解方案，但本研究旨在利用乘性遍历理论（multiplicative ergodic theory）和李雅普诺夫指数（Lyapunov exponents），对这一现象提供精确的数学刻画，并阐明残差连接（ResNets）的稳定作用。

方法论
作者 Vivek S. Borkar 将 DNN 重新构建为一个离散时间动力系统，以应用非线性动力学工具。

1. 动力系统建模： 一个由 $N$ 个前馈块组成的 DNN 被建模为函数复合 $f^N_{\beta^N} = f_{\beta_N} \circ \dots \circ f_{\beta_1}$。输入-输出映射被视为动力系统 $x_{n+1} = f_{\beta_n}(x_n)$ 的迭代。
2. 线性化： 梯度的行为通过这些映射的雅可比矩阵（Jacobian matrices）进行分析。沿网络深度的雅可比矩阵乘积对应于由随机矩阵驱动的线性动力系统的演化。
3. 乘性遍历理论： 核心分析工具是 Furstenberg-Kifer 定理 [8]。不同于以往更广泛地应用乘性遍历理论的工作，本文利用了 Furstenberg 和 Kifer 提供的关于李雅普诺夫指数的具体精确刻画。这包括：
   • 在射影空间 $P^{d-1}$ 上定义问题。
   • 分析射影空间上由随机矩阵诱导的马尔可夫链的平稳测度（$\mu$-stationary measures）。
   • 将李雅普诺夫谱（Lyapunov spectrum）$\gamma_i(\mu)$ 刻画为在这些平稳测度下，积分 $\alpha(\mu, \nu) = \int \int \log(\|Au\|) \mu(dA)\nu(du)$ 所取的离散值。

主要贡献与结果
主要贡献在于应用 Furstenberg-Kifer 刻画来推导出关于 DNN 李雅普诺夫谱的精确陈述，以及残差连接的具体影响。

• 理论框架： 本文建立了一个结论，即 DNN 的李雅普诺夫谱可以通过状态空间的直和分解以及由射影空间上相关马尔可夫链的平稳测度所确定的不变子空间序列来描述。
• 残差连接分析： 本文将残差连接建模为一种变换，其中映射 $x \mapsto f_{\beta}(x)$ 被替换为 $x \mapsto x + f_{\beta}(x)$。
• 主定理（定理 4.1）： 本文证明了在残差连接下的李雅普诺夫谱，与没有残差连接的网络相比，是恒等矩阵谱（对应于全为 1 的谱）的一个“更小的扰动”。
  • 机制： 证明过程利用了射影空间中的几何论证。它表明，对于向量 $\hat{u}$，映射 $(I+A)\hat{u}$ 产生的方向在几何上比仅由 $A\hat{u}$ 产生的方向更接近原始方向 $\hat{u}$。
  • 含义： 这种几何上的接近性意味着，当存在残差连接时，对数增长率的积分量级会减小。具体而言，存在恒等项与不存在恒等项时，期望对数范数增长率之差为负，这表明了一种稳定效应。

意义与主张
本文声称通过超越定性解释，转向使用射影几何和 Furstenberg-Kifer 定理进行“精确的数学方式”进行分析，从而为梯度爆炸/消失问题提供了一种“不同的视角”。

• 精确性： 本工作通过使用李雅普诺夫谱的精确刻画，比以往的研究（如 [13], [6], 和 [3]）更详细地“锁定”了残差连接的影响。
• 定量稳定性： 该结果为 ResNet 更易于训练这一经验观察提供了量化的解释：残差连接在数学上约束了李雅普诺夫指数，使其保持在更接近于零（或恒等谱）的状态，从而防止了梯度的极端增长或衰减。
• 范围与局限性： 作者指出，该分析依赖于特定的假设，包括极限状态 $x_\infty$ 的存在（假设 2）以及矩阵范数的可积性条件（假设 1）。作者承认该模型是程式化的（例如，假设使用光滑激活函数而非 ReLU，且维度恒定），但所展示的机制是合理的。作者表示，将这些结果扩展到完全一般化的情况（例如，非光滑激活函数、变化的维度）需要更复杂的数学，是未来的研究任务。

综上所述，本文认为残差连接的功能在于通过在射影空间中几何地约束梯度方向的演化，从而使网络的雅可比矩阵乘积的李雅普诺夫谱保持在更接近恒等矩阵的谱附近，这从数学上解释了如何缓解梯度爆炸和梯度消失问题。