技术摘要：ReLU 网络学习空间的拓扑与几何

问题陈述

本文探讨了定义在一般有向无环图（DAG）架构上的前馈 ReLU 网络训练动力学中的两个基本病态问题：参数空间的**（不）连通性以及其中存在的奇异性**。虽然经典研究通常侧重于分层架构，但现代网络经常采用灵活的 DAG 结构（源于设计、剪枝或压缩）。作者认为，使用齐次激活函数（如 ReLU）进行梯度流训练，会将学习轨迹限制在一个特定的代数簇内，即所谓的不变集。理解该集合的几何和拓扑性质对于分析训练动力学至关重要，因为它决定了哪些参数配置是可达的，以及网络的表达能力如何受其初始化的约束。

研究方法

作者结合了代数几何、图论和动力系统分析：

1. 数学建模：

   • 将网络建模为 DAG $G=(V, E)$。参数空间 $\Theta$ 被识别为 $\mathbb{R}^{|E|}$。
   • 利用齐次激活函数的重缩放对称性（即神经元的输入权重可以按 $\alpha$ 缩放，而输出权重按 $\alpha^{-1}$ 缩放，而不改变函数本身），作者推导出了梯度流下的守恒律。
   • 这些守恒律通过图的关联矩阵 $\tilde{B}$（去除了输入/输出节点的行）进行表述。守恒律表示为 $\tilde{B}(\theta \odot \dot{\theta}) = 0$，这可以积分得到 $\tilde{B}\theta^2 = c$，其中 $c$ 是由初始化决定的向量。

2. 不变集分析：

   • 不变集 $H_G(c)$ 被定义为二次方程组 $\tilde{B}\theta^2 = c$ 的解集。该集合代表了梯度流轨迹所受限制的流形。
   • 作者利用交集二次型的拓扑结果（具体改编自 de Medrano, 2023）来分析 $H_G(c)$ 的连通性。
   • 作者通过检查雅可比矩阵 $J_G(\theta) = 2\tilde{B}\text{diag}(\theta)$ 的秩来分析奇异性。当秩下降时，即发生奇异性，这对应于特定边权重为零的情况。

3. 正则化策略：

   • 为了主动驱动网络走向奇异配置（即对应于不连通的子网络），作者提出了一种针对雅可比矩阵 $J_G(\theta)$ 的核范数正则项。这作为一种平滑的替代方案，用于最小化秩，从而促进“自我剪枝”。

核心贡献

1. 连通性的特征化

本文提供了关于一般 DAG 架构中不变集 $H_G(c)$ 连通性的充分必要条件。

• 瓶颈节点： 研究表明，不连通性专门源于瓶颈神经元（仅有一个输入或一个输出边的节点）。
• 平衡条件： 定理 1 确立了 $H_G(c)$ 是连通的，当且仅当对于纯祖先集合（针对出瓶颈）和纯后裔集合（针对入瓶颈）满足特定的“平衡”条件。具体而言，某些稳定集中平衡值的总和必须是非负或非正的。
• 启示： 如果初始化时违反了这些条件，优化空间就会分裂成不连通的分量。初始化在某一分量中的网络无法到达另一分量中的最优解，这可能导致某些函数（例如那些需要在瓶颈权重处发生符号变化的函数）无论损失函数景观如何都是不可达的。

2. 奇异性分析

作者将不变集中的奇异性识别为：一部分神经元在效果上与输入节点和输出节点断开连接的配置。

• 拓扑对应关系： 奇异性对应于雅可比矩阵秩的下降，这发生在某些具有零权重的边切断了隐藏神经元子图与网络其余部分的连接时。
• 不可达性： 本文证明了在标准梯度流下，来自泛型初始化的奇异性在有限时间内是不可达的。
  • 原因 1： 奇异性的条件要求对于某个节点子集 $W$，存在精确的等式 $\sum_{v \in W} c_v = 0$。对于随机初始化，这种精确等式成立的概率为零。
  • 原因 2： 即使存在这样的配置，命题 7 也表明雅可比矩阵的秩在梯度流下是不变的；因此，轨迹无法从正则点过渡到奇异点。

3. 通过正则化实现的可微剪枝

由于标准梯度流无法诱导奇异性，作者建议使用正则化来诱导它们。

• 核范数正则项： 通过惩罚雅可比矩阵的核范数，训练动力学被鼓励收敛向奇异配置，从而有效地实现可微的、与结构无关的剪枝。
• 经验观察： 在 MLP 上的数值实验显示，该正则项成功地驱动了雅可比矩阵秩的下降，从而断开了部分神经元（例如 20 个中的 18 个）。令人惊讶的是，标准的 L1 正则化（通常与权重稀疏性相关）在经验上诱导了类似的奇异行为和有效的无损剪枝，这表明 L1 稀疏性与奇异性诱导之间存在一种更深层的、尚未解释的联系。

结果

• 理论层面： 本文确立了不变集的拓扑由网络的图结构（特别是瓶颈）和依赖于初始化的平衡向量 $c$ 所决定。它证明了不连通性会阻碍某些拓扑结构下的全局优化可达性。
• 奇异性： 文中证明了奇异性对应于被“杀死”的子网络。虽然它们在理论上属于该代数簇，但在标准训练下是动态不可达的，除非初始化具有病态性或应用了特定的正则化。
• 实验层面：
  • 在一个具有出瓶颈的玩具 DAG 中，作者展示了如果初始化违反了平衡条件，网络将无法学习需要瓶颈权重发生符号翻转的目标函数。
  • 在乳腺癌数据集上，核范数正则化成功地驱动了雅可比矩阵的秩下降，从而断开了神经元。L1 正则化产生了类似的结果，而 L2 和未正则化的训练则保持了完全的连通性。
  • 剪枝实验证实，被驱动至奇异状态的网络允许进行无损剪枝（移除断开连接的神经元而不降低性能），而经过 L2 正则化训练的网络在移除神经元时会出现性能下降。

意义与主张

本文声称阐明了网络拓扑与优化几何之间的相互作用。通过将不变集刻画为受二次平衡条件约束的代数簇，作者提供了一个原则性的框架，用于理解为什么某些训练路径会被阻断（不连通性），以及奇异性如何与子网络相关联。

其主要意义在于为设计剪枝机制提供了一条原则性的路径。作者建议不仅仅依赖于启发式的稀疏约束，而是利用优化空间的结构（特别是，驱动系统走向奇异性）来实现有效的、无损的模型压缩。关于 L1 正则化隐式促进这些奇异配置的观察表明，标准的稀疏诱导方法可能已经在利用这些几何特性，尽管其机制此前仅在权重稀疏性的层面上被理解。

作者对局限性保持了谦逊的态度，指出其理论保证依赖于梯度流和无正则化损失以及齐次激活函数。他们承认，离散时间优化器（如 Adam）和显式的正则化项可能会违反推导出的守恒律，且核范数正则化在实际应用中目前受到计算能力的限制。