技术摘要：优化中的渗透动力学

问题陈述

深度学习系统通常在没有显式正则化的情况下实现强大的泛化能力，这一现象归因于诸如随机梯度下降（SGD）等优化器引入的隐式偏差。已有研究表明，SGD 会将网络引导向对应于更简单子网络的不变集。然而，这些不变集是如何被达到的时间动力学过程仍不为人所知。这一空白限制了对异常训练行为（如“顿悟/grokking”——即网络在数千个 epoch 后先完美记忆数据，随后突然发现泛化解的延迟泛化现象）的机制解释。本文认为，这些动力学的拓扑结构包含了关于优化进展的关键信息，并质疑向更简单子网络的坍缩是平滑发生的，还是通过离散、突然的转变完成的。

研究方法

作者使用随机微分方程（SDE）将优化过程建模为连续的随机梯度流（SGF）。他们整合了随机动力学、拓扑数据分析和统计物理学的概念，来分析神经网络的坍缩过程。

1. 随机梯度流与不变集： 离散的 SGD 更新被近似为一个 Ito SDE。作者将“不变集”定义为参数空间中的区域（通常是由神经元置换等架构对称性生成的仿射子空间），这些区域会捕获轨迹。他们证明了如果一个集合对于离散 SGD 是不变集，那么在特定的 Lipschitz 条件下，它对于连续 SGF 也是不变的。
2. 随机吸引性与捕获： 本文引入了“随机吸引性”的概念，即在不变集附近，向内的确定性梯度漂移力压向外的随机扩散力。这创造了一种“捕获”机制，使得解耦的子网络被迫同步并坍缩到共享的不变子空间中。
3. 基于 Reeb 图的拓扑动力学： 为了追踪这些坍缩的演化，作者将优化动力学映射到一个 Reeb 图上。在该框架中，不同的子网络是节点，而边代表“吸引子等价性”（同步）。动力学被描述为一个凝聚（合并节点）和碎片化（分裂节点）的过程。
4. 渗透模型： 作者将子网络的合并重新构想为一个渗透过程。不同于传统的 Erdős-Rényi 渗透模型中边是连续连接的，架构对称性迫使发生离散、同步的块合并（例如，$n$ 个子网络同时合并）。
5. 离散尺度不变性 (DSI)： 由于这些合并是以离散块而非连续方式发生的，系统打破了连续尺度不变性。相反，它表现出广义离散尺度不变性 (DSI)，其中微观转变（方差峰值）以几何缩放的间隔发生，直至达到全局相变。
6. 向自适应优化器的扩展： 该框架被扩展到了 Adam 和 AdamW。这需要通过截断处理（针对注意力机制架构中常见的重尾梯度噪声）并分析参数、一阶矩和二阶矩的联合状态。作者证明了在重尾噪声模型和特定的非退化条件下，捕获机制和 DSI 级联依然存在。

核心贡献

1. 拓扑凝聚的渗透模型： 本文构建了一个将靠近不变集的随机梯度流映射到 Reeb 图上渗透过程的框架。它证明了架构对称性导致的是离散、同步的块合并，而非连续的边连接。作者推导出了这些不连续性在热力学极限（大规模网络）下得以存续的精确条件。
2. 方差发散与 DSI 级联： 作者展示了跨训练轨迹的相对方差可以隔离出离散的微观转变。他们证明了多体块合并产生了离散尺度不变性 (DSI)，从而将相变塑造成一个几何缩放的级联过程。这使得根据先前方差峰值的间距来预测全局结构坍缩点成为可能。
3. 向自适应优化器的扩展： 在显式的重尾噪声模型下，该捕获机制和 DSI 级联在理论上被扩展到了 Adam 和 AdamW，为 Transformer 中由 AdamW 训练产生的 grokking 现象提供了理论基础。
4. 实证验证： 该框架在多种设置下得到了验证：
   • 玩具模型： 受控运动学模拟确认了理论上的 DSI 缩放因子（$\lambda \approx 2$）。
   • 表格数据： 在 UCI 数据集（如 Heart Disease）上的实验揭示了 DSI 方差级联，通过谱零模型区分了真实的拓扑约束与优化噪声。
   • 视觉与 Grokking： 在训练模运算（grokking 设置）的 Transformer 网络中，作者观察到在性能激增前出现了 3 峰 DSI 级联，缩放因子为 $\lambda \approx 2.11$。在视觉基准测试（FashionMNIST）中也观察到了类似的模式。

结果

• 理论层面： 本文证明了随机吸引性驱动轨迹进入不变集，产生超鞅捕获效应。它确立了对称性诱导的渗透会导致序参数（最大连通分量的大小）发生不连续跳跃，这体现为系综运行中序参数相对方差的发散。
• 缩放律： 微观转变（方差峰值）遵循几何级数 $p_{n} - p_{c} = \lambda^{-1}(p_{1} - p_{c})$，其中 $\lambda = n^\sigma$。在平均场假设下的两两合并中，$\lambda = 2$。
• 实证层面：
  • 在 Transformer grokking 实验中，在性能激增前观察到 $\lambda = 2.11$ 的 3 峰 DSI 级联，相对于相位随机化的零模型，其假阳性率（False Positive Rate）为 0.1%。
  • 表格数据集显示了变化的缩放因子（例如，Heart Disease 为 $\lambda = 1.71$），作者将其解释为分数谱方差质量坍缩的证据，暗示了更高阶或部分的合并。
  • 玩具模型中的任务转移展示了“反应性碎片化”，即降低噪声并增加信号曲率会导致先前绑定的参数发生分裂，证实了捕获机制的可逆性。

重要性与主张

本文声称提供了一个关于优化如何通过拓扑相变进行进展的机制解释。通过将 SGD 建模为渗透过程，它为理解网络为何突然泛化（grokking）以及如何坍缩为稀疏、低秩表示提供了一个全新的视角。

作者断言，所观察到的“离散尺度不变性”是受架构对称性驱动的优化动力学的一个基本属性，有别于经典的连续相变。他们指出，这些方差峰值（DSI 级联）可以作为结构坍缩和泛化的早期指标。

论文对其研究范围保持了审慎的态度：

• 它承认相变的间断性取决于网络规模以及合并组件的缩放（宏观 vs 微观机制）。
• 它指出虽然该理论已在 SGD 上得到证明并扩展到了特定噪声假设下的 Adam/AdamW，但在大规模实际模型中系统性研究这些动力学仍是一个开放的研究方向。
• 它将 DSI 级联框架化为一个潜在工具，用于指导学习率调度或理解缩放律，但并未声称已经完全解决了泛化问题。

总而言之，本文认为深度学习优化的“旅程”并非平滑下降，而是由对称性驱动的、一系列离散的拓扑重组，这些重组可以通过遵循离散尺度不变性的方差级联来检测。