🤖 machine learning

Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

本文表明，训练好的深度网络的实用归纳偏置不仅由其架构决定，还取决于训练动态（具体而言是学习率、优化器选择以及正则化）如何过滤或抹除对随机初始化的记忆，其中低学习率的随机梯度下降保留了这种初始偏置，而自适应方法和显式的范数控制则有效地将其抹除。

原作者： Mohua Das, Pierfrancesco Beneventano, Shibshankar Dey, Gareth H. McKinkey, Tomaso Poggio

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohua Das, Pierfrancesco Beneventano, Shibshankar Dey, Gareth H. McKinkey, Tomaso Poggio

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在聘请一位厨师来烹制一道复杂的菜肴。你提供了一套特定的食材（初始化）和一份食谱（训练流程）。

这篇论文提出了一个简单却深刻的问题：菜肴最终的口味，究竟取决于厨师在最初切洋葱的具体方式，还是烹饪过程本身会抹去这些初始差异？

在人工智能的世界里，“切洋葱”被称为初始化。它是神经网络在学习任何内容之前的随机起点。而“烹饪过程”则是训练，即网络从数据中学习的过程。

以下是该论文的发现，拆解为日常概念：

1. 厨师的“记忆”

研究人员引入了一个名为“初始化记忆”的概念。这是一种衡量最终的人工智能在多大程度上仍“记得”其随机起点的方法。

高记忆：最终人工智能的表现高度依赖于其启动方式。如果你从一个略有不同的随机种子开始，人工智能就会变成一位完全不同的（且可能更差的）厨师。
低记忆：最终人工智能会遗忘其起点。无论最初如何切洋葱，烹饪过程都会将一切抚平，最终呈现出一道同样出色的菜肴。

2. 两种类型的厨师（优化器）

该论文测试了不同的“烹饪方法”（优化器），以观察哪些会遗忘，哪些会记住。

缓慢、谨慎的厨师（低学习率 SGD）：
想象一位采取微小、谨慎步骤的厨师。论文发现，这位厨师会记住一切。即使经过长时间的烹饪并完美记住了食谱（训练准确率），最终的菜肴口味仍取决于食材最初是如何排列的。
- 结果：如果你从一个“大”的随机切法开始，菜肴的味道可能很糟糕；如果你从一个“小”的切法开始，味道则很棒。这位厨师从未完全遗忘最初的混乱。
自适应、快速的厨师（Adam, AdamW, Muon）：
想象一位根据所切食物调整刀速和压力的厨师。这些方法会非常快地遗忘起点。
- 结果：无论初始切法多么天差地别，自适应厨师都能如此完美地调整其技巧，以至于最终菜肴的味道几乎完全相同。他们“抹去”了起点的记忆。

3. 时间并不总是有帮助

一种普遍的观点是，如果你让缓慢的厨师（SGD）工作更长时间，他们最终会遗忘糟糕的起点。

论文的发现：不。即使让缓慢的厨师工作 5,000 小时（轮次），他们仍然记得最初的切法。“糟糕的起点”会持续存在。
解决方法：要让缓慢的厨师遗忘，你需要的不仅仅是更多时间；你需要改变烹饪的风格。你需要添加正则化（就像添加特定的香料或约束，例如 L2 权重衰减），或者用更大的步长（更高的学习率）进行烹饪。这些改变就像是一个“重置按钮”，能擦白板。

4. 遗忘的“时钟”

该论文认为，我们不应通过厨师工作的小时数（轮次）来衡量遗忘程度，而应通过施加的总“努力”或“正则化”量来衡量。

把它想象成一桶水（起点的记忆）。
慢速烹饪（低学习率）的桶上有一个微小的孔。水（记忆）泄漏得如此缓慢，以至于即使过了很长时间，桶仍然是满的。
自适应烹饪或添加权重衰减则创造了一个大洞。水迅速排干，桶很快变空（被遗忘）。

5. 主要启示

人工智能的“偏差”或“个性”不仅仅构建于其架构（锅和碗）之中。它还由训练过程如何处理其起点所塑造。

如果你使用一种“健忘”的训练食谱（如 Adam 或带权重衰减的 SGD），人工智能就会变得稳健。无论你从幸运还是不幸运的随机种子开始，它都会学到同样的好解决方案。
如果你使用一种“记忆”食谱（如没有额外辅助的慢速 SGD），人工智能就是脆弱的。糟糕的起点可能会毁掉最终表现，即使人工智能完美地学习了训练数据。

简而言之：该论文证明，良好的泛化能力（对新数据做出良好预测的能力）与训练过程“遗忘”其随机起点的能力紧密相连。帮助人工智能良好泛化的机制，正是那些使其遗忘初始化的机制。

技术摘要：“深度网络是否会遗忘初始化？一种关于实用归纳偏置的遗忘时间视角”

问题陈述
现代神经网络具有高度过参数化特性，这意味着仅凭其容量无法解释泛化能力。尽管训练流程（架构、优化器、正则化等）从假设类中选择一个特定函数，但初始随机权重在决定最终预测器方面的作用仍不明确。现有文献提出了两种相互冲突的观点：

初始化作为偏置来源：理论工作表明，随机网络具有内在的“简单性偏置”（一种函数先验），这种偏置可能在训练过程中幸存并驱动泛化。
初始化作为可训练性机制：实际的大规模训练通常仅将初始化视为稳定信号传播、防止梯度爆炸/消失的工具，并假设一旦训练收敛，最终预测器在很大程度上与初始种子无关。

本文研究了一个精确的子问题：现代训练流程所选择的最终预测器在多大程度上依赖于随机初始化的尺度？ 具体而言，训练过程是否会“遗忘”初始条件，还是初始偏置会持续存在于最终解中？

方法论
作者利用 ResNet 在 CIFAR-10 数据集上进行了受控实证研究。他们引入了一种名为**初始化记忆（Initialization Memory）**的诊断指标，定义为验证集选择的预测器对初始化尺度 $\sigma_w$ 的依赖程度。

实验设计：他们在保持所有其他因素（架构、数据划分、优化器、批量大小、学习率调度方案和训练时长）不变的情况下，扫描随机核初始化的全局尺度 $\sigma_w$ 。
指标：
- 测试准确率分布：在最佳验证损失检查点处，不同 $\sigma_w$ 值对应的最佳与最差测试准确率之差。
- 插值历元（ $\tau_{interp}$ ）：训练准确率达到 99.5% 的历元。
- 弗罗贝尼乌斯范数（ $\|W\|_F$ ）：用于衡量“径向记忆”（最终权重范数是否仍与初始范数耦合）。
- 修复差距（Repair Gap）：插值点与最终检查点之间验证准确率的变化。
变量：研究改变了优化器（SGD、带动量的 SGD、Adam、AdamW、Muon）、批量大小（ $b \in \{16, 32, 64, 128, 256\}$ ）、初始化尺度（ $\sigma_w \in [0.1, 2.5]$ ）、网络深度（ResNet-9、56、110）以及显式正则化（L2 权重衰减）。
理论框架：作者采用后向误差分析，将离散优化器解释为修改后目标函数上的梯度流。他们基于正则化机制的累积强度而非简单的历元计数，提出了“遗忘时间尺度”。

主要结果

优化器依赖性：
- SGD 会记住：在低学习率下，普通 SGD 保留了强烈的初始化记忆。在批量大小 $b=128$ 的 ResNet-9 上，尽管训练准确率达到了 $\ge 99.5\%$ ，但不同初始化尺度下的测试准确率差异高达 26.5 个百分点。最终权重范数仍与初始范数耦合。
- 自适应方法会遗忘：Adam、AdamW 和 Muon 在很大程度上消除了对初始化尺度的依赖。在相同条件下，它们的测试准确率分布极小（例如，Muon 约为 4.0 个百分点）。无论初始尺度如何，它们都收敛到共同的最终范数尺度。
超参数依赖性：
- 训练时间不足：将低学习率 SGD 的训练时间延长至 5,000 个历元并不能显著减少初始化分布；记忆依然存在。
- 正则化与学习率：如果训练方案包含更大的学习率或显式的 L2 正则化（权重衰减），SGD 可以被诱导遗忘初始化。例如，添加 $\eta=10^{-2}$ 的 L2 衰减可将分布减少至接近零。
- 批量大小：对于 SGD 而言，更大的批量大小会减缓遗忘过程，从而增加分布。
深度与架构：
- 在更深的网络（ResNet-56、ResNet-110）中，不良的遗忘动态表现出不同的形式：网络往往不是在插值后泛化能力差，而是在大初始化尺度下根本无法训练良好（无法插值）。
遗忘时间尺度：
作者指出，遗忘是由累积的“时钟”而非历元计数所支配的：
- $T_{SGD} = \frac{1}{b} \sum \eta_k^2$ ：随机有限步效应（小批量噪声）的时间尺度。低学习率 SGD 的 $T_{SGD}$ 极小，导致记忆保留。
- $T_{L2} = \lambda \sum \eta_k$ ：显式范数衰减的时间尺度。
- $T_{adapt} = \sum \eta_k$ ：自适应预条件的时间尺度。
  自适应方法在 $T_{adapt}$ 尺度上运行，该尺度显著大于低学习率 SGD 的 $T_{SGD}$ 尺度（即遗忘更快）。

意义与主张
本文主张，训练后网络的“实用归纳偏置”不仅仅是初始化时存在的架构先验，而是由训练流程的遗忘动态过滤后的架构先验。

悖论的解决：作者解决了简单性偏置理论与实际训练稳定性之间的表面矛盾。他们论证道，那些改善泛化的机制（例如权重衰减、自适应优化器、更大的学习率）恰恰是那些消除初始化记忆的机制。
初始化的作用：在富含正则化的现代训练流程中，初始化主要充当可训练性装置（稳定优化、支持深度），而非持续的归纳偏置来源。在实践中起作用的“奥卡姆剃刀”是由轨迹上累积的正则化器施加的，而非初始参数映射。
局限性：作者承认其发现基于 CIFAR-10 上的 BatchNorm ResNet。提出的时间尺度表达式是基于线性和尺度不变性论证得出的组织原则，而非非线性 BatchNorm 网络的通用定理。然而，观察到的经验层级（SGD 会记住，自适应方法会遗忘，正则化会消除记忆）与这些理论时钟相一致。

总之，本文表明深度网络不会自动遗忘初始化；只有当特定的训练动态（随机性、自适应性或显式正则化）提供足够的“遗忘时间”来覆盖初始几何偏置时，它们才会遗忘。