🤖 machine learning

A Theory of Generalization in Deep Learning

本文提出了一种基于经验神经正切核输出空间划分的深度泛化非渐近理论，该理论解释了良性过拟合和顿悟等现象，同时引入了一种实用的信噪比预条件器，可在无需验证数据的情况下加速训练并抑制记忆。

原作者： Elon Litman, Gabe Guo

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Elon Litman, Gabe Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创造性类比对论文《深度学习泛化理论》的解释。

宏观图景：为什么超复杂的 AI 模型能奏效？

想象你正在为期末考试培训一名学生（一个神经网络）。你给了一本包含 100 个示例的教科书。但这里有个转折：这名学生拥有照相式记忆，且聪明到足以逐字逐句地背诵整本教科书，包括其中的错别字和页边空白处的随意涂鸦。

过去，科学家们认为：“如果学生背下了错别字，他们就会在考试中失败，因为考试里不会有那些错别字。”这就是过拟合问题。

然而，在现代 AI 中，我们观察到一种奇怪的现象：这些“超级记忆者”往往能在考试中取得优异成绩，即使训练数据杂乱无章。这篇论文提供了一张新地图，解释了这是如何以及为何发生的，甚至为我们提供了一种训练它们更快、更好的新方法。

1. 两个房间：“信号通道”与“蓄水池”

作者将 AI 的学习过程想象为发生在一座拥有两个不同房间的建筑中。

房间 A：信号通道（舞台）
这是发生“真正”学习的地方。它就像一个舞台，学生在这里学习故事的真正情节。当 AI 朝这个方向移动时，它正在学习适用于现实世界（即测试）的模式。
- 这里发生了什么： AI 学习得既快又稳。这就像一名运动员在跑道上冲刺。
房间 B：蓄水池（隔音地下室）
这是一个巨大的、黑暗的地下室，AI 在这里存储“噪声”——数据中的错别字、随意涂鸦和纯粹的垃圾。
- 魔法技巧： 作者证明，这个地下室是隔音的。即使 AI 在地下室里背下了每一个错别字，也没有声音会泄露出来。测试（考试）听不到蓄水池里发生的事。
- 结果： AI 可以背诵噪声而不会损害其考试成绩，因为噪声被困在了测试看不见的地方。

2. 交通警：SGD 如何维持秩序

AI 如何知道哪个方向是“舞台”，哪个是“地下室”？论文解释说，标准的训练方法（称为SGD或随机梯度下降）就像一位聪明的交通警。

漂移与洗牌：
- 真实信号（舞台）： 当 AI 看到真实模式时，交通警会推它沿着一条笔直、快速的路径前进（“漂移”）。这会迅速积累。
- 噪声（地下室）： 当 AI 看到随机噪声时，交通警告诉它原地洗牌（“随机游走”）。它在移动，但没有任何有用的进展。
- 结果： 随着时间的推移，真实模式堆积得越来越高，而噪声保持微小并消失在洗牌中。AI 自然而然地将精华与糟粕分离开来。

3. “顿悟”之谜被解开

你可能听说过一种称为"Grokking"（顿悟）的现象。这是指 AI 似乎长时间处于失败状态（死记硬背训练数据），然后突然毫无征兆地“懂了”，开始完美地解决问题。

论文的解释：
想象 AI 正缓慢地将“信号”从隔音地下室移动到舞台上。
- 起初，AI 被困在地下室里，背诵噪声。
- 慢慢地，“核”（AI 的内部地图）发生演变。
- 最终，真实信号终于从地下室迁移到了舞台。
- Grokking 只是信号到达舞台的那一刻。这不是魔法，只是信号终于赶上了测试。

4. 新工具：“群体风险”训练

作者不仅解释了理论，还基于此构建了一个实用工具。

问题： 通常，为了训练 AI，我们需要一个“验证集”（模拟考试）来检查它是否在学习正确的东西。如果没有，我们可能会无意中教它噪声。
解决方案： 他们创建了一种新的训练规则，充当自我修正过滤器。
- 这种方法不再仅仅查看整个数据批次，而是查看每一个单独的示例，并问：“如果我移除这个示例，AI 还会学到同样的东西吗？”
- 如果答案是“不，它只是在背诵这个特定的噪声”，过滤器就会阻止该更新。
- 如果答案是“是，这是一个真实模式”，过滤器就会允许该更新。

类比：
想象一位老师正在给一名学生评分。

旧方法（AdamW）： 老师查看整份试卷说：“你答对了 90%，干得好！”（即使学生在 10 道题上作弊了）。
新方法（群体风险）： 老师查看每一道题并问：“你是学会了这个概念，还是只是背下了答案？”如果只是死记硬背，老师就忽略那一分。这迫使学生学习概念的速度更快。

5. 他们取得了什么成就？

该论文在三个 AI 通常会失败或陷入停滞的困难任务上测试了这种新方法：

物理模拟（PINNs）： 当训练 AI 解决带有噪声数据的物理方程时，新方法达到正确答案的速度比标准方法快 2.4 倍。
数学谜题（Grokking）： 在一个模数除法数学问题上，AI 在5,950 步内达到了 95% 的准确率，而通常需要29,450 步。它“顿悟”的速度快了 5 倍。
AI 聊天机器人（DPO）： 当用混乱的人类反馈（人们对什么是好的意见不一）微调聊天机器人时，新方法在保持更接近机器人原始安全行为的同时，学到了更好的偏好。

总结

这篇论文告诉我们，深度学习之所以有效，是因为训练过程自然地将“真实学习”与“背诵的噪声”分到了两个独立的房间里。“噪声”被困在一个隔音的地下室里，无法损害 AI 的性能。

通过理解这一点，作者构建了一种新的训练工具，它像一个智能过滤器，自动忽略噪声，只关注真实信号。这使得 AI 学习得更快，解决更难的问题，并在不需要额外数据来检查其工作的情况下，避免陷入“死记硬背的陷阱”。

技术摘要：深度学习中的泛化理论

问题陈述

参数量超过训练样本数量的深度学习模型能够记忆任意噪声，却在真实数据上表现良好的泛化能力。基于容量的经典界限（如 VC 维、Rademacher 复杂度）在实际尺度下是空洞的，而神经正交核（NTK）理论仅描述了核保持冻结的“懒惰”机制。现代架构运行在完整的特征学习机制中，其核在训练过程中会发生显著演化（在算子范数上变化 $O(1)$ ）。目前缺乏一种非渐近理论来解释这种动态机制中的泛化现象，统一诸如良性过拟合和顿悟（grokking）等分散的现象，并提供一种无需验证数据即可直接在总体风险上训练的实际方法。

方法论

作者提出了一种基于实现训练轨迹上输出空间动力学的理论。该核心框架利用累积耗散 Gramian（ $W_S$ ）对输出空间进行分解，该 Gramian 源自经验切核（ $K_{SS}$ ）的演化与输出梯度传播算子（ $P_g$ ）的积分。

1. 信号通道与储层分解

该理论将输出空间划分为两个正交子空间：

信号通道（ $\text{range}(W_S)$ ）： 训练过程中损耗发生耗散的方向。
储层（ $\ker(W_S)$ ）： 训练过程中损耗不发生耗散的方向。

一个关键的理论结果是储层测试不可见性（命题 3.2）：测试转移算子 $G_Q$ 在储层上为零。因此，训练期间被困在储层中的任何残差误差或标签噪声对测试集都是不可见的。

2. SGD 中的漂移 - 扩散分离

在信号通道内部，本文分析了小批量随机梯度下降（SGD）。它证明了时间尺度的分离：

漂移： 相干的总体信号沿信号方向线性累积（ $O(T)$ ）。
扩散： 中心化的波动（噪声）表现为鞅，仅以随机游走方式累积（ $O(\sqrt{T})$ ）。
这确保了随着时间推移，真实信号主导了特异性的记忆，从而抑制了信号通道中的噪声。

3. 特征学习下的训练 - 测试耦合

即使核发生了 $O(1)$ 的演化，本文也证明了在信号通道内，测试运动完全由训练运动决定。通过将训练和测试位移算子按累积耗散（ $W_S^{1/2}$ ）进行归一化，测试位移 $U_Q(T) - U_Q(s)$ 可以表示为训练位移 $U_S(T) - U_S(s)$ 的线性函数加上一个不可约余项 $R_\perp$ 。在平方损失下，该余项消失，从而建立了精确耦合：
$U_Q(T) - U_Q(s) = A^\circ (U_S(T) - U_S(s))$
其中 $A^\circ$ 是从实现轨迹中导出的最优线性预测器。

4. 总体风险训练算法

利用训练数据的可交换性，作者基于**留一法（LOO）**视角推导出了总体风险下降率的无偏估计量。

目标： 他们定义了一个基于平方平均梯度（ $\mu_k^2$ ）与批次方差（ $\sigma_k^2$ ）之比的每参数门控。
规则： 仅当 $\mu_k^2 > \sigma_k^2 / (b-1)$ 时，才更新参数 $k$ 。
实现： 这导致了对 Adam 优化器的修改，仅需增加一个额外的状态向量（用于跟踪流式方差）。这种“总体风险门控”抑制了那些批次信号被噪声主导的参数更新，有效防止了对非相干噪声的拟合。

主要贡献

非渐近泛化理论： 一个能够处理完整特征学习（演化核）而非依赖冻结核近似的框架。它通过将信号和噪声几何分离为测试可见和测试不可见的子空间来解释泛化。
现象的统一解释： 该理论为以下现象提供了单一的机制解释：
- 良性过拟合： 被困在储层（测试不可见）中的噪声。
- 双重下降： 随着模型容量变化，噪声在储层和信号通道之间移动。
- 隐式偏差： $W_S(t)$ 的谱调度从最大到最小特征值填充信号通道。
- 顿悟（Grokking）： 随着核随时间演化，信号从储层迁移到信号通道。
精确的总体风险目标： 一种无需验证数据即可从单次训练运行中推导出精确总体风险目标的方法。该目标精确测量了信号通道中的噪声。
实用算法： 一种作为 Adam 之上信噪比（SNR）预条件器的“总体风险训练”算法。它仅增加微小的计算开销（一个状态向量），且无需对门控阈值进行超参数调整。

结果

所提出的方法在三个标准经验风险训练已知会失败或过拟合的机制中进行了评估：

物理信息神经网络（PINNs）： 在一个含噪声初始条件的平流问题上，总体风险方法达到目标测试误差（ $\ell_2 \le 0.40$ ）的速度比最佳学习率调整的 AdamW 基线快 2.4 倍。它抑制了导致标准训练偏离物理解的噪声拟合。
顿悟（模运算）： 在一个以泛化延迟为特征的模除法任务（ $a \cdot b^{-1} \mod 97$ ）中，该方法在第 5,950 步达到了 95% 的保留集准确率，而 AdamW 需要 29,450 步。这代表了训练步数 4.9 倍 的减少，有效地消除了顿悟延迟。
含噪声偏好对齐（DPO）： 使用 30% 交换的偏好标签对 Qwen2.5-0.5B-Instruct 进行微调，该方法将最终奖励准确率从 0.566 提升至 0.641，同时在平均绝对奖励漂移方面与参考策略的接近程度提高了 3.05 倍。它在 AdamW 无法稳定的情况下保持了持续的高准确率。

意义与主张

本文声称提供了一个统一的理论视角，在不依赖渐近极限或冻结核的情况下，解决了过参数化与泛化之间的张力。通过识别“储层”作为噪声的测试不可见汇点，它解释了为什么过拟合训练数据并不一定意味着过拟合测试数据。

作者断言，他们推导出的总体风险目标不仅仅是一个启发式方法，而是一个精确、无偏的总体风险下降率，可从单次运行中计算得出。其实用意义在于能够直接在总体风险上进行训练，加速收敛（例如，顿悟速度提高 5 倍），抑制隐式神经表征中的记忆，并提高偏好对齐的鲁棒性，所有这些都无需验证集或复杂的超参数搜索。该理论弥合了“懒惰”NTK 机制与“特征学习”机制之间的鸿沟，表明即使核发生显著漂移，泛化机制依然存在。