📊 statistics

A Stochastic--Geometric Theory of Scaling Laws in Grokking

本文提出了一种随机几何理论，将“顿悟”（grokking）解释为 Adam 参数空间内从记忆壳层到泛化核心的优化诱导转变，并据此推导并验证了基于学习率、批大小和正则化的延迟时间标度律。

原作者： Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一个电子游戏角色试图解开一个棘手的谜题。起初，这个角色在周围疯狂奔跑，死记硬背着刚才走过的每一步路径。他们瞬间就把分数降到了零，但他们并没有真正理解规则；他们只是记住了这张特定的地图。这被称为记忆化（memorization）。

接着，神奇的事情发生了。在一段漫长、枯燥且似乎没有任何变化的时期后，角色突然停了下来，盯着棋盘看，然后“开窍”了。他们开始完美地解决全新的、从未见过的谜题。这种突然的“顿悟”时刻，研究人员称之为顿悟（grokking）。

长期以来，没有人知道为什么会出现这种延迟。是魔法吗？还是程序错误？在这篇论文中，作者提出了一种新方法，通过形状和距离的地图来可视化计算机“大脑”（神经网络）内部正在发生的事情。

解决方案的洋葱

作者提出，计算机“大脑”可以存在的空间看起来像一组嵌套的球体，有点像洋葱或靶子。

外壳（初始化）： 当计算机开始运行时，其参数分布在一个薄薄的外壳上。这就像投掷飞镖，所有的飞镖都落在了一个巨大气球的最边缘。
中间层（记忆化）： 随着计算机的学习，它会迅速滑落到一个中间层。在这里，它完美地记住了训练数据。这就像我们游戏中那个记住了地图但不懂规则的角色。计算机会在这里卡住很长时间。
核心（泛化）： 在洋葱深处的核心位置，存在着“泛化”核心。这是最理想的状态，此时计算机真正理解了规则，并能解决新问题。

“顿悟”现象仅仅是从中间层穿过空隙，向核心进发的旅程。谜团在于：为什么到达那里需要这么长时间？

醉汉步态与磁力吸引

作者解释说，计算机的学习过程（使用一种称为 Adam 的优化器）是两种力量的结合：

醉汉步态（扩散/Diffusion）： 因为计算机从小批量的数据中学习，它的路径有点摇晃，就像一个走直线时踉踉跄跄的醉汉。这种摇晃是随机的。
磁力吸引（漂移/Drift）： 还有一个稳定的力量将计算机拉向中心，特别是由于一种称为 $\ell_2$ 正则化（ $\ell_2$ regularization）的规则（这就像一个温柔的磁铁，试图让参数保持微小）。

论文指出，计算机之所以卡在中间层，是因为“醉汉步态”太弱，无法将其推离该层，而“磁力吸引”又不够强，无法立即将其直接拖向中心。它必须在中间层徘徊一段时间，直到偶然间，随机的摇晃将其推得足够远，从而掉入核心。

游戏的规则（缩放法则）

作者不仅仅是在猜测；他们使用了数学（具体来说是停止时间理论和随机微分方程）来精确预测这种延迟应该持续多久。他们发现了三个控制速度的“旋钮”：

学习率 ( $\eta$ )： 这是计算机迈出的步幅大小。论文显示，如果你把步幅迈得太小，它要花很长时间才能逃离中间层。如果你迈得太大，计算机可能会错过目标。这里存在一个“金发姑娘区”（即适中区间）。
批量大小 ( $b$ )： 这是计算机在迈出一步之前观察的样本数量。论文表明，更大的批量会让“醉汉步态”的摇晃程度降低，这实际上减慢了从中间层逃脱的速度。
正则化 ( $\lambda$ )： 这是“磁力吸引”的强度。论文发现，更强的吸引力有助于计算机更快地逃离中间层，但仅限于一定限度内。

他们推导出了关于这些旋钮如何改变顿悟时间的特定公式（缩放法则）。例如，从记忆化跳转到泛化的时间大约与 $1/(\eta \lambda)$ 成正比。这意味着如果你将学习率或正则化翻倍，延迟时间就会减半。

他们排除了什么

论文非常谨慎地说明了他们并非在声称什么。他们并没有说顿悟是因为网络突然“找到了某个电路”，或者是因为某种神秘的类生物觉醒。相反，他们认为这纯粹是解空间几何结构和优化过程随机性的结果。他们也排除了这仅仅是一个随机巧合的观点；他们的数学表明，这是 Adam 优化这些特定类型问题时的一个可预测的、结构性的特征。

他们有多确定？

作者对他们的理论相当自信，但他们小心地区分了什么是他们证明过的，什么是他们测量到的。

数学层面： 他们利用基于连续时间模型的严谨数学证明，推导出了这些缩放法则。他们使用了一个符号代数系统（一个进行数学运算的计算机程序）来检查他们的公式，这使他们对方程组充满信心。
证明层面： 他们在两种特定类型的谜题上测试了他们的想法：群论学习（具体是在对称群 $S_5$ 上）和模运算（具体是在整数模 127 下，写作 $Z_{127}$ ）。
结果层面： 在这些实验中，计算机的行为与他们的预测完全吻合。例如，当他们改变学习率或批量大小时，顿悟所需的时间确实按照他们的公式发生了变化。他们还观察到了他们理论预言会发生的记忆化半径的“U型”曲线。

然而，他们也指出，他们的数学模型依赖于某些条件，比如较小的学习率和大批量。他们并不声称这能解释所有神经网络中出现的每一个顿悟实例，而是解释了在这些存在“壳-核”几何结构的特定结构化任务中的顿悟现象。

总结

顿悟并非魔法，而是一场几何之旅。计算机从外部开始，卡在“记忆化外壳”中，必须在其中徘徊，直到学习过程中的随机噪声将其推入“泛化核心”。完成这一跳跃所需的时间取决于它迈步的速度（学习率）、步行的稳定性（批量大小）以及被拉向中心的强度（正则化）。作者用数学绘制了这些规则，并通过实验进行了验证，为我们揭示了为什么这些神经网络有时似乎会长时间沉睡，然后突然“醒来”。

问题陈述
延迟泛化（即“grokking”）是在神经网络训练于无噪声、高度结构化任务（例如模运算、群论学习）时观察到的一种现象。在这些设置中，模型能迅速实现接近零的训练损失（记忆化），但在经历了一段长时间的失败泛化后，会突然转向强泛化性能。尽管已有广泛的实证研究，但驱动这种延迟的底层机制以及超参数（学习率、批大小、正则化）的具体作用仍难以理解。

方法论
作者提出了一个随机几何框架，通过 Adam 优化器结合 $\ell_2$ 权重收缩正则化的优化动力学来表征 grokking。

拓扑特征化： 论文假设 Adam 的优化动力学在参数空间中诱导了一种“壳–核”（shell–core）拓扑构型。
- 初始化： 解集中在一个薄的外层超球面壳（ $\Theta$ ）上。
- 记忆化： 在 $\Theta$ 内部包含一个记忆化解的壳（ $M \setminus G$ ），模型在此拟合训练数据但无法泛化。
- 泛化： 在中心处存在一个紧凑的泛化解核心（ $G$ ）。
- 从记忆化到泛化的转变被建模为从外层壳向内层核心的随机逃逸。
随机微分方程 (SDE) 公式化：
- 作者推导了 Adam 动力学的连续时间极限，构建了一个关于参数 ( $\theta$ ) 以及一阶和二阶矩估计 ( $m, v$ ) 的联合状态 SDE。该 SDE 考虑了小批量梯度的随机性和 Adam 的偏差修正机制。
- 后期阶段简化： 实证观察表明，在训练后期（记忆化之后），矩估计趋向于其均值场极限，且梯度噪声变得微小且各向同性。这些特性使得复杂的联合状态 SDE 可以简化为一个受控的径向 SDE，用于控制参数平方范数（ $r_t^2 = \|\theta_t\|^2$ ）的演化。
停时分析：
- 利用随机过程的停时理论对从记忆化流形 ( $\partial M$ ) 到泛化流形 ( $\partial G$ ) 的转换时间进行分析。
- 作者通过求解由简化后的 SDE 导出的 Dirichlet 边界值问题和平均首次到达时间方程，推导出了流形半径和预期转换时间的标度律（scaling laws）。

核心贡献

优化诱导的壳–核拓扑： 论文引入了一个理论先验，即初始化集中在包围记忆化解的外壳上，而记忆化解又包围着泛化核心。这种构型是由带有权重收缩的 Adam 动力学特有的。
随机–几何表征： Grokking 被正式表征为一个随机转换问题。解空间的几何形状由随机梯度流逃离记忆化流形并到达泛化流形的第一个停时所定义。
标度律的推导： 作者推导出了以下项的闭式渐近标度律：
- 记忆化半径 ( $\rho_M$ )： 取决于学习率 ( $\eta$ )、批大小 ( $b$ ) 和正则化系数 ( $\lambda$ )。理论预测其对 $\eta/b$ 的依赖呈 U 型关系。
- 泛化半径 ( $\rho_G$ )： 取决于 $\eta, \lambda, b$ ，并分解为一个与景观相关的项和一个波动修正项。
- 解转换时间 ( $\tau_{M \to G}$ )： 从记忆化转向泛化的预期迭代次数与正则化系数 ( $\lambda$ ) 和学习率 ( $\eta$ ) 成反比，具体表现为 $\tau \propto 1/(\eta \lambda)$ 。

结果
理论预测通过在两个结构化学习任务上的实验得到了验证：对称群 $S_5$ 上的群论学习和 $\mathbb{Z}_{127}$ 上的模运算。

实证验证： 实验证实了预测的流形半径和转换时间的标度律在不同超参数下的表现。
U 型曲线： 数据支持了理论预测，即记忆化半径 $\rho_M$ 对 $\eta/b$ 呈现 U 型曲线。
文献回归： 推导出的标度律恢复了先前文献中的已知实证结果，例如 grokking 延迟与正则化的反向依赖关系，以及权重范数的“黄金区”（Goldilocks zone）。
符号验证： 所有闭式和渐近结果均使用符号代数系统 (Julia) 进行了机器检查，以确保技术正确性。

意义
该论文声称提供了一个将解流形的几何形状与 Adam 优化器的随机动力学联系起来的理论框架。通过利用 SDE 的停时分析来表征 grokking，这项工作提供了一种对延迟泛化现象的机理性解释。它阐明了特定超参数如何调节随机扩散和确定性漂移，从而影响模型从记忆化过渡到泛化所需的时间。作者指出，其结果依赖于 Adam SDE 极限所需的条件（足够小的学习率和足够大的批大小），并不直接适用于大 $\eta/b$ 机制。

解决方案的洋葱

醉汉步态与磁力吸引

游戏的规则（缩放法则）

他们排除了什么

他们有多确定？

总结

类似论文