📊 statistics

Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations

本文表明，在采用全纯单项式激活函数且在模运算任务上进行训练的双层神经网络中，其可表达的函数类会坍缩为一个有限维代数簇，从而导致网络表现出“即时泛化”或“必然训练失败”的二元结果——由此在容量-泛化关系达到其极限状态时，完全消除了生克现象（grokking phenomenon）。

原作者： Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人解决数学谜题。通常情况下，当我们训练这些机器人（称为神经网络）时，我们期望它们通过练习变得越来越好。但有时，会发生一些奇怪的事情：机器人完美地记住了答案，在作业中拿到了满分，但当你给它一个类似的新问题时，它却表现得一塌糊涂。它就那样坐在那里，陷入了“记忆模式”长达数千步。然后，毫无预兆地，它突然切换到了另一种模式，开始正确解决新问题。这种奇怪的、延迟的觉醒被称为**“顿悟”（grokking）**。这就像一个学生为了考试临时抱佛脚，结果第二天把所有东西都忘了，直到一周后才突然理解了其中的概念。

科学家们一直在试图弄清楚为什么会出现这种延迟。他们知道机器人的大脑容量（即“容量”）非常重要。如果大脑太小，它可能永远学不会。如果大脑巨大，它能瞬间学会。但如果处于中间状态呢？延迟是随着大脑变大而缩短吗？还是说，存在这样一个点，机器人的大脑构造如此奇特，以至于无论你等多久，它都无法学会答案？这篇论文通过构建一个极其特殊的、数学上完美的机器人，深入探讨了这个问题，旨在观察当学习规则被推向绝对极限时会发生什么。

拥有“一招鲜”大脑的机器人

本文作者决定不再靠猜，而是开始动手构建。他们没有使用标准的、杂乱的机器人大脑，而是构建了一种特殊的网络，并设定了一个非常严格的规则：它只能以一种特定的数学模式——“全纯单项式”（holomorphic monomial）进行思考。

把这个机器人的大脑想象成一个拥有一套特定钥匙的锁匠。

标准机器人（通用近似器）： 大多数 AI 模型就像是一个拥有巨型工具箱的锁匠。无论你给他们什么样的锁，只要有足够的时间和足够的工具，他们最终都能打开。他们可能需要很长时间来摸索出正确的组合（记忆），然后突然掌握规律（泛化），但他们总是能打开门。
本文中的机器人： 这个机器人只有一种特定的钥匙形状。它只能打开与该形状完全匹配的锁。如果你给它一个不符合该形状的锁，它不仅仅是需要更长时间来打开，而是根本无法打开。这不仅仅是“练习不够”的问题，而是“工具不对”的问题。

研究人员在模运算任务（基本上是数字循环进行的数学问题，类似于时钟）上测试了这个机器人。他们问道：如果机器人的大脑受限到甚至无法表示答案，它还会发生“顿悟”吗？

重大发现：“非黑即白”的开关

他们发现的答案出人意料地简单且具有二元性。这里没有中间地带，没有缓慢的延迟，也没有顿悟。

“是”的情况： 如果机器人被要求解决的数学问题恰好符合其钥匙的特定形状，机器人会瞬间解决。它同时学会训练数据和新数据。没有等待期。这就像是把一把天生配套的钥匙交到了锁匠手中；门立刻就开了。
“否”的情况： 如果问题不符合钥匙的形状，机器人则会彻底失败。它既不会记忆答案，也不会陷入循环。它只会永远停留在随机猜测的水平。训练损失（衡量错误程度的指标）会触及一个硬性的底线，无论你如何扩大机器人的大脑或训练多久，它都不会再下降。

作者从数学上证明了这一点。他们表明，对于这种特定类型的机器人，它能够解决的问题集只是所有可能问题的极小且固定的一个切片。如果你的问题不在那个切片内，机器人从数学上讲就是无法拟合数据的。这不仅是优化问题，更是结构上的不可能。

实验：585 次真相实验

为了证明这不仅仅是一个理论，团队运行了 585 次实验。他们在 39 个不同的数学问题和 5 种不同的“钥匙形状”（激活度）上测试了该机器人。

结果： 机器人的行为与数学预测的吻合度高达 99.8%。
模式： 结果呈现出完美的“阶梯状”。如果问题的数值总和符合正确总量，机器人会立即成功；如果不符合，则立即失败。
缺失的中间环节： 在 585 次运行中，零次出现“顿悟”（延迟成功）的情况，也零次出现“仅记忆而不泛化”（作业正确但考试失败）的情况。机器人要么立即获胜，要么立即失败。

对比：“普通”机器人

为了确保这不仅仅是他们特殊机器人的怪癖，他们在同一个“普通”机器人（使用工业标准的 ReLU 激活函数）上进行了相同的测试。

普通机器人： 这个机器人可以解决所有问题。它能记住一切。但在难题上，它表现出了经典的顿悟行为：它记住了训练集，在那里徘徊了数千步，然后突然实现了泛化。
对比： 导致特殊机器人完全失败的问题，恰恰是让普通机器人产生顿悟的问题。这证明了顿悟中的“延迟”不仅仅是因为问题很难，而是因为机器人的大脑几乎足够大，但又差那么一点点。特殊机器人向我们展示了当大脑太小以至于甚至无法开始比赛时会发生什么。

“瓶颈”测试：弥合差距

研究人员想要看看在“瞬间失败”和“瞬间成功”之间是否存在一条平滑的路径。他们拿出一个普通的机器人，并将其大脑通过一个“瓶颈”进行挤压，使其变得越来越窄。

宽瓶颈： 机器人会顿悟（延迟成功）。
中等瓶颈： 机器人会记忆但永远无法泛化（陷入僵局）。
极窄瓶颈： 机器人甚至无法完成记忆（瞬间失败）。

这个实验将这些点连接了起来。它表明，特殊机器人的“瞬间失败”状态，正是顿悟现象所在的同一光谱的极端端。随着你缩小机器人的容量，延迟会变得越来越长，直到最后，由于机器人甚至无法首先记忆数据，延迟变成了无限长。

关于学习“钥匙”的问题

人们可能会问：“如果机器人能学习自己的钥匙呢？”作者通过让机器人学习自己的输入编码（而不是给定固定的“单位根”编码）测试了这一点。

结果： “瞬间成功”与“瞬间失败”的阶梯状分布消失了。机器人现在可以瞬间解决几乎所有的线性问题。
例外情况： 仍然有一个它无法解决的问题：乘法任务 ( $a \times b$ )。即使拥有了可学习的大脑，机器人的结构仍然过于简单，无法捕捉乘法的复杂性。这证实了失败并非仅仅因为他们喂给机器人的特定数学问题；这是机器人架构本身的一个基本限制。

总结

这篇论文揭示了 AI 训练的一个基本真理：顿悟是记忆与泛化之间的一场竞赛。 但要进行这场比赛，选手必须首先能够系好鞋带。

如果一个神经网络的大脑太小或太僵化，以至于无法表示答案（即“无法系好鞋带”），那么比赛就永远不会开始。这里没有延迟，没有挣扎，也没有突然的觉醒。这里只有硬性的停滞。关于“它何时会顿悟？”的问题，消解成了更简单、更原始的问题：“它到底能不能代表目标本身？”

作者已经证明，当你将网络推向其数学极限时，顿悟那种混乱、令人困惑的行为会消失，取而代之的是一个清晰的、二元的现实：要么数学契合，你立即获胜；要么不契合，你立即失败。这提醒我们，在讨论 AI 如何学习之前，我们必须确保它确实有能力学习我们要求它做的事情。

技术摘要：代数可表示性作为“顿悟”（Grokking）的极限状态

问题陈述
近期关于“顿悟”（grokking）——即神经网络在训练模运算任务时，在经历显著延迟后从记忆转向泛化的现象——的文献指出，模型容量决定了这种转变的时机。然而，现有框架（例如 Song 和 Ye 2026）假设网络足够大，最终能够实现对训练数据的记忆。本文研究了一个极限状态：即网络的表达函数类受到如此严格的约束，以至于其在原理上甚至无法表示目标函数。核心问题在于：当架构的容量在结构上不足以拟合训练集，而不仅仅是拟合速度较慢时，记忆-泛化动态会发生什么变化？

方法论
作者研究了一种特定的、具有精确解的架构：一个具有全纯单项式激活函数 $\sigma(z) = z^k$ 的两层复值神经网络。该网络在模运算任务 $f: \mathbb{Z}_p \times \mathbb{Z}_p \to \mathbb{Z}_p$ （其中 $p$ 为素数）上进行训练，并使用单位根编码，即将输入 $(a, b)$ 映射为 $(\omega^a, \omega^b)$ ，其中 $\omega = e^{2\pi i/p}$ 。

关键方法论选择包括：

代数可解性： 选择 $\sigma(z) = z^k$ 确保了网络输出是一个 $k$ 次多项式。在单位根编码下，这限制了网络输出为群 $(\mathbb{Z}_p)^2$ 的特定特征标（characters）的子空间。
傅里叶分析： 作者利用有限阿贝尔群上的调和分析来刻画“可表达类” $\mathcal{F}_k$ 。他们证明，无论隐藏层宽度 $H$ 如何，网络输出都局限于由频率标签 $(\ell, k-\ell)$ （其中 $0 \le \ell \le k$ ）生成的 $(k+1)$ 维子空间内。
理论界限： 对于不可表示的目标，本文推导了训练损失的下界，证明了损失严格大于零且与隐藏层宽度无关。
实验验证： 该理论通过 585 次实验运行进行了测试，涵盖 39 个任务（35 个线性相位任务，4 个非线性相位任务）和 5 种激活次数（ $k=2$ 到 $6$）。
对比消融实验： 研究包含了一个 ReLU 基准模型（通用近似器）以及一个针对 ReLU 网络的“瓶颈”消融实验，用以追踪从表征失败到顿悟的转变过程。

核心贡献

可表示性的精确代数刻画：
本文对哪些模运算任务属于可表达类 $\mathcal{F}_k$ 提供了完整的刻画。
- 线性相位目标（ $f(a,b) = ma + nb \mod p$ ）：当且仅当 $m + n = k$ 时（假设 $m+n \le k$ ），任务是可表示的。若不满足此条件，目标函数与整个可表达子空间正交。
- 非线性相位目标（例如 $ab$, $a^2+b^2$ ）：这些任务的傅里叶支撑延伸到了对角线 $u+v \equiv k \pmod p$ 之外。本文证明对于任何有限的 $k < p$ ，这些任务都是不可表示的。
- 编码独立性： 通过命题 1，作者表明即使使用学习到的嵌入，任务的可表示性仍受目标矩阵秩的约束。具体而言，任务 $ab$（对应于满秩 DFT 矩阵）对于任何 $k < p-1$ 而言，无论采用何种输入编码，都保持不可表示。
“无记忆”机制：
本文证明，对于不可表示的目标，网络无法记忆训练集。由于输出在代数上被限制在一个不包含目标的子空间内，训练损失被限制在一个正数（谱间隙）之下。因此，不存在“记忆”阶段，不存在“顿悟”延迟，也没有渐进式的改进；网络仅仅是无法拟合数据，始终保持在随机水平的准确率。
二元结果的实证验证：
在 585 次运行中，代数预测与观察结果的匹配度高达 99.8%。结果呈现严格的二元性：
- 可表示任务： 几乎瞬间学习完成（瞬时泛化，INST），且训练准确率与测试准确率之间没有间隙。
- 不可表示任务： 完全失败（FAIL），训练准确率停留在随机水平。
- 在全纯网络中，未出现任何顿悟或“仅记忆而不泛化”的实例。
连接至容量谱系：
本文架起了“代数极端”（全纯网络）与标准通用近似器（ReLU 网络）之间的桥梁。
- ReLU 基准： 标准 ReLU 网络可以记忆所有任务，并在困难的非线性任务上表现出顿悟现象，且延迟随任务复杂度增加而增加。
- 瓶颈消融： 通过使用线性瓶颈压缩 ReLU 网络，作者追踪了一条从 FAIL（当瓶颈过窄无法拟合数据时）到 MEM（记忆但不泛化）再到 GROK（随着容量增加间隙逐渐缩小）的连续路径。这表明，全纯模型中所观察到的 “FAIL” 状态是容量-顿悟谱系的结构极限。

意义与主张
本文认为，探讨“网络何时会顿悟”是一个次要问题，因为它预设了“可表示性”这一首要条件。

极限状态： 全纯网络代表了一个极限情况，即可表达类坍缩为一个固定的代数对象。在此状态下，记忆与泛化速度之间的竞争（顿悟的机制）从未开始，因为记忆阶段在结构上是不可能的。
结构性约束 vs. 优化约束： 研究结果区分了导致标准网络出现顿悟延迟的优化困难，以及导致受限网络出现表征不可能性的结构性表征失败。
障碍的普遍性： 任务 $ab$ 的失败被证明是架构本身秩约束的内在属性，而非固定单位根编码的人为产物。

作者总结道，其工作定义了一个顿悟动态消解为二元可表示性问题的状态。虽然具体的代数结果适用于这种全纯设置，但瓶颈实验表明，三阶段结构（失败 $\to$ 记忆 $\to$ 顿悟）是容量谱系的一个普遍特征，而全纯模型为该谱系中“失败”一端的分析提供了严谨且可解的边界条件。