💻 computer science

Mechanistic Interpretability of Discrete Logarithm Grokking: How Representation Determines the Internal Algorithm

本文表明，离散对数问题的输入表示从根本上决定了神经网络所发现的内部算法，揭示了与问题真实分解结构的代数对齐是实现快速泛化（grokking）的先决条件，并且必要的富交互计算结构在性能提升之前很久就在记忆阶段形成了。

原作者： David Vesterlund

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

原作者： David Vesterlund

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在计算机科学的寂静角落，研究人员正试图理解人工智能究竟是如何思考的。多年来，我们已知这些系统可以学会解决复杂的谜题，但其过程往往看起来像是一种魔法：一个模型可能会长时间反复失败，突然间记住了答案，然后在一段奇特的停顿之后，开始进行泛化并解决从未见过的新问题。这种现象——即机器在仅仅记住数据很久之后才似乎“领悟”（grok）了一个概念——已成为一个核心谜团。为了破解这一密码，科学家们经常使用具有清晰且隐藏结构的数学问题，就像一把带有特定钥匙的锁。其中一个问题是离散对数，这项任务要求计算机逆转一个乘法过程以寻找一个隐藏的数字。虽然这听起来很抽象，但正是这类逻辑谜题揭示了神经网络的内部机制。通过观察计算机如何学习解决这个特定的谜题，研究人员可以精确地看到机器发明了什么样的内部策略，以及我们展示问题的方式是否改变了它找到的解法。

大卫·维斯特伦德（David Vesterlund）的一项新研究通过提出一个简单而深刻的问题，将这一调查推向了更深层次：我们呈现信息的方式是否会改变计算机思考的方式？为了验证这一点，研究人员训练了人工智能模型，利用两种截然不同的数据展示方法来解决离散对数问题。在第一种方法中，模型被给予原始数字，就像人类在纸上看到它们一样，没有任何关于底层结构的特殊提示。在第二种方法中，研究人员在将问题展示给模型之前，先将其分解为自然的数学组成部分，实际上是递给计算机一个预先分类好的工具包。结果显示，这两种方法导致模型发现了完全不同的内部算法。基于原始数据训练的模型开发出了一个复杂且纠缠不清的连接网络，其中问题的不同部分深度交织在一起。相比之下，获得预先分类、结构化数据的模型则开发出了一个简洁、分离的组织结构，其中问题的不同部分被独立处理。

最令人惊讶的发现或许是这种学习的时机。研究人员发现，原始数据模型中的复杂、纠缠结构在模型实际开始答对题目之前，就已经开始形成了。在数千个步骤中，模型的内部连接一直在重新排列成这种复杂的模式，而其测试得分却一直停留在低水平。直到很久以后，在内部结构完全构建完成后，模型才突然“开窍”并开始正确解决问题。这表明，机器在能够展示其理解力之前，就已经在构建必要的机制来理解。研究还表明，这种内部架构不仅仅是一个副作用，而是完成任务所必需的。当研究人员手术式地移除模型内部数学结构的特定部分时，系统完全失效了，这证明了这些特定的模式才是驱动解决方案的真正引擎。

该研究还纠正了以往研究中关于如何测试这些模型的误解。一种常用的技术是通过打乱数据的标签，以观察模型是否依赖于数字的特定顺序。新的分析证明，这种打乱方法实际上是一个骗局；因为模型会学习自己的符号词典，仅仅重命名数字并不会真正改变它所看到的底层数学结构。模型仍在解决同一个具有结构的题目，只是换了名字而已。这一发现至关重要，因为它为更诚实的测试扫清了障碍。研究人员随后创建了一个新的测试层级，其中一些测试保持了数学结构的完整性，另一些则刻意破坏了结构。他们发现，只有当输入保留了问题的真实数学“划分”时，模型才能快速学会解决问题。如果输入打乱了方程各部分之间的关系，模型会完美地记住训练数据，但永远无法学会解决新问题，即使经过长时间的训练也是如此。

最终，这项工作表明，输入表示不仅是加速或减慢学习过程，它从根本上决定了机器所发现的算法。当问题以尊重其自然数学划分的方式呈现时，机器会找到一条通往解决方案的简单、高效的路径。当问题以原始、无结构的方式呈现时，机器被迫构建一个更加复杂的内部世界来弥补差距，并且需要更长的时间才能学会如何利用这种复杂性。研究证实，对于这些人工系统而言，通往理解的道路是由信息的结构铺就的。这不仅仅是关于它们看到了多少数据，而是关于这些数据的排列方式。机器不仅学习答案，它还学习一种由问题的形状所决定的特定的思考方式。

技术摘要：离散对数 Grokking 的机械可解释性

1. 问题陈述

本研究调查了代数学习问题的输入表示（input representation）如何决定神经网络所发现的内部算法（internal algorithm）。研究重点在于**离散对数问题（DLP）**在 grokking（即模型在突然实现测试集泛化之前，先长时间处于记忆训练数据的现象）背景下的表现。

核心问题不仅在于 grokking 是否发生，而是在于网络构建了什么样的内部机制，以及该机制如何受到输入表示是否暴露或破坏底层代数结构（特别是循环群的中国剩余定理 [CRT] 分解）的影响。

2. 方法论与实验设置

2.1 任务与数据

问题： 解 $h = g^x \pmod p$ ，其中 $p=113$ （一个素数），群阶为 $N = p-1 = 112 = 7 \times 16$ 。
CRT 分解： 该问题允许自然分解为 $x \pmod 7$ 和 $x \pmod{16}$ 。
数据集： 从 48 个生成元中生成的全部 5,376 个三元组 $(g, g^x, x)$ 。划分方式：30% 训练集，70% 测试集。
模型： 一个 2 层 Transformer（42.7 万参数，128 隐藏层维度，4 个注意力头）。

2.2 输入表示

研究对比了几种输入编码，以测试代数对齐的必要性：

RAW (R0)： 标准序列 $[BOS, g, SEP, h, EOS]$ 。没有显式的分解。
TRUE CRT (R1)： 显式分解的输入 $[BOS, g_b, SEP, g_a, SEP, h_b, SEP, h_a, EOS]$ ，暴露了子群投影。
SCRAMBLED（打乱）： 对所有 CRT 位置应用单一的固定置换。
负控制组（代数破坏的层级）：
- PERMUTED CRT (R2)： 每个因子进行独立的置换（保留了分区，但破坏了顺序）。
- ROLE-DECOUPLED CRT（角色解耦 CRT）： 生成元位置与结果位置使用不同的置换（保留了分区，但破坏了共享的共轭性）。
- GLOBAL RANDOM BIJECTION (R3)（全局随机双射）： 随机双射，破坏了群律和因子分区。
- ORDER-MATCHED (R3O) & MIXED RADIX (R4)（顺序匹配与混合基数）： 这些变体保留了信息，但破坏了代数结构。

2.3 分析技术

2D CRT 傅里叶分解： 将隐藏层激活分解为傅里叶模态： $E_A$ （仅因子 A）、 $E_B$ （仅因子 B）以及 $E_{AB}$ （跨因子交互）。交互比例 $R_{int} = E_{AB} / (E_A + E_B + E_{AB})$ 量化了表示的可分离性。
时间分析： 通过追踪 32 个检查点（0–65K epoch）的傅里叶能量和测试准确率，以确定内部结构形成相对于泛化的时间点。
因果消融（Causal Ablation）： 对傅里叶子空间（ $U_A, U_B, U_{AB}$ ）进行 Top-k 消融，并使用 100 个秩匹配且方差匹配的随机控制组，以验证因果必要性。
代数结构评分： 包括同态评分（ $S_{hom}$ ）和调整后的兰德指数（ARI），用于量化表示保留群律和因子分区的程度。

3. 核心贡献

差异化的内部算法： 证明了 RAW 和 CRT 表示会导致性质截然不同的内部组织。RAW 开发出一种非可分的、富含交互的结构（ $E_{AB} \approx 0.65$ ），而 CRT 则开发出一种可分的结构（ $E_{AB} \approx 0.01$ ），尽管它们解决的是同一个任务。
交互作用的时间形成： 表明 RAW 模型中的富交互结构是在记忆平台期（15K–30K epoch）形成的，大约在可见的泛化（约 50K epoch 时发生 grokking）之前 20K epoch。
SCRAMBLED 审计： 证明了先前研究中的“SCRAMBLED”表示在初始化时与 TRUE CRT 是完全共轭的。由于模型使用学习到的类别嵌入，全局标记置换会被嵌入表吸收，这意味着 SCRAMBLED 保留了所有的代数结构（ $S_{hom}=1.0$ ），并未真正测试代数破坏。
负控制组层级： 确立了保留真实 CRT 因子分区是实现快速泛化的关键要求。保留分区的表示（TRUE CRT、PERMUTED CRT、ROLE-DECOUPLED CRT）均能实现 grokking，而破坏分区的表示（R3、R3O、R4）即使在 100K epoch 后也无法实现 grokking。
傅里叶模态的因果必要性： 通过 Top-k 消融确认，A 模态、B 模态以及 AB 交互模态对于计算都是因果必要的（ $p < 0.01$ ）。

4. 关键结果

4.1 表示决定算法

RAW 模型： 开发出一种依赖于跨因子交互的复杂内部算法。在平台期（15K–30K epoch），交互能量（ $E_{AB}$ ）从 35% 上升到 52%，而此时测试准确率保持平稳（~30%）。
CRT 模型： 开发出一种可分的算法。模型在早期就能发现分量信息（ $x \pmod 7$ 和 $x \pmod{16}$ ），但稍晚才学会如何重新组合它们。
结论： 输入表示不仅改变了学习速度，更从根本上改变了内部算法（可分 vs. 富交互）。

4.2 因子分区保留的必要性

快速 Grokking： TRUE CRT（~~20K epoch）、PERMUTED CRT（~~8K）、ROLE-DECOUPLED CRT（~26K）均实现了近乎完美的泛化。
无法 Grokking： GLOBAL RANDOM BIJECTION (R3)、ORDER-MATCHED (R3O) 和 MIXED RADIX (R4) 即使在经历了完整的记忆过程和最大权重衰减后，仍无法实现泛化（ $T_{grok} > 100K$ ）。
启示： 仅仅将输入分解为两个坐标是不够的。表示必须保留真实的代数分区（即特定群元素到 CRT 因子的映射）。

4.3 “SCRAMBLED”误区

本研究纠正了现有文献中一个潜在的误解。由于 SCRAMBLED 与 CRT 共轭，其快速 grokking 并不意味着代数对齐是不必要的。它仅仅证实了当代数结构通过词表重标记得以保留时，模型可以学习该算法。

4.4 因果验证

对 Top-k 傅里叶子空间进行消融会导致灾难性的性能下降（ $\Delta \approx -0.89$ 至 $-0.96$），而随机控制组的影响微乎其微。这证实了所识别的傅里叶模态不仅是相关的特征，而且是计算所必需的。

5. 意义与主张

本文声称，输入表示是神经网络所发现的内部算法的主要决定因素。

机械论洞察： Grokking 并非一种单一的现象；泛化的路径取决于网络必须构建复杂的交互模态（RAW）还是可以依赖预先暴露的可分结构（CRT）。
代数对齐： 在代数任务中，实现快速泛化需要输入表示保留底层群结构的真实因子分区。简单的信息保留或任意的分解是不够的。
方法论修正： 本研究强调了机械可解释性中的一个关键陷阱：如果模型使用学习到的嵌入，通过标记置换来“打乱”输入可能是无效的，因为这种置换可以被吸收，从而不会破坏底层的代数逻辑。
时间动态： 实现泛化所需的内部结构（特别是 RAW 中的跨因子交互）在模型表现出泛化能力之前很久就已经形成了，这表明“平台期”是一个结构构建阶段，而非仅仅是记忆阶段。

作者保持了审慎的范围，指出时间分析使用了单一种子以及目前仅限于 $p=113$ 等局限性，并将这些内容作为未来研究的方向而非当前的结论。