🤖 machine learning

A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization

本文提出了一个基于暴露（exposure-based）的框架，利用 BLiMP 最小对（minimal pairs）来研究大语言模型预训练过程中的类顿悟（grokking-like）动态，揭示了模型表现出延迟的语法泛化，并伴随着更具预测性的、高维语法概念向量的出现以及集中的注意力模式。

原作者： Sherin Muckatira, Namrata Shivagunde, Vijeta Deshpande, Anna Rumshisky

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sherin Muckatira, Namrata Shivagunde, Vijeta Deshpande, Anna Rumshisky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在通过读给一个孩子听海量的书籍来教他说话，但你从未停下来考考他或给他做测试。你只是不停地读下去。这个研究提出的核心问题是：在孩子记住了听过的特定句子很久之后，他是否会突然“开窍”？

在人工智能研究领域，这种突然的“顿悟”时刻被称为**“大彻大悟”（Grokking）**。通常，科学家通过让计算机学习特定的数学谜题来研究这一点：先让它记住答案，然后观察它稍后是否能解决新的谜题。但现代人工智能（大语言模型）的工作方式并非如此。它们的训练目标是预测句子中的下一个词，而训练过程涵盖了整个互联网（或互联网的巨大组成部分）。在这个过程中，并没有内置任何“测试”或“测验”。

那么，在没有给 AI 进行测试的情况下，如何发现“大彻大悟”的时刻呢？这篇论文的作者想出了一个聪明的办法。

“闪卡”类比

想象 AI 是一个正在阅读图书馆书籍的学生。为了观察他们是真的学会了语法，还是仅仅在死记硬背，研究人员创建了一套特殊的“闪卡”（在论文中被称为 BLiMP）。每张闪卡包含两个句子：

一个正确的句子：“The cat sleeps.”（猫在睡觉。）
一个错误的句子：“The cat sleep.”（猫在睡。）

两者的区别微乎其微（仅一个词的区别），但它们测试了一个特定的语法规则（如主谓一致）。

这个妙招是：
研究人员查看了 AI 在训练期间阅读的海量文本库。他们问道：“AI 以前读过‘The cat sleeps’这个精确的短语吗？”

“见过”组（代理训练/Proxy-Train）： 如果 AI 在它的图书馆里读过这个精确的短语，他们就把它归入“见过”堆。
“没见过”组（代理验证/Proxy-Validation）： 如果 AI 从未读过这个精确的短语，他们就把它归入“没见过”堆。

至关重要的一点是，AI 可能已经学会了语法的规则，但它还没有见过这个特定的句子。

他们的发现：“延迟”时刻

研究人员观察了 AI 随时间变化的表现（就像每天观察一名学生参加考试一样）。以下是发生的过程：

首先，“见过”组变强了。 AI 在那些它在图书馆里字面上读过的句子上的得分迅速提高。它只是在记忆它所见过的东西。
接着，进入停滞期。 AI 在“见过”的句子上的表现持续进步，但在“没见过”的句子上的表现依然很糟糕。它似乎陷入了僵局。
最后，出现了“大彻大悟”的时刻。 突然间，AI 在“没见过”的句子上的得分飙升。它意识到了句子背后的规则，而不只是特定的单词。

这种在“见过”句子的表现提升与“没见过”句子的表现提升之间的差距，就是延迟泛化（Delayed Generalization）。这就像一个学生可以完美背诵他背过的诗，但在几周后，当概念终于理解之后，他才能写出具有相同韵律的新诗。

AI 的“大脑”内部发生了什么？

论文不仅观察了分数，还窥探了 AI 的“大脑”（其内部数学结构），以观察当那个“顿悟”时刻发生时，发生了什么变化。他们发现了两件很酷的事情：

1. “语法地图”变得更加复杂了。
想象 AI 对语法的理解是一张地图。在“顿悟”时刻之前，这张地图是简单且扁平的，就像一条线。在 AI 终于理解了规则之后，这张地图变成了一个拥有更多维度的 3D 结构。AI 不再只是使用一种简单的技巧，而是使用了一个丰富、复杂的连接网络来理解语法。

2. “聚光灯”变得更聚焦了。
AI 使用一种称为“注意力”（attention）的机制来决定句子中哪些词是重要的。在“顿悟”时刻之前，AI 的注意力有些分散，就像一个过宽的手电筒光束。在 AI 学会规则之后，它的手电筒光束变得非常锐利且聚焦，专门指向那些重要的词（比如将“The cat”与“sleeps”联系起来）。这种聚焦发生在 AI 大脑中极少数特定的部分，而不是到处同时发生。

总结

这篇论文证明了，即使你在一个巨大的、杂乱的文本堆中训练 AI 而不给它进行测试，它仍然会经历一个先记忆、后理解的阶段。

他们通过检查 AI 是否见过精确的单词创造了一种新的衡量方式。他们发现，AI 能快速掌握“见过”的词汇，但理解力需要一段时间才能赶上并解决“没见过”的谜题。当这种追赶发生时，AI 思考语法的方式会变得更加复杂且专注。

简而言之： AI 不仅仅是通过死记硬背学习；它有一个延迟的清晰时刻，在那里它终于连点成线，而我们现在可以准确观察到这种时刻何时发生以及是如何发生的。

技术摘要：语言模型预训练中的 Grokking 类比研究

问题陈述

Grokking（顿悟）现象是指神经网络在经过长时间训练后，从记忆训练数据转变为能够泛化到未见过的测试样本的过程（Power et al., 2022），这一现象在具有明确训练/验证集划分且经过多轮迭代的有监督学习设置中已被广泛研究。然而，这种经典的表述无法直接应用于大语言模型（LLM）的预训练。在预训练阶段，模型通过对大规模无标签语料库（如 C4）进行下一标记预测（next-token prediction）进行优化，其数据重复率有限，且针对下游评估任务不存在天然的有监督训练/验证集划分。因此，目前缺乏标准机制来衡量模型是否在预训练阶段先拟合了特定示例，随后才泛化到相同任务的未见变体上。

研究方法

为了填补这一空白，作者提出了一个基于暴露（exposure-based）的框架，旨在构建一个代理训练/验证集，用于研究预训练期间的延迟泛化现象。

基于暴露的代理拆分：
- 本研究利用 BLiMP (Warstadt et al., 2020)，这是一个包含针对特定语法现象的正向（可接受）和负向（不可接受）句子的最小对（minimal pairs）数据集。
- 对于每个最小对，作者提取了一个关键短语（critical phrase）：即包含语法对比及必要上下文的最小连续跨度。
- 代理训练集（已暴露）： 在分析的预训练窗口内，其关键短语以逐字形式出现在 C4 token 中的示例。
- 代理验证集（未暴露）： 关键短语未以逐字形式出现在预训练窗口中的示例。
- 该拆分基于“逐字暴露”程度进行区分，而非基于模型是否在其他语境下见过底层的语法规则。
实验设置：
- 模型： 参数量分别为 35M、60M 和 130M 的 LLaMA 式仅解码器（decoder-only）模型。
- 训练： 在英文 C4 数据集上训练 2,000 个步长（约 2 亿个非填充 token），每 100 个步长保存一次检查点。
- 评估： 在 BLiMP 最小对上测量准确率。如果模型为可接受句子分配了更高的概率，则视为正确。
- 指标： 延迟泛化滞后（ $\Delta t$ ） 定义为代理训练集与代理验证集达到 80% 准确率阈值之间的训练步长差。
验证与分析：
- 匹配随机拆分测试： 为确保观察到的滞后并非由拆分规模或任意样本差异导致的伪影，作者生成了 1,000 个保持原始组大小的随机拆分。他们将基于暴露的滞后与该零分布进行了比较。
- 表示分析： 作者构建了语法概念向量（ $v_i = h_{gram} - h_{ungram}$ ）以衡量语法与非语法句子的可分性，并计算这些向量的有效秩（effective rank），以分析表示空间的维度。
- 注意力分析： 追踪从关键 token 到解决语法依赖所需的上下文 token 的注意力权重，测量注意力强度和熵的变化。

核心结果

观察到延迟泛化： 在五种语法现象（如主谓一致、存在句中的 There Raising）中，代理训练集（已暴露）一致地比代理验证集（未暴露）更早达到高准确率（80%）。这证实了预训练中的 grokking 类比现象，即模型在处理直接暴露的示例后表现良好，随后才泛化到结构相似但未逐字暴露的示例。
滞后性的验证： 匹配随机拆分置换检验确认，这种滞后具有统计学显著性（ $p < 0.05$ ），且不能仅由拆分规模来解释。滞后现象专门与逐字关键短语的暴露相关。
概念向量的变化：
- 可分性： 语法概念向量的 AUROC 在预训练期间通常会增加，表明语法与非语法句子之间的可分性得到提升。
- 维度： 在延迟泛化转变之后，语法概念向量的有效秩增加。这表明语法概念变得分布在更高维度的子空间中，而不是坍缩到少数几个主方向上。
注意力重组： 向泛化的转变伴随着局部的注意力变化。具体而言，从关键 token 到相关上下文 token 的注意力在少数特定的注意力头中有所增加。这些变化是现象特异性的（例如，主谓一致与限定词-名词一致涉及不同的层/头），而非模型整体的统一偏移。

主要贡献

框架： 引入了一个基于暴露的框架，能够在没有显式下游监督的情况下，研究 LLM 预训练期间的类 grokking 动态。
经验证据： 证明了在五种语法现象中，具有逐字关键短语暴露的示例比没有此类暴露的示例更早达到高准确率。
鲁棒性： 通过匹配随机拆分测试，验证了观察到的滞后并非数据集拆分产生的伪影。
机制洞察： 提供证据表明，行为上的泛化转变伴随着语法特定概念向量几何结构的变化（维度增加）以及局部的注意力重组。

意义与主张

本文声称提供了一个“经典 grokking 设置的预训练类比”。通过利用语料库暴露作为训练数据的代理，作者证明了即使在预训练这种无监督的下一标记预测设置中，延迟从拟合到泛化的转变也是可以观察到的。

作者强调，其发现表明语料库暴露可用于研究类 grokking 的延迟泛化。机制分析表明，这种行为转变不仅仅是性能指标的变化，而是根植于模型的内部表示：语法概念变得更具可分性并占据更高维度的子空间，同时注意力机制会重新组织，以更强地聚焦于依赖相关的上下文 token。

该研究在范围上保持了审慎，指出其“代理验证”拆分代表的是没有逐字暴露的示例，而非完全未见过的语法。该框架目前仅限于可以定义关键短语为子句间跨度的语法现象。