Grokking the Discrete Logarithm: Scaling Across Model Capacity and Mechanistic Analysis
本文首次系统地展示了 Transformer 模型可以在全变量基离散对数问题上表现出“顿悟”（grokking）现象——即从记忆向算法泛化过渡的延迟过程——并揭示了这一现象随模型容量呈非单调缩放，且是由乘法特征与傅里叶对齐表示的出现所驱动的。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能的广袤领域中，研究人员一直在试图理解机器是如何学习的。一种被称为“顿悟”（grokking）的现象最近引起了他们的关注，这种行为非常令人费解。想象一个学生为了考试背下了教科书上的每一个答案。他们可以完美地背诵出答案，但如果被问到一个稍微不同的问题，就会彻底失败。顿悟是那个时刻——通常发生在学生已经背熟了材料很久之后——在那时，他们突然不再仅仅是背诵事实，而是开始真正理解底层的规则。这种从死记硬背到真正泛化（generalization）的转变发生得非常突然，有时是在经过了数千小时的练习之后，这让科学家们感到困惑：机器的大脑是如何以及为何突然重新组织自身，从而找到数据背后的逻辑。
这种现象最初是在简单的数学任务中被发现的，但大卫·维斯特伦德（David Vesterlund）的一项新研究将其带入了更为困难的领域。研究人员试图观察一个计算机模型是否能够“顿悟”一个对人类和机器都极具挑战性的问题：离散对数（discrete logarithm）。简单来说，这是一个逆向工程谜题。如果你知道一个起始数字和一个最终数字，任务就是计算出你必须将起始数字连续相乘多少次才能达到最终的那个数字。虽然正向计算很容易，但逆向推导却极其困难，尤其是在数字很大且规则严格的情况下。这种特定类型的数学问题是现代数字安全的基础，因此也是对任何学习系统严苛的测试。维斯特伦德想看看一个神经网络（一种旨在模仿人类大脑的 AI）是否最终能破解这个密码，不是通过记忆每一个可能的答案，而是通过发现连接它们的隐藏数学结构。
为了进行这项研究，研究人员构建了一系列从小型到大型的计算机模型，并向它们输入了一个包含大量这类逆向工程谜题的数据集。这些模型的训练基于一个特定的质数 113，它定义了游戏的规则。其中最成功的那个小型模型拥有约 427,000 个可调节参数，这个数字代表了其内部大脑的复杂度。当训练开始时，该模型的表现完全符合机器学习系统的预期：它迅速记住了它见过的答案，在练习题上取得了近乎完美的得分。然而，在测试新的、未见过的谜题时，它的表现并不比随机猜测好多少。在很长一段时间内，模型似乎陷入了这种记忆状态，无法实现泛化。
然而，在增加了数千个额外的训练步骤后，戏剧性的一幕发生了。模型突然开始能够正确解决新的谜题，从随机猜测跃升到了近乎完美的准确率。这就是“顿悟”的时刻。这种延迟非常显著：模型实现真正理解所需的训练步骤，大约是单纯记忆答案所需步骤的三百倍。为了确定这究竟是一个偶然现象还是这些系统的基本属性，研究人员测试了十二个不同规模的模型，从只有 90,000 个参数的小型模型到拥有超过 1,400 万个参数的庞大模型。结果显示，顿悟并不受限于特定的规模。它出现在中等规模的模型中，也出现在最大的模型中，前提是给予了足够的训练数据。有趣的是，存在一个模型无法学习的中等范围，这表明大脑的大小与所需数据量之间的关系是复杂的，并非简单的线性关系。
为了弄清楚模型在发生这种转变时其内心究竟发生了什么，研究人员仔细观察了模型用于决策的内部信号。他们发现，随着模型从记忆转向理解，其内部语言发生了变化。它不再依赖于简单的、表层的模式，而是开始围绕一种特定的数学节奏来组织其知识，类似于声波可以分解为不同的频率。通过使用一种寻找简单方程来描述这些内部信号的技术，研究人员发现，模型自发地学会了使用三角函数模式——即正弦（sine）和余弦（cosine）波——来表示解。这是一个深刻的发现，因为模型从未被明确教授过如何使用这些波形；它是通过自我探索，发现了这些波形是解决该谜题最高效的方式。
该研究还包含了严格的检查，以确保模型不仅仅是找到了针对所用数字的捷径。研究人员在另一个规则略微复杂且数字为质数的版本问题上测试了模型，排除了任何容易利用的捷径。模型依然实现了“顿悟”，证明它们学习到的是通用规则而非特定技巧。此外，当模型在从未见过的生成器上进行测试时，它们依然成功了，这表明它们真正掌握了系统的底层逻辑。研究表明，这种理解力的突然飞跃的关键在于一种特定的训练技术，即逐渐增加简化模型内部连接的压力，迫使模型丢弃记忆中的细节，仅保留本质的结构。
这项工作确立了离散对数作为研究人工智能如何学习的强大工具。它证明了即使对于不存在简单规则的困难逆向问题，神经网络最终也能从死记硬背过渡到深层的结构化理解。研究结果证实，这种转变并非魔法事件，而是一个可衡量的过程，涉及将内部表示重新组织为高效的类波形模式。虽然这项研究是在相对较小的数值上进行的，并且并未解决破解现实世界加密的问题，但它为观察学习机制提供了一个清晰的窗口。它表明，只要给予足够的时间和合适的条件，这些系统就可以超越对过去的记忆，进而理解支配未来的规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。