💬 NLP

Convergent Evolution: How Different Language Models Learn Similar Number Representations

该论文揭示了不同架构的语言模型在训练过程中呈现出“收敛进化”现象，即它们均能习得具有特定周期性的数字特征，但仅当数据、架构、优化器或分词器等条件满足时，这些特征才具备几何可分性以支持模运算分类。

原作者： Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的现象：为什么不同的语言模型（就像不同的大脑）在学习数字时，会“不约而同”地发展出相似的思维方式？

作者把这种现象称为**“趋同进化”（Convergent Evolution）**。就像在生物学中，鱼和鲸鱼虽然亲缘关系很远，但因为都要在水里生活，所以都进化出了流线型的身体和鳍；同样地，不同的 AI 模型虽然架构不同，但因为都要处理数字，所以也进化出了相似的“数字直觉”。

但这篇论文最核心的发现是：这种“相似”其实分两个层次，而且只有其中一个层次才是真正“懂”数学的。

我们可以用**“看钟表”和“读时间”**这两个比喻来理解：

1. 第一层：大家都有的“钟表指针”（频谱收敛）

想象一下，所有的模型（无论是像 Transformer 这样的大模型，还是像 LSTM 这样的老式模型，甚至是简单的词频统计）在观察数字时，它们的“大脑”里都会出现一种周期性的波动。

比喻：就像所有模型都戴着一块钟表。当数字增加时，这块钟表的指针会按照固定的节奏（每 2 个、5 个、10 个数字）转一圈。
现象：论文发现，无论模型怎么训练，只要它见过自然语言中的数字，它的“钟表”就会在特定的频率（2, 5, 10）上出现强烈的信号。
结论：这就像所有模型都学会了“数字是有节奏的”，这是一种表面的、统计上的规律。甚至连没有学习能力的“原始词频分布”（就像只数数书里出现了多少个"1"、"2"）都有这种节奏。

2. 第二层：只有少数人真的“会读时间”（几何收敛）

虽然大家都戴了钟表，但并不是所有人都会看时间。

比喻：
- 会读时间的模型（如 Transformer）：它们不仅指针在转，还能准确地告诉你：“现在是 3 点”或者“现在是 8 点”。它们能把数字清晰地分类，比如把“余数为 0 的数”和“余数为 1 的数”在脑海里完全分开。这叫做**“几何可分性”**。
- 不会读时间的模型（如 LSTM）：它们的指针转得甚至比 Transformer 还快、信号还强（频谱更明显），但它们完全分不清现在是几点。在它们眼里，余数为 0 的数和余数为 1 的数混成一团，乱作一团。
核心发现：论文证明，“指针转得动”（有周期性信号）并不等于“能读时间”（能准确分类）。很多模型只是学会了数字出现的频率规律，却没学会数字背后的数学结构。

3. 为什么有的模型“会读”，有的“不会读”？

这就好比为什么有的学生能真正理解数学，而有的只是死记硬背。作者通过实验发现，这取决于三个关键因素：

A. 数据（教材）

比喻：如果教材里只让你背数字（比如把数字和文字强行拆开，或者把数字随机打乱），模型就学不到真正的规律。
发现：只有当模型能看到数字和文字的自然搭配（比如“我有 3 个苹果”），并且能看到数字之间的互动（比如"3 加 4 等于 7"）时，它才能真正学会“读时间”。

B. 架构（大脑结构）

比喻：有些大脑结构（如 Transformer）天生就擅长处理这种“时钟”逻辑，而有些结构（如 LSTM）虽然也能看到时钟在转，但它的内部结构太混乱，导致指针转得再快也理不清头绪。
发现：Transformer 和线性 RNN 能学会真正的分类，而 LSTM 即使训练了同样的数据，也只能停留在“死记硬背”的层面。

C. 任务压力（考试难度）

比喻：
- 多数字加法（9 位数加法）：这就像做复杂的数学题，必须一位一位算，还要处理“进位”。这种压力迫使模型必须真正理解“模 10"（个位数循环）的逻辑，于是它被迫学会了“读时间”。
- 单数字加法（3 位数加法）：如果题目太简单，或者数字被打包成一个整体（比如把"123"当成一个词），模型就不需要理解进位逻辑，它怎么学都行，结果就是随机应变，学不到真正的规律。

总结：这篇论文告诉我们要小心什么？

这篇论文给 AI 研究者敲响了警钟：

不要看到模型“有节奏”就以为它“懂数学”。

就像我们看到一个人手里拿着钟表，不能断定他一定知道现在几点。很多大模型虽然表现出惊人的周期性特征（频谱收敛），但这可能只是它们对数据频率的统计模仿，而不是真正理解了数字的几何结构。

只有当数据、模型架构和训练目标完美配合时，模型才会进化出真正的“数学直觉”（几何收敛），从而真正学会像人类一样理解数字。这就是 AI 领域的“趋同进化”：不同的路径，最终可能通向同一个终点，但也可能只停留在终点的外围。

这是一篇关于大语言模型（LLM）中数字表示学习机制的深度研究论文，标题为《趋同进化：不同语言模型如何学习相似的数字表示》（Convergent Evolution: How Different Language Models Learn Similar Number Representations）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现象观察：先前的研究表明，在自然文本上训练的语言模型（如 Transformer）会学习出具有周期性特征的数字表示，具体表现为在傅里叶域（Fourier domain）中，整数 Token 的嵌入在周期 $T=2, 5, 10$ 处出现显著的峰值（Spike）。
核心问题：
1. 这种周期性特征（傅里叶峰值）是否意味着模型真正学到了功能性的数值结构（即模运算的可分性）？
2. 不同类型的模型（Transformer, RNN, LSTM, 经典词嵌入等）是否都表现出相同的学习机制？
3. 如果存在差异，是什么因素（数据、架构、优化器、分词器）决定了模型能否学到“几何可分”的表示？

2. 核心概念与理论框架 (Key Concepts & Theory)

作者提出了**两层收敛（Two-tiered hierarchy）**的概念来解释观察到的现象：

谱收敛 (Spectral Convergence)：指模型在嵌入的傅里叶谱中学习到周期 $T$ $T$ 的峰值。
- 发现：这是普遍存在的。几乎所有模型（包括 Transformer、非 Transformer LLM、LSTM、GloVe、FastText，甚至原始的词频分布）在 $T=2, 5, 10$ 处都有峰值。
几何收敛 (Geometric Convergence)：指模型学到的嵌入能够被线性探针（Linear Probe）清晰地分类，即 $n \mod T$ $n mod T$ 的剩余类在嵌入空间中是线性可分的。
- 发现：这是选择性的。只有特定组合的模型（如 Transformer 和线性 RNN）能实现几何收敛，而 LSTM 和经典词嵌入虽然也有傅里叶峰值，但无法通过线性探针分类（表现如随机猜测）。

理论贡献 (Theorem 1)：
作者证明了傅里叶域的稀疏性（即存在峰值）是模 $T$ 几何可分的必要条件，但不是充分条件。

必要性：如果傅里叶功率 $\Phi_T = 0$ ，则类间散度矩阵 $S_B = 0$ ，无法分类。
非充分性：即使 $\Phi_T$ 很大（峰值明显），如果类内散度矩阵 $S_W$ 的条件数（Condition Number）很大，导致类内噪声淹没了周期性信号，线性分类器的准确率仍可能接近随机猜测。
解释：LSTM 虽然傅里叶峰值比 Transformer 更显著，但其嵌入的类内方差高度各向异性（anisotropic），导致周期性信号被“淹没”，无法线性分离。

3. 方法论 (Methodology)

为了探究导致几何收敛的因素，作者进行了受控实验（Controlled Experiments）：

实验设置：使用约 3 亿参数量的模型，在 FineWeb-Edu 数据集（10B tokens）上训练，使用 Llama-3 分词器（0-999 为单 Token）。
评估指标：
1. 傅里叶幅度谱：检测周期性结构。
2. 线性探针准确率 (Cohen's $\kappa$ )：检测模 $T$ 分类能力。
变量控制：
- 数据扰动：改变训练数据的结构（如限制上下文长度、隔离数字 Token 之间的交互、打乱数字与文本的关联、仅保留词频分布等）。
- 架构对比：对比 Transformer、Gated DeltaNet、Mamba-2、LSTM 以及经典词嵌入（PPMI, Word2Vec）。
- 优化器对比：对比 AdamW 和 Muon 优化器。
- 算术任务训练：直接在加法任务上训练模型，对比多 Token（9 位加法）与单 Token（3 位加法）设置下的收敛情况。

4. 主要结果 (Key Results)

A. 谱收敛的普遍性 vs. 几何收敛的选择性

谱收敛：无论架构如何，只要使用自然语言训练，模型都会学到 $T=2, 5, 10$ 的傅里叶峰值。甚至原始的词频分布也有此特征。
几何收敛：
- Transformer 和 线性 RNN (Mamba, DeltaNet)：在 Muon 或 AdamW 优化器下，均能实现高准确率的模 $T$ 分类。
- LSTM：虽然傅里叶峰值更显著，但分类准确率仅为随机水平。
- 经典词嵌入：表现介于两者之间，有峰值但分类能力较弱。

B. 驱动几何收敛的关键因素

数据信号 (Data Signals)：
- 文本 - 数字共现 (Text-Number Co-occurrence)：至关重要。如果切断数字与文本的关联（Swap Numbers），分类能力大幅下降。
- 跨数字交互 (Cross-Number Interaction)：允许序列中出现多个数字（增加 $k$ ）能进一步提升分类能力。
- 上下文长度：更长的上下文有助于积累更丰富的共现统计，提升分类性能。
- 结论：傅里叶峰值仅需词频分布即可产生，但几何收敛需要文本与数字的复杂交互信号。
架构 (Architecture)：
- Transformer 和线性 RNN 能够利用上述数据信号构建几何可分的表示。
- LSTM 即使在同一数据上训练，也无法形成几何可分的表示，这归因于其内部状态更新机制导致的类内方差结构问题。
优化器 (Optimizer)：
- 优化器对几何收敛有影响（例如 Muon 通常优于 AdamW），但这种影响依赖于架构。没有一种优化器在所有架构下都绝对占优。

C. 算术任务中的趋同进化

多 Token 加法 (9-digit addition)：由于进位机制，模型被迫解决模 1000 的子问题。无论使用何种优化器，模型都会收敛到相同的傅里叶结构和几何可分表示。
单 Token 加法 (3-digit addition)：没有强制的模运算约束。模型学到的表示不收敛，依赖于优化器和随机种子。某些种子下会出现“顿悟”（Grokking）现象，但并非普遍规律。
结论：分词方式（Tokenization）决定了是否存在强制的模约束，进而决定了是否发生趋同进化。

5. 主要贡献 (Contributions)

揭示了“趋同进化”现象：不同架构的模型在共享的数据约束下，独立演化出了相似的傅里叶特征（谱收敛），但只有部分模型演化出了功能性的几何结构（几何收敛）。
理论证明：证明了傅里叶峰值是模运算可分性的必要非充分条件，并给出了基于类内散度矩阵条件数的理论解释。
归因分析：通过控制变量法，明确了数据信号（文本 - 数字交互）、架构（Transformer/Linear RNN vs LSTM）和分词策略是决定模型是否学到功能性数值结构的关键。
方法论创新：提出了一种将“学习到的表示”归因于“数据分布结构属性”的方法，区别于传统的将预测归因于单个训练样本的方法（如影响函数）。

6. 意义与启示 (Significance)

重新审视表征诊断：仅仅观察傅里叶谱或周期性特征并不足以证明模型学到了结构化的数值知识。必须结合几何可分性（如线性探针）来评估。
理解模型能力边界：解释了为什么某些模型（如 LSTM）在处理数值任务时表现不佳，尽管它们拥有看似相似的频谱特征。
对未来的指导：在构建或分析大模型时，应关注数据中的交互信号和架构的归纳偏置，以引导模型学习真正功能性的表示，而不仅仅是统计相关性。
通用性：这种“谱 - 几何”分层现象可能不仅限于数字，也适用于星期、月份等其他周期性概念的学习。

总结：这篇论文通过严谨的理论推导和广泛的实验，揭示了语言模型在数字表示学习上的“表里不一”现象——频谱上的相似性（趋同）并不等同于功能上的等价性。只有当数据信号、模型架构和训练目标（如分词带来的模约束）共同作用时，模型才能真正“理解”模运算的几何结构。