🤖 AI

Transformers converge to invariant algorithmic cores

本文通过引入算法核心提取（Algorithmic Core Extraction, ACE）来证明，尽管权重配置各异，独立训练的 Transformer 仍会收敛于支配其行为的紧凑且不变的算法子空间，从而揭示了表象复杂性之下共享的计算结构，并为机械论理解与控制提供了一条新路径。

原作者： Joshua S. Schiffman

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Joshua S. Schiffman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：殊途同归

想象一下，你正试图从家里前往一家特定的咖啡馆。

驾驶员 A 走了一条经过郊区、然后是高速公路、最后是小巷的路线。
驾驶员 B 走了一条经过市中心、然后是公园、最后是桥梁的路线。
驾驶员 C 走了一条涉及渡轮和火车的完全不同的路径。

如果你观察他们的地图（他们行驶的具体道路），这些地图看起来完全不同。它们截然不同。然而，如果你观察他们实际在做的事情（即开车去咖啡馆这一行为），他们做的其实是完全相同的事情。

这篇论文认为，AI 模型（特别是“Transformer”）的工作方式也是如此。当我们训练两个执行相同任务的 AI 模型时，它们最终会拥有完全不同的内部“布线”（权重和参数）。但在深层内部，它们都在使用同一个隐藏的“引擎”来完成工作。

作者将这个隐藏的引擎称为算法核心（Algorithmic Core）。

问题所在：观察错了对象

通常，当科学家试图理解 AI 如何运作时，他们会研究单个模型的具体布线。这篇论文指出，这样做是有风险的。这就像是在研究驾驶员 A 的地图，并得出结论：“啊，所以为了去喝咖啡，你必须走那条小巷。”但这仅仅是驾驶员 A 路线中的一个偶然。驾驶员 B 并没有走那条小巷。

论文建议我们不应该只盯着具体的道路（即某次训练运行中混乱且独特的细节），而应该开始寻找不变性（Invariant）（即所有驾驶员共有的不变真理）。

解决方案：寻找“核心”

作者创建了一个名为 ACE（算法核心提取）的工具。可以将 ACE 想象成一副特殊的 X 光眼镜。

它过滤掉噪声： 它忽略了那些使一个 AI 区别于另一个 AI 的数百万个独特细节。
它寻找引擎： 它分离出一个位于 AI 内部的微小且紧凑的“核心”，这个核心对于完成任务是绝对必要的。如果你移除这个核心，AI 就会失效；如果你只保留这个核心，AI 仍能完美运行。
它证明了它们是相同的： 尽管这些 AI 在外观上看起来不同，但 ACE 表明它们在内部都隐藏着同一个数学“引擎”。

三个实验：从简单到复杂

论文在三种不同的场景下测试了这个想法：

1. 简单的谜题（马尔可夫链）
他们教了三个不同的 AI 一个简单的游戏：预测序列中的下一步。

结果： 三个 AI 学习时使用了完全不同的内部地图。它们的“布线”几乎完全不同。
核心： 但当 ACE 观察其内部时，它发现这三个 AI 都隐藏着一个微小的、三维的“核心”，执行着完全相同的数学运算。这就像是发现三辆不同的汽车引擎都使用了完全相同的三缸活塞排列方式，即使车辆的其他部分看起来各不相同。

2. “顿悟”（Grokking）之谜（模加法）
“Grokking”（顿悟）是一种奇特的现象，即 AI 在经历了长时间仅仅是记忆答案之后，突然从无法解决某个数学问题转变为完美解决该问题。

发现： 作者发现，就在 AI “顿悟”（突然理解）时，其内部形成了一个紧凑的、圆形的“核心”。这个核心就像一个时钟，通过旋转数字来解决数学问题。
反转： 如果你在 AI 学习之后继续训练它，这个核心会变得“臃肿”。它开始使用比实际需要更多的空间，充斥着大量冗余的相同数学运算副本。
教训： 论文发现，拥有许多冗余的解决问题的方法实际上有助于 AI 更快地学习。这就像是一个团队的人都在大声喊出同一个答案；最终，正确答案会更快地传达出来。

3. 现实世界（语言模型）
最后，他们观察了六个用于文本生成的巨大现实世界 AI 模型（如 GPT-2、LLaMA 等）。这些模型规模巨大且各不相同。

任务： 他们专注于主谓一致性（即知道句子需要用 "is" 还是 "are"）。
发现： 在所有这六个庞大的模型中，都有一个单一的、不可见的“线”（一个一维轴）在控制句子是单数还是复数。
魔术技巧： 如果你拿起这条线并将其“翻转”（反转方向），AI 会立即开始犯语法错误。它会将 "The cat is" 变成 "The cat are"。
对齐： 尽管这些模型由不同的公司构建、在不同的数据上训练、且规模各异，但它们都使用这条完全相同的线来处理语法。这就像是每个人的大脑，无论文化或语言如何，都使用同一个神经开关来决定使用“我”还是“我们”。

为什么这很重要

论文得出结论：在 AI 混乱、复杂的表面之下，存在着一个更简单、共享的结构。

不要看漆面： AI 的特定颜色和形状（其参数）只是其如何被训练的偶然结果。
看引擎： “算法核心”才是真正的核心。它是无论谁来构建 AI 或如何构建 AI 都保持不变的部分。

通过寻找这些核心，我们可以更好地理解和控制 AI。与其试图修复一百万根细小的电线，我们只需要找到那个控制我们所关注行为的单一“开关”。

总结类比

想象三位建筑师正在建造房子。

建筑师 A 使用木材。
建筑师 B 使用砖块。
建筑师 C 使用钢材。

如果你观察材料，它们是完全不同的。但如果你观察楼梯的蓝图，你可能会发现，这三位建筑师都使用了完全相同的十级台阶设计，因为这是向上攀爬最高效的方式。

这篇论文说：“别再争论木头、砖块和钢材了。让我们来研究楼梯吧。”

技术摘要：Transformer 收敛至不变算法核心

1. 问题陈述

神经网络机械可解释性的核心障碍是欠定性（underdetermination）。虽然训练约束了模型的行为（从输入到输出的映射），但并未约束该行为的内部实现。独立训练的模型往往表现出功能等价性（functional equivalence）——即以截然不同的权重配置和内部电路执行相同的任务。这种现象在损失函数几何结构、模型合并以及生物系统（如退化性和系统漂移）中均有观察到，它提出了一个根本性的挑战：如果机制并不在不同的实现之间进行泛化，那么什么样的解释才是“真实”的？

目前的解释性研究通常侧重于特定的实现细节（例如特定的注意力头或稀疏特征），这些细节可能对单次训练运行具有特异性。本文认为，为了实现可泛化的机械理解，研究重点必须从特定实现的电路（realization-specific circuitry）转向不变性（invariants）——即在独立训练运行中共享的稳定计算结构。

2. 方法论：算法核心提取 (ACE)

本文引入了算法核心提取（Algorithmic Core Extraction, ACE）框架，旨在隔离出对任务既是必要又是充分且在不同模型实现之间保持不变的低维子空间。该方法将线性系统理论（特别是 Kalman 分解和平衡截断）的原理应用于 Transformer。

ACE 流水线由三个阶段组成：

提取（Extract）： 对于给定的具有隐藏维度 $D$ 和 $N$ 个输入的 Transformer 层，该方法计算均值中心化激活值（ $H$ ）与任务相关输出的雅可比矩阵（ $J$ ）之间的相互作用。通过对 $HJ^\top$ 进行奇异值分解（SVD），ACE 识别出共同活跃且相关的方向。领先的奇异向量定义了一个低维子空间（即“核心”），并将其映射回激活空间。
验证（Validate）： 通过消融实验对提取的核心进行因果验证。如果将激活值投影到该核心上能保持任务性能，则称该核心是充分的；如果移除该核心（投影到其补空间）会导致性能降至随机水平，则称该核心是必要的。
识别（Identify）： 通过拟合线性算子（例如 $z_{t+1} \approx Az_t$ ）来恢复核心内的计算结构，并通过检查其谱性质（特征值）来确定底层的动力学过程。

3. 关键结果

A. 合成马尔可夫链任务

在训练于四状态马尔可夫链的单层 Transformer 中：

参数发散，核心收敛： 使用不同随机种子训练的模型实现了近乎最优的准确率，但其权重的余弦相似度接近于零。
不变的 3D 子空间： ACE 成功地在每个模型中分离出了一个 3 维核心。这些核心对于任务而言是既必要又充分的。
几何对齐与统计对齐： 虽然这些核心位于近乎正交的子空间中（投影重叠 $\approx 0.02$ ），但它们表现出近乎完美的统计对齐（典型相关分析 CCA $\approx 0.99$ ）。
动力学恢复： 在这些核心内拟合的线性算子恢复了地面真值（ground-truth）马尔可夫转移矩阵的非平凡特征值，证明了模型在不同的坐标系中编码了相同的转移动力学。

B. 模运算加法与顿悟 (Grokking)

在训练于模运算加法（ $a + b \equiv c \pmod p$ ）的两层 Transformer 中：

顿悟时的涌现： 算法核心在“顿悟”现象（从记忆到泛化的延迟转变）发生时发生结晶（凝聚成低维、必要且充分的子空间）。
旋转动力学： 自动算子拟合显示，在顿悟时，核心算子的特征值跳变到了单位圆上，表明出现了模运算所需的循环/旋转动力学。
正则化下的核心膨胀： 在顿悟后的持续权重衰减下，核心从约 15 维“膨胀”到约 60 维。这种膨胀是由冗余性驱动的：虽然对性能而言充分的维度保持稳定，但为了防止性能降至随机水平而必要的维度却扩大了。权重衰减起到了一种重新分配的力量，将权重分布到所有功能等效的模式中（最高可达 $\lfloor p/2 \rfloor$ ）。
反向缩放定律： 本文推导了功能冗余、正则化与顿悟时间之间的理论联系。它假设功能等效性加速了向泛化的转变，从而产生了一个关于顿悟时间的反向缩放定律： $\tau_{grok} \propto 1/(\omega p)$ ，其中 $\omega$ 是权重衰减， $p$ 是冗余度。通过对 $\omega$ 和 $p$ 的经验扫描验证了这一预测。

C. 大语言模型 (LLMs)

ACE 被应用于涵盖四个家族、规模跨越两个数量级（117M 到 32B 参数）的六个预训练模型（GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5），任务为主谓数一致性（subject–verb number agreement）：

通用 1D 核心： 在所有六个模型的后期层中，都识别出了一个单一的、一维的因果轴。
因果控制： 该轴对于一致性是必要且充分的。将激活值投影到该轴上可以预测单复数 Logit 边际。至关重要的是，翻转该轴的符号会反转整个开放式生成过程中的语法数偏好（例如，将 "The key... are" 变为 "The key... is"）。
跨架构对齐： 尽管架构、分词和训练数据存在差异，这些模型的 1D 核心坐标表现出显著的对齐（Spearman 相关系数高达 0.93）。这表明存在一种共享的、不变的语法数机制，该机制独立于实现细节。

4. 意义与主张

本文声称，在训练好的 Transformer 表面复杂的表象之下，存在着一个更简单、共享的计算结构。其主要贡献包括：

范式转移： 从研究特定的电路实现转向研究不变性。作者认为，机械解释应当锚定在稳定的、实现无关的量上，而非特异性的细节上。
不变性的操作化： ACE 框架提供了一种方法来隔离这些不变性，对其进行因果验证，并在不预设其形式的情况下恢复其实现的算法。
对顿悟的机械解释： 本文提供了一个将功能等效性、正则化与顿悟时间联系起来的理论，表明冗余允许权重衰减通过将权重分布到有效的模式中来加速向泛化的转变。
内部世界模型的证据： 对地面真值任务结构（马尔可夫谱、循环算子）的恢复表明，这些核心编码了数据生成过程的内部表示，这与控制理论中的“内部模型原则”相一致。
对模型合并的启示： 观察到功能等效的模型将其核心嵌入在近乎正交的子空间中，这解释了模型合并的困难（朴素插值会失败）。这表明，对齐算法核心而非权重，可能是模型重组的一种原则性方法。

文章总结道，针对不变性进行研究为机械理解和控制提供了一条更易处理的路径，并指出虽然复杂推理任务的核心维度仍是一个开放性问题，但 1D 一致性核心在巨大规模下的稳定性表明，核心维度并不严格依赖于模型规模。