🤖 machine learning

Polymorphism Is Rotation: Operational Mechanistic Interpretability from a Two-Layer Transformer to Pythia-70m

本文证明，独立训练的 Transformer 使用相互不可理解但通过均匀随机旋转相关联的内部坐标来计算相同的函数，这一被称为“多态性”的现象可通过单一的正交 Procrustes 拟合加以解决，从而无需重新训练即可直接转移特征字典和引导向量。

原作者： Jordan F. McCann

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jordan F. McCann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你和一位朋友正根据同一本说明书，各自搭建一座完全相同的复杂乐高城堡。最终，你们两座城堡的外观一模一样，功能也完全一致（它们拥有相同的门、窗和塔楼）。

然而，在城堡内部，关于砖块如何排列的“蓝图”却截然不同。事实上，差异之大以至于如果你试图用朋友的内部蓝图来理解你自己的城堡，你会感到困惑。这并不是说你们的城堡不同，而是你们在用两种不同的“内部语言”来描述同一事物。

本文将这种现象称为"多态性"（Polymorphism）。它意味着“功能相同，内部坐标不同”。

以下是研究人员发现的要点，辅以简单的类比：

1. “解码器”与“编码器”（字典问题）

在人工智能研究中，科学家通常通过观察模型的“特征”（如同概念字典）来理解模型在想什么。他们发现，如果观察过程的末端（即“解码器”），两个不同模型之间的字典看起来几乎完全相同。这就像两个人使用完全相同的字典来写故事。

转折点：研究人员意识到，虽然“字典”（解码器）是相同的，但“阅读字典的方式”（编码器）却完全混乱。

类比：想象两个人在读一本书。A 正常阅读，而 B 将书旋转了 90 度并倒着读。如果你只看他们指向的单词（解码器），它们完美匹配。但如果你尝试用 A 的视角去解读 B 的笔记，这些笔记就毫无意义了。这些“笔记”（激活值）处于一个旋转的参考系中。

2. 灾难性的失败

当研究人员试图将模型 A 的“特征字典”直接应用于模型 B 时，完全失败了。对模型内部思想的还原效果甚至不如直接猜测平均答案。

类比：这就像试图用纽约市的地图在伦敦导航。地标（解码器列）在列表中可能看起来相似，但街道（内部坐标）的朝向却不同。如果你在伦敦遵循纽约的地图，你会立刻迷路。

3. 神奇的修复：一次矩阵乘法

这篇论文最大的发现是如何解决这个问题。你不需要重新训练模型或改变它们的“大脑”。你只需要应用一次数学上的“旋转”（一种称为 Procrustes 拟合的特定数学运算）来对齐两个模型。

类比：想象你和朋友都在看一座雕塑，但你们站在旋转平台的两侧。你们看到的是同一个物体，但角度不同。如果你只是旋转你的平台以匹配朋友的位置，你们的视角就会瞬间完美对齐。
结果：一旦将这种单一的“旋转”应用于模型 B 的内部数据，模型 A 的字典就能在模型 B 上完美运行。“内部语言”被瞬间翻译通了。

4. 这是特定的旋转还是随机的？

研究人员想知道：这种旋转是一个特定的、有意义的偏移，还是仅仅是随机的混乱？

发现：它本质上是随机的。两个独立训练的模型之间的旋转就像轮子上的随机旋转。它不是一个“特殊”的角度，仅仅是一个均匀随机的旋转。
类比：如果你随机旋转地球仪并停下，其朝向是随机的。论文表明，每当两个 AI 模型从头开始训练时，它们最终得到的“地球仪”相对于彼此都停在了一个随机的角度上。

5. 这对“操控”（改变行为）意味着什么

该论文还测试了“操控向量”——用于微调模型行为使其表现不同的工具（例如，使其更礼貌或更具创造力）。

发现：如果你在没有先修正旋转的情况下，试图将模型 A 的“操控微调”应用于模型 B，它通常会失败，甚至产生与你期望相反的效果。
类比：想象你有一个玩具车（模型 A）的遥控器。如果你试图用这个遥控器去控制另一辆朝向不同的玩具车（模型 B），按下“前进”键可能会导致第二辆车向“左”或向“后”移动。你必须先弄清楚第二辆车朝向何方（即旋转角度），并相应地调整遥控器的信号。

“规则”总结

该论文确立了这些模型之间关系的三条主要规则：

功能相同，坐标不同：两个独立训练的模型执行相同的任务，但使用不同的内部“地图”。
解码器具有欺骗性：仅仅因为“末端”特征看起来相似，并不意味着模型以相同的方式理解事物。
修复成本很低：你可以通过一次简单的数学计算（一次矩阵乘法）来对齐两个完全不同的模型，而无需重新训练它们。

发现的规模

研究人员在两个层面上证明了这一点：

“玩具”模型：一个微小、简单的模型（104,000 个参数），他们可以检查每一块砖，以确保理论成立。
“真实”模型：一个更大、现实世界中的语言模型（Pythia-70m），拥有 7000 万个参数。同样的“随机旋转”规则在这里也成立。

核心结论：AI 模型就像说着同一种语言但口音和朝向不同的双胞胎。它们做着相同的事情，但要相互理解，你只需要旋转你的视角。一旦你这样做了，它们的内部秘密就变得可读。

技术摘要：多态性即旋转

问题陈述

机械可解释性领域，特别是关于稀疏自编码器（SAE）的研究，长期以来主要依赖解码器列的余弦相似度作为“通用性”的主要指标——即声称独立训练的 Transformer 模型学习到了相同的内部特征。近期文献报告称，使用不同随机种子训练的模型，其解码器列之间表现出高余弦相似度（通常 >0.9），并将此解释为特征字典共享的证据。

然而，本文指出了一个关键的失效模式：尽管解码器列可能对齐，但当将 SAE 应用于不同种子的激活值时，SAE 编码器会发生灾难性失效。将基于种子 A 训练的 SAE 应用于种子 B 的残差流，会导致负解释方差（EV），这意味着重建效果甚至不如预测常数均值。这表明“通用性”指标仅测量了解码器的几何结构，而忽略了编码器读取框架中的根本性错位。核心问题在于，独立训练的模型虽然计算了相同的函数，却在相互不可理解的内部坐标系中运行。

方法论

作者采用了一套严谨的、预先注册的四杆操作框架来检验机械性主张，确保其可证伪性：

行为杆（Bar B）： 模型与构造性规范之间的平均 KL 散度。
参数杆（Bar P）： 对称对齐后，各条目权重的最大均方误差（MSE）。
因果杆（Bar C）： 预测的组件补丁效应与测量到的组件补丁效应之间的相关性。
预测杆（Bar Pr）： 预测的组件消融损失与测量到的组件消融损失之间的相关性。

关键方法论修正：

积分梯度（IG）与归因补丁（AP）： 作者证明，在收敛状态下，由于最小值附近梯度的噪声主导，AP 与测量到的补丁效应呈负相关。作者用积分梯度取代了 AP，根据完备性公理，积分梯度提供了对平均消融效应的数学精确预测（实现 $r > 0.999$ ）。
构造性规范： 作者没有编译理论规范（例如通过 Tracr），而是直接从训练好的主种子模型推导出“构造性规范”，通过折叠 RMSNorm 并标注角色，确保规范反映实际的模型实现。

实验设置：

玩具规模： 一个 10.4 万参数的双层 Transformer，在有限深度的 Dyck-3（括号匹配任务）上进行训练。这使得能够对每个权重进行完整的机械解释。
规模扩展： 九个独立训练的Pythia-70m种子（7100 万参数， $d_{model}=512$ ），在 The Pile 数据集上训练。
队列： 实验比较了共享冻结 I/O 权重（以隔离内部旋转）的种子与独立初始化的种子。

主要贡献与结果

1. 旋转假说

本文提出，相同架构的独立训练 Transformer 在残差流基底的正交旋转下计算相同的函数。

多态性： 指模型共享同一功能但拥有“相互不可理解的内部坐标”的现象。
解决方案： 对单个批次的激活值应用一次正交矩阵乘法（Procrustes 拟合），即可对齐两个种子的基底。
恢复： 应用此旋转后，跨种子 SAE 重建的 EV 在玩具模型上恢复至与种子内基线相差0.025 EV以内，在 Pythia-70m 上恢复至0.85–0.99 EV。

2. 旋转的统计性质

这种旋转并非结构化的、可学习的对齐，而是从正交群 $SO(d_{model})$ 中的均匀随机抽取。

Haar 分布： 旋转矩阵 $R$ 的特征值谱在统计上与 $SO(d)$ 上的 Haar 测度不可区分（Kolmogorov–Smirnov 检验 $p \approx 1.000$ ）。
Frobenius 距离： 距离 $\|R - I\|_F$ 与随机正交矩阵的理论预测值（ $\sqrt{2d_{model}}$ ）在 Pythia-70m 上吻合度达到 0.1% 以内。
解码器与编码器： 高解码器余弦相似度（98%）是一种静态的几何巧合。编码器从旋转后的框架中读取，导致了功能失效。

3. 导向向量转移机制

本文根据导向向量（均值差干预）与旋转不变子空间的对齐情况，刻画了其在种子间的转移模式：

清洁转移： 由共享输入/输出权重固定的向量（如玩具模型中的深度计数器）无需修正即可转移。
部分转移： 与旋转子空间重叠的向量需要剂量偏移。
反转转移： 主要位于旋转子空间内的向量以反转符号转移。
Pythia 规模： 在无共享 I/O的模型（Pythia-70m）中，所有方向均发生旋转，导致普遍的反转转移。若无旋转修正，跨种子应用的导向向量会降低性能。

4. 参数对齐的局限性

作者证明，参数级对称搜索（通过排列和旋转对齐权重）无法完全解决错位问题。

即使在优化权重 MSE 之后，激活级 MSE 仍然很高。
权重损失与激活损失的联合优化未能清除 Bar P 阈值；权重最优和激活最优的旋转位于损失景观中不相连的盆地中。这证实了旋转是一种激活级现象，无法完全被参数对称性所捕捉。

意义与主张

本文通过表明通用性是旋转等价性而非字面坐标对齐，解决了“解码器余弦谜题”。

SAE 通用性的细化： 解码器余弦相似度是特征通用性的必要条件，但非充分条件。完整的指标必须包含跨种子重建 EV 以及应用旋转修正的能力。
实用价值： 旋转修正计算成本极低（每对模型仅需一次矩阵乘法），且无需重新训练。它允许在独立训练的模型之间高保真地转移 SAE 特征字典和导向向量。
方法严谨性： 通过使用具有可证伪阈值的预先注册框架，本文区分了“故事拟合”与经过验证的机械性主张。跨种子 Bar P、C 和 Pr 的失效（未进行旋转修正）为该假设提供了实证动机。
范围： 这些发现适用于 10.4 万参数的玩具模型和 7100 万参数的家族规模模型。作者明确指出，前沿规模（10B+）的复现仍是一个待验证的实证测试，尽管此类测试的实验设计是直接的。

本文结论认为，独立训练 Transformer 的残差流基底，作为一阶近似，是正交群中的均匀随机样本，而“多态性”正是这种几何漂移的操作现实。