📊 statistics

Signed-Permutation Coordinate Transport for RMSNorm Transformers

本文指出 RMSNorm Transformer 具有符号置换规范（ $B_d$ ）而非简单的置换规范（ $S_d$ ），并引入了一种符号边际化的匈牙利匹配方法，以实现跨检查点（checkpoint）的鲁棒坐标传输，从而显著提高可解释性工具、转向向量（steering vectors）和优化器状态的可迁移性，并解决现有对齐方法中由对称性引起的失效问题。

原作者： John Sweeney

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： John Sweeney

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两座完全相同的房子，它们是由同一张蓝图建造的。在其中一座房子里，每个房间都被标记为“厨房”、“卧室”和“浴室”。在另一座房子里，房间的位置完全相同，但有人把标签打乱了。

如果你想把一个特定的家具（比如一个能让房子对糟糕请求说“不”的“转向向量”）从 A 房子移动到 B 房子，你需要知道 B 房子中的哪个标签对应于 A 房子的“厨房”。如果你猜错了，你可能会把“拒绝”按钮放到了“浴室”里，导致房子无法正常工作。

这篇论文是关于解决针对现代 AI 模型的一个非常具体且棘手的这种“标签打乱”问题的。

核心问题：“符号”之谜

长期以来，研究人员认为这些 AI 房子被打乱的唯一方式是通过置换（permutation，即交换）房间。如果房间 1 变成了房间 5，你只需要交换标签即可。

然而，作者发现对于最流行的现代 AI 模型（被称为 RMSNorm 模型，广泛用于 Llama 和 Qwen 等模型），存在第二种隐藏的房间打乱方式：符号翻转（sign flipping）。

请将房间的标签不仅视为一个名字，更视为一个指向某个方向的箭头。

置换（Permutation）： 将箭头从指向北改为指向东。
符号翻转（Sign Flip）： 保持箭头指向北，但将其翻转为指向南。

在这些现代模型中，每一个房间都可以独立地翻转其箭头的方向（北 $\to$ 南），而不会破坏房屋的结构。这造成了巨大的混乱。如果你试图仅使用旧有的“交换”规则来移动模型间的工具，你可能会不小心翻转了一半的箭头。

“破碎指南针”类比

该论文指出，目前的 AI 对齐工具就像一个只知道“北”和“东”，却对“南”视而不见的指南针。

旧方法（仅限置换）： 你试图通过观察行为来匹配房间。如果模型 1 的房间 A 与模型 2 的房间 B 非常相似，你就将它们匹配。但如果房间 A 的行为实际上是房间 B 的相反（因为发生了符号翻转），旧指南针会认为它们完全不同，并拒绝进行匹配。
结果： 当研究人员尝试使用旧方法移动“转向工具”（例如一个让 AI 拒绝有害请求的按钮）时，这些工具往往会彻底失效。原本的“拒绝”按钮变成了“接受”，或者工具直接停止了工作。

解决方案：“符号边际化”地图

作者引入了一种名为带符号置换传输（Signed-Permutation Transport）的新方法。

想象一下你再次尝试匹配房间，但这一次你拥有一个特殊的放大镜。你不再仅仅询问“房间 A 是否像房间 B？”，而是询问“房间 A 是否像房间 B，或者它是否是房间 B 的完全相反面？”

观察强度： 首先，你检查连接的强度，忽略它是正还是负。这可以找到正确的房间，即使箭头的方向被翻转了。
检查符号： 一旦找到了匹配的房间，你就检查箭头的方向。如果箭头被翻转了，在移动你的工具之前，先将其翻转回来。

论文从数学上证明了，如果你忽略符号翻转，你大约会失败 50% 的次数（因为有一半的箭头可能被翻转了）。通过考虑这些翻转，你可以几乎 100% 地恢复正确的对齐。

论文中的现实世界测试

作者不仅做了数学推导，还在真实的 AI 模型上进行了测试：

“拒绝”测试： 他们使用了一个让 AI 拒绝回答有害问题的工具。
- 旧方法： 工具失效了。AI 开始接受有害请求而不是拒绝它们（因为符号被翻转了）。
- 新方法： 工具完美运行，保留了其 95.8% 的原始效力。
“字典”测试： 他们尝试将一个特征字典（SAE）从一个模型移动到另一个模型。
- 旧方法： 字典变得毫无用处（重构误差巨大）。
- 新方法： 字典几乎完美地工作。
“简历”测试： 他们暂停了 AI 的训练，改变了标签（gauge/标尺），然后尝试恢复训练。
- 旧方法： AI 忘记了进度，走向了一条完全不同的路径。
- 新方法： AI 就像什么都没发生过一样，精准地从原处继续训练。

核心结论

该论文得出结论：对于现代 AI 模型，你不能只问“这个神经元是什么？”，除非你首先明确了“标尺”（gauge，即关于如何排列标签和符号的规则书）。

如果你想在这些模型之间移动工具、字典或训练状态，你必须使用新的“带符号置换”规则。如果你不这样做，你就像是在试图驾驶一辆方向盘被旋转了 180 度的汽车：你以为你在直行，但实际上你在倒车。

简而言之： 现代 AI 模型具有隐藏的“符号翻转”对称性。要在这类模型之间移动事物，你必须修复符号，而不仅仅是修改名称。这篇论文提供了实现这一目标的地图和指南针。

技术摘要：针对 RMSNorm Transformer 的符号置换坐标传输

问题陈述

现代大语言模型（LLM）的工作流日益依赖于在不同模型检查点之间移动坐标索引的伪影——例如转向向量（steering vectors）、稀疏自编码器（SAE）字典、Top-k 神经元集以及 LoRA 适配器。然而，如果没有固定的规范（gauge，即坐标系），“这个神经元是谁？”这一问题是无法定义的。虽然标准的对齐工具（如 Git Re-Basin、权重匹配）假设对称群仅为置换群（ $S_d$ ），但对于使用 RMSNorm（均方根层归一化）的模型，这一假设是不正确的。

与包含均值中心化的 LayerNorm 不同，RMSNorm 不具备均值中心化功能。因此，其残差流允许每个坐标进行独立的符号翻转，此外还存在置换对称性。RMSNorm 的原生离散规范是超八面体群 $B_d = S_d \ltimes \{\pm 1\}^d$ （符号置换），而非 $S_d$ 。忽略符号分量（仅考虑 $S_d$ 对齐）会导致结构性失效模式，使得坐标索引的伪影发生错位，从而在迁移过程中导致显著的性能下降或功能性崩溃。

方法论

1. 原生规范的理论特征化

本文确立了对于具有通用逐通道增益 $\gamma$ 的 Transformer 模型：

LayerNorm： 其最大坐标保持子群为 $S_d \times C_2$ （置换加上全局符号翻转）。
RMSNorm： 其最大坐标保持子群是完整的符号置换群 $B_d$ 。
启示： 连续正交旋转（用于 SliceGPT 或 QuaRot 等方法）虽然对函数保持有效，但会破坏稀疏坐标的身份。只有 $B_d$ 能保持稀疏对象（例如特定的神经元或 SAE 特征）的身份。

2. 符号边际化规范恢复

为了从成对的激活值中恢复正确的 $B_d$ 规范，本文提出了一种对标准匈牙利匹配算法的改进方案：

代价函数： 算法不再最大化有符号相关性 $\sum C_{i, \pi(i)}$ ，而是最大化绝对相关性 $\sum |C_{i, \pi(i)}|$ 。
符号恢复： 一旦通过绝对代价矩阵找到最优置换 $\pi^*$ ，符号便可通过 $s_i = \text{sign}(C_{i, \pi^*(i)})$ 进行恢复。
理论保证： 本文证明，在去相关坐标的总体情况下，标准的有符号相关性匹配存在约 50%（正符号的比例）的结构性准确率天花板，因为它会主动避开正确的负相关项。符号边际化匹配消除了这一障碍，实现了 100% 的准确率。

3. 通过轨迹组合进行的平行传输

本文不仅匹配两个端点，还引入了沿训练轨迹的平行传输：

使用符号边际化匹配在连续的检查点之间估计局部 $B_d$ 规范。
这些局部规范被组合起来，形成从远端检查点（或共享基座的不同运行实验）到另一端的全局传输映射。
这种方法避免了直接端点匹配的“全纯性”（holonomy）问题，并利用了连续检查点之间的高分配裕度。

4. 规范协变传输规则

本文推导了各种坐标索引伪影在 $B_d$ 下的显式变换规则（表 1）：

向量（转向、探测器、SAE 编码器）： 按 $v \mapsto vG$ 变换。
矩阵（SAE 解码器、LoRA WRITE）： 按 $W \mapsto W G^\top$ 变换（注：原文为 $W \mapsto G^\top W$ ，此处依原文翻译）。
优化器状态（AdamW）： 一阶矩 $m_W$ 随权重一同变换；二阶矩 $v_W$ （由于是平方项）对符号不敏感，仅通过置换进行变换。

关键结果

1. 恢复准确率

符号边际化 vs. 有符号： 在 7B/8B RMSNorm 模型的实验中，朴素的有符号相关性匹配仅恢复了约 49.5% 的置换和约 50% 的符号。符号边际化匹配实现了 100% 的恢复。
传输 vs. 端点匹配： 在 Qwen2.5-1.5B 微调基准测试（1500 步）中，通过基座组合进行的传输恢复了 91.1% 的坐标，而直接端点匹配仅恢复了 60.3%。这种提升并非源于仅引用基座（通过基座进行的端点匹配仅为 11.4%），而是源于组合了许多高裕度的局部规范。

2. 伪影传输性能

使用 $B_d$ 正确传输的性能在多种伪影类别中显著优于仅使用 $S_d$ 的传输：

LoRA 适配器： 在 Qwen2.5-1.5B (SST-2) 上， $S_d$ 传输使适配器准确率崩塌至未适配基座的水平（0.523 vs. 0.525），而 $B_d$ 传输保留了 99.7% 的增益（0.944）。
SAE 重建： 对于 TinyLlama， $S_d$ 传输导致重建 NMSE 为 1.08（失败），而 $B_d$ 传输实现了 0.004（近乎完美）。
转向向量： Qwen 情感转向在 $B_d$ 下保留了 95.8% 的效果，而在 $S_d$ 下仅为 17.2%。拒绝转向向量在 $S_d$ 下发生了符号反转，实际上翻转了行为。

3. 有状态训练与合并

优化器状态： 使用仅经 $S_d$ 传输的 AdamW 状态（置换正确，但符号强制为 +1）恢复训练，会导致训练轨迹偏离参考轨迹，尽管起始点在功能上是相同的检查点。 $B_d$ 传输将轨迹保持在数值容差范围内。
模型合并： 在坐标保持合并中， $S_d$ 仅有的对齐引入了破坏性的符号不匹配，产生了高“弦上峰值”（peak-above-chord）障碍。符号对齐消除了这些障碍（在规范扰动测试中降至 0.00）。

重要性与主张

本文认为，对于基于 RMSNorm 的架构（包括广泛使用的 Llama 2、Llama 3 和 Qwen 等模型），坐标身份仅在符号置换意义下是良定义的。

可复现性： 坐标索引的可解释性主张（例如“神经元 X 是拒绝神经元”）在不同的运行之间是不可复现的，除非固定并应用了特定的 $B_d$ 规范。本文建议将“规范扫描”（gauge sweeps）作为审计此类主张的负对照实验。
工具迁移： $S_d$ 仅有的方法的失败并非微小的误差，而是结构性的崩溃。实现转向向量、SAE 字典和优化器状态的成功传输需要符号传输。
局限性： 本文指出，虽然 $B_d$ 保持了坐标身份，但连续正交方法在以坐标身份为主要对象的场景之外（如稠密融合或压缩）仍然有效。此外，FFN 隐藏单元拥有其自身独立的置换对称性（ $S_{d_{ffn}}$ ），这与残差流的规范是不同的。

总之，这项工作为正确对齐 RMSNorm 模型提供了理论基础和实用算法，并证明了忽视规范中的符号分量会导致基于坐标的工作流从根本上失效。