🤖 machine learning

ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions

本文介绍了残差化稀疏自编码器（ReSAEs），该方法通过在耦合 Transformer 层之间的未解释残差上训练多层稀疏自编码器，以减少解码器冗余，并显著优于传统逐层方法，从而提升多层干预的有效性。

原作者： Prathyush Poduval, Calvin Yeung, Neel Desai, Mohsen Imani

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Prathyush Poduval, Calvin Yeung, Neel Desai, Mohsen Imani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《用于多层 Transformer 干预的残差稀疏自编码器》的通俗解释，包含简单语言和类比。

核心问题：AI 层的“回声室”

想象一个大型语言模型（就像驱动聊天机器人的那些）是一个拥有多条流水线（层）的大型工厂。当一条信息（一个句子）沿着流水线向下移动时，每个站点都会为其添加一点点新工作。

然而，这里有个陷阱：这些站点是回声室。
由于信息以连续流的形式流动，第 10 号站点几乎听到了第 9 号站点说的所有内容，外加一点点新东西。第 11 号站点则听到了来自第 9 号和第 10 号站点的全部内容，外加更多一点新东西。

研究人员使用称为**稀疏自编码器（SAEs）**的工具来“监听”这些站点，以了解 AI 正在思考什么。他们希望找到每个站点正在处理的具体“概念”（如“礼貌”或“编码逻辑”）。

旧方法（问题所在）：
此前，研究人员为每一个单独的站点独立训练了一个单独的监听工具。

问题： 如果第 9 号站点在谈论“礼貌”，而第 10 号站点只是重复了同样的“礼貌”（因为它是被传递下来的），那么旧的监听工具就会试图两次学习“礼貌”。
后果： 当研究人员试图通过同时替换多个站点的工作来修复或改变 AI 时，事情就出错了。这些工具是冗余的（在相同的信息上浪费空间），而且这些变化无法很好地叠加。这就像试图通过从三个不同的摄像机中剪掉同一个场景来编辑一部电影；最终结果混乱且不可预测。

新解决方案：“残差化”自编码器（ReSAEs）

作者提出了一种更聪明的监听方式，称为残差稀疏自编码器（ReSAEs）。

类比：“有什么新内容？”过滤器
想象你在一次漫长的会议中做笔记。

旧方法： 你写下前一位演讲者说的所有内容，然后写下当前演讲者说的所有内容。你的笔记巨大且充满重复。
ReSAE 方法： 你倾听当前的演讲者，并问：“他们说了什么，是前一位演讲者没有涵盖的？”你只写下新信息（即“残差”）。

工作原理：

预测回声： 在为较后站点的监听工具进行训练之前，系统使用一个简单的数学公式，根据较早的站点来预测该站点应该说什么。
减去回声： 系统从实际数据中减去该预测。
在剩余部分上训练： 监听工具现在仅针对“剩余部分”进行训练——即较早站点尚未涵盖的独特、新信息。
重建电影： 当他们想要查看结果时，他们会将“新”笔记在数学上加回“旧”笔记，以重建完整画面。

他们的发现（结果）

研究人员在两个不同的 AI 模型（Pythia 和 Gemma）上测试了这种方法，并发现了一些令人惊讶的结果：

1. 更少的“噪声”，更多的“信号”
尽管 ReSAE 工具在重建原始数据方面技术上“较差”（它们遗漏了一些重复的回声），但它们在捕捉 AI 思考中有用的部分方面要好得多。

类比： 这就像收音机调谐器。旧工具试图捕捉整个广播，包括静电干扰和重复的广告。新工具则调出了静电干扰，只专注于音乐。总音量较低，但音乐更清晰。

2. 更平滑的群体干预
当研究人员试图通过同时微调多个层来改变 AI 的行为时，ReSAE 工具协同工作的效果要好得多。

结果： 变化是可预测的。如果他们改变了第 A 层和第 B 层，结果完全符合预期。使用旧工具时，改变两层通常会导致 AI 出现故障或行为怪异，因为各层之间相互干扰。

3. 更擅长发现特定概念
当他们使用这些工具来查找特定主题（如文本中的“偏见”）或移除它们时，ReSAE 工具通常更准确。它们能够 pinpoint AI 正在形成的“新”想法，而不会因它只是携带的旧想法而感到困惑。

核心结论

该论文认为，当我们尝试逐层理解或修复 AI 模型时，不应将每一层视为孤立的岛屿。由于信息是连续流动的，我们需要首先剥离“传递下来”的信息。

通过训练我们的工具专注于每一步什么是新的，而不是什么是重复的，我们获得了更清晰、更可靠的 AI 思维地图。这使得我们在需要时能够更安全地干预和修复 AI。

一个注意事项： 论文指出，这并非适用于所有任务的灵丹妙药。在某些特定情况下（例如移除某些不良关联），旧的“原始”工具仍然表现稍好。但在理解 AI 的核心逻辑和进行多层更改方面，新的“残差化”方法是一个显著的升级。

技术摘要：用于多层 Transformer 干预的残差化稀疏自编码器

问题陈述

稀疏自编码器（SAEs）是机械可解释性的主要工具，用于将 Transformer 的隐藏状态分解为稀疏且可解释的特征。然而，标准做法是在每一层的原始激活值上独立训练 SAE。这种方法忽略了 Transformer 的一个基本结构特性：残差流在深度上具有强耦合性。任何一层的激活值中，有相当大一部分是由前层传递或轻微转换而来的信息。

在原始激活值上独立训练 SAE 会为多层干预带来两个实际问题：

容量冗余：不同层的字典浪费容量去重新学习相同的、可预测的传递信息。
不可预测的交互：当同时替换多层（例如通过特征消融或重构）时，层与层之间的交互并非加性的。如果相同的信息在多个字典中被表示，同时替换可能导致特征重复、抵消，或将激活值推离训练分布，从而导致误差累积和模型性能（交叉熵）下降。

方法论：残差化稀疏自编码器（ReSAEs）

作者提出了残差化稀疏自编码器（ReSAEs），旨在将特定于层的信息与可预测的跨层结构解耦。该方法包含三个关键阶段：

1. 成对仿射残差化

对于选定的层子集 $L = (\ell_1, \ell_2, \dots, \ell_M)$ ，该方法在连续选定的层之间拟合一个仿射映射。对于一对 $(\ell_m, \ell_{m+1})$ ，通过岭正则化的普通最小二乘法学习一个仿射变换 $A_m h^{(\ell_m)} + c_m$ ，以利用前一层预测后一层的激活值。
残差化激活 $r^{(\ell_{m+1})}$ 随后被定义为后一层激活值中无法由该仿射映射解释的部分：
$r^{(\ell_{m+1})} = h^{(\ell_{m+1})} - (A_m h^{(\ell_m)} + c_m)$
第一个锚定层以其经验均值为中心进行归一化。

2. 独立的逐层 SAE 训练

每个 SAE 都在残差上训练，而非原始激活值。

输入：残差激活值经过归一化（通过每块 RMS 归一化），并输入到标准的 BatchTopK SAE 中。
目标：SAE 最小化残差目标的重构损失。
独立性：不同块的 SAE 之间梯度不流动；每个 SAE 仅学习其特定层引入的“新”信息。

3. 原始空间重构与在线干预

为了使用标准协议评估 ReSAEs，重构后的残差通过拟合的仿射链映射回原始激活空间。

重构： $\hat{h}^{(\ell_{m+1})} = A_m \hat{h}^{(\ell_m)} + c_m + S^{-1}_{m+1} \hat{z}^{(m+1)}$ ，其中 $\hat{z}$ 是残差的 SAE 重构。
在线干预：在带有钩子（hooks）的前向传播过程中，层 $\ell_m$ 的残差输入是通过从当前传入的激活值中减去先前重构的层 $\hat{h}^{(\ell_{m-1})}$ 的预测贡献来计算的。这确保了层 $\ell_m$ 的 SAE 看到的输入分布与其训练目标相似，即使上游层已被修改。

主要贡献

ReSAE 架构：提出了一种训练范式，即 SAE 在无法从前一层选定层线性预测的激活分量上进行训练，并通过仿射链组合重构结果。
改进的多层干预：证明了尽管重构的原始方差较少，但在同时多层替换的情况下，与原始 SAE 相比，ReSAEs 能更忠实地恢复 Transformer 的交叉熵。
减少冗余：证据表明，残差化产生了更正交的解码器方向，表明容量被导向层局部信息，而非重复的跨层结构。
全面评估：在 Pythia-1.4B 和 Gemma-2-9B 上进行了广泛的基准测试，涵盖重构质量、交叉熵退化、解码器相似性、稀疏探测、目标探测扰动（TPP）以及虚假相关性去除（SCR）。

结果

实验在 Pythia-1.4B（层 0、6、12、18）和 Gemma-2-9B（不同层间隔）上进行。

重构与功能性：与原始 SAE 相比，ReSAEs 在原始激活空间中的解释方差（EV）较低，因为它们有意丢弃了线性可预测的结构。然而，这种较低的 EV 与较低的解码器余弦相似度（即更少的冗余）相关。
交叉熵恢复：在多层顺序在线替换（误差会传播）的情况下，ReSAEs 在恢复模型交叉熵方面显著优于原始 SAE，特别是在较高稀疏度（ $k \ge 160$ ）时。在教师强制设置（无误差传播）中，ReSAEs 始终实现最佳的交叉熵恢复。
过度交互：当替换多层时，原始 SAE 显示出较大的负向“过度交互”（非加性退化）。ReSAEs 将该指标降低至接近零，表明其逐层替换具有更可预测的组合性。
特征质量：
- 稀疏探测与 TPP：ReSAEs 在稀疏探测准确率和目标探测扰动方面通常优于原始 SAE，表明学习到的特征更有助于线性读取和选择性消融。
- 虚假相关性去除（SCR）：ReSAEs 在此方面并未普遍优于原始 SAE；在某些设置下（特别是 Pythia 上的逐层联合消融），原始 SAE 得分更高。这表明残差化特征在去除特定虚假属性而不损害任务信号方面可能选择性较低。
规模与间距：ReSAEs 的优势在更大的 Gemma-2-9B 模型中跨越不同层间隔依然存在，解码器冗余持续减少，交叉熵恢复持续改善。

意义与主张

该论文认为，将 Transformer 残差流视为耦合对象而非孤立层的集合，对于有效的多层干预至关重要。

容量分配：通过去除线性可预测的跨层结构，ReSAEs 迫使稀疏字典专注于该特定层激活值中对模型下游计算最相关的分量。
干预稳定性：该方法为多层干预提供了更稳定的默认方案，减少了标准 SAE 部署中常见的误差累积和不可预测的交互。
权衡：作者承认 ReSAEs 并非适用于所有可解释性任务的通用改进（例如，SCR 结果喜忧参半）。然而，对于多层替换和基于特征的干预这一特定目标，以较低的原始方差换取更高的功能保真度和减少冗余的权衡是有益的。

该工作表明，通过仿射回归去除可预测结构是多层设置中 SAE 的一个有用的预处理步骤，尽管预测器的最佳选择（仿射与非线性）和层的选择仍是一个开放的设计空间。