💬 NLP

Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects

本文引入了特征-效应几何分析（Feature-Effect Geometry Analysis, FEGA），旨在证明尽管稀疏自编码器特征具有因果相关性，但它们很少作为稳定的转向方向发挥作用，而是表现出截然不同的几何模式，即“类数值”特征产生结构化效应，而“类指针”特征则产生弥散且依赖上下文的变化。

原作者： Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一座巨大的、神奇的图书馆，那里的书是会自动编写的。这座图书馆是一个“大语言模型”，一种通过阅读了互联网上几乎所有内容并学会预测句子中下一个词的类型人工智能。在这座图书馆内部，有数百万个微小的、看不见的开关，被称为“神经元”，当模型在思考某件事时，这些开关就会亮起。长期以来，科学家们试图通过观察哪些开关亮起来理解模型。他们认为：“如果一个开关在模型谈论‘巴黎’时亮起，那么这个开关一定就是‘巴黎开关’。”

但问题的关键在于：仅仅因为一个开关亮起，并不意味着它真的在执行这项工作。它可能只是在旁观。要真正了解一个开关的作用，你必须伸手进去，把它关掉，看看故事是否会发生变化。这被称为“干预”（intervention）。最近，科学家们建造了一个特殊的工具，叫做“稀疏自编码器”（Sparse Autoencoder，简称 SAE），以帮助他们寻找这些开关。把 SAE 想象成一个超级有序的文件柜，它将杂乱无章、闪烁着的开关分类到整齐且贴有标签的文件夹中。人们希望，如果我们找到了一个贴着“巴黎”标签的文件夹，我们就可以通过开启或关闭这个文件夹，让模型谈论巴黎或停止谈论巴黎。这个想法被称为“转向控制”（steering）。

然而，一直存在着一种挥之不去的疑虑。有时，当科学家打开一个“巴黎”文件夹时，模型完全没有谈论巴黎。有时它谈论的是法国，有时它会变得混乱，有时它的表现甚至与预期完全相反。这就像拥有一个遥控器，上面的“音量加”按钮有时会让电视关机，或者切换频道。大问题在于：为什么会发生这种情况？是遥控器坏了，还是我们对这些按钮如何运作的理解出了错？

这篇题为《稀疏自编码器同时编码概念与功能》（Sparse Autoencoders Encode Both Concepts and Functions）的论文，开展了一场旨在解决这一谜团的侦探任务。作者们是一群来自德国和印度的研究人员，他们决定不再仅仅观察文件夹上的标签，而是开始观察在他们拨动开关后，故事会发生什么变化。他们发明了一种新方法，叫做“特征效应几何分析”（Feature-Effect Geometry Analysis，简称 FEGA）。把 FEGA 想象成一个高科技摄像机，每当你拨动开关时，它都会为图书馆拍下一张快照，而且不仅仅是拍一次，而是在成千上上个不同的故事中进行拍摄。然后，他们观察所有这些快照组成的“云团”，看看开关是否总是将故事推向同一个方向。

他们的发现令人惊讶。他们发现模型内部的开关分为两类截然不同的类别，他们将其命名为“类值型”（Value-like）和“类指针型”（Pointer-like）。

首先是类值型开关。这些就像图书馆里的“事实”。如果一个开关与“巴黎在法国”这个事实相关联，它就像一段静态的信息。当你拨动这个开关时，模型的输出会以一种相对有序的方式发生变化，就像一群人在松散的队形中行走一样。它不是一条单一的直线，但也不是一团乱麻。这些开关对于保存特定事实是可靠的。

然后是类指针型开关。它们是“转向控制”理念中真正的麻烦制造者。这些开关并不持有特定的事实；它们持有一个“工作”或“功能”。把它们想象成键盘上的“复制”键。一个“复制”键并不关心你要复制什么；它只负责执行复制动作。在模型中，一个类指针型的开关可能负责“复制句子中早先出现的单词”。如果句子是“猫很大”，开关就复制“大”；如果句子是“猫很小”，开关就复制“小”。因为它的工作是复制“任何存在的东西”，所以拨动这个开关并不会将故事推向单一的方向。相反，其效果会向四面八方散射，就像一团尘埃云。

论文表明，对于这些“类指针型”开关，旧的“转向控制”理念在很大程度上是错误的。你不能仅仅打开一个“复制”开关，就指望模型总是执行“复制”操作。其效果完全取决于模型在那个精确时刻正在观察什么。作者发现，虽然有些开关（类值型开关）具有某种结构化的效应，但大多数有趣的、功能性的开关（类指针型开关）会产生一种“弥散”效应。它们对于模型的正常运转至关重要——它们是模型能够遵循规则或复制单词的原因——但它们并不指向一个单一、可预测的方向。

简而言之，这篇论文表明我们需要改变看待这些 AI 开关的方式。我们不能把它们都当作关于特定话题的简单开关。有些开关像是存放事实的文件柜，但另一些则是根据情况改变其效果的动态工具。如果我们未来想要控制这些 AI 模型，我们不能仅仅寻找一个单一的“巴黎”按钮或一个单一的“复制”按钮，并期望它每次都表现得一样。我们必须理解，对于许多这类工具来说，其效果是一个复杂的云团，其形状取决于正在讲述的故事。作者们并不声称他们已经解决了这个问题，但他们提供了一张新地图，向我们展示了困惑究竟在哪里，证明了 AI 的“遥控器”比我们想象的要复杂得多。

技术摘要：稀疏自编码器同时编码概念与功能：特征效应的下游几何结构

1. 问题陈述

稀疏自编码器（SAE）在机械解释性领域的广泛应用目前受到一个问题的限制：即 SAE 特征与模型行为之间存在不一致的联系。虽然特征通常具有清晰的激活描述（例如“巴黎”或“复制”），但其因果效应往往是不稳定的。先前的研究表明，转向（steering）效应可能会随提示词的变化而变化、与预期方向相反，或者尽管激活强度很高，却无法产生预期的输出变化。

现有的解释性工作流程依赖于激活证据（高激活示例、自动化描述、解码器读出）来将特征与概念联系起来。然而，仅凭激活并不能建立因果贡献。目前在理解由特征干预引起的下游逻辑值（logits）变化的几何结构方面存在关键空白。具体而言，目前尚不清楚一个特征的下游效应是构成了一个稳定的、可重用的方向（即“转向向量”），还是表现出复杂的、依赖于上下文的几何结构。本文旨在回答这个问题：当对一个特征进行跨不同上下文的干预时，其下游效应的可比性如何？

2. 方法论

2.1 特征-效应几何分析 (FEGA)

作者引入了 特征-效应几何分析 (FEGA)，这是一个无监督、离线的框架，旨在测量并分类由特征消融导致的下游逻辑值变化的几何结构。

干预协议：

相对于重构的基准线： 为了将特定特征 $j$ $j$ 的效应从 SAE 重构误差中分离出来，该方法比较了两条路径：
- 基准线： SAE 重构 $\bar{h}^{(c)}_\ell = D(E(h^{(c)}_\ell))$ 。
- 干预： 将特征 $j$ 置零后的重构： $\hat{h}^{(c)}_{\ell,j\downarrow} = D(z^{(c)} - z^{(c)}_j e_j)$ 。
下游传播： 两条路径都通过冻结的模型尾部（后续层）传播到最终的逻辑值读出 $\phi(\cdot)$ 。
效应云： 计算一组有效上下文 $C$ 下的逻辑值差异 $\Delta^{(c)}_j = \phi(\hat{h}^{(c)}_{\ell,j\downarrow}) - \phi(\bar{h}^{(c)}_\ell)$ 。这些差异的集合构成了特征-效应云 $E_j$ 。

几何诊断：
FEGA 使用基于归一化方向向量 $v^{(i)}_j$ 的一系列诊断工具来分析逻辑值空间中的 $E_j$ 形状：

定向射线集中度 ( $C_{ray}$ )： 测试所有效应是否指向同一个有符号方向。
轴向或对跖结构 ( $B_{axis}$ )： 测试效应是否对齐于单一轴线，但分布在正负两个符号之间（例如 $u$ 和 $-u$ ）。
方向混合： 使用 von Mises-Fisher 混合模型来检测是否存在多个不同的、连贯的方向模态。
全局跨度谱： 使用对核矩阵进行主成分分析（PCA），以确定效应是否位于低维子空间内（例如 2D 或 3D）。
中心残差谱： 分析围绕平均方向的变化，以检测低维偏差。

该框架根据这些诊断结果分配一个主要几何标签（如“定向射线”、“轴向”、“弥散”）和次要标志（如幅度异质性）。

2.2 实验设置

模型： Gemma-2-2B。
SAE 变体： 应用于第 12 层后残差流的 ReLU、TopK 和 Matryoshka Batch TopK（宽度 $\approx$ 65k）。
任务谱：
- 类值型（事实性）： RAVEL（城市-国家属性解耦）。此处的特征代表静态信息（例如“巴黎在法国”）。
- 类指针型（操作型）： 字面序列复制（LSC）、单词内容（WC）、PrOntoQA（规则遵循）和 Token 翻译（TT）。这些任务需要依赖上下文的操作（复制、绑定、规则应用），且没有固定的 Token 含义。
特征隔离：
- 类值型： 通过 SAEBench 的差异化二值掩码进行属性控制选择。
- 类指针型： 基于在 ICL 任务中跨提示词族的高激活频率进行选择，随后通过消融验证其因果贡献。

3. 关键结果

3.1 特征效应很少是单一方向

在所有 SAE 变体和任务中，下游特征效应很少塌缩为单一的、上下文无关的逻辑值向量。认为特征是可重用转向方向的假设是例外而非普遍规律。大多数效应云并不表现出高度的定向射线集中度。

3.2 类值型与类指针型特征的区别

论文区分了两种具有不同几何属性的功能角色：

类指针型特征： 与提示词局部操作（复制、规则遵循）相关。
- 复现性： 一组小规模、紧凑的特征会跨不同的 ICL 任务（如 LSC、WC、PrOntoQA）复现，特别是在 TopK 和 Matryoshka Batch TopK 架构中。
- 几何结构： 这些特征主要表现出弥散效应。即使它们在任务间复现，也不会表现为可重用的逻辑值方向；它们的效应会散布在输出空间中，这与目标值根据所复制或翻译的具体值而改变的情况相一致。
- 因果性： 对这些选定集合的联合消融会导致准确率显著下降，证实了尽管缺乏稳定的几何方向，它们仍具有因果作用。
类值型特征： 与静态事实属性（如 RAVEL 城市-国家）相关。
- 几何结构： 与类指针型特征相比，这些特征表现出更结构化、低维的效应。
- 结构： 然而，即使是这些结构化的效应，通常也会跨越多个输出方向，而不是塌缩为单一的转向向量。

3.3 不相交的特征集

用于类指针型任务（ICL）和类值型任务（RAVEL）的特征集是不相交的。没有出现在 ICL 任务中的特征出现在 RAVEL 事实属性集中，这表明 SAE 字典将这些功能角色进行了分离，即便它们的几何表现形式很复杂。

4. 贡献与意义

主要贡献：
本文引入了 FEGA，这是一个将解释性重心从激活描述转向干预效应几何结构的框架。它提供了一种可计算的诊断工具，用于衡量特征效应是如何组织的，从而区分可重用的方向、结构化的低维空间以及弥散的云团。

意义声明：

挑战转向假设： 研究结果挑战了普遍假设，即一个具有清晰描述和因果效应的特征可以作为一个可靠的、单一向量的控制变量。一个特征可以是可解释的且具有因果重要性的，但并不一定能提供一个稳定的转向方向。
细化特征角色： 通过区分“类值型”（静态信息）和“类指针型”（上下文依赖操作）特征，本文解释了为什么转向行为会发生变化。类指针型特征支持的是操作而非静态概念，因此自然会产生弥散的、依赖于上下文的效应。
方法论转变： 本文认为，特征层面的解释性必须区分三个方面：特征检测什么、它是否具有因果重要性，以及它的效应如何随上下文变化。FEGA 为评估第三个方面提供了必要的“效应侧审计”。

结论的审慎性：
作者明确指出，他们发现逻辑值空间中的方向稳定性“通常是有限的”。他们并非声称 SAE 特征对于转向是无效的，而是指出期望得到单一、可重用的转向向量这一预期往往是不正确的。本文并未提出新的转向算法，而是提供了一个诊断工具，以理解当前转向方法的局限性。几何标签（如“弥散”、“轴向”）被描述为对效应云的描述性总结，而非对底层神经计算的机械性解释。