💬 NLP

Turn-Averaged SAEs for Feature Discovery and Long-Context Attribution

本文引入了轮次平均稀疏自编码器（turn-averaged SAEs），通过重建整个对话轮次的平均模型激活值来克服标准基于标记（token-based）的 SAE 的可扩展性限制，从而为长上下文语言模型转录文本实现更全面的特征发现和简化的归因分析。

原作者： Kevin Der, Harish Kamath, Ben Thompson

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kevin Der, Harish Kamath, Ben Thompson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图理解一段人类与人工智能之间漫长且复杂的对话。你想知道人工智能为什么会说出那样的话。

在 AI 研究领域，科学家们使用一种叫做稀疏自编码器 (Sparse Autoencoder, SAE) 的工具。你可以把 SAE 想象成一个极其有条理的图书管理员，他将 AI 的思想拆解成一个个微小且具体的“便利贴”。

旧方法：“逐词（Token-by-Token）”图书管理员

传统的图书管理员每次只看对话中的一个词（或一个“Token”）。

问题在于： 如果对话有 1,000 个词，图书管理员就会写下 1,000 张便利贴。如果对话有 100,000 个词，他们就会写下 100,000 张便利贴。
结果： 这些笔记极其琐碎。一张笔记可能说“这里出现了‘苹果’这个词”；另一张可能说“‘跑’这个词出现在那里”。但当你试图观察整个故事时，你会被淹没在海量的便利贴中。你无法“见树不见林”。你很难轻易判断 AI 是在“无礼”、“富有创意”还是在“讨论数学”，因为这些宏大的概念被分散在成千上万个微小的笔记中。

新想法：“轮次平均（Turn-Averaged）”图书管理员

这篇论文的作者引入了一种新方法，叫做轮次平均 SAE (Turn-Averaged SAEs)。他们不再关注每一个单词，而是要求图书管理员观察整个对话的“轮次”（即人类或 AI 完成的一次完整回复），并对该轮次中所有的思想进行平均。

创意类比：奶昔 vs. 水果沙拉

旧方法（逐词/Per-Token）： 想象一份水果沙拉，你可以看到每一颗种子、每一片细小的皮和每一粒微小的糖分。它非常详细，但如果你想知道这份沙拉是“甜的”还是“酸的”，你必须去数每一块碎片。
新方法（轮次平均/Turn-Averaged）： 想象把那份水果沙拉搅拌成一杯奶昔。你会失去特定的种子或皮（即单个词的微观细节），但你会得到一个完美、清晰的整体风味轮廓。它是“草莓奶昔”吗？是的。它是“辛辣”的吗？不。搅拌过程（平均化过程）过滤掉了噪音，保留了大局。

他们的发现

研究人员在一个拥有 70 亿参数的 AI 模型（一个非常聪明但尚未达到“超智能”水平的 AI）上，利用真实的聊天数据测试了这种新的“奶昔”方法。以下是他们的发现：

更擅长洞察大局： 当他们要求 AI 描述一段对话轮次的主题时，“轮次平均”的笔记在捕捉高层概念方面表现得更好，例如“用户正在表现得无礼”、“话题是关于汽车安全”或“AI 表现得过于热情”。旧的“逐词”笔记大多只是列出了特定的词汇或语法模式，忽略了整体的氛围。
处理长篇故事： 由于它们是对整个轮次进行平均，这些新的笔记对于 30,000 字的长文档和短句同样有效。旧的方法在面对长文本时会变得混乱不堪。
“俄罗斯套娃”解决方案： 他们还构建了一个特殊的“嵌套”模型。想象一个俄罗斯套娃：
- 内层娃娃装着“奶昔”笔记（轮次的宏观图景）。
- 外层娃娃装着“水果沙拉”笔记（单个词的具体细节）。
  这使得 AI 可以在同一个系统中同时拥有宏观视角和微观细节。

为什么这对于“归因（Attribution）”（追踪原因）很重要

使用这些工具的一个主要用途是绘制一张图谱（称为归因图），展示 AI 大脑的一个部分是如何影响另一个部分的。

旧图谱： 对于一段长对话，它的图谱会有成千上万个点和线，是一个无法阅读的乱麻。
新图谱： 通过 Turn-Averaged SAEs，图谱被简化了。不再是为每个词设置一个点，而是为每个“轮次”设置一个点。这张图变成了一个清晰、可读的流程图，展示了用户的提问是如何引发 AI 特定回答的。

论文中的真实案例

研究人员在一段对话中测试了这一点，在这段对话中，AI 最初拒绝回答问题，随后逐渐妥协，最后开始输出乱码（退化文本）。

使用旧方法： 图谱太乱了，无法理解。它指向了一些随机的东西，比如“化学名称”或“JSON 代码”，这些东西无法作为解释原因的逻辑依据。
使用新方法： 图谱清晰地展示了事件链：
1. 前期的轮次包含了与“AI 安全”和“核武器”相关的特征。
2. 这触发了一个用于“检测越狱尝试（jailbreak attempts）”的特征。
3. 最终导致了“退化输出（degenerate output）”。
  新方法成功地追踪了 AI 崩溃背后的“为什么”，而旧方法无法清晰地做到这一点。

核心结论

这篇论文表明，通过对 AI 的思想进行“混合（blending）”处理，我们可以创造出更好的工具，尤其是在处理长对话时，能更好地理解 AI 的含义、风格和安全性。它将混乱的便利贴堆，转化为了一个清晰、可读的故事。

注：该论文严格侧重于如何改进我们分析和理解 AI 模型的方法。它并不声称这些工具已准备好用于临床使用、医疗诊断或直接部署到消费级产品中。

技术摘要：用于特征发现与长上下文归因的轮次平均 SAE（Turn-Averaged SAEs）

1. 问题陈述

稀疏自编码器（SAEs）已成为提取语言模型可解释特征的主要工具，促进了电路分析、行为引导和安全性监测。然而，标准的 SAE 架构作用于单个 token 的激活值。这种基于 token 的粒度为大规模可解释性带来了两个显著瓶颈：

扩展性限制： 活跃特征的数量随上下文长度线性增加。在长上下文场景或多轮对话中，产生的数据量使得下游分析（如归因图）变得繁琐且难以检查。
高层上下文丢失： 许多可解释性目标涉及理解模型为何产生特定的响应，这需要识别分布在许多 token 上的高层属性（例如：主题、人格设定、安全特质）。标准的逐 token SAE 通常学习的是针对特定词汇或句法模式的低层检测器。由于其训练目标是独立重建每个位置，因此没有压力促使模型将这些高层、跨范围的特征与 token 级的噪声分离。

2. 方法论

2.1 轮次平均 SAEs (Turn-Averaged SAEs)

核心提议是在一个 token 跨度（具体为单个人类或助手轮次）的 平均隐藏状态 上训练 SAE，而非在单个 token 激活值上。

输入转换： 给定一个包含 token $x_t$ 的轮次 $T$ ，输入为平均隐藏状态 $\bar{x} = \frac{1}{|T|} \sum_{t \in T} x_t$ 。
架构： SAE 架构与标准实现保持一致（使用 BatchTopK 来实现稀疏性）。由于 $\mathbb{R}^{d_{model}}$ 中向量的平均值保留了与单个向量相同的维度，因此不需要结构上的改变。
直觉： 平均化起到了低通滤波器的作用。它平滑了高频、特定于 token 的细节（如特定的选词或句法标记），同时保留了对应于宽泛概念（如主题、风格和行为特质）的低频成分。

2.2 混合架构

为了解决平均化会丢弃逐 token 细节的局限性，作者提出了两种混合方法，以捕捉高层结构和细粒度残差：

解耦 SAE (Decoupled SAE)： 训练两个独立的 SAE。一个重建轮次平均值 ( $\bar{x}$ )，另一个重建残差 ( $x_t - \bar{x}$ )。虽然这分离了信号，但两个模型在因果上是脱节的，这会使归因分析复杂化。
嵌套 SAE (Nested SAE，类 Matryoshka 风格)： 训练一个具有共享编码器和解码器的单一 SAE，但使用专门的损失函数。特征空间被分为内部分区 $[0:h]$ $[0 : h]$ 和外部分区 $[h:d_{sae}]$ $[h : d_{s a e}]$ 。
- 损失函数： $L = \sum_t \| \text{dec}(\text{enc}(x_t)) - x_t \|^2 + \alpha \cdot \| \text{dec}_h(\text{enc}(\bar{x})[0:h]) - \bar{x} \|^2$ 。
- 内部分区被强制重建轮次平均值，而全量特征则重建逐 token 的激活值。这使得单个模型能够同时学习高层轮次特征和 token 级细节。

2.3 归因图适配

作者将归因图适配到轮次层面。节点不再代表特定 token 位置的特征，而是代表在特定轮次和层级上活跃的特征。

边权重： 通过计算跨源轮次的梯度归因，并根据轮次长度进行归一化（ $1/|T_A|$ 和 $1/|T_B|$ ）来计算，以确保权重与轮次长度无关。
干预验证： 通过在源轮次的所有 token 上沿其解码器方向扰动源特征，并测量目标特征前激活值的变化，来验证边权重。

3. 核心贡献

轮次平均 SAEs： 证明了在平均隐藏状态上训练可以产生比逐 token 特征更完整地捕捉高层轮次特征（主题、风格、安全特质）的特征。
嵌套 SAE 架构： 引入了一种单一模型架构，通过类 Matryoshka 损失函数共同学习轮次平均特征和逐 token 特征，实现了对两种信号成分的高质量重建。
可扩展归因： 将归因图适配到轮次层面，实现了对多轮对话的紧凑分析。作者通过干预实验和充分性指标（完备性和替换性）验证了这些图的有效性。

4. 结果

4.1 特征质量与重建

重建： 嵌套 SAE 实现了 0.167 的逐 token 归一化均方误差 (nMSE)，接近纯逐 token SAE 的 0.162，同时实现了 0.116 的轮次平均 nMSE。相比之下，标准的逐 token SAE 在处理轮次平均输入时表现较差（nMSE 为 0.355），表明平均值对于经过 token 训练的模型来说属于分布外数据。
定性发现： 在涉及数学错误、热情的技术风格和监管合规性的示例中，轮次平均特征成功识别了高层行为属性（如“错误答案”、“热情的技术风格”），而逐 token 特征未能识别或仅能部分捕捉这些属性。
长上下文泛化： 在聊天轮次（平均长度约 150 个 token）上训练的轮次平均 SAE 成功泛化到了 LongBench v2 中长达 150 倍的文档（24k–32k tokens），识别出了诸如“宏观经济学”和“计算机图形学”等高层概念，而逐 token 特征未能检测到这些概念。

4.2 定量评估

使用 LLM-as-a-judge 框架将特征描述与轮次的结构化摘要进行比较：

判别力 (10 路匹配)： 逐 token 特征（最大池化）优于轮次平均特征（95.0% 对 73.9%），因为前者依赖于特定的 token 级细节来区分文本。
覆盖度 (成对及 5 路排序)： 轮次平均特征显著优于逐 token 特征（在成对比较中胜出 87.9%）。它们提供了对轮次高层特征更完整的描述。
嵌入度量： 轮次平均特征实现了最高的余弦相似度 (0.663) 至结构化摘要字段，证实了其在语义内容覆盖方面的优越性。

4.3 归因分析

图紧凑性： 对于 10 轮对话，轮次平均图将节点数量从约 12.8 万个（逐 token）减少到约 5000 个，使检查变得可行。
案例研究：
- 系统提示词归因： 轮次平均图正确识别了哪些系统提示词段落影响了特定的用户查询，显示的归因偏移与逐 token 图相当。
- 退化追踪： 在一个 14 轮对话中，模型退化为重复文本，轮次平均图追踪到了一个连贯的因果链：“AI 安全免责声明” $\to$ “核武器” $\to$ “对抗性提示检测” $\to$ “退化输出”。逐 token 图未能找到对抗检测特征，而是将其追踪到“化学化合物”等无关概念。
干预与充分性： 边权重显示出与干预效果显著的相关性。嵌套 SAE 实现了最高的“完备性”和“替换性”充分性得分，优于纯逐 token 以及事后聚合的逐 token 特征。

5. 重要性与主张

本文声称，轮次平均 SAEs 使可解释性技术在长上下文长度下变得实用。 通过将分析单元从 token 转向跨度（span），该方法：

产生的特征比 token 级特征更完整地描述了高层特性（主题、人格、安全性）。
能够为多轮对话构建紧凑且可解释的归因图，否则这些图规模过大会难以分析。
证明了通过修改训练信号（通过平均化）可以迫使 SAE 学习所需粒度（高层概念）的特征，且不受 token 数量的影响。
表明这些特征可以泛化到比训练时更长的跨度，表明了其在分析前沿模型时的鲁棒性。

作者指出了局限性，包括目前的实验规模（7B 模型，LMSYS-Chat-1M 语料库）以及对 LLM 评估指标的依赖，并指出将该方法应用于前沿模型以及创建地面真值（ground-truth）基准测试是未来的必要工作。