💬 NLP

Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

本文通过证明当通过监督流水线进行特征选择和标注时，稀疏自编码器（SAEs）在 AxBench 基准测试上能够实现与 LoRA 相当的转向性能并识别因果特征，即使在不需要高稀疏性的情况下，从而挑战了此前关于稀疏自编码器在引导大型语言模型方面表现不佳的发现。

原作者： Mikkel Godsk Jørgensen, Lars Kai Hansen

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mikkel Godsk Jørgensen, Lars Kai Hansen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：修复一个坏掉的指南针

想象一下，大型语言模型（LLMs）就像是一个巨大的、超级聪明的图书馆，它们可以写故事、解数学题，还能和你聊天。在这些图书馆内部，有数百万个微小的“开关”（神经元），当模型思考特定事物时，这些开关就会亮起。

一段时间以来，科学家们认为他们可以找到一组特殊的开关，称为稀疏自编码器（Sparse Autoencoders, SAEs）。他们相信这些开关就像文件柜里贴好标签的抽屉：一个抽屉放“棒球”，一个放“烹饪”，一个放“悲伤”。如果你能找到“棒球”这个抽屉并按下它，图书馆就会开始谈论棒球。

然而，最近的一项研究（Wu 等人，2025年）测试了这个想法，并表示：“实际上，这些抽屉很乱。按下它们的效果并不理想。更简单的办法是直接礼貌地要求图书馆谈论棒球（使用提示词）。”

这篇论文说：“等等。我们认为之前的研究没有找对抽屉，或者不知道如何正确打开它们。当我们使用一种更好的方法来寻找并标记这些抽屉时，它们的效果几乎能媲美现有的最强工具。”

问题所在：混乱的文件柜

把 AI 模型内部想象成一个巨大的、混乱的房间，里面有数百万人同时在叫喊。

旧观点： 科学家试图寻找那些只谈论一件事（单语义性）的特定个体（特征）。
现实情况： 房间里的多数人同时在谈论很多事情（多语义性）。一个人可能会同时大喊“棒球”和“夏天”。
SAE 的解决方案： 稀疏自编码器就像一个神奇的过滤器，试图将这些混合在一起的叫喊声分离成截然不同的单一话题。

之前的研究（Wu 等人）尝试使用这些过滤器，但发现它们很弱。他们得出结论，认为 SAEs 对于“转向”（控制）AI 是没用的。

新方案：更好的标记系统

本文作者认为，之前的研究之所以失败，是因为他们使用了一种偷懒的标记方式。他们依赖于一个预先存在的列表（Neuronpedia），而这个列表很可能是由其他 AI 模型猜测出来的。

作者的创新点：
他们没有选择猜测，而是构建了一个监督流水线（Supervised Pipeline）。

类比： 想象你有一盒没有标记的香料罐。旧的研究让机器人去猜里面装的是什么。而这项新研究则请来了一位人类厨师（使用带有标签的真实文本数据集）来品尝这些香料，并准确写下它们到底是什么。
过程： 他们提取了来自真实互联网帖子（Stack Exchange）的海量数据，这些帖子带有清晰的标签（如“生物学”、“法律”、“烹饪”）。他们训练了一个系统，将 AI 内部的“开关”与这些现实世界的标签进行匹配。

结果：开关确实有效！

当他们使用这些经过精心标记的新开关来引导 AI 时：

它们奏效了： 通过激活这些特定的开关，AI 成功地开始谈论目标话题（如棒球或物理）。
它们具备竞争力： 他们的表现几乎与 LoRA（一种用于从头开始重新训练 AI 的重型、昂贵工具）一样出色。
它们击败了旧研究： 他们的表现远好于 Wu 等人报告的结果，证明了 SAEs 并没有坏掉；它们只是需要更好的标签。

两个令人惊讶的发现

论文发现了两个挑战以往认知的发现：

1. 你不需要“超稀疏”的开关

旧观点： 科学家认为你需要极其罕见（高稀疏度）的开关才能奏效。就像在干草堆里找针一样。
新发现： 作者发现，即使是那些稍微常见一点（低稀疏度）的开关也能很好地工作。你不需要最稀有的针，稍微常见一点的针也完全够用。

2. “因果”测试

旧观点： 仅仅因为一个开关在 AI 谈论“棒球”时亮起，并不意味着这个开关导致了 AI 谈论棒球。它可能只是一个巧合。
新发现： 当他们强制让开关保持“开启”状态时，AI 真的开始谈论棒球了。这证明了该开关不仅仅是一个旁观者，而是一个驱动者。

难点：这仍然比直接提问要难**

作者坦诚地说明了局限性。

提示词基准（Prompt Baseline）： 如果你直接输入“写一首关于棒球的诗”，AI 会做得非常好。这是因为 AI 在训练过程中就被教导要听从指令。
SAE 方法： 使用 SAEs 就像是试图通过手动拨动 AI 大脑内部的开关来控制它。这是一种“受控损伤”实验。它有效，但比起礼貌地向 AI 提问，这种方法更难且不够自然。

一句话总结

这篇论文证明了稀疏自编码器实际上是控制 AI 行为的强大工具，但前提是你要花时间利用真实数据来仔细标记它们的内部“开关”，而不是依赖猜测。

技术摘要：利用稀疏自编码器引导 LLM

问题陈述
稀疏自编码器（SAE）已被提议作为解释大型语言模型（LLM）的工具，通过基于线性表示假设和叠加假设，在残差流中发现单语义特征。虽然 SAE 特征在理论上能够控制模型生成（引导），但最近的基准测试（如 Wu 等人，2025 年的 AxBench）表明，SAE 的表现显著逊于简单的基线方法，例如提示词（prompting）。Wu 等人（2025）得出结论：“即使是简单的基线在引导任务上也优于稀疏自编码器。”此外，之前的工作（Wang 等人，2025）指出，高解释性和高引导效用与高稀疏性（低 $\ell_0$ ）强相关，而这一条件通常在 Neuronpedia 等仓库中注释的特征中得到满足。本文作者认为，Wu 等人（2025）报告的性能不佳可能源于次优的特征标记和选择策略，而非 SAE 本身的固有局限性。

方法论
本文提出了一种用于标记和选择 SAE 特征的有监督流水线，以提高引导性能，这与之前的无监督或基于 LLM 的标记方法形成对比。

有监督标记流水线：
- 数据源： 作者利用了 Stack Exchange 数据集（例如学术、生物、体育），其中用户分配的标签作为地面真值多标签。
- 特征探针： 对于每个 SAE 特征，通过计算该特征在数据集上的激活频率来构建线性探针。根据特征频率是否超过阈值 $\tau$ 来进行二元预测。
- 校准 F1 分数： 为了将特征与标签匹配，作者计算了“校准 F1”分数（ $F1^c$ ）。该指标通过调整标准的 F1 分数来考虑标签支持度（频率），从而防止对稀有或常见标签的偏差。通过最大化该分数来选择最优阈值 $\tau$ 。
- 去噪与选择： 为了确保高质量的匹配，该流水线应用了三个标准：
  1. 标签支持度阈值： 过滤掉出现次数少于 50 次的标签，以减少方差。
  2. 输出分数代理： 使用基于 Arad 等人（2025）输出分数的阈值（ $10^{-3}$ ），以筛选具有内在引导潜力的特征。
  3. Top-K 选择： 每个类别保留前 50 个特征-标签对。
引导机制：
- 作者采用了 Templeton 等人（2024）的激活编辑方法。在推理期间，特定的特征激活值（ $z_f$ ）被钳制（clamped）为数值 $\alpha$ 。重建误差得以保留，并将编辑后的隐向量传递给解码器。
- 评估： 该方法在 AxBench 上进行评估，该基准测试对生成的文本在流畅性、指令遵循和概念融入方面进行评分。作者使用交叉验证为每个特征-标签对单独优化引导强度 $\alpha$ ，而不是使用单一的全局值。
实验设置：
- 模型： 实验在 Gemma 2 (9B) 上进行，将插入到第 17 层和第 32 层残差流中的 Gemma Scope SAE（宽度 131k）进行测试。
- 基线： 对比对象包括 “NP random” 基线（随机选择带有 Neuronpedia 标签的特征）以及 Wu 等人（2025）中的提示词引导基线。

关键结果

与 LoRA 的性能持平： 当通过所提出的有监督流水线进行特征选择和标记时，SAE 在 AxBench 基准测试上的引导性能接近 LoRA（低秩自适应）基线。这显著优于 Wu 等人（2025）报告的结果。
因果有效性： 该流水线选择的特征与其识别出的标签具有令人惊讶的因果关系。即使在选择过程中移除“输出分数”组件（引导能力的代理），通过有监督标记选择的剩余特征仍然表现出优于随机 Neuronpedia 选择的引导性能。
稀疏性无关性： 与 Wang 等人（2025）的发现相反，作者发现高稀疏性（低 $\ell_0$ ）对于成功的引导并非严格必要。Gemma Scope 模型中的低稀疏性和高稀疏性 SAE 在引导任务中均表现有效。
提示词基线： 虽然所提出的 SAE 方法较之前的 SAE 尝试有了显著提升，但作者指出，简单的提示词仍然是一个强大的基线，这可能是因为 LLM 是针对遵循指令进行了显式训练。

意义与主张
本文是对“SAE 在引导方面无效”这一主张的部分反驳。作者认为，Wu 等人（2025）的负面结果由于依赖于预先存在的、可能并非最优的标签，以及缺乏有监督的特征选择，未能对 SAE 进行“充分的评价”。

其主要意义在于证明了：

标记至关重要： 标记 SAE 特征的方法至关重要。使用校准指标和支持度阈值的有监督方法可以获得具有真实因果影响的特征。
SAE 的鲁棒性： SAE 可以与参数高效微调方法（LoRA）相媲美，用于引导任务，验证了它们作为解释工具的效用。
因果地面真值： 在研究场景中，成功的特征引导证实了特征标签的“地面真值”，将其与可能误导基于相关性解释的、由数据集特性引起的伪影（多语义性）区分开来。

作者保持了谦逊的语气，承认虽然 SAE 对于研究和理解模型内部机制非常强大，但由于 LLM 训练的性质，提示词在实际应用中仍是一个难以超越的基线。他们还指出，特征引导涉及对模型的“受控损伤”，这使得它在与标准微调相比，不太适合生产环境。