💬 NLP

Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders

本文表明，稀疏自编码器中的概念表示对对抗性输入扰动高度脆弱，这表明在没有额外的去噪或后处理的情况下，它们目前并不适合用于可靠的模型监控与监督。

原作者： Aaron J. Li, Suraj Srinivas, Usha Bhalla, Himabindu Lakkaraju

发布于 2026-01-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Aaron J. Li, Suraj Srinivas, Usha Bhalla, Himabindu Lakkaraju

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：“脆弱的翻译官”

想象你有一个巨大的、超级聪明的机器人（大型语言模型），它说着一种只有它自己才懂的秘密复杂语言。为了理解这个机器人在想什么，科学家们建造了一个特殊的“翻译官”，叫做稀疏自编码器（SAE）。

把 SAE 想象成一本字典，它能将机器人的秘密代码翻译成人类的概念。当机器人想到“猫”时，SAE 会点亮一个贴着“猫”标签的特定灯泡。当它想到“数学”时，另一个贴着“数学”标签的灯泡就会发光。

长期以来，研究人员认为这些灯泡是可靠的。他们检查了这本字典是否准确（“猫”是否真的代表猫？），以及这些灯是否具有区分度（提到“狗”时，“猫”的灯会不会误亮？）。

这篇论文提出了一个全新的、令人恐惧的问题： 如果有人溜进房间，对着机器人低声说出一个微小的、几乎不可察觉的词语，会发生什么？翻译官还能正常工作吗？还是会变得混乱，开始点亮错误的灯泡？

实验过程：“耳语攻击”

研究人员决定通过尝试欺骗这些翻译官来测试它们的稳固程度。他们使用了一种被称为“耳语攻击”（技术上称为对抗性扰动）的方法。

想象一下，你正试图告诉机器人：“我想烤个蛋糕。”

正常情况： 机器人理解“蛋糕”的意思，SAE 点亮了“烘焙”灯泡。
攻击发生： 研究人员只改变了句子中的一个词。也许他们把“烤（bake）”改成了“烤烤（bakey）”，或者在结尾加了一个奇怪的词如“zorp”。
- 输入： “我想**烤烤（bakey）**一个蛋糕。”

令人震惊的结果：
尽管这个句子对人类来说听起来几乎完全一样（而且机器人仍然知道这是关于烘焙的内容），但 SAE 翻译官完全疯了。

“烘焙”灯泡熄灭了。
“家具”灯泡亮了。
“化学”灯泡也亮了。

在论文的实验中，他们发现仅仅改变一个单词（甚至是用一个同义词替换单词）就能完全搅乱翻译官的输出。他们可以通过更换一个标记（token），让机器人原本关于“有害指令”的句子看起来像是关于“无害艺术”的。

他们尝试破坏翻译官的四种方式

研究人员测试了四种破坏翻译官的方法，就像机械师测试汽车悬挂系统一样：

“全盘混乱”测试（无目标攻击）： 他们试图让翻译官点亮任何随机的一组灯泡，仅仅是为了看看它是否会崩溃。结果： 它很容易崩溃。
“调包计”测试（有目标攻击）： 他们试图让翻译官把一段关于“体育”的句子误认为是关于“商业”的。结果： 他们成功了。仅仅一个词的变化，就让“体育”的灯熄灭，让“商业”的灯亮起。
“群体”测试（群体层面）： 他们试图改变同时亮起的整个灯泡组。结果： 非常容易搞砸。
“单灯泡”测试（个体层面）： 他们试图只打开或关闭某一个特定的灯泡。结果： 他们可以关掉大部分灯，但对于那些原本就不会亮的“死灯”，则无法强行点亮。

最重要的发现：机器人没问题，翻译官有问题

这里有一个让这篇论文变得至关重要的转折：

当研究人员通过改变那个单词来欺骗 SAE 时，他们检查了机器人的大脑（底层的语言模型）。

机器人的想法变了吗？ 没有。它仍然理解这句话是在讨论烘焙。
机器人的内在感受变了吗？ 没有。
SAE 翻译官的想法变了吗？ 是的。 它彻底乱套了。

类比说明：
想象一个站在你和演讲者之间的翻译官。

你说：“我饿了。”
演讲者（机器人）完美地理解了你。
但翻译官（SAE）突然大喊：“他在说他想跟熊打架！”

问题不在于演讲者糊涂了，问题在于翻译官太脆弱了。它会被人类甚至都不会察觉的微小变化所欺骗。

为什么这很重要（根据论文观点）

作者认为，如果我们想利用这些翻译官来监控 AI（例如，确保 AI 不在说坏话），那么我们将面临麻烦。

如果一个心怀恶意的人可以通过改变提示词中的一个词，让“安全监控器”（SAE）误以为一个危险请求是一个无害请求，那么安全系统就会失效。论文得出结论：目前，这些翻译官过于脆弱，在被修复之前，还无法被信任用于安全或监管工作。它们就像一座玻璃房：看起来很美，但一颗小石子就能让整个结构粉碎。

一句话总结

这篇论文表明，我们用来“读取”AI 心智的工具极其脆弱；输入端一个微小的、几乎不可察觉的变化，就能完全迷惑翻译官，即便 AI 本身的心智完全没有改变。

技术摘要：评估稀疏自编码器中概念表示的对抗鲁棒性

问题陈述

稀疏自编码器（SAE）已成为机械解释性（mechanistic interpretability）的主要工具，负责将大型语言模型（LLM）的稠密内部激活映射到稀疏且具有人类可解释性的概念表示。虽然现有的 SAE 评估侧重于重建-稀疏性权衡、人类可解释性和特征解耦，但它们在很大程度上忽视了一个关键维度：对输入扰动的鲁棒性。

目前的评估通常假设输入是静态、连贯且未受扰动的。然而，在对抗性语境下——即解释提供者与消费者之间可能存在冲突目标的情况下——SAE 的表示可能会变得脆弱。如果攻击者能够通过极小的输入扰动来操纵 SAE 激活，而不显著改变基础 LLM 的行为，那么概念标记（concept labeling）的忠实度就会受到损害。这引发了对 SAE 在模型监控、安全监督以及依赖稳定概念级表示的下游应用中可靠性的担忧。

方法论

理论框架

作者将 SAE 鲁棒性形式化为输入空间优化问题。他们假设存在一个从输入空间 $X$ 到语义概念空间 $C$ 的“地面真值”（ground-truth）概念映射 $f_c$ 。鲁棒性被定义为学习到的稀疏潜空间 $Z$ 与 $C$ 之间的对齐关系在对抗性扰动下的保持能力。

其核心假设是地面真值映射是双 Lipschitz 连续的（bi-Lipschitz），这意味着输入标记序列的微小变化（通过编辑距离衡量）会与语义概念的比例变化相对应。这使得可以直接在输入空间 $X$ 而非假设的概念空间 $C$ 中进行对抗样本的搜索。

该评估框架通过两个优化目标来定义鲁棒性：

无目标（Untargeted）： 在给定的有界输入编辑距离内，最大化原始 SAE 激活 $z_1$ 与扰动后的激活 $z'_1$ 之间的距离。
有目标（Targeted）： 在保持输入扰动有界的条件下，最小化扰动激活 $z'_1$ 与目标激活 $z_2$ （来自一个语义无关的输入）之间的距离。

评估维度

作者提出了一个结合三个二元维度的结构化框架，用以定义八种不同的对抗场景：

语义目标： 无目标（改变 SAE 激活的整体情况）对比有目标（将激活转向特定的无关输入）。
激活目标：
- 群体层面（Population Level）： 操纵前 $k$ 个激活潜变量的集合，通过概念重叠率来衡量。
- 个体层面（Individual Level）： 激活或去激活特定的 SAE 特征，通过二进制秩变化（binary rank changes）来衡量。
扰动模式： 最小化输入变化，具体表现为替换单个标记或附加单个标记后缀。

攻击算法

为了解决这些优化问题，作者改编了最初用于 LLM 提示词优化的 贪婪坐标梯度（Greedy Coordinate Gradient, GCG） 算法。由于稀疏潜空间中的距离度量是不可微的，该方法采用了混合方法：

梯度计算： 使用连续 SAE 表示空间上的可微损失函数（例如余弦相似度、对数似然）来计算梯度。
候选选择： 使用原始不可微距离度量（例如概念重叠率、二进制激活状态）在离散输入空间中生成并评估对抗候选样本。

核心贡献

识别关键差距： 本文指出鲁棒性是 SAE 评估中一个基本但尚未得到充分探索的维度，认为概念表示必须在输入扰动下保持稳定，才能被视为可靠。
全面的评估框架： 作者引入了一个具有理论依据的框架，通过定义语义和激活目标来界定 SAE 鲁棒性，从而实现系统性的测试。
通用的攻击方法论： 他们提出了一种从 GCG 改编而来的通用输入级攻击算法，能够生成操纵 SAE 解释的对抗性输入。
关于脆弱性的经验证据： 在多个开源 LLM（Gemma2, Llama3）、SAE 架构（JumpReLU, Top-K）及数据集上的广泛实验表明，SAE 的概念表示具有高度的脆弱性。

实验结果

作者在 Gemma2-2B、Gemma2-9B 和 Llama3-8B 上进行了评估，使用了多种 SAE 宽度和层数，以及包括 AdvBench、AG News、SST2 和生成的“艺术与科学”数据集在内的多种数据集。

高成功率： 微小的对抗性扰动（通常仅为单个标记替换）就能有效操纵基于概念的解释。
- 群体层面： 无目标攻击成功地将原始输入与扰动输入之间的概念重叠率降低至约 20–30%；而有目标攻击则将与无关目标的重叠率提升至约 50–60%。
- 个体层面： 在有目标设置下，超过 60% 的选定 SAE 潜变量是可操纵的。在去激活场景下，成功率达到了约 90%。
与 LLM 鲁棒性的解耦： 至关重要的是，在对抗性扰动后，在基础 LLM 隐藏状态上训练的线性探针在检测语义概念（如伤害、情感、主题）方面仍保持了高准确率（>90%）。这表明 LLM 的内部语义表示保持稳定，而 SAE 到概念的映射则是失效点。
非对抗性脆弱性： 即使是非对抗性扰动（例如将一个词替换为同义词），也会使概念重叠减少约 30%，这表明除了恶意攻击之外，还存在内在的脆弱性。
可迁移性： 攻击在不同模型间（例如从 Gemma2 到 Llama3）具有迁移性，虽然性能有所下降，但依然有效，这表明基于 SAE 的解释存在普遍的漏洞。

意义与主张

论文得出结论：SAE 概念表示是脆弱的，如果不进行进一步的去噪或后处理，它们可能不适用于需要高可靠性的应用场景，如模型监控和安全监督。

对解释性的启示： 研究结果挑战了 SAE 潜变量提供模型内部单语义（monosemantic）稳定视图的假设。如果攻击者可以在不改变模型实际输出或语义理解的情况下，轻易改变 SAE 所报告的“概念”，那么这些解释的可信度就会受到质疑。
未来方向： 作者认为，鲁棒性必须成为 SAE 评估议程的核心组成部分。他们建议，未来的工作应专注于开发去噪 SAE 激活的方法，并分离出可靠的信号。此外，他们推测这些漏洞很可能延伸到其他受 SAE 启发的方法（如 transcoders 和 crosscoders），强调了在机械解释性研究中引入鲁棒性感知目标的重要性。

本文并非声称 SAE 是无用的，而是指出在没有解决这些稳定性问题的情况下，将其部署在对抗性或高风险环境中是危险的。所提出的框架作为一个诊断工具，用于识别并过滤掉非鲁棒的解释。