💬 NLP

SAEs Can Improve Unlearning: Dynamic Sparse Autoencoder Guardrails for Precision Unlearning in LLMs

本文介绍了动态 SAE 护栏（Dynamic SAE Guardrails, DSG），这是一种利用动态稀疏自编码器来克服传统基于梯度的方法在计算、稳定性及可解释性方面的局限性的新颖遗忘方法，在从大语言模型中移除不必要知识方面实现了卓越的精确度与鲁棒性。

原作者： Aashiq Muhamed, Jacopo Bonato, Mona Diab, Virginia Smith

发布于 2026-09-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aashiq Muhamed, Jacopo Bonato, Mona Diab, Virginia Smith

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是强大的工具，它们通过学习互联网上的海量文本，学会了说话、推理和创造。然而，这种训练也意味着它们有时会吸收不该存在的信息，例如制造武器的危险指令、私人个人细节或受版权保护的故事。当这种情况发生时，开发者面临着一个难题：如何在不破坏模型原本擅长的其他所有能力的情况下，移除这些特定的、不需要的知识。以往解决这一问题的标准方法是重新训练模型，本质上是通过调整其内部数学逻辑来教它“遗忘”。但这个过程极其昂贵、缓慢且往往不稳定，有时会导致模型在丢弃不良知识的同时，也失去了有用的技能。一种较新的思路涉及观察模型内部，寻找与不需要的知识相对应的特定活动模式，并简单地关闭这些模式，但早期的尝试非常笨拙，往往弊大于利。

现在，一组研究人员开发出了一种更精准的工具，称为“动态稀疏自动编码器护栏”（Dynamic SAE Guardrails）。他们的工作表明，通过这种方式，可以在保持语言模型通用智能完全完整的前提下，手术式地移除危险或不需要的信息。该方法并非试图通过沉重的重新训练来重写模型的整个“大脑”，而是像一个智能过滤器一样，实时监测模型的思考过程。当模型开始访问特定的禁忌知识时，系统会立即阻断该路径。如果模型谈论的是安全话题，过滤器则保持开启，对话自然流畅。这种方法不仅在移除不良数据方面比以往的方法更有效，而且比之前的技术更便宜、更稳定，为在不牺牲实用性的情况下确保人工智能安全提供了一种途径。

研究人员围绕一个被称为“稀疏自动编码器”（sparse autoencoder）的概念构建了他们的系统，该概念就像一个翻译器，将模型复杂的内部思维分解成简单、易懂的部分。想象一下，模型的脑部是一个巨大的图书馆，其中的每一本书都用一种难以阅读的代码编写而成。稀疏自动编码器就是一个将这种代码翻译成清晰、截然不同的主题列表的装置。研究人员发现，这个列表中的某些主题与他们想要移除的危险信息直接相关。过去，科学家们试图通过在这些主题出现时将其关闭来使这些主题沉默，而不考虑上下文。这就像是在图书馆里每当提到生物学书籍时就关闭特定的书架，即使那个人只是在询问关于健康饮食的问题。这种粗放的方法经常破坏模型回答无害问题。

这项新工作的突破在于使系统具备了“动态性”。研究人员不再是永久性地使这些主题沉默，而是创建了一个智能分类器来检查每个问题的上下文。在模型回答之前，系统会计算当前问题在多大程度上依赖于这些禁忌主题。如果问题显然是关于危险主题的，系统就会介入并阻断模型用于回答该问题的特定路径。如果问题是安全的，系统则不做任何处理，允许模型使用其全部知识。这种有条件的处理方式意味着模型仍然可以谈论生物学、网络安全或任何其他主题，只要对话不涉及研究人员想要抹除的具体有害细节。

为了测试这种方法是否奏效，团队使用了一个名为 WMDP 的基准测试，其中包含有关生物武器和网络攻击的问题。他们在一个包含这些危险主题的模型上进行了训练，然后应用了他们的新系统来移除这些知识。结果令人震惊。与之前的最佳技术相比，新方法将模型回答生物武器问题的能力降低了一半以上，准确率从 50% 降至约 30%。与此同时，模型回答历史、地理和科学等通用问题的能力几乎完美，保持在 99% 以上。相比之下，旧方法要么未能移除足够的危险知识，要么导致模型失去了其通用技能。研究人员还在涉及隐私和记忆力的另一组挑战中测试了该系统，结果显示它同样优于现有方法，在移除不需要的记忆的同时保持了模型的高效用性。

这种方法最显著的优势之一在于其对抗“撤销遗忘”尝试的韧性。在人工智能领域，存在这样一种风险：有人可能会拿一个经过“清洗”的模型进行重新训练，从而让坏知识回归。研究人员发现，由于他们的系统是通过阻断特定的活动模式而非仅仅改变模型的权重来工作的，因此这种行为很难被逆转。当他们尝试重新训练模型以恢复被禁止的知识时，系统继续阻断这些路径，迫使模型在尝试恢复知识时陷入挣扎并最终失败。这表明这种保护比以往的方法更深层、更持久。

团队还证明了该系统具有极高的效率。传统方法需要为要移除的每一条新信息进行数小时昂贵的计算机训练时间，而这种新方法仅需在模型回答问题前进行快速检查即可。运行该过滤器所增加的时间微乎其微，仅为响应时间增加了极小的一 fraction 秒。此外，该系统非常稳健；它不需要对复杂的设置进行持续的微调即可良好运行，使其在实际应用中具有可行性。研究人员甚至展示了该系统可以在没有任何特定训练数据的情况下工作，只需利用人类对主题的描述来识别需要阻断的正确模式。这意味着该方法可以快速部署，以保护模型免受新型有害知识的影响，而无需先收集大量数据集。

最终，这项工作代表了我们思考如何控制人工智能的一种转变。研究人员表明，与其将“遗忘”视为一个可能破坏模型的沉重且具破坏性的过程，不如将其视为一种精确、轻量且可解释的操作。通过理解模型思维中哪些部分对应于特定的知识，我们可以建立起既能保护社会免受伤害，又不会限制技术潜力的护栏。研究结果表明，只要我们拥有正确的引导工具，我们就可以拥有既高度智能又严格安全的模型。

技术摘要：用于大语言模型精准遗忘的动态 SAE 护栏 (Dynamic SAE Guardrails)

问题陈述

机器遗忘（Machine unlearning）旨在从已训练的大语言模型（LLMs）中移除特定的不需要知识（遗忘集， $D_{forget}$ ），使得生成的模型与仅在保留集（ $D_{retain}$ ）上训练的模型无法区分。虽然基于梯度的遗忘方法（如梯度上升、RMU、NPO）较为普遍，但它们存在显著的局限性：

计算成本高： 它们需要昂贵的反向传播和微调过程。
不稳定性： 它们表现出对超参数的高度敏感性，并且在处理连续遗忘请求时性能会下降。
易受攻击： 它们容易受到重学习攻击（relearning attacks）的影响，即攻击者可以通过微调模型来恢复被遗忘的知识。
缺乏可解释性： 它们对于正在修改哪些内部机制缺乏透明度。
数据效率低： 它们通常需要大量的遗忘数据和保留数据才能有效运作。

先前尝试使用稀疏自编码器（SAE）进行遗忘的方法（例如 Farrell et al., 2024）依赖于静态特征钳制（static feature clamping）。这些方法的效果往往不如基于梯度的方法，因为它们在特征激活时进行普遍干预，导致了非预期的副作用，影响了通用能力的效用，并且无法区分相关上下文与无关上下文。

方法论：动态 SAE 护栏 (DSG)

作者提出了 动态 SAE 护栏 (Dynamic SAE Guardrails, DSG)，这是一种新型的、基于激活的遗忘方法，它通过一种动态的、上下文感知的干预策略来利用 SAE 的可解释性。DSG 在不修改模型权重的情况下运行，而是通过在推理过程中操纵 SAE 特征的激活值来实现。

1. 因果框架与特征选择

DSG 将遗忘建模为一种因果干预，其中特定的 SAE 特征作为训练数据与模型输出之间的中介。为了识别与 $D_{forget}$ 有因果联系的特征，DSG 采用 费舍尔信息量 (Fisher Information, FI) 作为因果影响力的代理指标。

理论基础： 论文建立了一个联系，即 SAE 特征的期望平方激活值与其对应的解码器权重之费舍尔信息量成正比。高 FI 意味着该特征显著影响模型的输出分布。
评分： DSG 计算每个特征 $j$ 的重要性比例：
$\text{imp ratio}(j) = \frac{\text{forget score}(j)}{\max(\text{retain score}(j), \epsilon)}$
其中分数分别是 $D_{forget}$ 上的平均平方激活值和 $D_{retain}$ 上的平均平方激活值。
选择： 特征的选择基于该比例的百分位数阈值（ $p_{ratio}$ ），随后按绝对遗忘得分排序以选择前 $n_{feats}$ 个特征。这确保了所选特征在遗忘数据上高度活跃，但在保留数据上激活极低。

2. 动态序列级分类

与在特征激活时进行静态钳制的传统方法不同，DSG 引入了一个 动态分类器，以最大限度地减少对通用效用的副作用。

统计计算： 对于输入序列 $x$ ，DSG 计算 $\rho(x)$ ，即在至少有一个选定的遗忘集特征 $S_{nfeats}$ 处于激活状态（ $f_j(h_t) > 0$ ）的 token 占比。
阈值设定： 根据 $D_{retain}$ 上 $\rho(x)$ 的分布，通过百分位数（ $p_{dyn}$ ）确定一个阈值 $\tau$ 。
分类： 如果 $\rho(x) > \tau$ ，则将输入分类为“遗忘相关”。论文通过内曼-皮尔逊引理（Neyman-Pearson lemma）证明，这种阈值化方法在最大化真阳性率（遗忘）的同时，能统计学最优地控制假阳性率（保留效用）。

3. 条件钳制干预

干预是条件性应用的：

如果输入被分类为 遗忘相关，则将所选特征的激活值在序列的所有 token 上钳制为一个较大的负常数（ $-c$ ）。这有效地切断了该特定知识的因果路径。
如果输入是 保留相关，则保留所有特征激活，使通用能力保持完好。

4. 连续遗忘与重学习抗性

连续性： DSG 通过累积更新特征重要性得分（ $DSG_{all}$ ）或取每次步骤选择的特征集的并集（ $DSG_{union}$ ）来处理连续请求。
重学习抗性： 该方法利用了 表层对齐假设 (Superficial Alignment Hypothesis)，该假设认为激活几何结构在微调期间保持稳定。通过操作这些稳定的激活模式而非权重，DSG 创建了一种持久的防御。论文还引入了 训练时 DSG (Train-time DSG)，即在攻击者的微调尝试期间激活干预，从而阻断针对遗忘相关特征的梯度，迫使模型开发出新的、效率较低的处理电路。

核心贡献

引入 DSG： 一种结合了基于原则的费舍尔信息量特征选择与动态、输入依赖型分类器的全新激活式遗忘方法。
经验优越性： 证明了 DSG 在多个基准测试中实现了优于领先的基于梯度的（GA, NPO, RMU）和静态 SAE 方法的“遗忘-效用”权衡。
解决核心局限： DSG 提供了更高的计算效率（无需反向传播）、更强的超参数稳定性、在连续遗忘中的鲁棒性、更强的抗重学习攻击能力、更高的数据效率（包括零样本设置）以及更具可解释性的遗忘过程。

实验结果

作者在 WMDP（生物安全与网络安全）和 MUSE（逐字记忆、知识、隐私）基准测试上对 Gemma-2-2B 模型进行了评估。

WMDP-Bio： DSG 将 WMDP 准确率降低至 29.64%（次优方法 RMU 为 50.00%），同时保持了 99.34% 的 MMLU 准确率，并获得了最高的 MT-Bench 分数（7.78）。
WMDP-Cyber： DSG 实现了 26.74% 的 WMDP 准确率，同时保留了 99.07% 的 MMLU 准确率，表现优于所有基准方法。
MUSE： DSG 在减少逐字记忆方面取得了显著效果（NEWS 为 44.2%，BOOKS 为 44.7%），并在几乎完全移除知识记忆方面表现出色（NEWS 为 98.5%，BOOKS 为 94.7%），同时保持甚至提升了保留集上的效用。
可扩展性与连续遗忘： 随着遗忘集规模的增加以及在连续遗忘请求中，DSG 保持稳定，而基于梯度的方法则会出现灾难性遗忘和性能退化。
重学习攻击： 在基于 API 的威胁模型中，DSG（特别是 Train-time 变体）展示了优于 RMU 的抗重学习能力，即使在攻击者进行微调后，在遗忘数据上仍能保持接近随机水平的表现。
数据效率与零样本： DSG 在仅使用原始数据 20% 的情况下仍能保持性能。在零样本设置下（仅使用来自 Neuropedia 的语义特征描述，无特定遗忘/保留数据），DSG 表现优于基于梯度的基准方法。

意义与主张

论文声称 DSG 从根本上改变了机器遗忘的范式，证明了当动态使用时，SAE 可以显著超越基于梯度的方法。作者认为，通过引入上下文感知，他们的方法解决了先前 SAE 工作中的“不精确干预”问题。

DSG 的意义在于其能够提供：

精准性： 有针对性地移除知识，而不产生对通用能力的附带损害。
高效性： 一种轻量级的推理时干预，避免了重新训练或微调的计算开销。
鲁棒性： 增强了针对超参数调优、连续请求和对抗性重学习的稳定性。
可解释性： 一种透明的机制，遗忘是由可识别的、具有语义意义的特征驱动的，提供了一种“护栏”式的模型安全方案。

作者总结道，虽然其评估侧重于 Gemma-2-2B，但动态、基于激活的干预原则为提高 LLM 安全性和隐私性提供了一条极具前景且可扩展的路径，特别是在需要频繁或连续遗忘的场景中。