🤖 machine learning

BLADE: Bilevel Low-rank Augmented-Lagrangian Erasure for LLM Unlearning

本文介绍了 BLADE，这是一个利用钳制熵损失（clamped-entropy loss）、非对称增广拉格朗日（asymmetric augmented Lagrangian）以及基于 LoRA 的修复机制构建的受约束双层框架，旨在实现鲁棒且可扩展的大语言模型（LLM）遗忘，在多个基准测试中显著优于现有基线，同时在缩放和重复遗忘过程中保持稳定性。

原作者： Md Toufikuzzaman, Ahmad Mousavi, Dongwon Lee

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Toufikuzzaman, Ahmad Mousavi, Dongwon Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大型语言模型是强大的工具，它们通过阅读来自互联网的海量文本，学会了预测句子中的下一个词。然而，这种记忆能力也带来了一个显著的问题：这些模型有时会保留那些应当被删除的信息，例如私人个人细节、受版权保护的故事或危险的指令。当像《通用数据保护条例》（GDPR）这样的法律要求删除特定数据，或者当模型意外学到了需要纠正的错误信息时，仅仅从头开始重新训练整个系统往往既缓慢又昂贵。这促使研究人员开发了一种名为“机器遗忘”（machine unlearning）的过程，旨在精准地从已训练的模型中移除特定知识，同时保持其通用智能和其他记忆完好无损。挑战在于，模型所持有的知识是深度交织在一起的；试图抹除一个事实往往会意外地损害它记住相关且无害信息的能力，导致模型变得困惑或变得无用。

一个研究团队开发了一种名为 BLADE 的新方法来解决这一微妙的平衡问题。BLADE 并没有尝试通过激进地推开不需要的数据来强迫模型遗忘（这通常会破坏模型的连贯性），而是采用了一种优先考虑“修复”的两层策略。想象一下，模型的知识就像一张复杂的连接网。当研究人员试图剪断一根特定的线来移除一段信息时，周围的网络往往会下陷或撕裂。BLADE 的工作原理是首先加固周围的网络以确保其保持强韧，然后再进行一次小规模、受控的切割。这是一个循环过程：系统首先稳定模型记住应保留内容的稳定性，然后对不应保留的内容施加一个温和且有限的推力。这防止了损伤随着时间的推移而堆积，而这正是以往尝试中常见的失败点——在那些尝试中，模型最终会因重复修正的压力而崩溃。

该方法的核心依赖于三个协同工作的特定机制来保持过程的稳定性。首先，研究人员使用了一种技术，在信息被充分抹除的瞬间停止“遗忘”过程。在旧方法中，计算机即使在信息已经消失后仍会不断尝试擦除，从而浪费能量并意外损坏其他记忆。BLADE 能检测到一个标记（token，即意义的单位）何时达到了高度不确定性的状态，并直接停止对其进行修改，从而确保过程的高效与安全。其次，该系统使用了一种动态惩罚机制，其作用类似于一个单向棘轮。如果模型在应当保留的数据上的表现甚至略微低于一个安全阈值，系统会立即收紧规则以保护这些数据，并且永远不再放宽这种保护。这防止了模型在遗忘与记忆之间来回摆动，这种混乱行为在早期的方案中屡见不见。最后，整个过程被限制在模型内部一小组专门的可调部分内，而不是改变模型的整个“大脑”。这种结构性的限制确保了即使遗忘过程变得过于激进，在物理上也无法对模型的整体能力造成灾难性的破坏。

研究人员在多个不同的基准测试上测试了这种方法，包括包含合成传记、书籍、新闻文章和受版权保护材料的数据集。在每一次测试中，BLADE 的表现都优于现有的最强方法。在一项涉及合成传记的测试中，它比之前的最佳技术提高了 6% 的综合得分。在涉及书籍的测试中，它提高了 9%；在针对隐私的测试中，它提高了 7%。至关重要的是，该方法在受到极限压力测试时表现出了极强的鲁棒性。当研究人员将需要被遗忘的数据量增加到四倍，或者要求模型进行四轮连续的遗忘处理时，最好的竞争方法都完全失效了，导致模型丧失了功能。然而，BLADE 在这些压力测试中始终保持稳定且有效。

这种方法的成功在于其行为的可预测性。其他方法往往会出现剧烈的震荡，即模型的性能在试图平衡遗忘与记忆时上下大幅跳动，而 BLADE 则遵循一条平滑的三阶段路径。它始于一个预热期，进入一个调整内部保护机制的短暂阶段，最后进入一个稳定的收敛阶段，在此阶段，遗忘目标与记忆目标在没有冲突的情况下同时达成。这种一致性让研究人员确信整个过程是受控的，并且不会随着时间的推移而悄悄降低模型的质量。研究还证实，该方法对于通过巧妙改写问题或对抗性攻击来诱导模型泄露已遗忘信息的企图具有很强的抵御能力。虽然该方法对于那些能够接触到原始数据及模型内部权重并试图重新学习信息的攻击者来说并非免疫，但它为应对标准的“黑盒攻击”提供了显著的保护层。

这项工作证明，只要过程经过仔细约束并优先考虑对现有知识的保护，就可以在不破坏模型的前提下移除特定知识。通过使用“修复优先”的方法并限制修改的范围，研究人员创造了一个能够适应遗忘任务不断变化的难度的系统。研究结果表明，对于部署在现实世界中、不可避免会遇到新的删除请求和安全事件的模型而言，一种能够在不发生崩溃的情况下处理重复修正的方法是必不可少的。这些发现为在人工智能持续进化并与敏感人类数据交互的过程中，如何维护其安全性与合法性提供了一条切实可行的路径。

=== 技术摘要：BLADE —— 用于大语言模型遗忘的低秩增强拉格朗日双层优化方法 ===

1. 问题陈述

部署的大语言模型（LLMs）需要持续的后验修正，以符合法规（如 GDPR）、移除受版权保护的内容或抑制有害知识。然而，机器遗忘本质上是循环性的；在模型的整个生命周期中，新的请求和政策变化会不断到来。核心挑战不仅在于“遗忘什么”，更在于“如何遗忘”，且不降低模型在保留数据上的效用。

现有方法由于遗忘知识与保留知识之间纠缠的表示，面临三种循环发生的失效模式：

无界遗忘： 梯度上升法会产生极大的梯度，从而破坏模型的连贯性。
静态权衡： 固定权重的损失平衡（例如 GradDiff、NPO）无法适应保留知识难度在中期训练阶段的变化，从而导致缺乏自我修正能力的振荡。
过度遗忘： 未经限制的熵损失会继续扰动那些已经达到足够不确定性的 Token，浪费梯度预算并造成附带损伤。

2. 方法论

BLADE（Bilevel Low-rank Augmented-Lagrangian Erasure，双层低秩增强拉格朗日遗忘）通过一种局限于低秩自适应（LoRA）适配器的约束双层优化框架来解决这些问题。该方法集成了三个核心机制：

2.1 通过 LoRA 进行参数化

BLADE 不是修改完整的权重矩阵，而是将 LoRA 适配器（ $W' = W_0 + \frac{\alpha}{r}BA$ ）附加到投影矩阵上。这种结构性约束限制了可表达的更新子空间，起到隐式正则化的作用，即使在激进的遗忘梯度下也能防止灾难性的权重漂移。它同时也简化了回滚和调试过程。

2.2 “先修复”的双层公式化

BLADE 将遗忘建模为一个受约束的双层问题，其中内层循环优先进行保留修复，而外层循环处理受约束的遗 forget：

内层循环（保留修复）： 对于每个外层步骤，模型在保留集（ $D_{retain}$ ）上执行 $K$ 次快速 SGD 步骤，以修复前一次遗忘步骤造成的任何损伤。这种“先修复”原则在应用新的扰动之前，稳定了共享的表示。
外层循环（受约束的遗忘）： 外层目标函数在最小化遗忘损失的同时，受到约束条件限制，即要求保留损失必须低于阈值 $\epsilon$ 。

2.3 非对称增强拉格朗日

为了自适应地强制执行保留约束，BLADE 采用了具有非对称对偶更新的增强拉格朗日法（ALM）：

拉格朗日乘子 $\lambda$ 根据违反程度 $r = L_{ret} - \epsilon$ 进行更新。
非对称性： 如果发生违反（ $r > 0$ ）， $\lambda$ 会显著增加（ $\lambda \leftarrow \lambda + \rho |r|$ ）。如果满足约束（ $r \le 0$ ）， $\lambda$ 的衰减速度会非常缓慢（ $\lambda \leftarrow \lambda - \alpha \rho |r|$ ，其中 $\alpha \ll 1$ ）。
这种“棘轮”行为在发生任何违反后，都会永久性地加强保留保护，从而防止了对称更新方法中出现的振荡循环。

2.4 钳制熵遗忘损失

遗忘损失被定义为钳制熵最大化：
$L_{forget} = \frac{1}{N} \sum_{i=1}^{N} \max(0, \tau \cdot H_{max} - H(p_i))$
其中 $H(p_i)$ 是 Token 熵， $\tau \in (0,1)$ 是目标比例。

硬死区（Hard Deadzone）： 一旦 Token 的熵达到 $\tau \cdot H_{max}$ ，梯度将变为精确的零。
优势： 这限制了遗忘损失，确保了自稳定性（随着 Token 被遗忘，扰动逐渐缩小），并在不需要参考模型的情况下消除了过度遗忘。

3. 核心贡献

约束双层框架： 一种新颖的结构，将保留修复置于内层循环，并将遗忘置于受约束的外层循环，确保模型在每次遗忘步骤之前在共享表示上趋于稳定。
非对称增强拉格朗日： 一种对偶更新规则，在发生违反后能永久性地强化保留保护，以自适应的自我修正取代了静态平衡。
钳制熵损失： 一种有界的、无参考的遗忘目标，能为足够被遗忘的 Token 生成零梯度，从而消除了过度遗忘。
通过 LoRA 实现鲁棒性： 证明了将更新限制在 LoRA 适配器内可以防止灾难性漂移，并促进稳定的遗忘。

4. 实验结果

BLADE 在三个基准测试族上进行了评估：TOFU（事实关联）、MUSE（具有扩展性/可持续性压力测试的自然主义记忆）以及 KnowUndo（版权/隐私）。

性能优势： BLAME 在 TOFU 上比最强的基线提高了 6%，在 MUSE Books 上提高了 9%，在 KnowUndo 上提高了 7%。经 LLM 评判确认，它实现了近乎为零的语义泄露。
压力下的鲁棒性：
- 可扩展性： 在 MUSE News 进行 4 倍缩放时，BLAME 保持了性能稳定，而最强的基线 PDU 则崩溃了（HM 降至 0.005）。
- 可持续性： 在经过 4 个连续的遗忘步骤后，BLAME 保持稳定，而 PDU 在仅 2 步后就发生了崩溃。
训练动态： BLADE 表现出一致且可解释的三阶段模式：(1) 预热阶段，(2) 尖峰与棘轮阶段（瞬时违反触发永久性的 $\lambda$ 增加），以及 (3) 平滑收敛阶段。这与其它方法的振荡动态形成了鲜明对比。
对抗鲁棒性： BLADE 展示了针对黑盒提取、越狱攻击、成员推理以及基于优化的对抗性后缀攻击的韧性。

5. 重要性与主张

论文声称 BLADE 提供了对优化景观的平滑、可预测的控制，解决了当前遗忘方法固有的不稳定性问题。通过结合“先修复”的双层结构、自适应非对称拉格朗日和有界熵损失，BLADE 实现了一个在重复应用和规模扩展下依然稳健的自纠正系统——而这些条件正是现有方法会发生灾难性失败的情况。

作者强调，BLADE 的成功依赖于其组件之间的特定相互作用：只有当有界的、自饱和的遗忘损失与带有结构约束（LoRA）及自适应惩罚强制执行的约束双层优化相结合时，才是兼容的。缺乏这些特定相互作用的已知技术组合（例如使用梯度上升配合 LoRA）会导致灾难性的失败。

6. 局限性

论文承认了以下几点局限性：

范围： BLADE 针对的是事实和知识层面的遗忘；尚未测试其在概念或表示层面领域移除方面的能力，在这些领域中，纠缠程度可能超过其处理能力。
威胁模型： 虽然对黑盒提取具有鲁棒性，但 BLADE 易受重学习攻击的影响（即攻击者拥有白盒访问权限并持有原始遗忘数据）。目前的公式将参数推向了用于擦除的最小必要区域，缺乏对抗性安全裕度。
模态： 评估仅限于纯文本 LLM；在多模态模型上的有效性尚未经过测试。