🤖 AI

GRIP: Algorithm-Agnostic Machine Unlearning for Mixture-of-Experts via Geometric Router Constraints

本文介绍了 GRIP，这是一个与算法无关的框架，它通过对混合专家模型中的路由更新施加几何约束来防止路由操纵，从而确保从专家参数中实现真正的知识擦除，同时显著提高保留准确性以及针对对抗性恢复的鲁棒性。

原作者： Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是强大的工具，它们通过学习海量文本，学会了写作、推理和解决问题。然而，这种学习伴随着一个隐藏的代价：这些模型经常会记住敏感细节，例如私人个人信息、受版权保护的内容或危险指令，而这些本是不应该被保留的。当诸如“被遗忘权”之类的法律要求公司从模型中删除这些特定数据时，标准的解决方案是无需该数据重新训练整个系统。这个过程极其昂ous且缓慢，因此很少有人去做。相反，研究人员开发了“机器卸载”（machine unlearning）技术，旨在不重建整个“大脑”的情况下，手术式地移除特定的记忆。虽然这些方法对于标准模型效果良好，但一种被称为“混合专家”（Mixture-of-Experts）的新型架构已作为大型系统更快速、更高效的替代方案脱颖而出。这些模型并不会在处理每个问题时都动用大脑的所有部分；相反，它们内置了一个“交通指挥员”，负责为每个任务选择一小组专门的子网络。这种效率创造了一个独特的漏洞：当被要求忘记某些内容时，系统可以通过仅仅将问题重定向到远离持有坏记忆的专家那里，从而欺骗用户，使危险知识保持原样并等待被恢复。

一组研究人员识别出了这个漏洞，并开发了一个名为 GRIP 的新框架来修复它。他们发现，当标准的卸载方法应用于这些专门的模型时，系统会选择阻力最小的路径。与其说是在专门的子网络中真正删除有害知识，不如说这个“交通指挥员”只是学会了停止向这些特定的专家发送问题。这就像一位图书管理员，他并没有把禁书从书架上撤走，而是简单地告诉所有的读者去其他区域寻找。书依然在书架上，完好无损，如果一个人知道如何绕过管理员的指示，他仍然可以找到它。这创造了一种危险的安全错觉：模型看起来似乎已经忘记了信息，但数据仅仅是被隐藏在了改变后的路由模式之后。

为了解决这个问题，研究人员创建了一种方法，强制系统真正擦除知识，而不是仅仅将其隐藏。他们通过对“交通指挥员”如何改变主意施加严格的几何约束来实现这一点。想象一下，交通指挥员是一套决定问题走向路径的规则。研究人员发现，系统试图通过改变这些规则来避开持有坏数据的专家。他们的解决方案是锁定这些规则，以确保模型需要保留的所有安全且重要的信息不受影响。通过在数学上确保交通指挥员无法改变其对安全数据的路由决策，他们消除了系统利用路由作为捷径的可能性。这迫使卸载过程必须进行艰苦的工作——即修改持有知识的专门子网络，从而确保信息真正消失。

研究人员在两个大型模型上测试了这种方法，发现其效果比以往的方法显著更好。在标准测试中，旧的方法会导致路由系统变得不稳定，在处理关于安全问题的专家选择上，系统改变主意的频率高达 80%，这严重损害了模型的正常功能。新方法将这种稳定性恢复到了 94% 以上，这意味着模型在处理安全任务时，能够像以前一样正确地使用相应的专家。更重要的是，他们通过模拟一个可以绕过交通指挥员并强制模型使用原始专家的攻击者，测试了危险知识是否真的消失了。在旧的方法中，这种绕过行为允许攻击者在 11% 的情况下恢复被遗忘的信息。而在新方法下，恢复率降至仅 3%，这一水平与从头开始重新训练的模型相当。

该研究还将其方法与之前尝试使用较软、较不严格规则来解决同一问题的尝试进行了比较。那个早期的方案虽然略微改善了情况，但仍然允许系统通过操纵路由来隐藏知识。而这次的新方法通过使用硬约束证明，在这些高效模型中实现真正的卸载，唯一的途径是防止路由系统被用作屏蔽罩。研究人员证明，这种技术适用于不同类型的卸载任务，从移除危险的网络安全知识到删除受版权保护的文本。他们发现，模型保留其通用智能和回答安全问题的能力比以前好得多，与不稳定的基准相比，其在保留任务上的性能提升了高达 89%。

这项工作凸显了我们在保障人工智能安全方面的一个关键区别。它表明，对于这些复杂的专门化系统，仅仅改变信息的路径不足以保护隐私或安全。知识必须从源头被抹除。通过确保系统无法利用路由来隐藏危险内容，研究人员提供了一种可靠的方法，可以在不牺牲模型整体效用的情况下移除特定记忆。他们的发现表明，未来大型语言模型的安全措施必须考虑到这些内部路由机制，确保“交通指挥员”不会被操纵来隐藏危险内容。其结果是一个更稳健的系统，其中数据的移除是真实的，而不仅仅是改变了地图。

技术摘要：GRIP —— 针对混合专家模型（MoE）的算法无关型机器遗忘

1. 问题陈述

混合专家模型（MoE）架构中的机器遗忘（Machine Unlearning, MU）面临着一种不同于稠密架构的关键结构性失效模式。在稠密模型中，所有参数都会均匀地参与输入处理。而在 MoE 模型中，学习到的路由（Router）会为每个输入动态选择专家网络的一个稀疏子集。

目前应用于 MoE 架构的遗忘方法通常利用这种动态路由作为优化捷径。这些方法并非真正从专家参数中抹除知识，而是通过操纵路由，将“遗忘集”（forget-set）的查询重定向到原本分配的、包含相关知识的专家之外。这导致了两个主要问题：

效用退化（Utility Degradation）： 路由改变了“保留集”（retain set，即应当保留的数据）的专家选择，导致模型在保留任务上的性能严重下降。
不完全擦除（专家强制访问/Expert Forcing）： 被针对的知识仍然完整地存在于处于休眠状态的专家参数中。攻击者可以通过绕过路由（一种“白盒”攻击）来强制模型访问这些特定的专家，从而恢复出本应被遗忘的敏感或危险信息。

现有的尝试（如 SEUF）依赖于软正则化惩罚，并将更新限制在单个专家上。然而，经验证据表明，这些软惩罚无法防止路由操纵，且将更新限制在单个专家上会导致其他最初被激活的专家中的知识仍处于易受恢复的状态。

2. 方法论：GRIP

作者提出了 几何路由不变性保持（Geometric Routing Invariance Preservation, GRIP），这是一个对算法无关的框架，通过对路由更新施加硬性的几何约束，旨在抑制专家选择的变化，同时允许在所有相关专家中进行真正的知识擦除。

核心原理

GRIP 施加了一个约束，要求路由参数更新（ $\Delta \Theta_\ell$ ）必须保持保留集（ $D_r$ ）的专家选择不变。形式上，对于任何输入 $x \in D_r$ ，遗忘后选择的专家集合（ $S^{post}_\ell(x)$ ）必须等于遗忘前的专家集合（ $S^{pre}_\ell(x)$ ）。通过使“路由捷径”在受约束的输入上变得不可行，优化过程被迫通过专家权重本身的知识擦除来实现遗忘目标。

两种变体

GRIP 提供了两种互补的实现方式：

训练时随机投影（在线模式 / Method A）
- 机制： 在每个训练步骤中，将基础遗忘算法提出的未受约束的路由更新投影到保留集路由矩阵的零空间（null space）中。
- 约束： 投影为每个专家 $j$ $j$ 强制执行两个条件：
  - 等式约束（Equality）： 对于原本选择了专家 $j$ 的输入，路由更新必须导致路由评分的变化为零（ $\langle \Delta \Theta, x \rangle = 0$ ）。
  - 不等式约束（Inequality）： 对于未选择专家 $j$ 的输入，更新不得增加评分以至于突破选择间隔（即已选专家与未选专家之间的得分差距）。
- 实现： 使用两阶段过程：(1) 投影到所选输入补集的正交空间（满足等式）；(2) 使用随机 Kaczmarz 式的交替投影来高效满足不等式约束。
- 开销： 增加约 1.71 倍的训练时间开销。
训练后解析修正（离线模式 / Method B）
- 机制： 先在无约束的情况下运行遗忘算法。随后，应用一次闭式解析修正，以重新对齐发生漂移的路由。
- 公式： 通过求解最小二乘问题来寻找一个修正项 $\Delta_\ell$ ，使得 $(\tilde{\Theta}_\ell + \Delta_\ell)\tilde{X}_{r,\ell} = \Theta_\ell X_{r,\ell}$ ，其中 $\tilde{\Theta}$ 和 $\tilde{X}$ 分别是遗忘后的路由和表示。
- 开销： 通过用单次后验层级修正取代每步投影，将开销降低至 1.21 倍训练时间。

3. 核心贡献

识别了结构性漏洞： 本文识别出 MoE 遗忘容易出现“路由捷径”现象（即知识被隐藏而非被擦除），并引入了“专家强制访问”（Expert Forcing）攻击作为该漏洞的诊断工具。
硬几何约束： 不同于以往使用软惩罚的方法，GRIP 将路由保持视为通过零空间投影构造实现的满足性条件。
多专家擦除： GRIP 允许所有最初被激活的专家进行更新，从而确保知识从整个相关的参数空间中被擦除，而非仅仅将其限制在单个专家更新上。
算法无关性： GRIP 作为一个包装器（wrapper），可以应用于任何现有的遗忘目标（如 Gradient Ascent, NPO, RMU），而无需修改底层的损失函数。

4. 实验结果

实验在两个 MoE 模型（Qwen3-30B-A3B 和 Qwen1.5-MoE-A2.7B-Chat）上进行，涵盖了危险知识移除（WMDT）和版权遗忘（MUSE）基准测试。

路由稳定性： GRIP 将专家选择的 Jaccard 相似度从基线模型的崩溃水平（约 0.21）恢复到了 ≥0.94（使用后训练修正时可达 1.00）。
效用保留： 与基线相比，保留集的准确率提升了高达 89%。GRIP 方法使效用保留得分恢复到了接近稠密架构遗忘基线的水平。
对抗鲁棒性：
- 白盒攻击（专家强制访问）： 在强制访问休眠专家的条件下，基线方法恢复了 11% 的被遗忘查询，SEUF 恢复了 8%，而 GRIP 将恢复率降至 3%（接近噪声水平）。
- 黑盒攻击（提示词攻击）： GRIP 在提示词攻击下的表现与稠密架构基线相当，表明其并未引入显著的新黑盒漏洞。
与 SEUF 的比较： GRIP 在所有指标上均一致优于 SEUF，证明了软正则化不足以防止路由捷径。

5. 重要性与主张

本文声称 GRIP 为解决稀疏 MoE 架构中真正的遗忘问题提供了一条原则性的、可扩展的路径。通过将路由稳定性与参数塑性解耦，GRIP 确保了知识是从专家参数中被擦除，而非仅仅通过路由操纵被隐藏。

作者将 GRIP 定位为一种必要的几何约束，旨在使遗忘在 MoE 特定语境下变得有效，而非替代现有的遗忘目标。作者也承认了局限性，包括缓存保留表示时的内存开销，以及路由保持保证在经验层面（而非形式化层面）的性质。然而，结果表明，硬几何约束对于应对动态路由在大型语言模型中的独特脆弱性至关重要。