MPU: Towards Secure and Privacy-Preserving Knowledge Unlearning for Large Language Models

本文提出了 MPU 框架，通过服务器端的预处理（生成扰动副本）和后处理（聚合更新与去噪）模块，在严格禁止共享服务器参数和客户端遗忘集的双重隐私约束下，实现了大语言模型的高效且隐私安全的知识遗忘。

要点

这篇论文提出了一种名为 MPU 的新方法，旨在解决大语言模型（LLM）在“遗忘”特定信息时面临的一个棘手难题：如何在保护隐私的前提下，让模型“忘记”它不该知道的东西？

为了让你更容易理解，我们可以把这个过程想象成**“一家神秘的餐厅（服务器）”和“一位挑剔的顾客（客户端）”之间的故事**。

1. 核心难题：一个“死结”

• 背景：餐厅（服务器）有一本绝密的“总菜单”（模型参数），里面记录了所有菜的做法。顾客（客户端）手里有一张“黑名单”（遗忘集），上面写着：“请把我的名字从所有菜谱里删掉，但我不能把这张黑名单给你看，因为这是我的隐私。”
• 困境：
  • 如果餐厅直接看黑名单来改菜单，顾客的隐私就泄露了。
  • 如果餐厅把总菜单给顾客看，让顾客自己改，餐厅的绝密配方（模型参数）就泄露了。
  • 如果谁都不给对方看，怎么改菜单呢？这就成了一个死结。

2. MPU 的解决方案：一场“魔术表演”

MPU 就像一位高明的魔术师，它不需要双方交换秘密，就能完成“删除”任务。它分三步走：

第一步：准备“干扰版”菜单（Pre-Process）

餐厅不会把真实的总菜单给顾客。相反，它准备了 2 份（或更多）“干扰版”菜单。

• 加噪（Perturbation）：就像在菜单上故意洒了一些胡椒粉和盐（随机噪声），让顾客看不清原本的字迹。
• 重排（Reparameterization）：就像把菜单上的菜名顺序打乱，或者把“红烧肉”改名叫“红焖肉”，但味道完全没变（功能不变）。
• 目的：顾客拿到这些菜单后，既看不出原本的配方，也无法反推出真实的总菜单。

第二步：顾客“盲删”（Client-Side Unlearning）

顾客拿着这些“干扰版”菜单，在自己的厨房里（本地环境），对着自己的“黑名单”进行删除操作。

• 因为菜单被“打乱”和“加噪”了，顾客只能根据感觉去修改。
• 顾客修改完后，把修改的痕迹（比如：把第 3 页的“红焖肉”改成了“素食”）打包发回给餐厅。
• 关键点：顾客没有把“黑名单”给餐厅，餐厅也没看到顾客的修改过程，只收到了修改痕迹。

第三步：餐厅“去噪”并合并（Post-Process）

餐厅收到顾客发回的修改痕迹后，开始施展“魔术”：

• 还原（Invert）：餐厅知道之前是怎么“打乱”菜单的，所以它能轻松地把“红焖肉”还原回“红烧肉”的格式。
• 抵消噪声（Harmonic Denoising）：这是 MPU 最聪明的地方。
  • 因为餐厅准备了多份菜单，每份菜单上的“胡椒粉”（噪声）方向是随机且相互抵消的。
  • 当餐厅把顾客对多份菜单的修改痕迹合并在一起时，那些随机的“胡椒粉”会互相抵消掉（就像把两杯加了相反方向盐的水倒在一起，盐味就没了）。
  • 剩下的，就是纯粹的、真实的修改建议。
• 更新：餐厅用这个纯净的修改建议，更新自己真实的总菜单。

3. 为什么这个方法很厉害？

• 双重隐私保护：
  • 顾客不用担心把“黑名单”（隐私数据）泄露给餐厅。
  • 餐厅不用担心把“总菜单”（核心资产）泄露给顾客。
• 效果惊人：
  • 实验证明，即使加了“胡椒粉”（噪声），通过这种“多份合并抵消”的方法，最终的效果几乎和直接看黑名单修改（没有隐私保护的情况）一样好，甚至有时候更好！
  • 这就像你蒙着眼睛画画，但因为有多个蒙眼画家同时画，最后把画拼起来，反而比睁眼画得更准。

4. 总结

MPU 就像是一个“去噪的合唱团”。
餐厅让多个“蒙眼歌手”（被加噪和重排的模型副本）去唱一首“遗忘之歌”。虽然每个歌手唱的时候都有杂音（噪声），但当餐厅把他们的声音合在一起时，杂音互相抵消了，只剩下清晰、准确的“遗忘指令”。

这样，餐厅既保护了自己的乐谱，顾客也保护了自己的秘密，还成功地把不想让人知道的那段旋律从歌里抹去了。

技术摘要

这是一篇关于大语言模型（LLM）安全与隐私的学术论文《MPU: Towards Secure and Privacy-Preserving Knowledge Unlearning for Large Language Models》的详细技术总结。

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）的广泛应用，其训练数据中可能包含敏感信息、隐私数据或受版权保护的内容。机器遗忘（Machine Unlearning）旨在从训练好的模型中移除特定数据的影响，同时保持模型在其他任务上的通用能力。

然而，在现实世界的服务器 - 客户端（Server-Client）部署场景中，现有的遗忘方法面临一个严峻的双重非披露（Dual Non-Disclosure）困境：

1. 客户端隐私限制：客户端拥有需要被遗忘的数据（Forget Set），但出于隐私保护，不能将原始数据或细粒度的统计信息发送给服务器。
2. 服务器知识产权/安全限制：服务器拥有私有模型参数，通常不愿意向客户端披露精确的当前模型参数，以防模型被窃取或逆向工程。

现有的遗忘方法（如基于梯度的方法、基于影响函数的方法或联邦学习方案）大多假设一方可以访问另一方的数据或参数，无法直接解决这种“数据本地化”且“模型参数保密”的严格约束。

2. 方法论：MPU 框架 (Methodology)

为了解决上述问题，作者提出了 MPU (Multiple Perturbed Copies Unlearning)，这是一个算法无关的、隐私保护的遗忘框架。其核心思想是**“扰动副本生成 + 谐波去噪聚合”**。

2.1 核心流程

MPU 在每一轮通信中分为三个阶段：

1. 预处理（Pre-Process）：服务器端扰动副本生成

   • 结构化噪声注入：服务器不直接发送原始模型参数 $\theta$，而是生成 $m$ ($m \ge 2$) 个扰动副本。这些副本添加了结构化的高斯噪声。关键在于，这些噪声在副本之间具有零和（Zero-Sum）约束（即 $\sum \epsilon_k = 0$），且每个副本的噪声幅度通过缩放因子 $\alpha_k$ 进行异质化。
   • 可逆且功能保持的重参数化（Reparameterization）：服务器对每个副本应用一个可逆的、数据无关的变换 $T$。该变换利用 Transformer 架构的对称性（如 FFN 隐藏通道的排列、Attention 头基底的旋转），确保变换后的模型在功能上与原模型完全等价（$f_{T(\theta)}(x) = f_\theta(x)$），但参数空间被混淆，防止客户端从多个副本中重构原始参数。
   • 服务器将 $m$ 个经过重参数化和加噪的模型副本发送给客户端。

2. 客户端本地遗忘（Client-Side Local Unlearning）

   • 客户端在本地使用其私有的遗忘数据集（Forget Set），对接收到的 $m$ 个扰动副本分别执行遗忘算法（如 GradAscent, NPO, DPO 等）。
   • 由于 MPU 是算法无关的，客户端可以使用任何基于参数的遗忘方法。
   • 客户端计算每个副本的更新量 $\Delta^{(k,r)}$ 并返回给服务器。

3. 后处理（Post-Process）：服务器端更新聚合

   • 逆重参数化：服务器利用已知的逆变换 $T^{-1}$ 将客户端返回的更新量映射回原始参数空间，得到 $\hat{\Delta}^{(k,r)}$。
   • 谐波去噪聚合（Harmonic Denoising Aggregation）：服务器使用谐波权重（与噪声缩放因子 $\alpha_k$ 成反比）对 $m$ 个更新量进行加权平均。
   • 理论保证：由于噪声设计满足零和约束，且聚合权重经过精心选择，一阶噪声误差在聚合过程中被精确抵消。服务器最终得到的更新量 $\bar{\Delta}$ 与无噪声情况下的理想遗忘更新量在数学上是一致的（仅保留二阶及更高阶的微小误差）。

2.2 内存效率

MPU 采用了流式处理（Streaming）实现。服务器无需同时存储 $m$ 个模型副本或所有更新量，只需维护两个累加器（$S_0$ 和 $S_1$）即可在线计算最终更新，将内存复杂度从 $O(md)$降低到$O(d)$。

3. 关键贡献 (Key Contributions)

1. 双重非披露遗忘框架：

   • 提出了首个在严格约束下（客户端不泄露数据，服务器不泄露精确参数）实现有效遗忘的框架。
   • 无需辅助数据（Surrogate Data）或分布假设，解决了服务器 - 客户端场景下的隐私悖论。

2. 面向 LLM 的可逆功能保持重参数化：

   • 将神经网络的功能不变性理论扩展到现代 Transformer 架构。
   • 设计了针对 RoPE（旋转位置编码）和 FFN/Attention 模块的特定重参数化方法，确保在混淆参数的同时，不改变模型的输出分布和优化轨迹。

3. 一阶噪声抵消的理论保证：

   • 证明了在结构化噪声注入和特定的谐波聚合下，噪声引起的一阶误差被完全消除。
   • 提供了误差分析，表明聚合后的更新与无噪声基准在理论上一致。

4. 广泛的实证评估：

   • 在 Llama-3.2 和 Qwen2.5 系列模型上，结合 7 种不同的遗忘算法（包括 GradAscent, DPO, NPO 等）进行了测试。
   • 结果表明，MPU 在遗忘质量（Forget Quality）和模型效用（Model Utility）上均能达到甚至超越无噪声基准，且显著优于单副本加噪基线。

4. 实验结果 (Results)

• 遗忘性能：在 TOFU 基准测试（Split99，1% 遗忘数据）上，MPU 在大多数算法下表现优异。
  • 例如，对于 GradDiff 算法，MPU 的遗忘质量（FQ）达到 0.405，与无噪声基线（Clean）持平，而单副本加噪基线（Noised）仅为 0.266。
  • 对于 NPO 算法，MPU 的 FQ 为 0.919，同样与无噪声基线一致。
  • 即使在 10% 的噪声水平下，大多数算法的平均性能下降也低于 1%。
• 隐私保护：MPU 有效防止了参数泄露。由于重参数化和噪声的存在，客户端无法从多个副本中重构服务器原始参数。
• 模型效用：在遗忘特定知识的同时，MPU 很好地保留了模型在通用任务（Real Authors, World Facts）上的能力，效用指标（MU）与无噪声基线非常接近。
• 超参数敏感性：
  • 副本数量 ($m$)：实验表明 $m=2$ 通常已足够，增加副本数量并不总是带来性能提升，有时甚至因过度平均导致不稳定。
  • 噪声水平 ($\kappa$)：MPU 对噪声水平具有鲁棒性。适度的噪声甚至可以作为隐式正则化器，帮助某些不稳定的遗忘算法（如 GradAscent）提高稳定性。

5. 意义与影响 (Significance)

• 填补空白：MPU 是首个解决“服务器 - 客户端双重隐私约束”下大模型遗忘问题的方案，为商业场景下的模型服务（Model-as-a-Service）提供了可行的隐私合规路径。
• 理论创新：将参数对称性（Parameter Symmetries）与差分隐私思想结合，通过数学上的噪声抵消机制，实现了“有噪声传输，无噪声更新”的效果，这在理论上是一个重要的突破。
• 实用性强：该框架算法无关，易于集成到现有的遗忘算法中；且通过流式处理降低了计算和存储开销，具备实际部署的潜力。
• 未来方向：为联邦学习、边缘计算等场景下的模型更新和隐私保护提供了新的设计范式，即利用多副本和对称性变换来平衡隐私与性能。

总结：MPU 通过巧妙的数学构造（零和噪声 + 谐波聚合 + 功能保持重参数化），成功打破了大模型遗忘中“数据隐私”与“模型保密”不可兼得的僵局，实现了高效、安全且高质量的遗忘。