🤖 machine learning

Multi-Objective Reference-Aligned Machine Unlearning

本文提出了参考对齐遗忘（Reference-Aligned UnLearning, RAUL），这是一个多目标框架，通过将无界的损失最大化替换为对参考分布的有界 KL 对齐，并利用雅可比下降法求解由此产生的优化问题，从而减轻机器遗忘中的灾难性遗忘，以实现与重新训练相当的性能。

原作者： Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的学生，他读完了一本厚厚的教科书。这个学生非常出色，几乎可以回答关于这本书中任何内容的提问。但现在，由于法律要求，书中的几页必须被移除（可能是因为其中包含隐私信息）。你需要让这个学生“忘掉”这些特定的页面，但又不能让他忘记书中学习过的其他所有内容。

这就是**机器学习遗忘（Machine Unlearning）**的问题。

旧方法：“过度矫正”问题

传统上，为了让学生忘记特定的页面，老师们会使用一种严厉的方法：他们会强迫学生去背诵那些页面内容的“反面”。

比喻： 想象学生试图忘记“苹果是红色的”。老师对着他大喊：“不对！苹果是蓝色的！苹果是绿色的！苹果是扭曲形状的！”
结果： 学生因为试图强行记住错误的答案而变得非常混乱，以至于他们开始连带忘记其他事情。他们可能会开始认为“橙子是蓝色的”，或者连数数都忘了。在论文中，这被称为灾难性遗忘（Catastrophic Forgetting）。学生变得不稳定，且整体表现下降，因为“遗忘”的过程在与“记忆”的过程进行对抗。

新方案：RAUL（参考对齐遗忘法）

论文作者提出了一种更聪明、更温和的方法，称为 RAUL。与其大喊相反的内容，不如告诉学生：“对于这些特定的页面，表现得就像你从未见过它们一样。”

以下是其工作原理，分为简单的步骤：

1. 双重目标（平衡术）

学生需要同时完成两项任务：

任务 A（保留）： 完美地回答关于书本其余部分的问题。
任务 B（遗忘）： 对于被移除的页面，表现得就像它们是全新的、未知的概念一样。

旧方法试图通过对抗任务 A 来完成任务 B。而 RAUL 尝试在两者互不干扰的情况下同时完成它们。

2. “参考”技巧

如何教一个人表现得像从未见过某物一样？你需要给他们一个参考（Reference）。

比喻： 想象学生正在看一张“被遗忘页面”的照片。老师不是强迫他说“这是一只狗”（当实际是猫时），而是说：“看这张随机物体的照片。你会如何描述它？你可能不会很确定，对吧？你会说：‘我不知道，它可能是任何东西。’”
论文的方法： 论文使用了两种类型的“参考”指南：
- 均匀分布（“完全瞎猜”）： 老师告诉学生：“对于这些页面，只需随机猜测。把每个答案都视为等可能的。”这就像是在说：“我对这方面一无所知。”
- 留出分布（“真正的陌生人”）： 老师向学生展示一张来自另一本书（学生还没读过的那本书）的全新物体的图片，并说：“把被遗忘的页面当作这个新物体一样对待。”这有助于学生保持冷静而不至于惊慌，从而保持其对书本其余部分的记忆稳定。

3. “交通警察”（雅可比下降法）

即使有了好的计划，这两项任务（记忆 vs. 遗忘）仍可能将学生拉向相反的方向。

比喻： 想象学生被两根绳子拉扯。一根绳子拉着他去记住书本；另一根绳子拉着他去遗忘页面。如果你只是把绳子绑在一起，绳子会断掉，或者学生会被卡住。
解决方案： 论文使用了一个特殊的“交通警察”（称为带有 UPGrad 的雅可比下降法/Jacobian Descent）。这个警察会观察两根绳子，并找到一条中间路径。它不仅仅是将力量相加，而是计算出一个方向，让学生可以在不发生纠缠的情况下向前移动。它找到了一个完美的平衡点，让学生既能“足够好地记住”，又能“足够好地遗忘”，而不会导致崩溃。

实验结果如何？

研究人员在数字“学生”（计算机模型）上进行了测试，使用的是动物图片（CIFAR-10）。

旧的学生（旧方法）： 当被要求遗忘 50% 的数据时，旧方法让学生变得混乱。他们对剩余 50% 数据的记忆崩溃了，表现得非常糟糕。
RAUL 学生： 当被要求遗忘同样数量的数据时，RAUL 学生保持了冷静。
- 他们对剩余数据的记忆几乎与从未被要求遗忘时一样完美。
- 他们成功地“遗忘”了被移除的数据，表现得对这些数据并不确定，就像对待一张全新的图片一样。
- 他们表现得非常稳定，性能没有出现剧烈波动。

核心结论

论文声称，通过将目标从“强迫模型出错”转变为“使模型对齐为表现得像看到了新事物一样”，我们可以在不破坏模型大脑的情况下移除特定数据。这就像是教学生通过告诉他们把某一章当作空白页来处理，而不是试图用错误的信息去重写整本书。

其结果是一个在尊重隐私（移除数据）的同时，能更好地保持其智能水平的系统。

技术摘要：多目标参考对齐机器卸载 (RAUL)

问题陈述
机器卸载 (Machine Unlearning, MU) 旨在从已部署的模型中移除特定训练样本（“遗忘集”， $F$ ）的影响，同时保留对剩余数据（“保留集”， $R$ ）的性能。现有的近似方法通常依赖于单目标优化，例如梯度上升（最大化在 $F$ 上的损失）或随机重标记。作者认为，这些方法会引发灾难性遗忘，因为“遗忘”的优化动力学（排斥正确预测）与“保留”的动力学（维持在 $R$ 上的正确预测）之间存在冲突。这种冲突导致模型偏离其预训练知识，从而导致保留集上的效用显著下降。

方法论：参考对齐卸载 (RAUL)
本文提出了 RAUL，这是一个多目标优化 (MOO) 框架，它将卸载重新定义为遗忘与保留的联合优化，而非单一的对抗性任务。

目标公式化：
- 保留目标 ( $L_{retain}$ )： 在保留集 $R$ 上进行标准的交叉熵最小化，以保持模型效用。
- 基于参考的遗忘目标 ( $L_{forget}$ )： RAUL 并非通过最大化 $F$ 上的损失来实现遗忘，而是最小化模型在 $F$ 上的预测与代表“未见数据”的参考分布 ( $p_{ref}$ ) 之间的 Kullback-Leibler (KL) 散度。这使得模型在被遗忘样本上的置信度与它在从未遇到的数据上的行为保持一致。
  $\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$
参考分布策略：
论文引入了两种实例化 $p_{ref}$ 的策略：
- 均匀分布 (UniDist)： 设置 $p_{ref}(y) = 1/C$ （其中 $C$ 是类别总数）。这作为一个无需额外数据的原则性基准，鼓励在被遗忘样本上实现最大不确定性。最小化与均匀分布的 KL 散度等同于最大化预测熵。
- 留出分布 (HeldDist)： 从一个不属于原始训练、验证或测试集的互斥、未见数据集 ( $D_{ref}$ ) 中计算经验参考分布。这提供了一个稳定的锚点，模拟了真正未见数据的行为，可能提供更好的保留稳定性。
通过雅可比下降进行优化：
该问题被视为一个双目标优化问题： $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$ 。为了在不进行手动权重分配（这可能导致梯度冲突）的情况下解决此问题，作者采用了使用 UPGrad（梯度无冲突投影）聚合器的雅可比下降 (Jacobian descent)。
- 两个目标的梯度 ( $g_R$ 和 $g_F$ ) 被堆叠成一个雅可比矩阵。
- UPGrad 将每个梯度投影到所有目标梯度的对偶锥上并对其进行平均。
- 这种聚合寻找一个帕累托驻留 (Pareto-stationary) 点，在该点处，更新方向不会在下降一个目标的同时上升另一个目标，从而有效地解决了梯度冲突。

核心贡献

卸载的重新定义： 将范式从对抗性损失最大化转向参考对齐预测，通过约束遗忘目标来防止模型漂移。
多目标框架： 将遗忘与保留之间的张力显式建模为双目标问题，并通过帕累托驻留优化（雅可比下降）而非线性标量化来解决。
参考策略： 提出了两种不同的参考分布（均匀分布和留出分布）来控制遗忘行为，提供了数据驱动型实现与数据自由型实现之间的权衡。
稳定优化： 证明了使用有界的 KL 对齐取代无界的损失最大化可以减少梯度冲突，从而实现更稳定的更新。

实验结果
作者在图像分类任务（CIFAR-10 与 ResNet-18）上评估了 RAUL，设置了 10% 和 50% 的随机遗忘比例，并将其与包括梯度上升 (GA)、随机重标记 (RL)、影响函数 (IU) 和 SalUn 在内的基准方法进行对比。

性能差距： RAUL 变体实现了最小的平均性能差距（相对于全量重训练）：
- 在 10% 遗忘时，结合 UPGrad 的 HeldDist-RAUL 实现了最佳的平均差距 2.23，优于最强的基准方法（IU 为 6.06），并显著优于 GA（16.90）。
- 在 50% 遗忘时，当 GA 等基准方法崩溃（差距为 49.19）时，结合 UPGrad 的 UniDist-RAUL 实现了最佳差距 6.75，而 HeldDist-RAUL 变体保持在 9.22 左右。
保留与遗忘的权衡：
- HeldDist-RAUL 优先考虑保留，实现了高保留准确率 (RA ~98.89%) 和测试准确率 (TA ~92.12%)，表现出保守的遗忘特性。
- UniDist-RAUL 提供了更激进的遗忘剖面（更高的卸载准确率），同时仍保持了最低的整体重训练差距。
隐私指标： RAUL 方法保持了接近重训练基准的成员推理攻击 (MIA) 分数（例如，重训练为 13.13，RAUL 约为 15.31），而 GA 降至接近随机水平（1.93），表明 RAUL 在移除影响的同时避免了对抗性攻击带来的不稳定。
稳定性： 与 GA 和 $\ell_1$ -稀疏方法相比，RAUL 变体表现出明显更低的性能标准差，证实了参考对齐更新的稳定性。

意义与主张
论文声称 RAUL 解决了显式冲突（即遗忘与保留之间的冲突）这一根本瓶颈。通过使用有界的 KL 对齐取代无界的损失最大化，该方法：

减少了梯度冲突： 使用 UPGrad 聚合的多目标优化 (MOO) 确保更新在遗忘目标集的同时不会降低保留集的性能。
防止了灾难性遗忘： 遗忘目标的有界性质防止了模型过度偏离其预训练知识。
提供了灵活性： 该框架提供了在数据自由型方法 (UniDist) 与数据依赖型、高稳定性方法 (HeldDist) 之间的选择。

作者总结道，虽然 UniDist-RAUL 是一个无需额外数据的鲁棒备选方案，但 HeldDist-RAUL 的可用性使其能够实现更紧密的保留。他们指出，未来的工作将探索将此扩展到生成模型、大语言模型 (LLM)，并利用多目标进化算法 (MOEAs) 来获取更多样化的帕累托最优解。