🤖 machine learning

The Forgetting-Retention Dilemma: Certified Unlearning Theory in Continual Learning

本文通过构建保留历史知识与定向遗忘之间的权衡关系、推导非凸模型的风险界限，并提出一种平衡存储效率与遗忘性能的混合策略，建立了连接持续学习与机器遗忘的首个理论基础。

原作者： Yiting Hu, Lingjie Duan, Qian Zhang

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiting Hu, Lingjie Duan, Qian Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位经营着一家永不歇业的餐厅的大厨。每天，你都会学习一道新菜谱（一个持续学习任务）。随着时间的推移，你的厨房变成了一个拥有数千道菜肴的宝库。

但问题在于，有时顾客会说：“我想忘掉我曾经点过‘香辣金枪鱼卷’这件事。”他们拥有被遗忘的权利。你需要从你的记忆中移除那道特定菜肴的影响，这样如果他们再次光临，你不会不小心端出那道菜的变体，或者更糟——泄露你知道他们点过那道菜的事实。

这就是**机器卸载（Machine Unlearning）**问题。

这篇论文探讨了一个非常棘手的场景：当你正在学习“今日特供”的同时，却需要忘记“上个月”的一道菜谱，该怎么办？而且，如果你无法保留每一本曾经写过的菜谱副本（因为存储限制或隐私法的原因），又该如何应对？

以下是该论文解决方案的拆解，使用了简单的类比：

1. 核心困境：“便利贴 vs. 橡皮擦”

在普通的厨房里，如果你想忘掉一个菜谱，你可能会直接把那一页烧掉。但在这种“持续学习”的厨房里，菜谱都混杂在你的大脑中。如果你试图抹去“香辣金枪鱼”的菜谱，你也可能不小心抹去了“寿司饭”的菜谱，或者破坏了你制作“天妇罗”的能力，因为食材之间的联系如此紧密。

作者们将此称为遗忘-保留困境（Forgetting-Retention Dilemma）：

保留（Retention）： 你希望保留所有旧技能（制作天妇罗）的完美状态。
遗忘（Forgetting）： 你希望手术式地移除一项特定的技能（香辣金枪鱼），而不损坏其他部分。

论文证明了这两个目标往往是相互冲突的。你越努力想要抓住旧技能，就越难干净地抹除新的“禁忌”数据。

2. 测试的三种方法

研究人员测试了处理这种“遗忘”请求的三种不同方式：

A. “自然褪色”法（基于梯度）

类比： 想象你完全停止练习“香辣金枪鱼”这道菜。随着时间的推移，由于你一直在烹饪其他东西，你对它的肌肉记忆会自然地消退。

运作方式： 模型只需继续学习新任务。旧数据会自然地被挤出。
优点： 零额外存储成本。你不需要保留任何额外的笔记。
缺点： 过程很混乱。如果顾客要求忘记“昨天”的菜谱，它还没有自然褪色，所以你无法彻底忘记。如果他们要求忘记“去年”的东西，它已经消失了，但你也可能不小心忘记了其他东西。这就像试图通过等待墨水干透来擦除画作；有时有效，有时会弄脏整张纸。

B. “精准橡皮擦”法（基于海森矩阵/Hessian）

类比： 这就像拥有一个高科技橡皮擦，它知道该施加多少压力，以便只擦掉“香辣金赏”的墨迹，而不触及“寿司饭”。

运作方式： 模型保留了一张详细的“地图”（称为海森矩阵），记录了每道菜里的每一种食材是如何与其他食材连接的。当删除请求到来时，它利用这张地图，通过数学手段逆转由那道特定菜谱所引起的改变。
优点： 极其精确。即使请求是针对刚刚学会的菜谱，它也能精准遗忘。
缺点： 负担沉重。为每一天的烹饪都保留那张详细的地图需要消耗巨大的存储空间（就像在围裙里随身携带一座地图图书馆）。

C. “混合型大厨”（论文的创新点）

类比： 作者意识到你并不需要为“所有东西”都准备厚重的地图。

策略：
- 对于旧菜谱（很久以前学习的），依靠自然褪色。它们已经在自然消退了，所以不需要厚重的地图。
- 对于新菜谱（最近学习的），使用精准橡皮擦。这些菜谱在你的脑海中还很新鲜，所以你需要地图来干净地移除它们。
结果： 你得到了两者的最佳结合。你在节省大量存储空间（通过丢弃旧地图）的同时，依然保持了对近期删除请求的高准确度。

3. “认证”保证

论文并不仅仅说“我们认为我们已经忘记了”。他们使用了一种叫做**认证卸载（Certified Unlearning）**的数学保证。

类比： 想象一位公证员。

旧方法： 你说：“我烧掉了菜谱。”顾客只能选择相信你。
新方法： 公证员检查你的厨房并宣布：“我可以从数学上证明，你当前厨房的状态，与一个从未写过那道菜谱的厨房在统计学上是无法区分的。”
这对于隐私法至关重要。它证明了你不仅仅是“隐藏”了数据，而是真正移除了它的影响。

4. 他们的发现是什么？

权衡（Trade-off）： 你无法在没有代价的情况下同时实现完美的遗忘和完美的保留。你必须在存储更多数据（以求精准）和存储更少数据（接受一定的“涂抹”现象）之间做出选择。
顺序很重要： 如果你按逻辑顺序请求遗忘（例如，“先忘记周二的菜单，再忘记周三的”），这会比以混乱、随机的顺序请求遗忘要容易且准确得多。
胜出者： 混合方法（对旧事物进行自然褪色，对新事物进行精准擦除）提供了最佳平衡。它保持了极低的存储成本，同时确保了“遗忘”在数学上是经过认证且准确的。

总结

这篇论文为“在AI不断学习新事物的世界中如何进行‘卸载’”建立了第一个理论规则手册。他们表明，你不能像删除电脑文件那样简单地删除数据；你必须仔细平衡保持技能敏锐与手术式移除特定记忆之间的关系。他们的解决方案是一种聪明的结合：既让“旧记忆自然褪色”，又对“新记忆使用精准工具”，并辅以数学保证，证明数据已真正消失。

技术摘要：遗忘-保留困境：持续学习中的认证遗忘理论

问题定义

本文探讨了**机器遗忘（Machine Unlearning）与持续学习（Continual Learning, CL）**的交集。虽然机器遗忘旨在移除特定数据以满足隐私法规（如“被遗忘权”），而持续学习旨在不发生灾难性遗忘的情况下学习连续任务，但将两者结合提出了一个根本性的理论与实践挑战。

现有的认证遗忘算法（例如基于 Hessian 或梯度的算法）是为静态设置设计的。它们在 CL 背景下会失效，因为：

复杂的模型演化： CL 模型在非独立同分布（non-i.i.d.）的任务上动态演化，以复杂的方式编码过去的信息，目前的认证算法无法有效地逆转这一过程。
冲突的目标： CL 的目标是防止遗忘（保留历史知识），而遗忘则要求有针对性地遗忘。
存储与访问约束： 许多认证遗忘方法需要保留全部数据，或者无法处理动态环境中常见的任意、异步的遗忘请求序列。

作者将**持续学习-遗忘（CLU）**问题形式化为一个顺序的两阶段过程：

学习阶段： 模型使用 $\ell_2$ 正则化方案在新的任务 $D_t$ 上进行更新，以减轻遗忘。
遗忘阶段： 当收到删除一组过去任务 $S_t$ 的请求时，系统必须生成一个与在剩余数据上重新训练后的模型不可区分的模型，并满足 $(\epsilon, \delta)$ -认证遗忘保证。

主要的性能指标是遗忘后超额风险（Post-Unlearning Excess Risk, $E_{LU}$ $），它分解为两个相互竞争的项：

遗忘损失（Unlearning Loss, $E_U$ ）： 由于近似重训练模型而引入的误差（即“遗忘”成本）。
CL 超额风险（CL Excess Risk, $E_L$ ）： 在保留任务上由 CL 算法产生的误差（即“保留”成本）。

方法论

本文建立了 CLU 的理论基础，并提出了三种算法路径：

1. 理论基础

作者推导了非凸模型在 $\ell_2$ 正则化下的 CL 超额风险 ( $E_L$ ) 的上界。他们证明了用于最小化 CL 超额风险的最优正则化参数 $\lambda$ ，可能与最小化遗忘损失所需的参数显著不同，从而强调了内在的权衡。

2. 基于梯度的 CLU（自然遗忘）

这种方法利用了 CL 中固有的“自然遗忘”现象，即由于顺序更新，远处过去任务的影响会随时间衰减。

机制： 该方法不是进行显式的遗忘步骤，而是向模型参数添加高斯噪声。噪声规模根据近似误差的理论上界 ( $\gamma_t$ ) 进行校准，该上界量化了被删除任务的残余影响。
优点： 除了当前模型状态外，它需要零存储开销。
局限性： 对于自然遗忘尚未发生的近期任务，效果较差，会导致较高的遗忘损失。

3. 基于 Hessian 的 CLU

这种方法将二阶认证遗忘方法适配到 CL 环境中，以实现精确、有针对性的遗忘。

机制： 它利用存储的 Hessian 信息（或 Gauss-Newton、对角 Hessian 等近似值）和模型更新 ( $\Delta_t$ ) 来计算修正项 ( $\bar{\Delta}_t$ )。该项即使对于任意、异步的遗忘序列，也能通过单步操作近似重训练后的模型。
挑战： 处理异步请求会产生“时间紊乱（temporal disorder）”，即过去删除操作的影响会传播到后续的更新中。作者推导了一个递归修正项来应对这一问题。
成本： 它产生的存储开销与遗忘事件的数量以及 Hessian 近似值的维度成正比。

4. 混合策略（增强型遗忘 Hessian）

为了平衡存储成本与准确性，作者提出了一种混合策略。

机制： 它对近期的遗忘请求使用基于 Hessian 的方法（此时自然遗忘较弱），而对远期过去的任务依赖于自然遗忘。
实现： 算法会丢弃早于特定时间阈值（由遗忘事件之间的间隔决定）的任务的 Hessian 信息。
收益： 这将存储复杂度从 $O(t \cdot d)$ 降低到 $O(\max(t_i - t_{i-1}) \cdot d)$ （其中 $t_i$ 为遗忘时间），同时保持了较低的遗忘误差。

关键结果

实验在使用了 ResNet-18 和 CNN 骨干网络的 MNIST、CIFAR-10 和 CIFAR-100 数据集上进行，采用了非独立同分布的任务序列。

顺序敏感性： 理论界限和实验均证实，**前向同步（forward-synchronous）遗忘序列（即被删除的任务严格晚于上一次遗忘事件）比异步（asynchronous）**序列具有更低的近似误差。异步请求由于时间紊乱会累积额外的误差项。
准确性与存储的权衡：
- 自然遗忘（基于梯度）： 实现了最低的存储（接近于零），但近似误差最高，尤其是在近期任务上。
- 纯 Hessian 方法： 实现了接近全量重训练的近似误差（例如在 CIFAR-100 上约为 0.009），但需要大量内存（在 Gauss-Newton 变体中比自然遗忘高出多达 5 倍）。
- 混合策略（增强型遗忘）： 显著降低了内存使用（与对角 Hessian 相当），仅伴随轻微的近似误差增加（约 0.045），提供了一个实际的折中方案。
认证保证： 理论上界 ( $\gamma_T$ ) 得到了经验误差的验证。该界限对基于梯度和基于 Hessian 的方法均成立，确保了 $(\epsilon, \delta)$ -认证遗忘。
保留-遗忘权衡： 增加正则化强度 $\lambda$ 会减少遗忘误差（通过限制参数漂移），但会降低纯 CL 测试准确率，这在经验上验证了保留与遗忘之间的理论张力。

意义与主张

本文声称提供了连接认证遗忘与持续学习的第一个理论基础。其意义在于：

形式化了权衡关系： 它通过将遗忘后风险分解为 CL 超额风险和遗忘损失，严谨地定义了“遗忘-保留困境”，并证明了最小化其中之一往往会加剧另一方。
理论界限： 它建立了首个非凸设置下 $\ell_2$ 正则化 CL 的超额风险界限，并将认证遗忘理论扩展到了动态、顺序的请求模式。
实用算法： 它引入了一种混合策略，解决了二阶遗忘方法的存储瓶颈，同时保留了认证遗忘的理论保证。
基准测试： 它提供了一个严谨的基准（自然遗忘），并证明了尽管该方法简单，但在近期任务上是不够的，因此需要提出的 Hessian 增强方法。

作者总结道，虽然其工作侧重于基础的 $\ell_2$ 正则化 CL 算法，但这为将认证遗忘理论扩展到更复杂的 CL 方法（如基于记忆的方法或弹性权重整合 EWC）打开了大门。