🤖 machine learning

Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning

本文识别并解决了“局部附带遗忘”问题，即由于代理目标不一致，导致机器卸载方法不成比例地降低了删除数据附近的训练样本预测性能，并提出了“局部教师蒸馏”作为一种有效的缓解策略，使卸载后的模型与重新训练的模型更加一致。

原作者： Polina Dolgova, Sebastian U. Stich

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Polina Dolgova, Sebastian U. Stich

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明的学生，他研读了一本包含数千个案例的巨型教科书。有一天，法律规定你必须从这本教科书中删除一个特定的章节，并确保该学生完全“忘记”它。

目标： 你希望学生忘掉那个章节，但又不想让他重新阅读整本书（因为那太耗时了）。你希望他在学习书中的其余部分时，表现得就像他最初在学习时直接跳过了那一章一样出色。

问题：“附带损伤”
这篇论文发现了一个关于我们通常如何尝试让学生“遗忘”的隐藏缺陷。

当研究人员试图强迫一名学生忘记某个特定主题时，他们通常使用一种笨拙的手段：要么告诉学生要“反向学习”那个主题（将知识推开），要么告诉学生那个主题是毫无意义的（分配随机的、错误的答案）。

论文表明，这种方法会导致局部附带遗忘（Localized Collateral Forgetting）。可以这样理解：

如果你告诉学生：“忘掉关于‘沙发（Couches）’的一切”，并且你做得非常激进，学生可能会开始对“沙发（Sofas）”、“扶手椅（Armchairs）”以及一般的“家具（Furniture）”感到困惑。
尽管这些其他项目并不在“删除”名单上，但由于它们与你要让他们忘记的东西如此相似，学生对它们的理解也会受到干扰。
学生在这些“邻近”主题上的表现，会比那些最初直接跳过该章节并正常学习其余部分的学生的表现更差。

为什么会发生这种情况？
作者解释说，学生的脑子（AI模型）会将相似的概念联系在一起。当你强迫学生忘记一个特定的想法时，这种混乱会蔓le到其精神地图中的相邻想法。这就像被地毯绊倒；你不仅会摔在毯子上，还可能撞倒旁边的灯。

解决方案：“局部老师”
与其只是告诉学生“这是错的”或“忘记这个”，作者提出了一种更聪明的策略，称为局部教师蒸馏（Local Teacher Distillation）。

以下是类比：

问题： 你不能要求学生重读整本书，以查看如果当初跳过了“沙发”章节，他应该如何处理。那太昂贵了。
解决方法： 你聘请了一位微小的、专门的导师（“局部老师”）。
运作方式： 这位导师只观察“沙发”章节的“邻居”——比如学生仍然记得的“沙发（Sofas）”和“扶手椅（Armchairs）”。这位导师研究这些安全的示例，并得出结论：“好吧，如果我们没有‘沙发（Couch）’这一章，我们应该如何逻辑清晰地回答关于‘沙发（Sofas）’的问题？”
结果： 导师给学生一个“软性”提示（一个基于邻居知识的温和且正确的预测），告诉他们该如何处理“沙发（Couch）”这一章。这比直接告诉学生去随机猜测要好得多。

他们的发现
研究人员在一个学习识别图像（如猫、狗和沙发）的计算机系统上测试了这一点。

旧方法（随机猜测）： 当他们试图删除“沙发（couches）”的图像时，系统会对附近的其他家具产生困惑。
新方法（局部老师）： 通过使用这个微小的导师，根据相似且安全的图像提供温和的提示，系统忘掉“沙发（couches）”的效果与旧方法一样好，但它并没有对其他家具产生困惑。它的表现非常接近于一个最初直接跳过了该章节的学生。

总结
论文指出，当我们试图让 AI “忘记”时，我们往往会无意中损害它对相似事物的知识。通过使用一个微小的、聪明的助手，利用温和且逻辑性的提示而非随机噪声来引导遗忘过程，我们可以让 AI 精确地忘记它需要忘记的内容，而不会破坏其余知识。

技术摘要：遗忘也有邻居：机器学习遗忘中的局部附带遗忘

问题陈述
机器学习遗忘（Machine unlearning）旨在从已训练的模型中移除特定训练样本（“遗忘集”）的影响，而无需承担全量重训的计算成本。虽然标准的评估依赖于聚合指标（例如，保留准确率、遗忘准确率和隐私审计得分），但作者认为这些汇总指标可能会掩盖局部性的失败。具体而言，一个经过遗忘处理的模型在平均意义上可能与重训的参考模型非常接近，但在特定的保留样本或测试样本上却表现出剧烈的偏差。

论文识别出一种被称为**局部附带遗忘（localized collateral forgetting）**的失效模式：即在表示空间中与遗忘集在几何结构上接近的非删除样本上，出现了非预期的预测性能退化。这是因为样本通过共享表示相互耦合；旨在抑制遗忘集信号的操作（如梯度上升或随机标签）会将扰动传播到附近的保留点。

方法论
作者通过理论分析、实证观察以及提出的缓解策略来研究该问题。

理论分析：
- 梯度上升 (GA)： 在线性回归中，作者证明了遗忘模型相对于重训模型的超额损失，与保留查询点 $x_q$ 与删除点 $x_f$ 之间的平方对齐度 ( $\langle x_q, x_f \rangle^2$ ) 成比例。
- 随机标签 (RL)： 在逻辑回归中，RL 与重训之间的差异由查询点在遗忘集张成的空间上的投影决定。在遗忘集上施加的随机标签产生了一种“目标失配”（target mismatch），这种失配与重训所诱导的局部预测结构相冲突。这种失配会传播到附近的点。
- 保留集微调 (Retain Fine-Tuning)： 分析表明，虽然在保留集上进行微调可以恢复对保留训练点的性能，但它并不一定能修正模型在位于遗忘集跨度内的分量上的行为。因此，目标失配仍然是一个根本原因。
提出的方法：局部教师蒸馏 (Local Teacher Distillation, LTD)
受“目标失配驱动局部误差”这一发现的启发，作者提出了局部教师蒸馏。LTD 不再向遗忘集分配随机或损坏的标签，而是用来自小型辅助教师模型的“软标签”来替换它们。
- 支持集选择： 教师模型仅在表示空间中距离遗忘集最近的保留样本子集 ( $S_k$ ) 上进行训练（通过倒数第二层嵌入的余弦相似度进行衡量）。这确保了教师模型能够近似重训模型在遗忘集附近的局部预测结构。
- 训练目标： 遗忘过程优化一个损失函数，该函数在保留集上保持性能（使用硬标签），同时最小化遗忘集上的模型预测与教师软预测之间的交叉熵。
- 效率： 教师模型是一个仅在选定的支持集上训练的小型架构，避免了全量重训的成本。

核心贡献

现象识别： 论文确定了附带遗忘并非均匀分布，而是集中在表示空间中靠近遗忘集的非遗忘样本上。
理论特征化： 作者为 GA 和 RL 方法提供了理论证明，表明与重训的偏差受保留点在遗忘集上的对齐或投影控制。他们指出目标失配（不一致的代理目标 vs. 重训结构）是其底层机制。
缓解策略： 他们引入了局部教师蒸馏，该方法利用局部教师为遗忘集生成一致的软标签。
实证验证： 在 CIFAR-100（部分类别删除）上的实验表明，LTD 显著降低了与重训的偏差，特别是在受影响类别和高相似度样本上，同时保持了具有竞争力的聚合遗向指标。

结果

聚合指标： 在 50% 类别删除的 CIFAR-100 实验中，LDT 在对比的基准方法（GA, RL, FT, SalUn, IU, AMUN）中实现了最低的“平均差距”（Avg. Gap，即在准确率和隐私指标方面相对于重训模型的平均绝对偏差）。
局部性能： 虽然聚合指标可能具有误导性，但 LTD 在受影响类别子集（属于被删除类别的保留点和测试点）上显著优于基准方法。例如，当其他方法相对于重训模型出现准确率大幅下降时，LTD 保持了稳定性。
相似性分析： 论文展示了竞争方法在与遗忘集的相似度增加时，会出现剧烈的准确率下降。相比之下，LTD 在所有相似度区间内都保持了较低的偏差。
消融研究： 结果证实，使用最近邻支持集作为教师模型至关重要；随机或远距离的支持集无法捕捉相关的预测结构，导致无法与重训过程实现良好对齐。

意义与主张
论文声称标准的遗向评估是不充分的，因为它们隐藏了靠近遗忘集的结构化失效。这项工作的意义在于：

揭示了目标失配是局部附带遗忘的一个基本原因，即使在使用保留集微调后，该问题依然存在。
证明了提高遗忘集目标的局部一致性（通过局部教师）是比单纯依赖保留集恢复更有效的缓解策略。
提供了一种实用且低成本的方法 (LTD)，它能使遗忘模型在不牺牲隐私或效用的情况下，在关键的删除数据邻域内，显著地接近重训参考模型。

作者对泛化性保持了审慎态度，指出其方法依赖于局部支持集和表示的质量。他们承认，对于高度异质的遗忘集，可能需要聚类或多个局部教师，且将其扩展到更广泛的架构和数据集仍是未来的工作方向。

类似论文