🤖 machine learning

Similarity-Aware Machine Unlearning

本文提出了一种相似性感知（similarity-aware）的机器卸载框架，该框架采用一种保留感知（retain-aware）的定位方法，旨在最小化对语义相似保留数据的附带损害，同时提高标准卸载效率，并通过一个新颖的评估集和广泛的实验进行了验证。

原作者： Madhavan Citalamangalam Kumaran, Midhun Parakkal Unni, Vicky Kouni, Haripriya Harikumar

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Madhavan Citalamangalam Kumaran, Midhun Parakkal Unni, Vicky Kouni, Haripriya Harikumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你构建了一个巨大的、超级智能的数字大脑，它从一个海量的照片库中学到了所有知识。这个大脑非常擅长它的工作，它能极其准确地分辨出猫和狗，或者船和汽车。但问题在于：有时人们希望从那个库中删除他们的照片，因为隐私法或个人选择。如果你只是删掉那张照片，这个大脑可能仍然会记得它，就像一个为了考试而背诵了事实的学生，在考试结束后却忘了如何“忘掉”这些事实一样。这就是“机器遗忘”（Machine Unlearning）发挥作用的地方。它是教计算机忘记特定事物，而无需扔掉整个大脑并从头开始重新构建的技术，因为重新构建会耗费漫长的时间和巨额的成本。

然而，这里有一个棘手的问题。在计算机的大脑中，信息并不是存储在整齐、独立的抽屉里的。相反，它更像是一个巨大的连接网络，相似的事物在这里交织在一起。一张金毛寻回犬的照片和一张拉布拉多寻回犬的照片可能会使用完全相同的连接集，因为它们看起来太像了。如果你试图切断与金毛寻回犬相关的连接以让它遗忘，你可能会不小心也剪断了拉布拉多的电线，导致大脑忘记了它本该记住的事物。这篇论文的研究重点就在于寻找一种方法来解开这个网络，使我们能够在不伤害相似事物的前提下删除想要删除的内容。

这些研究人员利用来自著名的 CIFAR-10 数据集（一个包含 60,000 张彩色小图像的集合）的数据，并使用了一个名为 ResNet18 的模型进行研究。他们发现，旧的方法有点过于笨拙了。之前的方法被称为“仅针对遗忘的定位”（forget-only localization），这就像一个园丁试图拔出一株特定的杂草，但却只盯着杂草本身看。他抓住了杂草的根，但由于那株杂草生长在一朵看起来几乎一模一样的美丽鲜花旁边，园丁也会不小心把那朵花也连根拔起。用计算机术语来说，这造成了“附带损伤”，即模型在识别那些与被遗忘图像非常相似的保留图像时，表现变得更差了。

为了解决这个问题，团队提出了一个新的“感知保留”（retain-aware）方法。他们不再仅仅关注要被遗忘的事物，而是要求计算机同时观察那些需要保留的事物。他们创建了一个特殊的“相似性图谱”，以查看哪些保留图像是遗忘图像的最接近邻居。然后，他们使用了一种巧妙的评分系统来决定应该微调计算机大脑的哪些部分。他们实际上是在说：“只剪断那些对我们要遗忘的事物至关重要的电线，但如果这些电线对我们要保留的相似事物也同样重要，那就不要动它们。”

他们测试了三种不同的计算分数的方法：一种简单的减法方法，一种加权方法（通过这种方法，他们可以调高对保护事物的重视程度），以及一种比例方法。在运行了十一次不同的实验后，他们发现他们的新方法比旧的“仅针对遗忘”的方法效果要好得多。具体来说，“子采样差值法”（一种特定的减法方式）表现最为出色。它成功地让模型遗忘了目标图像，同时让模型在处理相似的保留图像时的准确率几乎保持完美。

论文表明，通过意识到相似性，我们可以显著减少“附带损伤”。例如，当他们观察模型在处理与被遗忘图像视觉上非常接近的图像时的表现时，他们的新方法几乎没有导致性能下降，而旧方法则会导致明显的下滑。他们还检查了确保模型不仅仅是在瞎猜或表现异常；他们使用了一种“成员推理攻击”（membership inference attack）测试（一种查看模型是否仍在秘密记忆已删除数据的方法），发现他们的新方法在真正擦除记忆方面表现得更好。

简而言之，作者认为我们不能仅仅将遗忘视为一个简单的删除任务。因为计算机大脑是通过寻找模式和相似性来学习的，所以你必须小心，不要破坏你想要保留的模式。他们的新方法就像一位精密的医生而非大锤，在移除特定照片记忆的同时，不会损坏其相似“朋友”的记忆。虽然他们在特定的图像集和特定的模型类型上进行了测试，但结果表明，这种“感知保留”的方法是朝着开发既有效又安全的 AI 隐私工具迈出的充满希望的一步。

技术摘要：感知相似性的机器遗忘

1. 问题陈述

机器遗忘（Machine unlearning）旨在从已训练的模型中移除特定训练样本（即“遗忘集”， $D_f$ ）的影响，而无需从头开始重新训练，从而在满足数据删除权利（如 GDPR）的同时保持计算效率。虽然基于定位的方法通过仅修改一部分具有影响力的参数来提高效率，但现有方法存在一个关键局限性：特征纠缠（feature entanglement）。

当前的方法仅根据参数对遗忘集的贡献度来进行选择。然而，对遗忘样本具有影响力的参数往往也支持了在学习表征空间中与遗忘数据语义相似的“保留集”（ $D_r$ ）中的样本。修改这些共享参数会导致附带损伤（collateral damage），即降低模型在那些与遗忘数据在学习到的表征空间中接近的保留样本上的性能。此外，标准的聚合指标（如整体保留集准确率）往往无法检测到这种损伤，因为这种损伤集中在语义相似的一小部分保留样本上。

2. 方法论

作者提出了一种**感知相似性的局部化遗忘（Similarity-Aware Localized Unlearning）框架，该框架扩展了“基于样本的删除定位”（Deletion by Example Localization, DEL）方法。其核心创新在于一种感知保留集的定位（retain-aware localization）**策略，该策略同时考虑了参数对遗忘集和保留集的贡献度。

2.1 核心概念

语义相似性（Semantic Similarity）： 通过模型嵌入空间中的余弦相似度来定义。作者观察到，语义相似的样本（即使跨越了遗忘/保留边界）在特征空间中占据相邻区域，并激活重叠的神经元子集。
保留相似评估集（Retain-Similar Evaluation Set, $D_{r,sim}$ ）： 为了直接衡量附带损伤，作者构建了一个特定的评估集。对于 $D_f$ 中的每个样本，他们根据原始模型嵌入空间中的余弦相似度，识别出其在 $D_r$ 中最近的同类邻居。该集合隔离出了最易受特征纠缠影响的保留样本。

2.2 定位策略

该方法分别在遗忘集（ $s_f$ ）和保留集（ $s_r$ ）上计算参数的关键性得分（criticality scores）。目标是选择那些对 $D_f$ 高度关键、但对 $D_r$ 极低关键的参数。作者提出了三种具体的评分策略：

差值法（Difference Method）： $\tilde{s}_j = \max(s_f^j - s_r^j, 0)$ 。该方法优先考虑遗忘集重要性超过保留集重要性的参数。
加权差值法（Weighted Difference Method）： $\tilde{s}_j = \max(w \cdot s_f^j - s_r^j, 0)$ 。引入标量权重 $w$ 来调节遗忘集特异性与保留集保护之间的平衡。
比例法（Ratio Method）： $\tilde{s}_j = \frac{s_f^j}{s_r^j + \epsilon}$ 。倾向于选择相对于保留集重要性而言具有高遗忘重要性的参数。

2.3 遗忘过程

掩码（Masking）： 根据所选的关键性得分，在所有层中全局对神经元进行排序，构建一个二进制定位掩码。贪婪地选择神经元，直到达到预算（例如总参数量的 30%）。
重新初始化（Reinitialization）： 使用 Kaiming 正态分布初始化选定的权重，以重置其数值。
微调（Fine-tuning）： 在保留集（ $D_r$ ）上对模型进行固定轮数的微调。未被选择的权重梯度会被掩码处理，从而将更新限制在重新初始化的子集内。

3. 实验设置

数据集： CIFAR-10（60,000 张图像，10 个类别）。训练集分为遗忘集（ $D_f$ ，5,000 张图像）和保留集（ $D_r$ ，35,000 张图像）。
模型： 修改后的 ResNet-18（针对 32x32 图像进行了适配）。
基准方法（Baselines）： 与“仅针对遗忘集”的定位基准（DEL）以及 Oracle 模型（在 $D_r$ 上从头重训）进行对比。
指标：
- 标准指标： 测试准确率、保留集准确率、遗忘集准确率、成员推理攻击（MIA）得分、KL 散度。
- 提议指标： 保留相似准确率（Retain-Similar Accuracy, $\Delta_{rs}$ ），专门测量在 $D_{r,sim}$ 上的性能。
- 评估方式： 指标以增量（ $\Delta = \text{Oracle} - \text{Unlearned}$ ）形式报告，其中数值越接近零表示与 Oracle 的一致性越高。

4. 关键结果

实验在 11 种设置下进行（不同的定位方法和超参数）。

减少附带损伤： **子采样差值法（subsampled Difference method）**实现了最佳平衡。它将保留相似准确率的增量（ $\Delta_{rs}$ ）降至 +0.04，显著低于仅针对遗忘集基准的 +0.49。这表明对语义相似保留样本的附带损伤大幅减少。
遗忘效能： 同一种方法实现了 +0.56 的遗忘准确率增量（ $\Delta_{forget}$ ），表明实现了有效的遗忘（接近 Oracle 的行为），避免了基准方法中出现的过度遗忘（+2.70）。
Oracle 一致性： 子采样差值法表现出与 Oracle 模型极强的一致性，这体现在较低的 MIA 得分增量（+4.98 对比基准的 +5.48）和较低的 KL 散度（0.395）。
方法对比：
- 比例法（Ratio method） 虽然保留了效用（低 $\Delta_{retain}$ ），但未能实现有效遗忘（较大的负 $\Delta_{forget}$ ），这表明其对必要的参数修改重视不足。
- 加权差值法（Weighted Difference method） 表明，增加权重 $w$ 会使干预更加激进，从而增加效用损失和残留的成员信号。
计算开销： 提议的方法产生的计算开销微乎其微（02:59 对比基准的 02:57），因为关键性计算和微调时间几乎相同。

5. 意义与主张

论文声称，特征纠缠是现有基于定位的遗忘方法产生附带损伤的主要原因，而聚合指标往往无法检测到这一点。

这项工作的意义在于：

识别局限性： 明确地将附带损伤与遗忘集和保留集之间共享的学习表征联系起来。
感知保留集的定位： 证明了通过引入保留集的重要性来进行参数选择，可以实现“感知相似性”的遗忘，从而在保留共享表征的同时，有效地移除遗忘特有的知识。
评估协议： 引入了保留相似评估集作为直接衡量附带损伤的必要工具，认为标准的聚合指标不足以应对这一特定的失效模式。

作者得出结论，他们的方法能够持续减少附带损伤并提高标准的遗忘指标，为解决此类问题提供了一种计算成本极低的实用方案。他们建议未来的工作应在更大的数据集和架构上评估该方法。