🤖 machine learning

To forget is to preserve: Machine Unlearning for 3D medical image segmentation

本文评估了针对 MRBrainS18 医学图像分割任务中 3D ResNet-50 模型的近似机器遗忘策略，证明了噪声标签（Noisy Label）策略通过显著降低被遗忘受试者的性能同时保持对保留数据的准确性，提供了最优的权衡。

原作者： Nitesh Kumar Singh, Akhilesh Singh, Arjun Arora

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Nitesh Kumar Singh, Akhilesh Singh, Arjun Arora

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：人工智能中的“被遗忘权”

想象一下，你雇佣了一位名厨，通过学习 10 位朋友提供的食谱和食材来掌握一道特定的菜肴。这位厨师因此成为了专家。然而有一天，朋友 #3 决定退出这个小组，并要求厨师彻底忘记关于他们特定食材和烹饪风格的一切。

在人工智能（AI）领域，这是一个重大的法律要求（例如 GDPR 法规）。如果一名患者说：“删除我的数据”，医院的 AI 不应仅仅删除文件；它还必须“忘掉”从该患者扫描图像中习得的模式。

难点在于： 过去的方法是解雇这位厨师，然后重新雇佣一位新厨师，仅用剩下的 9 位朋友的资料从头开始学习。这种方法很准确，但极其缓慢且昂贵（就像从头开始重新训练一个模型需要数百小时）。

解决方案：“机器遗忘”（Machine Unlearning）

这篇论文探索了一种更快捷的方法：机器遗忘。我们不是要解雇厨师，而是尝试教会现有的厨师如何“忘掉”朋友 #3 的风格，同时保持对其他 9 位朋友的技能不受影响。

研究人员在 3D 医学图像（如大脑 MRI 扫描）上测试了这一方法。他们使用了一个预训练的 AI 模型（一个已经了解大量 3D 解剖结构的“ResNet-50”），并尝试让它忘掉特定的患者。

实验过程：6 种不同的“遗忘”技巧

团队尝试了六种不同的策略来让 AI 忘记。你可以把这些想象成不同的方法，用来迷惑厨师，让他忘记朋友 #3 的食谱：

梯度反转（“反其道而行之”法）：
- 原理： 当 AI 查看朋友 #3 的数据时，计算机告诉它：“你错了！试着把答案完全做反。”
- 结果： 效果过头了。AI 为了试图做错而变得过于混乱，以至于它也开始搞乱其他 9 位朋友的食谱。
噪声标签（“随机猜测”法）：
- 原理： 当 AI 查看朋友 #3 的数据时，计算机用随机的、无意义的答案替换掉正确的答案。这就像告诉厨师：“对于这个特定的食材，假装它是鞋子。”
- 结果： 这是最终的赢家。 AI 学会了朋友 #3 的数据是无意义的，从而不再关注它，但同时保持了对其他 9 位朋友的技能水平。
随机编码器（“静态噪声”法）：
- 原理： 在尝试学习之前，AI 被迫通过一层静态噪声（就像没有信号的电视画面）来观察朋友 #3 的数据。
- 结果： AI 并没有真正忘记。它只是学会了如何忽略噪声并依然猜对正确答案，所以“遗忘”效果并不理想。
学习他人/学习噪声（“模仿者”法）：
- 原理： 当查看朋友 #3 的数据时，AI 被要求去模仿其他朋友的特征（或仅仅是随机噪声）。
- 结果： 这太过激进。它破坏了 AI 的大脑，导致它不仅忘记了朋友 #3，甚至连所有人的一切都忘了。
固定解码器（“冻结头部”法）：
- 原理： AI 被告知冻结它的“最终大脑”（做出决策的部分），只改变它的“眼睛”（观察图像的部分）。
- 结果： 短期内效果尚可，但如果持续训练，AI 会变得混乱，甚至在原本应该忘记的数据上表现得更好，这与我们的目标背道而驰。

实验结果：谁赢了？

研究人员针对两个不同的时间长度（20 轮和 50 轮）进行了测试。

获胜者： **噪声标签（Noisy Label）**策略。
- 经过 50 轮后，它成功地将特定患者的数据“遗忘”了 93%（AI 对该特定患者的判断几乎完全错误）。
- 至关重要的是，它保留了 84% 在其他患者身上的准确率。它没有破坏 AI；它只是擦除了特定的记忆。
失败者： 大多数其他方法在短期内表现尚可，但如果继续训练，它们会导致“灾难性退化”。这意味着 AI 为了试图忘记某些东西而变得过于混乱，以至于它连自己的本职工作都忘了。

总结

论文得出结论：如果你想让一个 3D 医学 AI 在不破坏其帮助其他患者的能力的前提下，“忘掉”特定患者，最好的技巧是给该患者的数据喂入随机的、虚假的标签（噪声标签）。

这为医院和开发者提供了一个清晰、经过测试的规则：如果你需要遵守隐私法并移除患者对 AI 的影响，不要重新训练整个模型。使用“噪声标签”法来手术式地移除那段特定的记忆，同时保持 AI 其他部分的健康。

技术摘要：遗忘即是保护：针对 3D 医学图像分割的任务机器遗忘

1. 问题陈述

深度学习在医学影像领域（特别是针对 MRI 和 CT 等 3D 体积数据）的快速普及，引发了关键的数据隐私担忧。诸如 GDPR（第 17 条）、HIPAA 以及印度的 DPDPA 2023 等法规赋予了个体“被遗忘权”，要求不仅要从存储中删除个人数据，还要从已训练的机器学习模型中将其移除。

在 3D 医学图像分割的背景下，这提出了一个独特的挑战。与涉及删除整个类别的 2D 分类任务不同，医学遗忘需要实现受试者层面（即特定患者）的遗忘。此外，其输出是密集的、基于体素（voxel-wise）的预测，而非单一标签。实现合规的标准方法——在剩余数据上从头开始重新训练模型——对于 3D 体积数据集而言，计算成本极高，通常需要数百个 GPU 小时。因此，需要近似机器遗忘策略，能够在不承担全量重训成本的情况下，修改现有的预训练模型，以“忘记”特定受试者，同时保持对保留数据的极高性能。

2. 方法论

2.1 骨干架构

本研究利用了使用 Med3D 框架进行预训练的 3D ResNet-50 架构。选择该骨干网络是因为它能够从涵盖 CT 和 MRI 模态的多种多样 3D 医学数据集（肺、肝、脑）中学习鲁棒的体积表示。该模型被分解为：

编码器 ( $E_\phi$ )： 一个用于提取时空特征的 3D ResNet-50。
解码器/分割头 ( $G_\psi$ )： 一个包含 3D 转置卷积和精细化层的多层解码器，负责将特征映射为体素级的类别逻辑值（logits）。

模型在 MRBrainS18 数据集上进行了微调，该数据集包含老年受试者脑部结构的专家标注。

2.2 实验设置

数据集： MRBrainS18（10 名受试者）。
遗忘集 ( $D_f$ )： 2 名受试者（占数据的 20%）。
保留集 ( $D_r$ )： 剩余的 8 名受试者。
任务： 二进制分割（脑组织 vs 非脑组织）。
训练周期： 遗忘策略在 20 和 50 个 epoch 期间进行了评估。
指标：
- Dice 相似系数 (DSC)： 衡量空间重叠度。
- 平均绝对误差 (MAE)： 衡量预测概率偏差。
- 差距指标： $\Delta$ Dice ( $D_r - D_f$ ) 和 $\Delta$ MAE ( $D_f - D_r$ )，用于量化遗忘效果与保留性能之间的权衡。

2.3 遗忘策略

研究评估了从 I2I 框架及其他文献中改编而来的几种近似遗忘策略，这些策略分为四种机制：

基于梯度的策略 (GA)：
- 保留标签 / 最大损失 (Retain Label / Max Loss)： 通过否定遗忘集的梯度来修改损失函数（即最大化误差），同时最小化保留集的误差。
- 风险： 无界的梯度上升可能导致保留集的灾难性退化。
标签与数据操纵：
- 噪声标签 (Noisy Label, NL)： 在训练期间，将遗忘受试者的地面真值（ground-truth）体素标签替换为均匀分布的随机标签。模型在这一被操纵的分布上进行优化，从而有效地覆盖了对遗忘受试者的记忆化表示，同时强化了对保留受试者的表示。
特征空间干预：
- 随机编码器 (Random Encoder, RE)： 在遗忘受试者的特征图到达解码器之前，用高斯噪声覆盖其潜在特征图。
- 学习他人 (Learn Others, LO) 与学习噪声 (Learn Noise, LN)： 使用教师-学生蒸馏范式。学生编码器被强制将遗忘受试者映射到一个通用目标（可以是当前批次的平均特征或动态高斯噪声），同时在处理保留受试者时镜像模仿教师模型。
微调与选择性重训：
- 固定解码器 (Fix Decoder, FD)： 冻结分割头（解码器），仅通过蒸馏更新编码器参数。其目的是将遗忘限制在潜在特征空间内，以防止解码器漂移。

3. 关键结果

实验揭示了遗忘有效性与效用保留之间存在显著差异的权衡关系：

噪声标签 (NL) 策略： 该方法展示了最佳的整体权衡。
- 在 50 个 epoch 后，它实现了 +0.6963 的 Dice 差距和 +0.091 的 MAE 差距。
- 它将遗忘集的 Dice 分数降低了 93%（从 0.9226 降至 0.0613）。
- 至关重要的是，它在保留集上维持了 84% 的准确率（Dice 分数为 0.7576）。
- 与其他方法不同，其性能随训练周期的延长而提升，同时增强了遗忘效果和保留性能。
基于梯度的策略 (Retain Label/Max Loss)： 虽然能有效移除遗忘集的性能，但这些方法会导致保留集的灾难性退化，尤其是在 50 个 epoch 时。不受约束的损失否定将模型推向了极差的参数空间区域。
特征空间干预 (RE, LO, LN)：
- 随机编码器 (RE) 保留了保留集的性能，但遗忘效果非常有限（Dice 差距约为 0.01–0.04），这表明解码器可以补偿被破坏的编码器特征。
- 学习他人/噪声 (LO/LN) 导致保留集的性能几乎完全崩溃，表明激进的特征操纵过度破坏了已学习到的表示。
固定解码器 (FD)： 在 20 个 epoch 时表现出中度的遗忘效果，但在 50 个 epoch 时变得不稳定，最终甚至出现了反向行为——在遗忘集上的表现比保留集更好。

4. 贡献与意义

本文声称有以下贡献与意义：

首次系统性基准测试： 据作者所知，这是首个专门针对 3D 医学图像分割并使用受试者级遗忘集来系统评估多种近似遗忘策略的研究。以往的基准测试主要局限于 2D 分类任务（如 CIFAR-10、ImageNet）。
3D 遗忘的实证评估： 本研究将这些策略应用于 Med3D ResNet-50 框架，提供了在 3D 体积模型中移除特定患者知识的首次全面实证数据。
可复现的评估协议： 作者建立了一个使用分割特定指标（Dice 和 MAE）的协议，以量化遗忘效果与保留临床效用之间的权衡，解决了将 2D 指标应用于 3D 密集预测任务的困难。
确定最优策略： 研究确定了噪声标签 (Noisy Label) 策略是该领域最稳健的方法，能够在实现强力遗忘的同时，保留模型在保留数据上的大部分效用。

5. 结论与未来工作

研究得出结论，尽管存在许多遗忘策略，但在高维、复杂的 3D 医学成像语境下，它们往往会失败——要么无法有效遗忘，要么破坏了模型的效用。噪声标签策略脱颖而出，成为该领域受试者级遗忘最可行的解决方案。

作者指出，未来的工作应侧重于：

使用成员推理 (membership inference) 或 模型反转攻击 (model inversion attacks) 进行正式的对抗性隐私评估，以严格证明残留信息的移除。
研究自适应优化算法（例如动态 alpha 调度）和参数高效微调（例如 LoRA），以进一步稳定特征空间的遗忘过程。

本文强调，开发有效的遗忘方法是构建能够尊重医疗环境中隐私原则的可信临床 AI 系统的必要步骤。