🤖 machine learning

REMEDI: A Benchmark for Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference

本文介绍了 REMEDI，这是一个基于 MIMIC-III 数据库的新基准测试，用于评估多标签临床疾病推理中的机器遗忘方法，并揭示了现有方法在应对该领域的特定复杂性方面存在困难，且在模型效用与有效数据删除之间面临权衡。

原作者： Anurag Sharma, Sai Teja Chunchu, Prasenjit Mitra, Sandipan Sikdar, Koustav Rudra

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Anurag Sharma, Sai Teja Chunchu, Prasenjit Mitra, Sandipan Sikdar, Koustav Rudra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢、超级聪明的图书管理员，名叫 BioBERT（或者是它的表亲 BioLinkBERT）。这位管理员读过成千上万份患者的医疗记录，以此来学习如何诊断疾病。它在工作中表现得极其出色。

但问题在于，有一天一位患者说：“嘿，我改变主意了。请从你的大脑中抹除我的病历记录。我不希望你记住关于我的任何事情。”

在计算机科学领域，这被称为**“被遗忘权”**（Right to be Forgotten）。

问题所在：你不能直接“反向阅读”一本书

如果你想删除那位患者的数据，传统的方法是解雇这位图书管理员，重新雇佣一个新的人，并让他们重新阅读所有的书——只是不读那一位特定患者的书。这被称为**“重训练”**（Retraining）。这就像是从头开始重建一座图书馆。这种方法很准确，但速度极慢、成本极高，且非常浪费能源。

科学家们发明了一些被称为**“机器卸载”**（Machine Unlearning）的捷径。这些方法就像是试图让图书管理员忘记特定的事实，而不需要重新阅读整个图书馆。但直到目前为止，大多数针对这些捷径的测试都是在虚构的、简单的数据（比如记住谁写了一本虚构的书）上进行的。没人真正知道这些捷径是否适用于真实、混乱且复杂的医疗记录。

迎来 REMEDI：终极压力测试

论文的作者创建了一个新的测试场，名为 REMEDI（多标签临床疾病推理中的保留与卸载评估）。你可以把 REMEDI 想象成这些“卸载”捷径的一次严格驾驶考试，但它不是在平坦的赛道上，而是要求图书管理员必须在繁忙、混乱的医院中穿行。

以下是 REMEDI 的特别之处：

真实数据，而非虚假数据： 它使用了来自 MIMIC-III 数据库的真实匿名化医疗记录。
复杂的诊断： 在现实生活中，患者通常同时患有多种疾病（例如糖尿病和心脏病）。这被称为多标签分类（Multi-label Classification）。对于图书管理员来说，要“卸载”一种疾病而不意外地忘记它与其他疾病之间的联系，难度要大得多。
三个难度等级：
- 等级 1（独立型）： 图书管理员只需要忘记一个与其他所有人完全不同的特定患者。
- 等级 2（并发型）： 图书管理员需要忘记患者 A，但患者 A 与患者 B（留在图书馆中的人）非常相似。图书管理员必须忘记 A，但不能失去诊断 B 的能力。这就像是忘记了你邻居的面孔，但仍能认出你的双胞胎兄弟。
- 等级 3（大规模型）： 图书管理员必须一次性忘记 3% 到 5% 的所有患者。这是一次大规模的记忆抹除。

我们如何知道它是否奏效？

研究人员检查了两件事：

效用（技能）： 对于它应该记住的患者，图书管理员是否仍能正确诊断疾病？
隐私（秘密）： 图书管理员是否真的忘记了目标患者？他们通过尝试诱导图书管理员透露它之前是否见过特定患者的记录（一种“成员推理攻击”）来进行测试。如果图书管理员的猜测接近随机，则意味着它成功忘记了。

结果如何：谁通过了测试？

研究人员测试了四种不同的“卸载”技术：

梯度上升法 (Gradient Ascent, GA)： 这种方法试图通过强迫模型在被遗忘的数据上犯错来进行“反向学习”。
- 结果： 惨败。 这就像是通过对着记忆大喊相反的内容来试图抹除记忆一样。图书管理员变得困惑，甚至无法再为任何人进行诊断。
对抗性卸载 (Adversarial Unlearning, AU)： 这利用了经过修改的、具有误导性的被遗忘数据来迷惑模型。
- 结果： 好坏参半。 对于少量数据，它的表现尚可；但随着要遗忘的数据量增加，图书管理员的技能显著下降。
坏老师法 (Bad Teacher, BT)： 这种方法教导图书管理员去模仿一个故意在被遗忘患者身上出错的“坏老师”。
- 结果： 还可以，但很脆弱。 它在处理较小的遗忘集时表现尚可，但在大量数据被移除时则显得力不从心。
SCRUB： 这种方法通过调整模型的表示方式，仔细地将“被遗忘”的信息与“保留”的信息区分开来。
- 结果： 最终赢家。 SCRUB 是唯一一种既能保持图书管理员高水平诊断技能，又能成功忘记数据的模型，即使在移除大量数据的情况下也是如此。

核心启示

这篇论文表明，并非所有的“卸载”方法都是平等的。 许多在简单的、虚假测试中表现良好的方法，在处理复杂的真实世界医疗数据时会惨遭失败。

具体而言，SCRUB 被证明是最稳健的方法。它成功地在两者之间取得了平衡：它成功抹除了私密的患者数据（保护隐私），同时又没有丧失诊断其他患者的能力（保留效用）。

简而言之，如果你想构建一个既尊重患者隐私又不至于变得毫无用处的医疗 AI，你需要像 REMEDI 这样在困难的真实场景下对其进行测试，并且你应该使用像 SCRUB 这样的方法。

技术摘要：REMEDI —— 用于多标签临床疾病推理中的保留与遗忘评估基准

问题陈述
本文探讨了临床领域中“机器遗忘”（Machine Unlearning, MU）所面临的挑战，特别是如何从已训练的语言模型中移除敏感的患者数据。虽然 GDPR 等法规确立了“被遗忘权”，但通过重新训练模型来替代数据删除在计算上是极其昂贵的。现有的遗忘方法和基准测试大多局限于非医学领域，或依赖于无法代表真实临床系统复杂性的合成数据集。作者认为，目前的基准测试未能充分捕捉医疗数据的独特约束，例如标签相关性、纵向结构和严格的安全要求，这使得遗忘方法在医疗保健中的有效性仍不明朗。

方法论与基准构建
为了填补这些空白，作者引入了 REMEDI（用于多标签临床疾病推理的保留与遗忘评估），该基准专为多标签和多类别临床疾病推理而定制。

数据来源： 该基准利用 MIMIC-III 临床数据库，重点关注出院小结及其相关的诊断结果。任务涉及将电子健康记录（EHR）映射到 ICD-9-CM 代码。为了平衡任务复杂度与临床相关性，作者选择了十个最频繁的疾病类别（例如：高血压、心力衰竭、糖尿病），将任务设定为一个多标签分类问题，即患者可能同时患有多种并发症。
任务设置： 遗忘任务被定义为实例级移除。给定一个训练好的模型 $f_\theta$ 、一个遗忘集 $D_f$ （待删除的敏感记录）和一个保留集 $D_r$ （需保留的记录），目标是生成一个表现得如同仅在 $D_r$ 上训练过的模型 $f_{\theta'}$ ，同时满足隐私约束。
遗忘严重程度等级： REMEDI 定义了三个不同的场景来测试鲁棒性：
1. 独立实例（低严重度）： 模拟单个患者的数据删除请求，遗忘集与保留集之间没有重叠。遗忘集大小范围为 64 到 512 个实例。
2. 并发实例（中等严重度）： 模拟现实场景，其中遗忘集和保留集包含重叠的临床特征（例如：相似的人口统计学特征或入院模式）。一半的遗忘实例与保留集重叠。
3. 大规模实例（高严重度）： 模拟大规模数据删除请求（例如：合规性要求），其遗忘集占训练数据的 3%、4% 和 5%。
评估指标： 该基准从两个关键维度进行评估：
1. 效用（Utility）： 通过在测试集、保留集和遗忘集上的 Macro-F1 分数来衡量。理想的遗忘后模型应在保留集和测试集上的表现与完全重训的模型相匹配，同时在遗忘集上的表现有所下降。
2. 隐私（Privacy）： 通过 成员推理攻击（MIA） 进行评估。训练一个二分类器，基于模型损失来区分遗忘集样本和留出集样本。较低的 MIA 分数（接近 0）表示更强的隐私保障，而 0.5 则代表随机猜测（完美的遗忘）。

实验设置
作者在两种生物医学语言模型 BioLinkBERT 和 BioBERT 上评估了四种具有代表性的遗忘方法。基线包括：

梯度上升法 (GA)： 最大化遗忘数据的损失（包含一个结合了保留意识的变体 GA+R）。
对抗性遗忘 (AU)： 使用对抗性扰动来削弱遗忘样本的影响（包含一个权重正则化变体 AU+WR）。
坏老师 (BT)： 对遗忘数据使用弱老师进行知识蒸馏，对保留数据使用强老师。
SCRUB： 通过微调模型，使遗忘样本与保留样本的表示之间的差异最大化。

关键结果

效用-隐私权衡： 实验揭示了效用保持与遗 de 有效性之间存在显著的权衡。
方法性能：
- 梯度上升法 (GA)： 导致严重的性能退化，实际上使模型的预测能力失效。保留意识变体 (GA+R) 缓解了这一问题，但仍存在局限性。
- 对抗性遗忘 (AU)： 展示了中等的有效性，但在稳定性方面表现欠佳，尤其是在大规模场景下。
- 坏老师 (BT)： 实现了中等的效用保持，但在大规模遗忘场景中由于残留的老师影响，出现了显著的性能下降。
- SCRUB： 在效用与隐私之间取得了最佳平衡。它在各种遗忘集大小下都能保持接近重训模型的性能，并维持了强大的隐私指标。
模型敏感性： BioLinkBERT 在效用保持和隐私维护方面始终优于 BioBERT，这归功于其通过实体链接预训练捕获了更丰富的临床语义。BioBERT 对遗忘干预表现出更高的敏感性。
可扩展性： 大多数针对小规模数据删除优化的遗忘方法在面对大规模遗忘请求时，难以维持效用。SCRUB 是唯一能在所有遗忘集大小下，针对 BioBERT 持续保持性能接近重训模型的方法。

意义与贡献
该论文声称有三个主要贡献：

真实的医学测试平台： REMEDI 能够利用真实世界的患者数据（MIMIC-III）评估遗忘方法，提供了比合成基准更真实的评估。
多样化的移除场景： 它引入了三种遗忘严重程度等级（独立、并发和大规模），涵盖了多样化的现实世界数据删除需求，包括具有挑战性的遗忘-保留重叠场景。
复杂的多标签任务： 通过专注于具有相关疾病标签的多标签分类，REMEDI 提供了一个比现有单标签基准更具挑战性的测试平台。这种复杂性凸显了在不破坏保留集中有效标签相关性的情况下，解耦已学习表示的难度。

作者总结道，REMEDI 揭示了那些在非医学基准上表现良好的遗忘方法的失效模式，强调了开发能够处理临床数据独特复杂性（如标签相关性和大规模删除请求）的方法的必要性。

问题所在：你不能直接“反向阅读”一本书

迎来 REMEDI：终极压力测试

我们如何知道它是否奏效？

结果如何：谁通过了测试？

核心启示

类似论文