CoUn: Empowering Machine Unlearning via Contrastive Learning
本文介绍了 CoUn，这是一种新颖的机器遗忘框架，它利用对比学习和在保留数据上的监督学习，通过调整遗忘样本的语义表示来有效消除其影响，从而超越了现有的最先进方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位非常聪明的学生，他研读了海量的图书馆藏书，从而成为了一位专家。有一天，有人要求这位学生“遗忘”特定的一组书籍——或许是因为这些书被他人借走需要归还，或者是因为其中的信息如今被视为机密。
机器遗忘（Machine Unlearning） 的目标，就是让这位学生忘掉那些特定的书籍，同时不忘记他已知的其他所有内容。
问题所在：“硬重置”与“快速修复”
最完美的做法是将学生送回学校，只给他保留那些被允许阅读的书籍，并让他从头开始重新学习一切。这被称为精确遗忘（Exact Unlearning）。它效果完美，但就像为了忘记一本数学书中的某一章，而让学生重新上幼儿园一样——耗时且耗费精力过多。
现有的“快速修复”方法试图更快。有些方法试图通过告诉学生需要遗忘的那些书籍的错误答案来“欺骗”学生（标签操纵）。另一些方法则试图轻微“震荡”学生的大脑，以打乱其记忆（权重扰动）。
- 缺陷： 这些快速修复方法往往让学生对应该记住的书籍感到困惑，或者在让他们遗忘那些“坏书”方面效果不足。
解决方案：CoUn（对比遗忘）
本文作者来自华为诺亚方舟实验室，他们提出了一种名为 CoUn 的新方法。
要理解 CoUn，我们首先需要了解那位“完美”学生（即从头重新学习的学生）如何处理那些被要求遗忘的书籍。
- 观察： 当完美学生看到一本“禁书”（例如一张卡车的图片）时，他看到的并非一片空白。因为他只研读了“保留”书籍（如汽车、飞机和轮船），他看着卡车时会想：“嗯，这看起来最像汽车。”他会根据他仍知晓的书籍中与之最相似的内容，对卡车进行分类。
CoUn 模仿了这种自然行为。 它不是试图强迫学生完全遗忘卡车，而是教导学生看到卡车时说：“这绝对不是卡车；它实际上最像汽车。”
CoUn 如何运作：“分组”游戏
CoUn 仅使用“保留”书籍（学生被允许保留的书籍）作为工具，通过以下两种主要手段来实现这一目标：
对比学习（“相似性”游戏）：
想象学生正在玩一个游戏：他看两张同一本“保留”书籍（例如一张带有不同滤镜的汽车）的略有不同的照片，并被告知：“这些是相同的！”同时，他还看到一本不同书籍（例如一艘轮船）的照片，并被告知：“这些是不同的！”- 魔力所在： 通过这样做，学生的大脑为他所知的书籍创建了紧密的分组（簇）。
- 副作用： 由于学生如此专注于对“保留”书籍进行分组，“禁书”（卡车）自然会滑入它们看起来最相似的组别中。如果卡车看起来像汽车，学生的大脑就会自然地将卡车的记忆推入“汽车”簇中。这一过程是间接发生的，学生在此训练过程中甚至从未见过卡车。
监督学习（“保持分组分离”规则）：
存在一种风险，即如果我们只玩相似性游戏，所有分组可能会模糊在一起（例如，汽车和轮船可能开始看起来相同）。为了防止这种情况，CoUn 还使用标准教学，确保“保留”书籍保持在各自独立、清晰的分组中。这确保了学生不会失去识别那些被允许保留的书籍的能力。
结果
论文声称，CoUn 优于当前的“快速修复”方法，原因如下：
- 遗忘更彻底： 它成功地将“禁书”数据推入与其最相似的“保留”数据簇中，就像完美学生所做的那样。
- 记忆更准确： 它保持了“保留”数据的准确性和区分度，因此学生不会对被允许保留的书籍感到困惑。
- 无需接触“坏书”： 与其他一些方法不同，CoUn 不需要看到“禁书”就能遗忘它们；它只需要“保留”书籍。
总结
可以将 CoUn 视为一位聪明的老师，他不试图抹去学生对特定主题的记忆。相反，这位老师重新整理学生的心理文件柜，使得“禁书”文件自然地滑入那些看起来最相似的“允许”文件的文件夹中。学生通过将其误分类为其他事物，从而有效地“遗忘”了禁书主题，同时保持所有其他知识清晰且井井有条。
该论文在各种图像数据集（如 CIFAR-10 和 TinyImageNet）上测试了这种方法，发现 CoUn 始终优于其他方法，在无需从头重新训练的巨大成本下，更接近“完美”的重新训练模型。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。