🤖 machine learning

Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks

本综述针对视觉、语言、音频和视频模态，提出了一个统一的、面向系统的多模态遗忘方法、数据集及基准分类法，旨在解决从基础模型中选择性移除敏感或受版权保护的信息，同时保留其整体效用的挑战。

原作者： Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你构建了一个超级聪明、超级有创造力的机器人朋友，它能同时画画、写故事、唱歌和制作视频。这个机器人通过阅读整个互联网进行学习，但在学习过程中，它不小心记住了一些不该记住的东西：也许是邻居的一张私人照片，也许是一位著名艺术家的版权画作，又或者是某个奇怪且不安全的笑话。

现在，邻居想要那张照片被遗忘，艺术家想要他们的风格被抹除，而互联网希望那个笑话消失。过去解决这个问题的方法是删除错误数据并从头开始重建机器人——但这就像为了移除一块裂开的砖头而拆掉整座摩天大楼一样——既耗时、又昂贵，而且完全不切实际。

这篇论文是一份大规模的综述（一份关于当前格局的巨大地图），它探索了一种更聪明、更高效的解决方法：多模态遗忘（Multimodal Unlearning）。与其重建整个机器人，这些方法试图进行“选择性遗忘”，即通过外科手术式地移除那些坏记忆，同时让机器人的绘画、写作和歌唱能力保持完好无损。

大地图：我们在哪里动刀？

作者通过一个“以系统为先”的视角来组织所有的不同方法。他们不仅仅关注数学，还关注你在机器人的大脑中何时以及何处进行干预。他们发现了五个主要的“手术”位置：

数据端（在机器人学习之前）： 想象一下，在机器人看到那些糟糕的照片或文本之前，先给它们贴上一个“禁止学习”的标签。有些方法会对数据进行微调，使机器人无法记住它，或者清理训练库，以移除那些被“污染”的图像与文字配对。
训练时编辑（在机器人学习的过程中）： 这就像是在机器人学习时教它一条新规则。你告诉它：“嘿，当你看到这个特定事物时，不要记住它，但要记住其他所有东西。”机器人会调整其大脑权重，以在忘记目标的同时保留其余部分。
架构约束（改变机器人的硬件）： 有时，我们不是改变规则，而是改变机器人的结构。你可能会“冻结”（锁定）大脑的某些部分使其无法改变，或者“剪枝”（切除）持有特定坏记忆的特定连接，然后让机器人在留下的空隙周围重新学习好的内容。
免训练遗忘（神奇橡皮擦）： 这是最酷的部分。这些方法不需要重新训练机器人。它们利用数学方法直接编辑机器人的大脑权重或其内部表示（即它“思考”事物的方式），只需一步即可完成。这就像使用一种特定的化学溶剂来溶解掉坏墨水，而不触及纸上的其他部分。
解码时（在表演期间）： 想象机器人正在画一幅画。就在最后一秒，在图像出现之前，一个过滤器介入并说：“不，不要画那张特定的脸。”机器人的大脑保持不变，但输出被引导远离了禁忌内容。

游戏规则

论文非常明确地说明了这些方法试图实现什么目标，以及它们不是在做什么。

目标： 主要目标是选择性移除。你希望忘记一个特定的“遗忘集”（比如一张私人的脸或一种受版权保护的风格），同时让“保留集”（其他所有事物）完美运行。论文在数学上定义了这一点：遗忘后的机器人表现应该几乎与一个从未在坏数据上进行过训练的机器人完全一致。
排除项： 论文明确反对仅仅删除数据并期望机器人自动遗忘的想法。它表明知识是分布在机器人大脑中的；删除源文件并不等于抹除了记忆。它还指出目前的各种方法并不完美。它们通常是启发式的（基于尝试、错误和聪明的猜测），而不是拥有证明记忆已百分之百永久消失的铁律数学证明。
“遗忘”与“隐藏”的陷阱： 论文指出，某些方法可能只是在隐藏坏信息，而不是真正的删除。如果用正确的“对抗性”问题（比如越狱攻击）去试探机器人，被遗忘的记忆可能会再次浮现。论文指出，虽然我们有很多方法，但我们目前还没有保证能够实现 100% 的遗忘，尤其是在面对巧妙的攻击时。

工具箱：数据集与基准测试

为了测试这些方法，研究人员使用了特定的“训练场”。论文列出了许多用于此类研究的数据集：

针对人脸： 他们使用像 CelebA（202,599 张图像）和 VGGFace2（330 万张面部图像）这样的数据集，来测试机器人是否能忘记某个特定的人脸。
针对版权： 他们使用 UnCanvas（60 种艺术风格）来观察机器人是否能忘记某种特定的艺术家风格。
针对安全性： 他们使用 I2P 数据集（4,700 个提示词）来测试机器人是否能忘记如何生成不安全或不当的内容。
针对音频： 他们使用 VoxCeleb1（150,000 条语音）来测试机器人是否能忘记某个特定的说话者声音。

论文强调了我们拥有用于衡量这些方法效果的基准测试（如 MU-Bench 和 MLLMU-Bench）。这些基准测试检查三件事：

它真的遗忘了吗？（机器人是否无法识别那个坏的东西？）
它保留了好的部分吗？（机器人在处理其他事物时的绘画和写作能力是否依然出色？）
它安全吗？（黑客能否通过诱导让机器人重新想起那个坏的东西？）

现实检查：还有哪些问题没解决？

作者坦诚地指出了差距。他们认为，尽管我们有很多酷炫的工具，但我们仍处于“早期阶段”。

没有神奇的保证： 大多数方法都是模拟的，或者仅在特定模型上进行测试。我们还没有一个通用的数学证明可以断言：“无论如何，这种方法总能永久删除记忆。”
“复现”问题： 论文指出，在生成式模型（如图像创建器）中，被遗忘的概念可能会在稍后进行微调或有人使用巧妙提示词时重新浮现。这就像忘记了一首歌，但听到类似的旋律时又想起来了。
权衡关系： 通常存在一种权衡。你试图遗忘得越彻底，就越可能损害机器人在执行其他任务时的能力。论文指出，仅仅删除极小部分的数据有时也会导致其他任务性能出现可测量的下降。
跨模态泄漏： 如果你教会机器人忘记图像中的一张脸，它是否也会忘记文本描述中的那张脸？论文指出，这是一个巨大的开放性挑战；一种模式（文本）下的安全性并不总是意味着另一种模式（图像）下的安全性。

总结

这篇论文是一篇综述，这意味着它是一份关于当前现状的全面指南，而不是一项单一的新发明。它将“如何让 AI 遗忘”这一混乱的过程整理成了一个清晰的系统。它表明，我们拥有强大的工具对 AI 模型进行“手术”，但我们仍在摸索如何让这种手术变得 100% 可靠、对黑客免疫，并且在不损坏机器人大脑其余部分的前提下做到完美。

作者正在发布一个精选的代码库（一个公开的代码和数据集合），以帮助他人在此基础上进行开发。他们充满希望，认为通过绘制出这些问题（例如对更好基准测试和更强保证的需求）的地图，我们最终可以构建出既尊重隐私和版权，又无需在每次有人要求被遗忘时都从头重建的 AI。

技术摘要：跨视觉、语言、视频与音频的多模态遗忘学习

1. 问题定义

多模态基础模型（MFMs）——包括视觉-语言模型（VLMs）、扩散模型（DMs）、大语言模型（LLMs）和音频基础模型（AFMs）——的快速普及，引入了关于无意中编码敏感、受版权保护、偏见或不安全跨模态关联的显著风险。这些模型在网络规模的数据上进行训练，往往会记忆特定的实例（例如：私人面孔、受版权保护的艺术品）或不良概念（例如：有害的刻板印象）。

当面临删除请求（例如：被遗忘权）或策略更新时，通过从头开始重新训练的标准解决方案在计算上通常是不切实际的。此外，针对性遗忘在技术上具有挑战性，因为 MFMs 中的知识分布在共享表示中；移除一种模态（如文本）中的关联可能会无意中破坏另一种模态（如图像生成）中无关的行为，或者由于残留的跨模态泄漏而无法完全擦除该概念。核心问题在于如何在实现特定数据或概念的选择性移除的同时，保留整体效用以及模型在剩余数据上的性能。

2. 方法论与分类法

本综述提出了一种面向系统的分类法，该分类法不是按优化目标，而是按干预阶段和控制路径来组织多模态遗忘学习方法。该框架涵盖了从数据准备到推理的全过程。

2.1 正式化

目标被定义为移除遗忘集 $D_f$ 的影响，同时保留对保留数据 $D_r$ 的效用。应用于原始模型 $M_o$ 和数据 $D$ 的遗忘过程 $U$ 应产生一个模型 $M_u$ ，其分布与在 $D \setminus D_f$ 上重新训练的模型不可区分。这使用 $(\epsilon, \delta)$ 遗忘准则进行形式化，借鉴了差分隐私（Differential Privacy），以提供关于遗忘与重训之间等价性的理论保证。

2.2 干预阶段

本综述将方法分为五个主要的干预点：

数据侧干预：
- 数据路径扰动： 编辑输入（图像/文本）而非权重，以降低目标簇的可学习性（例如：使用不可学习的样本或掩码），同时保持对其余语料库的效用。
- 数据卫生与提示词归一化： 通过降低可疑配对的权重或将提示词归一化为规范形式来整理训练数据，从而在训练开始前减轻伪关联。
训练时编辑：
- 直接梯度： 将遗忘建模为针对性的风险最小化，在抑制遗忘集响应的同时，维持对保留集的性能。这包括旨在解耦跨模态结构的 VLM 和扩散模型目标函数。
- 约束更新： 在优化过程中施加边界，以限制在遗忘集上的残留能力，并限制与参考模型的偏差，从而平衡遗忘效果与模型完整性。
- 掩码驱动的选择性遗忘： 通过显著性图或注意力图识别局部参数、特征或空间区域，并将更新限制在这些区域内，以最大限度地减少对保留行为的附带损害。
- 基于蒸馏的方法： 在通常无需直接访问原始训练数据的情况下，引导“教师”模型向安全目标转移行为至“学生”模型。
架构约束遗忘：
- 架构编辑： 直接修改网络结构（例如：剪枝、冻结或重新生长特定的层/张量），以阻断编码遗忘信号的路径。
- 层级范围约束更新： 识别概念集中的特定层，并将编辑限制在这些层内，以限制参数漂移。
无需训练的遗忘（Training-Free）：
- 权重空间线性遗忘 (WLU)： 对参考检查点使用闭式线性操作（例如：任务向量减法、权重取反），在无需重训的情况下抑制不需要的行为。
- 表示投影遗忘 (RPU)： 将内部激活或注意力输出投影到远离与遗忘信号相关联的学习子空间之外，从而有效地过滤掉目标概念而不修改模型权重。
解码时遗忘：
- 引导路径控制： 在生成过程中修改采样器或评分函数（例如：动态负向引导），以引导输出远离不安全概念，同时保持基础模型固定。
- 条件路径控制： 在条件信号（例如：文本嵌入）进入模型之前对其进行转换，从而在不改变模型参数的情况下，有效削弱目标概念的条件强度。

3. 主要贡献

本文对多模态遗忘学习领域做出了三个主要贡献：

基础性综述： 它综合了跨图像、文本、视频和音频基础模型的多模态遗忘学习现状，提供了一个涵盖机制、理论和评估的统一框架。
系统级视角： 它引入了一个按干预阶段和控制路径组织的系统优先分类法。这与以往以算法为中心的综述形成对比，能够更清晰地比较不同模型类别（VLMs, DMs, AFMs），并阐明删除强度、效用保留、效率和可逆性之间的权衡。
新兴前沿： 它概述了关键的开放挑战，包括对稳健评估指标、针对重现性的对抗鲁棒性以及实际部署约束的需求。

4. 结果与证据

作为一篇综述论文，其主要的“结果”是对比和分析现有文献的系统性工作，而非新的实验数据。本文展示了：

精选库： 一个包含方法、数据集和基准测试的综合集合。
数据集与基准测试分析： 本文回顾了用于身份、情感、视频和版权遗忘的关键数据集（例如：CelebA, VoxCeleb, DreamBooth），并评估了现有基准测试（例如：MU-Bench, MLLMU-Bench, PEBench）。它强调当前的基准测试往往缺乏统一标准，依赖于合成身份或狭窄的模型族。
评估框架： 它整合了遗忘质量（如：遗忘准确率、CLIP-Sim 下降）、安全性（拒绝率）、隐私（成员推理攻击）和效用（Top-k 准确率、FID、LPIPS）的指标。
权衡分析： 综述阐明了不同方法在权衡上的显著差异；例如，无需训练的方法提供了高效性，但在删除强度上可能不如基于重训的方法；而架构编辑能更好地保留效用，但需要对遗忘信号进行精确的定位。

5. 意义与未来方向

本文认为，多模态遗忘学习是模型治理的核心工具，对于在现实场景中部署可问责的多模态基础模型至关重要。其意义在于：

实现选择性移除： 提供在无需高昂全量重训成本的情况下，删除特定身份、属性或概念的机制。
支持合规性： 应对诸如 GDPR（被遗忘权）和版权法等监管要求。
增强安全性： 减轻跨模态生成有害、偏见或不安全内容的风险。

本文指出了若干开放挑战与未来方向：

时间与动态模态： 将遗忘学习扩展到流式音频、视频和运动生成仍是一个开放性问题。
前沿规模模型： 将遗福学习方法扩展到拥有数十亿参数的基础规模模型目前受到在较小骨干网络上进行窄评估的限制。
持续遗忘： 开发在重复删除和下游微调下依然有效的协议，防止被遗忘概念的“复现”。
跨模态泄漏： 解决某一模态（如文本）中的安全性或隐私对齐无法泛化到其他模态（如视觉或音频）的问题。
统一基准： 该领域缺乏跨越多种模态和架构的标准化、统一基准，导致难以公平比较方法。

总之，本综述为研究人员和从业者提供了一个结构化的路线图，以应对多模态遗忘学习的复杂性，强调了开发稳健、可扩展且具有理论基础的方法对于确保基础模型安全合规部署的重要性。