💬 NLP

Stochastic Meta-Unlearning: Bridging Language Backbone and Multimodal Unlearning

本文提出了随机元遗忘（Stochastic Meta-Unlearning, SMU），这是一个利用视觉语言模型（VLM）层级反馈来优化语言骨干网络遗忘的双层框架，有效解决了仅靠文本反馈无法防止视觉语言模型中目标恢复的问题，同时实现了更优的遗忘-保留权衡与迁移能力。

原作者： Zijie Liu, Jinhao Duan, Gaowen Liu, Sijia Liu, Tianlong Chen

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zijie Liu, Jinhao Duan, Gaowen Liu, Sijia Liu, Tianlong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它既能读懂书本，也能观察图片。这个机器人由两个主要部分组成：一个理解语言的“大脑”（就像一个非常先进的文本阅读器）和一个观察世界的“摄像头”。它们组合在一起，被称为视觉语言模型（VLM）。它们能为我们提供巨大的帮助，但有时，我们需要让它们忘记某些特定的东西——也许是一个私密的秘密、一个有害的思想，或者一个学到的错误。这个过程被称为“机器遗忘”（machine unlearning）。

把“遗忘”想象成尝试从你朋友的大脑中抹去一段特定的记忆，但又不想删除他的整个个性，或者让他忘记如何说话或看世界。如果你只是告诉机器人：“忘掉那个故事”，当你和它交谈时，这可能效果很好。但这里有一个棘手的部分：如果你给机器人看一张与那个故事相关的图片，它可能会突然再次想起那个故事！这是因为机器人的“大脑”和“摄像头”连接得如此紧密，以至于图片可能会触发那段试图被抹除的记忆。科学家们正在努力研究如何确保无论你如何提问——无论是通过文字、图片，还是两者结合——都能让机器人忘掉那些不好的东西。

这篇论文解决的正是一个这样的谜题。研究人员注意到一个令人惊讶的故障：如果你试图仅通过文本让机器人忘记某些东西，当稍后向它展示一张图片时，这种尝试往往会失败。仅靠文本的“遗忘”强度不够，无法阻止图片唤回那段记忆。为了解决这个问题，他们发明了一种巧妙的新训练方法，称为随机元遗忘（Stochastic Meta-Unlearning, SMU）。

SMU 不仅仅是根据文本教机器人遗忘，而是像一位观察整个团队的严格教练。它是这样运作的：教练首先要求“语言大脑”仅使用文本来忘记特定的事物（内循环）。但随后，教练并没有仅仅检查文本是否消失了，而是立即向机器人展示一张图片并问道：“你还记得吗？”（外循环）。如果机器人因为这张图片而记起了那个坏事，教练就会回到最初，调整训练的“起点”，使得下次大脑尝试遗忘时，即使在涉及图片的情况下，也能更好地阻断记忆。

论文指出，这种“两步走”的方法比以往的方法要好得多。当他们在真实的机器人大脑（使用 Qwen 和 InternVL 等模型）以及模因（meme）数据集（如“仇恨模因”和“新冠模因”）上进行测试时，结果令人印象深刻。与现有的最佳方法相比，SMU 使机器人回忆起被遗忘目标的概率平均降低了 10.52 分（分数越低代表遗忘效果越好）。与此同时，它保持了机器人通用知识的强大能力，使其对其他事物的记忆能力提升了 20.10 分，通用测试得分提升了 17.01 分。

更酷的是，研究人员发现这种方法具有灵活性。它不仅适用于他们训练过的特定坏记忆，还能处理它从未见过的新坏记忆。它甚至在改变用于教机器人遗忘的具体规则时依然有效。这表明，通过在训练机器人大脑时考虑到“整个团队”（文本和图像），我们创造了一种更可靠、更具适应性的方式，让 AI 能够忘记它不该知道的东西，而不会破坏它所知道的其他一切。

技术摘要：随机元遗忘 (Stochastic Meta-Unlearning, SMU)

1. 问题陈述

视觉语言模型（VLMs）的机器遗忘面临着与独立大语言模型（LLMs）截然不同的独特挑战。VLMs 将语言骨干网络与视觉编码器及投影模块集成为一个紧密耦合的系统。本文指出了现有方法中存在的关键“组件-系统失配”（component-system mismatch）现象：

该现象： 当通过纯文本提示进行查询时，语言骨干网络成功“忘记”的目标概念，在与冻结的视觉模块重新组合并使用图像条件提示进行查询时，往往可以被重新找回。
现有方法的局限性：
- 直接针对 VLM 进行遗忘： 直接优化整个 VLM 可以实现多模态遗忘，但由于更新会在不同模态间不可预测地传播，这会带来降低无关能力（效用）的风险。
- 针对语言骨干网络的遗忘： 仅更新语言骨干网络在计算上是高效的，且能保留视觉模块，但标准的遗忘目标（基于纯文本数据优化）无法保证在骨干网络与视觉系统重新集成后，遗忘行为依然有效。

核心挑战在于：如何在保持语言骨干网络遗忘效用的同时，确保这种遗忘行为在完全组合的多模态 VLM 中依然成立。

2. 方法论：随机元遗达 (SMU)

作者提出了 随机元遗忘 (SMU)，这是一个双层元优化框架，旨在使语言骨干网络的更新与 VLM 级的遗忘行为保持一致。

2.1 双层框架

SMU 将 VLM 遗忘视为一个具有两个不同循环的元学习问题：

内层循环（文本侧遗忘）：
- 仅作用于语言骨干网络参数 ( $\theta_T$ )。
- 使用仅单模态的文本数据（遗忘集和保留集）进行 $K$ 步遗忘。
- 视觉编码器和投影模块 ( $\phi$ ) 保持冻结且不进行更新。
- 此步骤产生更新后的骨干网络 $\theta_{T,K}$ 。
外层循环（VLM 级反馈）：
- 将更新后的骨干网络 $\theta_{T,K}$ 与冻结的视觉组件 $\phi$ 重新组合，形成完整的 VLM $F_{\theta_{T,K}, \phi}$ 。
- 在多模态查询（图像 + 文本）和纯文本查询上评估模型。
- 根据 VLM 层面的遗忘性能（目标移除）和效用保持（保留/测试性能）计算损失 ( $L_{outer}$ )。
- 通过内层遗忘步骤将该外层损失的梯度反向传播，以更新遗忘前的初始化参数 ( $\theta_T$ )。

2.2 随机任务采样

为了解决泛化问题，SMU 并不针对单一固定的遗忘目标或遗忘算子进行优化。相反，在元训练期间，它从分布 $p(E)$ 中随机采样环境 $e = (z, m, c)$ ，其中：

$z$ ：遗忘目标。
$m$ ：内层循环遗忘算子（例如 GradDiff、NPO）。
$c$ ：查询条件。

通过最小化这些采样环境下的期望外层损失，SMU 学习到一种对目标、遗忘算法以及查询模态的变化都具有鲁棒性的初始化方式。

2.3 元测试阶段

在部署（元测试）时，给定一个新的删除请求：

系统从学习到的初始化参数 $\theta^*_T$ 开始。
使用新的目标数据执行标准的文本侧遗忘步骤。
将得到的骨干网络接入冻结的 VLM 中。
在纯文本和多模态测试集上对最终模型进行评估。

3. 主要贡献

识别组件-系统失配： 本文通过实验证明，仅针对文本的遗忘对于 VLMs 是不足够的，因为通过视觉输入可以找回在语言骨干网络中已被遗忘的目标。
随机元遗忘 (SMU)： 一种创新的双层元学习框架，利用 VLM 级的反馈来元学习语言骨干网络的初始化。这确保了局部的骨干网络更新能够导致全局的多模态遗忘。
通过随机性实现泛化： 引入随机任务采样，使得学习到的初始化能够迁移到未见的遗忘目标和不同的遗忘算子，避免了对特定删除场景的过拟合。

4. 实验结果

作者在两个 VLM（Qwen2.5-VL 和 InternVL3）以及两个多模态迷因（Meme）数据集（Hateful Memes 和 COVID Memes）上评估了 SMU，并将其与三个基线模型进行了比较：GradDiff、NPO 和 RMU。

遗忘-保留权衡： SMU 实现了最佳的整体平衡。与每个指标中最强的基线相比，SMU 在降低平均遗忘准确率（Forget accuracy）10.52 个百分点的同时，还将平均保留准确率（Retain accuracy）提升了 20.10 个百分点，并将测试准确率（Test accuracy）提升了 17.01 个百分点。
多模态鲁棒性： 不同于那些在图像条件下无法完成遗忘或破坏了效用的基线方法，SMU 在重新组合的 VLM 中成功移除了目标，同时保持了在无关任务上的高水平表现。
可迁移性：
- 目标迁移： 在一个目标上训练的 SMU 成功泛化到了新的、未见的遗忘目标。
- 算子迁移： 使用一种遗忘算子（如 GradDiff）训练的 SMU 在使用不同算子（如 RMU、NPO）进行测试时依然保持有效。

5. 重要性与主张

本文声称，SMU 通过弥合组件级更新与系统级行为之间的差距，为 VLM 遗忘提供了一种更可靠且更具迁移性的解决方案。

可靠性： 通过使用 VLM 级的反馈来引导初始化，SMU 确保了遗忘并非仅仅是纯文本评估下的伪象，而是在完整的多模态语境下依然成立。
高效性： 它保留了仅更新语言骨干网络的计算效率，同时避免了直接进行 VLM 优化所带来的效用下降问题。
实用性： 其随机化设计使得该方法在面对内容变化的现实世界删除请求，以及可能与训练假设不同的特定遗忘算法时，依然具有鲁棒性。

作者得出结论，VLM 级的反馈对于使语言骨干网络遗忘在多模态系统中生效至关重要，而元学习提供了一条实现这一目标的可行路径，且无需重新训练整个模型或损害其效用。