💬 NLP

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

该论文提出了ASRU，这是一种可控的多模态遗忘框架，它结合激活引导与强化学习，在有效移除敏感跨模态信息的同时，显著提升生成质量并保留模型效用。

原作者： Jiahui Guang, Yingjie Zhu, Cuiyun Gao, Haiyan Wang, Jing Li, Di Shao, Zhaoquan Gu

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahui Guang, Yingjie Zhu, Cuiyun Gao, Haiyan Wang, Jing Li, Di Shao, Zhaoquan Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个非常聪明、超级敏锐的机器人助手（一个多模态大语言模型），它读过数百万本书，看过数十亿张照片。由于它从海量数据中学习，它有时会记住一些不该记住的事情，比如某个人的私人爱好或某位名人的秘密住址。

本文的目标是教会这个机器人忘记这些特定的秘密，同时不把它变成一个困惑、故障或撒谎的机器。

作者 Guang 和 Zhu 通过他们的新方法ASRU解决了这个问题。

问题：“坏掉的机器人”困境

想象你试图通过大喊“忘掉那个！”来让机器人忘记一个秘密（这就是旧方法的做法）。

结果：机器人变得困惑。它可能会开始产生幻觉（编造荒谬的谎言），给出僵硬的、机械式的回答如“我无法回答”，或者意外地泄露秘密。
类比：这就像试图通过烧毁整页纸来擦除书中某一句特定的话。你确实去掉了那句话，但也毁掉了整段故事，让书变得无法阅读。

作者们注意到，现有方法只关注“它忘记了吗？”，却忽略了“它是否还正常？”。

解决方案：ASRU（激活引导 + 强化遗忘）

作者提出了一种两步的“温和手术”来修复机器人。

第一步：“轻推”（激活引导）

首先，他们给机器人一个轻微的推动，改变它在看到秘密信息时的内部“状态”。

类比：想象机器人的大脑是一座巨大的图书馆。当有人询问秘密时，机器人通常会跑向“秘密书架”。作者们并没有删除这个书架，而是在机器人的路径上放了一个标志，上面写着：“嘿，如果你看到这个人，请左转走向‘我不知道’的过道，而不是‘秘密’过道。”
工作原理：他们只微调机器人大脑中的极小一部分（一个单一的数学矩阵），以创建一个“拒绝方向”。这教会机器人自然地回答“我无法回答那个”，而不是编造内容。

第二步：“教练”（强化遗忘）

既然机器人已经知道如何说“我不知道”，它现在需要学习何时说这句话。它不应该拒绝回答所有问题，而只应拒绝那些特定的秘密。

类比：想象一位教练正在训练一名运动员。教练向运动员展示了两种场景：
1. 场景 A（秘密）：“这是带有秘密的人的照片。如果你回答，你会扣分；如果你说‘我不知道’，你会得到一颗金星。”
2. 场景 B（边界）：“这是一张非常相似但没有秘密的人的照片。如果你说‘我不知道’，你会扣分；如果你正确回答，你会得到一颗金星。”
工作原理：使用一种称为GRPO（一种强化学习技术）的方法，机器人反复练习这些场景。它学会了区分“这是我必须忘记的秘密”和“这很相似，但我被允许谈论它”之间的细微界限。

结果：为何它更优越

该论文在名为 Qwen3-VL 的模型上进行了测试。结果如下：

更好的遗忘效果：机器人比以前更好地忘记了秘密（提高了约 24%）。
更好的行为表现：这是最大的胜利。机器人的回答变得自然了 5.8 倍。它不再产生幻觉或表现得故障，而是礼貌地说“我无法从图像中推断出这一点”，这正是一个有帮助的人类在不知道某事时会说的话。
保留了智能：机器人没有失去回答其他问题的能力。除了被要求忘记的特定秘密外，它对所有其他问题依然聪明且有用。

总结

可以将ASRU想象为一位聪明的老师，它不只是告诉学生“停止记住那个事实”。相反，这位老师：

轻推学生的思维过程，使他们在面对该特定话题时自然地倾向于说“我不知道”。
通过练习测试训练学生，让他们确切地学会何时说“我不知道”，何时继续正常回答。

其结果是一个成功忘记了秘密，但依然礼貌、连贯且有用的机器人。

技术摘要：ASRU——激活引导与强化遗忘在多模态大语言模型中的融合

1. 问题陈述

多模态大语言模型（MLLMs）在预训练过程中往往会记忆敏感的跨模态信息，从而引发隐私泄露和版权侵权风险。尽管机器遗忘（MU）对于消除此类知识至关重要，但现有方法面临两个根本性局限：

遗忘后响应能力退化：当前方法在遗忘后往往产生幻觉、僵化或不连贯的输出。模型未能自然地表达知识缺失，反而可能生成虚构内容或重复、退化的文本。这种“不自然”的行为可能无意中暴露遗忘已发生，并引入安全隐患。
遗忘与效用之间的权衡：有效遗忘目标知识与保留模型通用效用之间存在持续冲突。基于梯度上升的方法倾向于过度抑制遗忘集，导致非预期的全局行为偏移；而优先考虑效用的方法往往无法实现彻底遗忘。

现有评估主要关注输出与真实值的偏差，忽视了遗忘模型的生成质量。本文认为，遗忘后的模型应表现得像经过对齐的基础模型，以动态、上下文感知且连贯的方式表达知识缺失。

2. 方法论：ASRU 框架

作者提出了ASRU（激活引导 meets 强化遗忘），这是一个两阶段框架，旨在实现对拒绝边界的细粒度控制，同时维持模型效用。

阶段一：通过激活重定向实现拒绝引导

第一阶段解决了预训练 MLLM 缺乏自发拒绝行为的问题。

知识缺失方向构建：该方法通过对比遗忘集（ $D_f$ ）的平均隐藏激活与目标拒绝参考集（ $D_{target}$ ）的平均隐藏激活，构建“拒绝参考方向”。 $D_{target}$ 由模型无先验知识的输入组成（例如，未见过的合成人脸与隐私查询配对）。
激活引导：计算一个引导向量（ $v_{L^*}$ ），即 $D_{target}$ 与 $D_f$ 平均激活之差。该向量用于将遗忘集输入的残差流激活重定向至“无相关知识”区域。
高效优化：ASRU 不对整个模型进行微调，而是仅更新特定目标层（ $L^*$ ）中的单个下投影矩阵。这是通过闭式解实现的，旨在最小化实际激活与目标激活之间的偏差，从而诱导初始的、可控的拒绝行为。

阶段二：通过 GRPO 优化拒绝边界

第二阶段优化决策边界，以防止对保留数据的不必要拒绝。

边界集构建：从保留集（ $D_r$ ）中采样一个边界集（ $\tilde{D}_r$ ）。这些样本在输入空间中与遗忘集高度相似，但必须予以保留，从而实现对细粒度区分的学習。
可验证奖励设计：设计了一个奖励函数来评估两个方面：
1. 遗忘有效性：惩罚目标知识的复现，奖励自然且上下文感知的拒绝（例如，“无法从图像中推断出此信息”）。
2. 保留保真度：奖励对边界样本和保留样本的正确、信息丰富的回答，同时惩罚过度拒绝。
组相对策略优化（GRPO）：使用 GRPO 对模型进行优化。通过对配对输入（遗忘 vs. 边界）采样一组 rollout，算法计算组相对优势。这促使模型学习精确的策略：在必要时（针对 $D_f$ ）进行拒绝，但对保留知识给出恰当回答，从而有效 sharpen 拒绝边界。

3. 主要贡献

生成质量作为核心指标：本文引入生成质量作为遗忘评估的主要维度，具体衡量上下文拒绝（拒绝的连贯性与自然度）和遗忘程度（知识泄露的缺失）。
新颖的两阶段框架：ASRU 是首个结合激活引导（以最小参数更新初始化拒绝能力）与GRPO（优化遗忘 - 保留边界）的框架。
细粒度控制：通过利用边界集和可验证奖励，ASRU 在遗忘有效性与模型效用之间实现了更优的权衡，避免了以往方法“全有或全无”的行为。

4. 实验结果

实验在Qwen3-VL（4B 和 8B）以及LLaVA-1.5-7B模型上进行，使用了MLLMU-Bench和CLEAR数据集。

遗忘有效性：ASRU 显著优于基线方法（GA、GA Diff、KL Min、NPO、MMUnlearner）。在 Qwen3-VL-8B 模型上，当遗忘比例为 5% 时，其遗忘有效性平均比最强基线提高了24.6%。
生成质量：ASRU 在生成质量上表现出巨大提升，相比基线平均提高了5.8 倍。这表明幻觉和僵化响应大幅减少，模型能够生成具有上下文感知能力的动态拒绝。
效用保留：尽管进行了激进的遗忘，ASRU 在保留集和现实世界名人集上仍保持了高性能，仅使用了少量（约 27.3%）的监督保留数据。
鲁棒性：该方法在对抗性提示变体（随机前缀、改写和越狱尝试）下依然有效，表明学习到的拒绝边界具有泛化性，而非基于模板。

5. 意义与主张

本文主张 ASRU 解决了多模态遗忘中的一个关键缺口：知识移除后模型行为的退化。通过将生成质量作为主要目标，ASRU 确保遗忘后的模型保持安全、可用且经过对齐。

作者强调，他们的方法使模型能够表现得像“经过对齐的基础模型”，能够自然地表达知识缺失，而不会产生幻觉或泄露敏感信息。将激活引导用于初始化与强化学习用于边界优化相结合，为构建可信的 MLLM 系统提供了一种可扩展且可控的解决方案。这项工作被视为迈向更稳健的隐私保护 AI 的一步，并有望未来扩展至音频和视频等其他模态。