🤖 AI

MLUBench: A Benchmark for Lifelong Unlearning Evaluation in MLLMs

本文介绍了 MLUBench，一个用于评估多模态大语言模型终身遗忘的大规模基准测试，并提出了 LUMoE，一种能够有效缓解在顺序移除特定内容时固有的累积退化和多模态对齐挑战的方法。

原作者： He Li, Haoang Chi, Qizhou Wang, Yunxin Mao, Zhiheng Zhang, Jie Tan, Tongliang Liu, Wenjing Yang, Bo Han

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： He Li, Haoang Chi, Qizhou Wang, Yunxin Mao, Zhiheng Zhang, Jie Tan, Tongliang Liu, Wenjing Yang, Bo Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文 "MLUBench: A Benchmark for Lifelong Unlearning Evaluation in MLLMs" 进行的解释。

大局观：那个“健忘”的机器人

想象你有一个超级聪明的机器人助手（一个 MLLM），它读过了互联网上的几乎所有内容，也看过数十亿张图片。它无所不知：谁导演了《星球大战》、长颈鹿长什么样，以及埃菲尔铁塔的历史。

现在，想象一位用户说：“嘿，我想让你忘记关于《星球大战》的一切。”机器人尝试删除那段记忆。随后，另一位用户说：“请忘记关于《黑客帝国》的一切。”接着，“忘记关于埃隆·马斯克的一切。”然后，“忘记关于埃菲尔铁塔的一切。”

这就是这篇论文要解决的问题：终身遗忘（Lifelong Unlearning）。这不仅仅是关于一次性忘记一件事，而是关于一个机器人需要随着时间的推移，一个接一个地忘记一长串事物，同时又不能失去回答其他问题的能力，或者变成一个说话语无伦次的废品。

问题所在：“碎玻璃”效应

研究人员发现，目前让机器人遗忘的方法就像是用锤子去修理一个破碎的花瓶。

现有方法： 为了让机器人忘记“星球大战”，现有方法会调整机器人的内部大脑（其权重）以抹除那段特定的记忆。
副作用： 每当你调整大脑来抹除一段记忆时，你都会不小心损坏大脑的其他部分。
结果： 在机器人忘记前几件事之后，它开始在其他所有事情上都表现糟糕。它可能忘记如何正常说话，不再识别面孔，或者开始产生幻觉（胡编乱造）。论文将此称为**“累积退化”（cumulative degradation）**。这就像剥洋葱的皮；最终，剩下的没多少了，机器人就会停止工作。

独特的挑战：“走钢丝”

论文强调了多模态大语言模型（MLLMs）——即既能看又能说的机器人——面临的一个特殊问题。

把 MLLM 想象成一个走钢丝的人，手里拿着一根杆子。杆子的这一头是“视觉”（看图），另一头是“语言”（说话）。他们必须保持完美的平衡（对齐）才能工作。

如果你试图通过只调整“视觉”一侧来抹除记忆，那么“语言”一侧就会失去平衡。
如果你调整“语言”一侧，那么“视觉”一侧就会跌落。

论文声称，你不能只修复一侧而不破坏整个钢丝绳。 这与普通的纯文本机器人不同，在纯文本机器人中，你可能只需编辑文本记忆而无需担心图像。

解决方案：“瑞士军刀”（LUMoE）

为了解决这个问题，作者构建了一种名为 LUMoE（基于混合专家模型的终身遗忘）的新方法。

与其试图从机器人的主脑中进行外科手术式的记忆移除（这会导致损伤），LUMoE 采用了不同的策略：

主脑保持冻结： 机器人的核心知识保持原封不动且安全。
专门的“助手”（专家）： 对于机器人需要忘记的每一个特定事物（比如《星球大战》），系统都会创建一个微小的、专门的“助手”模块（一个 LoRA 适配器）。
门卫（Gatekeeper）： 当有人提问时，一个聪明的“门卫”会检查：“这是关于《星球大战》的吗？”
- 是的？ 门卫将问题交给《星球大战》助手，助手会说：“我不知道关于那个的事，”并拦截答案。
- 不是？ 门卫让问题直接进入主脑，由主脑进行正常回答。

类比： 想象一个图书馆。与其通过焚烧书籍来让它们消失（这会毁掉整个图书馆），你不如只是在《星球大战》特定的书架上挂一个“禁止入内”的告示牌。图书馆的其余部分依然完美，而且你可以通过添加新的“禁止入内”告示牌来应对新的请求，而不会损坏建筑本身。

新的测试：MLUBench

在这篇论文之前，没有好的方法来测试机器人是否能处理这种“长清单遗忘”的问题。现有的测试规模太小（例如仅测试 20 件事）或领域太窄（仅测试人脸）。

作者创建了 MLUBench，一个全新的大规模测试套件：

127 个真实实体： 从名人（埃隆·马斯克）到电影（《盗梦空间》）、动物和建筑。
9 个类别： 它涵盖了广泛的主题。
5,000 多张图像和 15,000 多个问题： 一个巨大的数据集，用于压力测试机器人。

他们利用这个测试证明了旧方法表现极差（分数降至接近零），而他们的新方法 LUMoE 则能让机器人在忘记数十件事后，依然保持聪明和功能完好。

研究结果总结

旧方法失败了： 试图通过现有方法逐一让机器人忘记事物，会摧毁它的思考和观察能力。
平衡是关键： 在既能看又能说的机器人中，你必须保护视觉与语言之间的连接，否则整个系统会崩溃。
LUMoE 有效： 通过使用“门卫”将问题路由到专门的“助手”而不是重写主脑，机器人可以在忘记特定事物的同时，对其他事物保持聪明。

论文得出结论，这种“模块化”方法（使用助手而非大脑手术）是让 AI 在尊重隐私请求的同时，又不至于丧失理智的关键。

技术摘要：用于 MLLM 终身遗忘的 MLUBench 与 LUMoE

1. 问题定义

本文探讨了 多模态大语言模型（MLLM）终身遗忘（Lifelong Unlearning），这是一个实用但尚未得到充分研究的挑战。在这种场景下，MLLM 必须根据用户请求，按顺序遗忘特定的多模态信息（例如特定的实体、图像或概念），同时保留对非目标数据的通用能力和知识。

与标准的机器遗忘（一次性移除）或单模态 LLM 遗忘不同，MLLM 终身遗忘提出了一个独特且关键的约束：保持多模态对齐（Preservation of Multimodal Alignment）。作者认为，MLLM 依赖于视觉编码器、语言模型和多模态投影器之间微妙的对齐关系。对其中一种模态进行权重的顺序更新操作可能会灾难性地破坏这种对齐，即使遗忘目标是单模态的，也会导致整体模型性能的崩溃。

其目标定义为：在有效遗忘序列 $T = \{t_1, t_2, ..., t_k\}$ 中的新任务的同时，最小化在已遗忘任务上的累积性能退化。

2. 方法论：LUMoE

为了应对累积退化和对齐破坏的挑战，作者提出了 LUMoE（基于混合专家模型的终身遗忘）。与迭代更新基础模型权重的传统方法不同，LUMoE 将遗忘修改与稳定的基础模型隔离。

核心组件：

任务特定 LoRA 适配器（Task-Specific LoRA Adapters）： LUMoE 不直接更新基础 MLLM，而是为每个特定的遗忘任务训练轻量级的低秩自适应（LoRA）适配器。这些适配器通过 偏好优化（Preference Optimization, PO） 进行训练，旨在学习一种“拒绝”行为（例如，“我无法回答这个问题”），针对遗忘集进行处理，而不是试图通过梯度上升来擦除知识，因为后者可能会破坏其他权重。
门控模块（路由，Gate Module/Router）： 一个强大的路由模型（初始为 GLM-4V-Plus）负责动态引导输入。它执行以下操作：
- 实体提取： 识别输入（图像/文本）中的实体。
- 任务匹配： 检查该实体是否属于先前已遗忘任务的遗忘集。
- 路由： 如果找到匹配项，则在推理时将相应的 LoRA 适配器合并到基础模型中。如果没有找到匹配项（即输入属于保留集），则由原始基础模型直接处理输入，以保留效用。
错误处理： 如果路由对实体不确定，则将输入视为保留问题，并由基础模型处理，以避免意外遗忘。

3. 主要贡献

A. MLUBench：一个全面的基准测试

作者引入了 MLUBench，这是一个专门设计用于评估 MLLM 终身遗忘的大规模基准测试。

规模与多样性： 它涵盖了 127 个真实世界实体，分布在 9 个不同类别 中（动物、天文学、建筑、卡通、公司、电影、人物、植物、电视剧）。
数据量： 该数据集包含 5,105 张图像 和 15,414 个 VQA 对。
顺序结构： 实体被划分为四个遗忘任务（A, B, C, D）的序列，以模拟终身学习的场景。
泛化性： 包含语义多样的问题变体，以测试针对提示词变化的鲁棒性。

B. 实证发现

通过使用 MLUBench，作者进行了广泛的实验，揭示了两个关键见解：

严重的累积退化： 现有的遗忘方法（梯度上升 GA、梯度差分 GD、KL 散度最小化 KL、负偏好优化 NPO）都遭受了严重的累积性能退化。随着顺序遗忘任务数量的增加，遗忘质量（抑制目标知识的能力）和 模型效用（回答保留问题的能力）都会趋向于零。
多模态对齐挑战： 本文通过实验证明，MLLM 中的遗忘与单模态 LLM 存在本质区别。通过隔离对 LLM 主干或视觉适配器的更新实验表明，独立修改其中任何一个组件都会导致灾难性的性能下降。这证实了 保持多模态对齐 是 MLLM 终身遗忘中独特且根本的挑战。

C. 提出的解决方案 (LUMoE)

LUMoE 被呈现为一个简单而有效的基准方案，它缓解了上述问题。通过保持基础模型冻结并使用可切换的适配器，它防止了权重的累积损坏和多模态对齐的崩溃。

4. 实验结果

性能： 在 MLUBench 上，LUMoE 在所有顺序任务中均保持了高水平的 遗忘质量（接近 1.0）和 模型效用（接近 0.9）。相比之下，基准方法（GA, GD, KL, NPO）在仅经过几次遗忘步骤后，其得分就会降至接近零。
通用能力： LUMoE 保留了模型在外部基准测试（TruthfulQA, MMBench）上的通用推理能力，性能下降始终低于 0.6%。而基准方法会导致这些通用任务出现灾难性失败。
鲁棒性： LUMoE 展示了对越狱攻击的鲁棒性，并在不同的任务顺序和不同数量的任务（测试高达 5 个任务）下保持了性能。
效率： 计算成本在可控范围内，每个任务的适配器训练耗时约 11 分钟，任务匹配耗时约 2 秒。

5. 重要性与主张

本文将其工作定位为理解和解决 MLLM 终身遗忘的基础性步骤。

基准测试： 通过提供第一个能够评估多模态设置中顺序遗忘累积效应的大规模、多样化基准（MLUBench），填补了关键空白。
理论见解： 它确立了 MLLM 终身遗忘不仅仅是 LLM 遗忘的延伸，而是一个受多模态对齐约束的独特问题，这一发现挑战了现有单模态遗忘方法的适用性。
方法论方向： 虽然作者对于 LUMoE 是否为“完美”方案持谦逊态度，但他们声称这验证了 隔离原则（将遗忘修改与基础模型分离）是维持终身场景下模型稳定性和对齐的一种可行且有效的策略。

该工作旨在通过提供一个标准化的评估框架和一个解决多模态遗忘特定复杂性的强基准方法，来促进未来的研究。