💻 computer science

Erase Persona, Forget Lore: Benchmarking Multimodal Copyright Unlearning in Large Vision Language Models

本文介绍了 CoVUBench，这是首个旨在严格评估机器遗忘方法在从大型视觉 - 语言模型中移除受版权保护的视觉内容时，其有效性与泛化能力，同时保持模型整体效用的基准框架。

原作者： JuneHyoung Kwon, JungMin Yun, YoungBin Kim

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： JuneHyoung Kwon, JungMin Yun, YoungBin Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个名叫"LVLM"的巨型、超级聪明的机器人艺术家和作家。这个机器人通过阅读和观看互联网上的数十亿张图像和文本，学会了所有知识。问题在于，互联网上充斥着受版权保护的内容——比如著名的卡通角色、品牌标志和特定艺术作品。由于机器人记住了如此多的内容，它有时会无意中画出或描述这些受保护的事物，这对原始创作者来说是一场法律噩梦。

创作者希望机器人“忘记”这些特定事物。但你不能简单地要求机器人轻松“遗忘”几个事实。如果你试图从头重新训练整个机器人，只为移除一个角色，那将耗时无穷且成本高昂。因此，科学家们正试图教导机器人如何进行“机器遗忘”——本质上是在其大脑中执行手术，以移除特定记忆，而不破坏其其余心智。

问题在于？没人知道如何测试这种手术是否真正有效，尤其是因为机器人同时通过图像和文字来感知世界。

解决方案：CoVUBench（“安全沙盒”）

本文作者创建了一个新的测试平台，称为CoVUBench。将其想象为一个用于测试这些记忆移除手术的“安全沙盒”。

他们并没有使用真实的受版权保护的角色（如米老鼠或耐克标志），因为对其进行操作是非法的，而是采用了一种特殊方法来发明他们自己的虚构角色和标志。

蓝图：他们为 20 个独特的虚构角色和标志编写了详细描述（例如，“一个喜欢爵士乐的蓝色机器人，长着方形脑袋”）。
多样性：他们并非只绘制一次机器人。他们生成了数千个版本：作为 3D 玩具的机器人、印在 T 恤上的机器人、在丛林中的机器人、在城市中的机器人。这确保了测试能够检查机器人是否忘记了该机器人的“概念”，而不仅仅是某一张特定图片。
问题：他们通过两种方式向机器人提问：
1. 纯文本：“那个蓝色机器人喜欢什么？”
2. 视觉：他们展示一张机器人的图片，并问道：“这个角色喜欢什么？”

这种设置让他们能够看到机器人是真正忘记了该概念，还是仅仅学会了在展示图片时说“我不知道”，但在被文本提问时仍记得答案。

测试：两位不同的“老板”

本文指出，测试这一点很棘手，因为存在两位目标不同的“老板”：

版权持有者（所有者）：他们希望机器人完全忘记这个虚构角色。如果机器人甚至提及名称或画出相似的形状，测试即告失败。
模型部署者（用户）：他们希望机器人保持良好运作。如果移除记忆的手术导致机器人变笨、忘记如何说话，或无法识别其他事物，测试即告失败。

作者创建了一个包含六项指标的记分牌，以观察机器人如何平衡这两位“老板”。

他们的发现：“全有或全无”的问题

研究人员在他们的沙盒上测试了几种流行的“手术”方法（算法）。以下是发生的情况，使用简单的类比：

“蛮力”方法（梯度上升）：这种方法试图每当机器人想到那个虚构角色时，就对其大喊“不！”。
- 结果：它在让机器人忘记该角色方面效果极佳（所有者很高兴）。
- 副作用：它过于激进，导致机器人忘记了如何正常说话，并破坏了其识别其他事物的能力。机器人变得笨拙且困惑（用户很不高兴）。
“礼貌拒绝”方法（DPO/NPO）：这种方法教导机器人礼貌地说“我不能告诉你”，而不是试图抹除记忆。
- 结果：机器人保持了聪明和流畅（用户很高兴）。
- 副作用：机器人实际上并没有忘记！如果你给它展示该角色的图片，它在内心深处仍然知道那是谁；它只是假装不知道。它学会了一种“表面把戏”，而非真正的记忆清除（所有者很不高兴）。
“模态差距”（盲点）：研究人员发现了一个令人担忧的现象。某些方法可以让机器人在被文本询问时忘记该角色，但如果你向机器人展示该角色的图片，它仍然能识别它并知晓所有事实。这就像机器人拥有两个不同的大脑：一个用于阅读，一个用于视觉，而手术只修复了其中一个。

结论

本文总结道，目前没有任何完美方法能让视觉 - 语言机器人忘记某个特定的受版权保护概念，而不出现以下两种情况之一：

破坏其有用性（使其变成一个坏掉的机器人）。
未能真正移除记忆（使法律风险依然存在）。

他们构建 CoVUBench 是为了向世界展示这一问题的难度究竟有多大，证明目前的工具就像用大锤拔刺：要么弄断整条手臂，要么根本拔不出刺。他们呼吁开发新的、更智能的工具，专门针对这种涉及两种感官（视觉和听觉/语言）的复杂问题。

技术摘要：CoVUBench – 大型视觉语言模型中的多模态版权遗忘基准测试

问题陈述

在 Web 规模语料库上训练的大型视觉语言模型（LVLM）天生存在记忆并再生受版权保护的视觉内容（如角色和标志）及其文本描述的风险。虽然机器遗忘为训练后移除特定数据提供了一条途径，但在多模态设置下评估其有效性仍是一个未解决的问题。现有的评估框架主要以文本为中心（例如 TOFU、MUSE），未能解决在视觉和语言空间中共同嵌入的概念消除的复杂性。当前方法在评估模型是否真正切断了视觉识别与相关事实知识之间的跨模态联系方面缺乏鲁棒性，往往无法区分表面的拒绝策略与真正的概念消除。此外，目前极度缺乏能够同时满足版权持有者（要求彻底移除）和模型部署者（要求保留通用效用）相互竞争需求的标准化基准测试。

方法论

为了填补这些空白，作者引入了CoVUBench（版权视觉语言遗忘基准测试），这是一个专为安全、现实地评估 LVLM 中版权遗忘而设计的框架。

1. 数据集构建

为了避免使用现实世界的知识产权（IP）所带来的法律和伦理风险，CoVUBench 利用程序化生成管道创建合成的、法律安全的版权内容。

角色蓝图：该管道生成结构化的 JSON“角色蓝图”，定义具有特定语义属性（如性格、能力）和视觉描述的独特虚构角色和标志。
合成内容生成：利用这些蓝图，系统生成多样化的图像语料库。这包括组合变体（不同的背景、场景、视角）和领域表现（例如，角色以 3D 手办或 T 恤印花的形式出现），以测试超越特定训练实例的遗忘泛化能力。
视觉问答（VQA）：数据集包含与 20 个独特概念相关的 2,420 个 VQA 对。这些对分为：
- 单模态问题：仅文本查询，测试事实回忆（例如，“[角色] 的主要能力是什么？”）。
- 多模态问题：基于图像的查询，要求将视觉识别与事实知识联系起来（例如，“这张图片中角色的能力是什么？”）。
验证：严格的过滤过程将生成的属性与商标数据库（WIPO）进行交叉引用，并使用反向图像搜索，确保不与现有的受保护作品重叠。

2. 评估协议

该基准测试采用两阶段管道：

微调（记忆化）：在包含合成版权概念的训练集（ $D_{train}$ ）上对基础 LVLM 进行微调。
遗忘：指定一个子集（ $D_{forget}$ ）用于移除，而其余部分（ $D_{retain}$ ）予以保留。将各种遗忘算法应用于微调后的模型。

3. 以利益相关者为中心的指标

评估通过六个指标量化性能，涵盖两个不同的视角：

版权持有者视角（遗忘效力）：
- 效力：衡量遗忘集中关键词精确匹配（EM）分数的降低程度（ $1 - EM(D_{forget})$ ）。
- 泛化性：衡量在包含新颖视觉/文本变体的保留测试集（ $D_{test}$ ）上 EM 分数的降低程度（ $1 - EM(D_{test})$ ）。
- 发散度：衡量真实答案与预测答案之间的语义差异（嵌入的余弦相似度），以检测近重复项。
模型部署者视角（效用保留）：
- 流畅度：在保留集（ $D_{retain}'$ ）上的 ROUGE-L 召回率。
- 特异性：保留集上非黑名单内容的精确匹配分数。
- 能力：在外部通用基准测试（POPE、MMBench）上的准确率，以确保核心多模态推理能力保持完整。

4. 基线

本研究评估了五种具有代表性的遗忘算法：

梯度上升（GA）：最大化遗忘集上的损失。
梯度差异（GD）：平衡遗忘集上的损失最大化与保留集上的损失最小化。
KL 散度正则化（KL）：最小化遗忘模型与原始模型在保留集上的 KL 散度。
直接偏好优化（DPO）：训练模型偏好拒绝响应而非原始答案。
负偏好优化（NPO）：将遗忘集视为负偏好数据，以降低原始答案的可能性。

关键结果

实验在 LLaVA-Phi-3B 和 LLaVA-1.5-7B 模型上进行。结果揭示了遗忘效力与效用保留之间严峻的权衡：

方法的极化：
- 基于梯度的方法（GA、KL）：实现了高遗忘效力（彻底消除概念），但导致模型效用灾难性下降（流畅度和特异性急剧下降，特别是在 7B 模型上）。
- 基于偏好的方法（DPO、NPO）和 GD：成功保留了模型效用（高流畅度和特异性），但未能有效消除概念，在效力和泛化性上得分接近零。它们的高发散度得分表明，它们学习的是表面的拒绝策略而非真正的遗忘。
模态差距：在单模态（仅文本）和多模态（包含视觉）查询之间观察到显著的性能差距。在仅文本查询上看似有效的方法，在通过图像测试时往往无法切断视觉 - 知识联系，表明当前方法在真正的跨模态概念消除方面存在困难。
遗忘比例的影响：增加遗忘比例（从 5% 到 20%）加剧了这种权衡。基于梯度的方法表现出“灾难性过度遗忘”，破坏了领域内能力，而保留效用的方法无论比例如何，在消除方面均无效。
领域敏感性：NPO 在角色上的效力高于标志，这可能是因为与角色相关的文本“背景故事”更为复杂，但这以更高的流畅度损失为代价。

意义与主张

该论文声称 CoVUBench 是首个专门用于评估 LVLM 中版权遗忘的基准测试。其主要意义在于：

标准化：提供了一个严格的、法律安全的框架，用于评估跨多样化视觉表现和跨模态关联的遗忘泛化能力。
利益相关者平衡：引入了一种双视角评估协议，明确量化了版权持有者的移除需求与部署者的效用需求之间的张力。
实证洞察：证明了当前的遗忘算法从根本上无法满足多模态版权领域的需求。研究强调，现有方法要么为了消除而破坏模型效用，要么为了保留效用而未能消除概念，且至关重要的是，即使移除了文本关联，它们也难以切断底层的视觉 - 知识联系。

作者得出结论，迫切需要专门为多模态遗忘设计的新型专用算法，因为当前以文本为中心的方法无法有效地迁移到 LVLM 中版权所面临的复杂跨模态挑战。数据集和基准测试已公开，以促进该领域的进一步研究。