🤖 machine learning

Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score

本文首次系统性地分析揭示了用于评估视觉语言模型机器遗忘的标准指标之间存在显著不一致性，并提出了基于最优相关性推导的 principled 统一质量评分（UQS），以提供稳定可靠的排名。

原作者： Abdullah Ahmad Khan, Hamid Laga, Ferdous Sohel

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdullah Ahmad Khan, Hamid Laga, Ferdous Sohel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位拥有数百万本书籍阅读量和无数图片见识的巨型、超级聪明的图书馆助手（即视觉 - 语言模型）。有一天，有人援引其隐私权，要求图书馆“遗忘”其撰写的一本特定书籍。图书馆助手便从书架上删除了那本书。

但问题在于：我们如何确认助手真的遗忘了那本书，还是仅仅将其隐藏了起来？

这篇论文就像一群检查员，试图弄清楚图书馆助手是否真的完成了任务。他们发现，这些检查员正使用五本不同的规则手册来给助手打分，而令人惊讶的是，这些规则手册往往对同一项工作给出完全相反的评分。

五位困惑的检查员（评估指标）

该论文考察了五种衡量“遗忘”（unlearning）的标准方法：

“直接提问”检查员（遗忘准确率）：提问：“如果我直接询问关于这本书的内容，你会回答吗？”如果助手保持沉默，这位检查员就会给出高分。
“其他书籍”检查员（保留准确率）：提问：“你仍然记得其他999 本书吗？”如果助手能很好地记住它们，这位检查员就会给出高分。
“隐私侦探”（成员推断攻击）：试图猜测助手对那本被遗忘的书是感到“紧张”还是“自信”。如果助手表现得正常，这位侦探就会认为那本书已经消失了。
“大脑扫描”检查员（激活距离）：查看助手的“大脑”（其内部数学运算），看它是否看起来像是一个从未见过那本书的助手版本。
“输出匹配”检查员（JS 散度）：检查助手的回答在统计上是否与“从未见过那本书”的版本相似。

大问题：他们无法达成一致

研究人员在一个名为LLaVA（能够识别图片并阅读文本）的智能模型上进行了测试。他们尝试了四种不同的方法让模型“遗忘”那本书。

这里的转折是：这些检查员彼此对立。

检查员 A（直接提问）可能会说："X 方法最好！它不再谈论那本书了。”
检查员 B（大脑扫描）可能会说："X 方法最差！它的大脑看起来仍然完全像是记得那本书。”

这就像一篇汽车评论，一家杂志说：“这辆车最快！”而另一家却说：“这辆车没有引擎！”该论文发现，对于同一种方法，排名往往是相反的。一种方法可能在三位检查员那里排名第一，却在另外两位那里排名第四。

隐藏的技巧：“知识可恢复性”

该论文发现了一个巨大的盲点。所有五位检查员只检查助手是否说出了答案。他们并不检查助手是否知道答案，却只是在假装不知道。

研究人员进行了一项测试，他们向助手提出棘手、迂回的问题（例如，不问“这是谁？”，而是问“照片中这个人的中间名是什么？”）。

结果：即使助手对直接问题回答“我不知道”，它往往也能正确回答那个棘手的问题。
比喻：这就像一名间谍说“我不知道秘密代码”，但如果你问“午夜开门的代码是什么？”，他们却不小心说出了代码。这种“遗忘”仅仅是表面上的沉默，而非真正的记忆删除。

解决方案：“统一评分”（UQS）

由于检查员们无法达成一致，且他们都忽略了那个（目前难以自动化的）“棘手问题”测试，作者们创建了一个名为统一质量评分（Unified Quality Score, UQS）的总评分表。

你可以将其想象为一位主裁判，他听取所有五位检查员的意见，但会根据这些意见的实际重要性来权衡：

裁判注意到，“其他书籍”检查员（保留准确率）在判断模型是否健康方面最为可靠。因此，裁判给予该意见最大的权重（约 65%）。
裁判注意到，“直接提问”检查员实际上有点爱撒谎（它经常认为一个坏了的、沉默的机器人是“好”的，因为它不说话）。因此，裁判给予该意见极小的权重。
裁判将这些加权意见合并为一个单一数值。

结果

当他们使用这个新的总评分表时：

争论停止了：排名变得一致。
真相大白：一些在“直接提问”测试中看起来很棒的方法，实际上非常糟糕，因为它们破坏了模型的“大脑”。总评分表捕捉到了这一点。
多模态更难：他们发现，当模型必须同时处理图片和文本（就像人类一边看图一边读说明）时，检查员们的分歧比模型仅处理文本时更大。这就像试图评判一位同时烹饪两种不同菜系的厨师；要判断他是否忘记了一个食谱，要难得多。

核心结论

这篇论文并没有发明一种新的数据删除方法。相反，它揭露了我们在衡量删除时存在的混乱局面。它指出：“不要仅用一种测试来判断模型是否遗忘了某事。这些测试相互矛盾，而且它们忽略了最重要的部分（记忆是真正消失了，还是仅仅被隐藏了）。”

他们提供了一种新的、更聪明的方法来组合这些测试，以便我们实际上能够信任模型是否真的“遗忘”了被要求遗忘的内容。

技术摘要：多模态机器遗忘中的指标不可靠性

问题陈述

机器遗忘对于符合《通用数据保护条例》（GDPR）等法规日益至关重要，这些法规要求从部署的模型中移除特定训练数据的影响。尽管遗忘已在分类任务和纯文本大语言模型（LLMs）中得到研究，但其在多模态大语言模型（MLLMs）中的评估仍不一致。

identified 的核心问题是，现有的多模态遗忘评估指标会对遗忘方法产生系统性的矛盾排名。当前的实践依赖于五种标准指标——遗忘准确率（FA）、保留准确率（RA）、成员推断攻击（MIA）、激活距离（AD）和 Jensen–Shannon 散度（JS），而未验证它们之间的一致性。本文证明，这些指标衡量的是遗忘的正交方面（输出行为与表示对齐），导致出现一种方法被某指标评为第 1 名而被另一指标评为第 4 名的情况。此外，所有现有指标都存在一个关键的盲点：它们未能衡量知识可恢复性（KR），即被遗忘的信息是否可以通过改写、间接或对抗性查询被重构。

方法论

作者使用 LLaVA-1.5-7B 视觉语言模型（VLM）在三个 VQA 基准测试（MLLMU-Bench、UnLOK-VQA 和 MMUBench）上进行了系统分析。

实验设置：
- 模型： 基础模型（ $M$ ）在遗忘集和保留集的并集上进行微调。一个“oracle”模型（ $M^*$ ）仅使用保留集重新训练，作为遗忘后模型应呈现状态的基准真值。
- 遗忘方法： 测试了四种不同的范式：梯度上升（GA）、随机标签（RL）、微调保留（FT）和基于显著性的 SalUn。
- 规模： 研究评估了 36 个模型（4 种方法 × 3 个数据集 × 3 个随机种子）。
- 指标： 计算了标准指标：
  - FA/RA： 输出抑制和效用保留。
  - MIA： 通过置信度分数衡量的隐私泄露。
  - AD/JS： 通过激活距离和输出分布衡量遗忘模型（ $\hat{M}$ ）与 oracle（ $M^*$ ）的对齐程度。
分析框架：
- 秩相关： 作者使用 Kendall's $\tau$ （一种非参数统计量）来衡量由指标诱导的排名之间的一致性。
- Oracle 接近度： 通过计算每个指标与 LoRA 参数空间中距离 $d(\hat{M}, M^*)$ 之间的 Spearman 相关系数（ $\rho$ ）来评估指标的可靠性。
- 知识可恢复性（KR）试点： 作者使用改写、多跳和否定查询手动探测遗忘模型，以量化“输出抑制”（FA=0）与实际“知识擦除”之间的差距。
拟议解决方案：统一质量分数（UQS）：
- 为了解决矛盾，作者引入了 UQS，这是一种复合指标。
- 权重推导： 权重并非任意设定，而是基于经验推导。每个指标的权重与其与 oracle 距离 $d(\hat{M}, M^*)$ 的 Spearman 相关系数成正比。
- 公式： $UQS = \sum w_i \cdot \text{normalized\_metric}_i$ 。具有负相关性的指标（如 FA）会被大幅降低权重或受到惩罚。

主要贡献

方面分解： 本文将现有指标映射到不同且经常冲突的目标。FA、RA 和 MIA 衡量输出行为（抑制和效用），而 AD 和 JS 衡量与 oracle 的表示对齐。排名的分歧是结构性的，而非噪声。
识别缺失的方面（KR）： 作者将知识可恢复性定义为通过间接查询重构被遗忘信息的能力。一项试点研究显示，即使 FA=0（直接回忆被抑制），KR 泄露率仍然很高（SalUn 高达 100%），表明当前指标无法保证符合 GDPR 的擦除。
矛盾的量化： 对 36 个模型的 Kendall's $\tau$ 分析揭示了两个反相关簇： $\{FA, RA, MIA\}$ 和 $\{AD, JS\}$ 。具体而言， $\tau_{FA,AD} = -0.26$ ，表明优化输出抑制的方法往往与 oracle 表示发生显著偏离。
多模态放大效应： 研究发现，多模态 VQA 中的指标不一致性（ $\bar{\tau} = 0.086$ ）比单模态分类（ $\bar{\tau} = 0.158$ ）更为严重。双路图像 - 文本路径引入了额外的分歧维度，因为视觉编码器和语言解码器可能会解耦。
统一质量分数（UQS）： 一种基于原则的、数据驱动的复合分数，利用可靠性权重聚合可衡量的方面。推导出的权重显示**保留准确率（RA）是 oracle 接近度的最可靠预测因子（ $\rho = 0.484, p=0.003$ ），而遗忘准确率（FA）**呈负相关（ $\rho = -0.418$ ），表明低 FA 通常源于模型崩溃而非有效的遗忘。

结果

排名不稳定性： 没有任何一种遗忘方法在所有指标中始终排名第一。例如，梯度上升在 MIA 中排名第 1，但在 AD 中排名第 4；随机标签在四项指标中排名第 1，但在 MIA 中排名第 3。
复现： 在 BLIP-2 OPT-2.7B 上复现了该矛盾，证实该问题并非特定于架构，而是评估景观固有的。
指标可靠性：
- RA 是相对于 oracle 衡量遗忘质量的最强独立指标。
- FA 是一个糟糕的指标；低 FA 通常与远离 oracle（模型崩溃）高度相关。
- MIA 显示出中等可靠性，但在该样本量下不具有统计显著性。
- AD 和 JS 在此规模下作为独立指标不可靠。
UQS 稳定性： UQS 排名在随机权重扰动下保持稳健（平均 $\tau = 0.647 \pm 0.262$ ），表明基于原则的加权方案解决了单个指标中发现的矛盾。
KR 发现： 在试点中，96% 的 FA=0 样本仍通过间接探测泄露了知识，突显了当前指标在隐私合规方面的不足。

意义与主张

本文声称的贡献是方法论层面的，而非新的遗忘算法。其主要意义在于揭示了多模态遗忘当前评估标准的不可靠性。

矛盾是结构性的： 指标之间的分歧并非源于实验噪声，而是源于衡量输出抑制与表示对齐之间的根本冲突。
GDPR 合规差距： 当前指标无法评估知识是被真正擦除还是仅仅被抑制，这是监管合规的关键缺陷。本文认为，如果不衡量知识可恢复性，关于 GDPR 合规的声明可能是误导性的。
基于原则的评估： UQS 提供了一个可复现的、数据驱动的框架，用于对遗忘方法进行排名。通过根据指标与 oracle 模型的相关性进行加权，它提供了一个“单一的原则性分数”，更好地与遗忘的理论目标（达到从未在遗忘集上训练的模型状态）保持一致。
资源发布： 作者发布了基准测试、36 个模型检查点以及交互式排行榜，以促进该领域的可复现研究。

作者对其研究范围保持谦逊，指出 UQS 权重依赖于模型和数据集，必须针对新设置重新推导。他们还承认，可扩展的、自动化的知识可恢复性测量仍是未来工作的开放挑战。