🤖 machine learning

Stable Multimodal Graph Unlearning via Feature-Dimension Aware Quantile Selection

本文提出FDQ，一种特征维度感知分位数框架，该框架在多模态图神经网络中自适应地对高维输入投影层应用保守的抑制阈值，从而在抵御成员推理攻击的同时实现稳定有效的遗忘并保留模型效用。

原作者： Jingjing Zhou, Yongshuai Yang, Qing Qing, Ziqi Xu, Xikun Zhang, Renqiang Luo, Ivan Lee, Feng Xia

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingjing Zhou, Yongshuai Yang, Qing Qing, Ziqi Xu, Xikun Zhang, Renqiang Luo, Ivan Lee, Feng Xia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一座庞大且极其智能的图书馆（即多模态图），它利用文本（如书籍描述）和图像（如书籍封面）来组织信息。这座图书馆由一位非常特定的建筑师（即图神经网络）建造，该建筑师通过研究海量书籍库，学会了完美地安排一切。

现在，想象一位用户提出：“我想忘记我曾读过这本特定的书。”他们拥有法律赋予的“被遗忘权”。图书馆需要抹去该书及其影响的所有痕迹，而无需推倒整座建筑并从头重建（那将过于缓慢且昂贵）。这一过程被称为图遗忘。

问题：“过度修正”的错误

该论文指出了当前图书馆处理此类请求时的一个主要缺陷。

不妨将图书馆的建筑师拥有的工具分为两类：

前门（输入层）：这是原始的高清照片和长篇文本描述进入建筑的入口。由于照片和文本极其详细（高维），这扇前门非常巨大，承载了建筑师关于如何理解世界的绝大部分“知识”。
内厅（深层）：这些是建筑师连接思想并做出最终决策的走廊。

旧方法：当被要求忘记一本书时，现有方法就像一个笨拙的清洁工。他们挥舞着一把巨大的扫帚，以同样的强度清扫所有地方。他们同样用力地擦洗内厅和前门。

结果：他们意外地擦掉了前门上巨大而精致的画作（关于图像和文本的预训练知识）。图书馆在“遗忘”该书方面变得“安全”了，但整座建筑看起来受损严重，无法再正确识别新书。其效用（性能）急剧下降。

解决方案：FDQ（“智能过滤器”）

作者提出了一种名为FDQ（特征维度感知分位数）的新方法。将 FDQ 想象为一个智能且可调节的过滤器，它确切知道如何处理这一请求。

以下是其工作原理，使用一个简单的类比：

识别敏感区域：FDQ 审视图书馆并意识到：“嘿，前门巨大，承载着我们要最宝贵的、预先绘制的知识。我们不能用力擦洗那里。”
调整扫帚：FDQ 不再在所有地方使用相同的清扫力度，而是在前门（高维输入层）上使用轻柔、精准的触感。它仅移除绝对必要的最小量颜料，以忘记那本特定的书。
在内厅强力清扫：与此同时，它在内厅（深层）使用更强、更彻底的清扫。这里是与遗忘之书的具体连接所在，因此更猛烈地擦洗这些区域是安全的，以确保记忆真正消失。
“分位数”技巧：论文使用了一个名为“分位数”的统计概念（类似于将项目列表从小到大排序并选取最低的 10%）。FDQ 改变了前门的规则：它使“最低 10%"的列表变得更加严格，这意味着它在那里选择更少的参数进行编辑。对于内厅，它保持列表标准。

为何这很重要

该论文在真实世界数据上测试了这种方法（例如带有照片和标题的时尚商品，以及带有封面和描述的书籍）。

旧方法：当他们尝试忘记一本书时，图书馆推荐其他书籍的能力显著下降。这就像忘记一本书导致图书管理员完全忘记了如何阅读。
FDQ 方法：图书馆成功忘记了那本特定的书（通过证明黑客无法判断该书是否仍在系统中来证实），但图书管理员在推荐其他书籍方面依然同样出色。“效用”保持高位。

结论

该论文声称，通过感知网络不同部分的大小和重要性（特别是高维输入层），FDQ 防止了在尝试遗忘复杂多模态系统中的数据时发生的“灾难性破坏”。它允许系统高效地遗忘特定数据点，而不会破坏模型理解世界的能力。

简而言之：FDQ 是一种手术工具，它在移除特定记忆的同时，不会截断大脑的视觉和阅读能力。

技术摘要：基于特征维度感知分位数选择的稳定多模态图遗忘

1. 问题陈述

图遗忘对于遵守数据隐私法规（如 GDPR）至关重要，它能够在无需昂贵重训练的情况下，从训练好的图神经网络（GNN）中移除特定数据点（节点或边）的影响。然而，现有的遗忘策略在应用于多模态图时面临一个关键局限。

多模态图除了结构数据外，还融合了高维特征（例如由 CLIP 或 ImageBind 等模型编码的文本和图像）。在此类架构中，输入投影层（将原始特征映射到隐藏空间的第一层）包含了模型总参数的大部分。当前的遗忘方法通常在整个网络上应用统一的参数选择与编辑策略。当应用于多模态图时，这种统一性导致对这些敏感的高维输入层进行 indiscriminate（不加区分）的修改。论文观察到，这种“过度编辑”破坏了预训练的跨模态知识，导致效用灾难性下降（模型性能严重降低），或者为了保持性能而削弱了遗忘机制。

2. 方法论：FDQ 框架

作者提出了FDQ（特征维度感知分位数），这是一个旨在实现高维多模态图中稳定遗忘的框架。FDQ 与基于对角 Fisher 信息矩阵（FIM）的重要性估计集成，但引入了一种新颖的自适应分位数选择机制。

核心机制：特征维度感知分位数

FDQ 不是在整个网络上应用全局分位数阈值 $k$ 来选择要抑制的参数，而是根据层的角色和输入特征维度 $d$ 调整选择强度：

层划分：将模型参数划分为处理高维原始特征的输入投影层（ $\theta_{in}$ ）和深层（ $\theta_{deep}$ ）。
自适应阈值：FDQ 定义了一个特定于层的缩放因子 $\alpha^{(\ell)}$ $α^{(ℓ)}$ 。对于特征维度 $d$ $d$ 超过阈值 $\tau$ $τ$ 的输入层，有效分位数 $k^{(\ell)}_{eff}$ $k_{e f f}^{(ℓ)}$ 通过因子 $\rho$ $ρ$ （其中 $\rho < 1$ $ρ < 1$ ）被收紧（减小）。
- 公式： $k^{(\ell)}_{eff} = \alpha^{(\ell)} \cdot k$ 。
- 效果：这导致对敏感输入层进行更保守的选择（修改更少的参数），同时允许深层在标准阈值下保持可编辑。
抑制集构建：
- 节点遗忘：该框架计算训练集、遗忘集和邻居集（以捕捉消息传递效应）的基于 FIM 的重要性得分。推导出两个抑制得分（ $b_1$ 和 $b_2$ ）以识别专门针对遗忘集的参数。
- 边遗忘：使用受影响的集合近似来估计边移除的影响。
- 选择与缩放：如果参数的抑制得分低于 FDQ 调整后的分位数阈值，则选择该参数。随后，选定的参数按其得分与阈值的比率进行阻尼，并以最大缩放因子 $\gamma$ 为上限。

流程

FDQ 流程分三步运行：

计算相关数据集（保留集、遗忘集和邻居/受影响集）的对角 FIM。
基于 Fisher 比率构建每个参数的抑制得分。
应用 FDQ 引导的、逐层的分位数阈值来选择和缩放参数，避免重建原始数据。

3. 主要贡献

论文概述了三项主要贡献：

识别关键局限：作者证明，由于参数的结构不平衡，特别是高维输入投影层的过度编辑，现有的图遗忘方法在多模态图上会出现严重的效用下降。
提出 FDQ：一种根据特征维度调整参数选择阈值的新颖框架。它通过保护输入层中关键的多模态知识，同时保持深层的有效遗忘，实现了稳定遗忘。它支持节点和边遗忘，且无需重建原始数据。
实证验证：在真实世界多模态数据集（Ele-Fashion 和 Goodreads-NC）上的广泛实验表明，FDQ 在保持效用的同时，始终优于最先进的方法，并在针对成员推理攻击的隐私保护方面表现有效。

4. 实验结果

作者在两个多模态节点分类数据集上评估了 FDQ，使用了各种编码器组合（例如 CLIP、ImageBind、T5+ViT）。

效用保持：FDQ 在两个数据集和所有编码器组合上始终实现了最高的遗忘 F1 得分。在大规模 Goodreads-NC 数据集上，FDQ 显示出相对于基线方法的显著优势，例如 GNNDelete（在使用 ImageBind 时遭遇内存不足错误）以及其他表现出明显效用下降的方法。
隐私保护：在成员推理攻击（MIA）下，FDQ 将 AUC-ROC 得分降低至接近 50%（随机猜测），表明具有强大的遗忘效果。相比之下，GNNDelete 等基线显示出较高的 AUC 值，表明存在残留的成员信号。
对中毒的鲁棒性：在涉及中毒边的边遗忘场景中，FDQ 在移除中毒影响后保持了高性能，而其他方法则显示出显著的性能下降。
效率：FDQ 表现出高计算效率，在亚秒到几秒的范围内完成遗忘，远快于依赖重训练或复杂影响估计的基线方法。
消融研究：移除特征维度感知（使用统一分位数）或分位数尾部选择机制会导致 F1 得分降低，证实了这两个组件对于最优性能（特别是在更大、更复杂的图上）都是必要的。

5. 意义与主张

论文声称，FDQ 为高维多模态图系统中的隐私感知遗忘提供了一种原则性且稳健的解决方案。其意义在于解决了多模态 GNN 中特定的结构脆弱性，即输入层主导参数空间的问题。通过引入特征维度感知机制，FDQ 解决了现有统一编辑策略中有效遗忘与模型效用之间的权衡难题。

作者将 FDQ 定位为多模态图模型生命周期管理的实用工具，确保在遵守数据隐私法规的同时，不损害从文本和视觉模态中学习到的丰富表示。他们承认存在一个局限性，即对控制编辑强度的超参数敏感，指出这些参数在实践中可能需要调整。