🤖 machine learning

Self-supervised Adversarial Purification for Graph Neural Networks

本文提出了 GPR-GAE，这是一种自监督对抗净化框架，它采用带有广义 PageRank 滤波器的专用图自编码器，将鲁棒性与分类任务解耦，从而在保持高精度的同时有效清除图结构中的对抗扰动。

原作者： Woohyun Lee, Hogun Park

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Woohyun Lee, Hogun Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明的图书管理员（即图神经网络，GNN），其职责是根据书籍在书架上的排列方式（即图结构）对书籍（数据）进行分类。这位图书管理员擅长发现模式，但有一个弱点：如果一名恶作剧者偷偷溜进来移动了几本书，或在书架上添加了假书，图书管理员就会完全困惑，并开始错误地分类所有书籍。这被称为对抗性攻击。

长期以来，解决这一问题的方法是通过在训练期间向图书管理员展示假书，使其变得“更坚强”。但这带来了一个问题：图书管理员变得过于专注于忽略假书，以至于开始忘记如何正确分类真正的书籍。这是一种权衡：过于坚强，就会失去准确性；过于准确，就容易被欺骗。

本文的作者李宇贤（Woohyun Lee）和朴浩根（Hogun Park）提出了一种名为自监督对抗净化的新解决方案。以下是其工作原理，使用简单的类比说明：

1. “双人团队”与“单人挣扎”

旧方法（对抗训练）： 想象试图训练一个人同时担任侦探（发现假书）和图书管理员（分类书籍）。要同时完美地做好这两件事非常困难。如果此人过于专注于抓出假书，就可能会错过真正的书籍。

新方法（对抗净化）： 作者将工作拆分为两个专家：

净化器（侦探）： 此人的唯一任务是查看杂乱的书架，找出假书，并将它们放回原位。他们不关心分类；他们只希望书架看起来“干净”。
分类器（图书管理员）： 此人接手已清理的书架，并完美地完成其分类书籍的工作。

通过分离工作，“净化器”可以专注于清理而不干扰“图书管理员”的分类能力。

2. 专用工具：GPR-GAE

要成为一名优秀的“净化器”，你需要一种特殊工具。作者开发了一种名为GPR-GAE的新工具。

想象标准的图工具就像一盏只朝固定方向照射的手电筒。如果混乱情况复杂，那盏手电筒就会漏掉一些区域。

创新之处： GPR-GAE 就像一台多镜头相机。它使用多种不同的“广义 PageRank"（GPR）滤波器。想象这些是不同的镜头：一个观察直接邻居（1 步之外），另一个观察朋友的朋友（2 步之外），依此类推。
为何有效： 通过同时透过这些不同的“镜头”观察图结构，该工具能够辨别真实连接与虚假连接之间的细微差异。即使从单一角度看似乎没问题，它也能判断：“啊，这本书被移动了两个书架，但它不属于那里。”

3. “自学”式清理

净化器如何在没有老师告知哪些书是假书的情况下学会清理？

自监督学习： 净化器的训练方式是向其展示杂乱的书架，并要求其猜测原始、干净的书架是什么样。它尝试重建干净版本。如果猜对了，它就学习；如果猜错了，它就调整。它纯粹通过尝试修复混乱来学习，无需知道最终答案（书籍类别）。

4. “慢而稳”的清理（多步净化）

一些旧的清理方法试图一次性解决整个混乱局面。这往往导致错误，例如因为某本书看起来略有可疑就将其丢弃。

本文方法： 作者采用多步过程。想象净化器并非一次性修复整个书架。相反，它先迈出一小步修复几本书，检查书架，再迈出一小步，再次检查。
结果： 这种“慢而稳”的方法确保书架逐渐且准确地变干净，而不会过度修正。文中的数学证明表明，如果你持续采取这些小心谨慎的小步骤，就一定能达到稳定、干净的状态。

5. 结果

作者在各种“图书馆”（如 Cora、Citeseer 以及像 OGB-arXiv 这样的大型数据集）上测试了该系统，并针对不同类型的恶作剧者（攻击）进行了评估。

结果： 他们的“净化器”（GPR-GAE）的表现优于所有先前的方法。它使“图书管理员”（分类器）在干净数据上保持高度准确，同时让恶作剧者几乎无法欺骗它。
即插即用： 由于净化器是一个独立的工具，它可以附加到几乎任何现有的“图书管理员”（GNN 模型）上，立即增强其鲁棒性。

总结： 本文不再强迫一个大脑同时充当坚强的侦探和谨慎的分类者，而是构建了一个专门的清洁机器人，在分类器看到数据之前先修复混乱。该机器人利用多个“镜头”来洞察真相，并逐步清理数据，从而构建出一个既高度准确又极难被欺骗的系统。

技术摘要：面向图神经网络的自监督对抗净化

问题陈述

图神经网络（GNN）极易受到对抗攻击，特别是边缘插入和删除等结构扰动。防御这些攻击通常需要在两个相互冲突的目标之间取得平衡：准确性（在干净数据上的性能）和鲁棒性（抵御攻击的能力）。传统的对抗训练方法试图在单个分类器框架内同时优化这两个目标。然而，这种方法本质上将这些目标交织在一起，往往迫使人们做出权衡，即提高鲁棒性会显著降低干净数据的准确性。此外，现有的对抗净化方法通常依赖于预定义的启发式规则（例如 Jaccard 相似度、低秩近似）或简单的边缘检测机制，这些机制缺乏适应性，且无法捕捉干净图与对抗图之间复杂的结构差异。

方法论

作者提出了一种自监督对抗净化框架，将准确性和鲁棒性的目标解耦为两个独立的模块：一个标准的 GNN 分类器和一个专用的净化器。

1. 框架架构

解耦：分类器（ $f_\psi$ ）专注于从干净图中学习准确的表示，而净化器（ $f_\theta$ ）则独立训练，以从扰动输入中重建干净图结构。这种分离防止了准确性与鲁棒性目标之间的相互干扰。
自监督训练：净化器采用自监督策略进行训练。它接收扰动图 $G'$ （从有界扰动空间 $B(G, \epsilon)$ 中采样），并尝试重建原始邻接矩阵 $A$ 。训练目标是最小化重建误差，且不依赖节点标签，从而使净化器能够在广泛的扰动范围内学习通用的净化方向。

2. GPR-GAE 模型

核心贡献是GPR-GAE，这是一种专为净化设计的新型图自编码器（GAE）。它解决了传统 GAE 的局限性，例如“对抗平滑”（扰动模糊了节点间的区别）以及难以捕捉高阶结构信息的问题。

多 GPR 滤波器：GPR-GAE 没有堆叠静态的 GNN 层，而是采用了 $K+1$ 个不同的广义 PageRank (GPR) 滤波器。每个滤波器利用可学习的系数 $\gamma$ 来动态加权来自不同邻域范围（最多 $K$ 跳）的贡献。
多样化表示：通过利用具有不同尺度和系数的多个 GPR 滤波器，该模型捕捉了多样化的结构特征。某些滤波器可能会抑制特定的邻域（例如 1 跳），同时强调其他邻域（例如 2 跳），从而使模型能够有效区分干净区域和对抗区域，同时避免过平滑问题。
架构：
- 节点编码：连接所有 GPR 滤波器的输出，形成多尺度节点嵌入。
- 边编码与解码：从连接的节点表示中计算边嵌入，并使用对称损失预测链接概率，以确保一致性。

3. 多步净化过程

在推理过程中，净化并非单步过程，而是一个迭代的、收敛的细化过程。

从扰动图 $G^{(0)}$ 开始，模型预测一个“更干净”的邻接矩阵 $\hat{A}^{(t)}$ 。
图被迭代更新： $G^{(t+1)} = G^{(t)} + \alpha \cdot (\hat{A}^{(t)} - G^{(t)})$ ，其中 $\alpha$ 是步长。
理论保证：作者证明，在假设净化器表现为局部 Lipschitz 连续函数（常数 $L < 1$ ）的情况下，该迭代过程线性收敛至稳定的驻点。只要模型经过自监督训练，无论步长如何，这种收敛性都能得到保证。

主要贡献

解耦框架：本文提出了一种框架，显式地将准确性和鲁棒性分离，并将它们分配给专用模块（分类器和净化器），以缓解对抗训练中固有的权衡问题。
GPR-GAE 架构：引入了一种使用多个 GPR 滤波器的专用净化器，以捕捉多尺度结构表示，有效区分干净与对抗图区域，同时避免了传统 GAE 的过平滑问题。
收敛的多步净化：一种理论和实践相结合的多步细化过程，迭代恢复图结构。作者基于自监督净化器的 Lipschitz 连续性提供了收敛性证明。
即插即用防御：该方法作为一个独立模块，兼容各种 GNN 分类器（例如 GCN、GAT、GPRGNN、APPNP），无需重新训练分类器本身。

实验结果

作者在多样化的数据集（Cora、Citeseer、Pubmed、Chameleon、OGB-arXiv）和攻击场景（PRBCD、LRBCD）上评估了 GPR-GAE。

鲁棒性：GPR-GAE 在对抗自适应攻击方面实现了最先进的鲁棒性。例如，在 Cora 数据集上，在严重扰动（ $\epsilon = 0.5$ ）下，与表现最佳的对抗训练基线相比，结合 GPRGNN 分类器的 GPR-GAE 将测试准确率提高了15.7 个百分点。
准确性保持：与通常为了鲁棒性而牺牲干净数据准确性的对抗训练不同，GPR-GAE 保持了接近原始分类器的干净数据准确性，成功缓解了准确性 - 鲁棒性权衡。
可扩展性：该方法利用小批量处理高效扩展到 OGB-arXiv 等大型数据集，而其他方法（例如 GOOD-AT、SVD-GCN）则面临内存限制或无法扩展的问题。
非自适应攻击：在迁移攻击设置中，GPR-GAE 始终优于基于启发式的净化方法（Jaccard-GCN、SVD-GCN）和鲁棒 GNN 架构（EvenNet、SoftMedianGDC）。
实证验证：实验证实，训练后的净化器的 Lipschitz 常数严格小于 1，支持了理论收敛声明。对 learned 系数的可视化显示，无论图的同质性如何，GPR-GAE 都能学习到多样化的、数据驱动的滤波器模式。

意义与主张

本文声称，GPR-GAE 通过从根本上重新设计防御机制，代表了 GNN 防御领域的重大进步。通过从“全能型”对抗训练范式转向自监督净化方法，该方案：

打破权衡：成功解耦了准确性和鲁棒性，使分类器在干净数据上保持准确，而由净化器处理鲁棒性。
泛化能力：作为一个通用的即插即用防御模块，它增强了各种现有 GNN 架构的鲁棒性，而无需对分类器进行架构修改。
适应性：通过其数据驱动的自监督训练和多尺度 GPR 滤波器，它比启发式或静态方法更有效地适应多样化的图结构和复杂的扰动模式。

作者得出结论，该框架为防御图神经网络免受结构对抗攻击提供了一种鲁棒、可扩展且具有理论依据的解决方案。