🤖 machine learning

AbstainGNN: Teaching Graph Neural Networks to Abstain for Graph Classification

本文介绍了 AbstainGNN，这是一个新颖的、理论驱动的框架，它通过对分类函数和拒绝函数进行建模，赋予图神经网络在面对不确定预测时进行弃权的能力，从 PAC-Bayesian 视角理论上优化了二者的权衡，并通过高效的两阶段训练策略在基准数据集上展示了卓越的性能。

原作者： Xixun Lin, Zhiheng Zhou, Zhengyin Zhang, Yancheng Chen, Shuai Zhang, Ge Zhang, Shichao Zhu, Lixin Zou, Chuan Zhou, Peng Zhang, Shirui Pan, Yanan Cao

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xixun Lin, Zhiheng Zhou, Zhengyin Zhang, Yancheng Chen, Shuai Zhang, Ge Zhang, Shichao Zhu, Lixin Zou, Chuan Zhou, Peng Zhang, Shirui Pan, Yanan Cao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一支专家侦探团队（图神经网络，或称 GNN）通过观察复杂的线索地图（图）来破案。这些侦探非常聪明，通常都能得出正确答案。然而，他们有一个危险的习惯：他们从不承认自己很困惑。 即使线索混乱、矛盾或缺失，他们仍会强行给出一个猜测。在涉及高风险的情况下——比如检查一种新药是否安全或某种化学物质是否有毒——这种“硬要猜”的行为可能会导致灾难性的错误。

“AbstainGNN” 这篇论文提出了一种解决方案：教导这些侦探学会在何时保持沉默的智慧。

以下是他们如何实现这一目标的简单分解，使用了日常生活的类比：

1. 问题所在：“无所不知”的侦探

目前的 AI 模型就像是那些害怕说“我不知道”的侦探。如果案情不明，他们仍然会指认一名嫌疑人。

风险： 如果 AI 对某种有毒化学物质的判断出错，它可能会批准该物质进行测试，从而浪费资金或伤害人类。
目标： 作者想要构建一个系统，让 AI 能够说：“这个图太复杂了；我会弃权（拒绝猜测），并交给人类专家处理。”

2. 解决方案：两人搭档团队

作者创建了 AbstainGNN，它就像是一个协同工作的两人侦探小组：

侦探 A（预测者）： 这是标准的 AI，它观察图并尝试猜测答案（例如，“有毒”或“安全”）。
侦探 B（裁判）： 这是一个全新的、专门训练来观察侦探 A 的特殊 AI。它的唯一任务是决定：“侦探 A 的信心是否足够做出判断，还是这只是一个拙劣的猜测？”

如果裁判认为信心不足，整个团队就会说“弃权”，并将案件移交给人类。

3. 他们是如何训练的：“热身”与“校准”

训练这个团队并不只是简单地告诉他们要小心。作者使用了一种巧妙的两阶段训练策略：

第一阶段：热身（为侦探 A 做准备）
在教导团队学会说“我不知道”之前，他们首先训练侦探 A 在处理清晰案例时表现得非常出色。他们让 AI 进行练习，直到它进入了一个“小梯度区域”。
- 类比： 想象一个正在备考的学生。在你要求他们评估自己的信心之前，你首先要让他们掌握基础知识。首先，他们只需努力学习以打好基础。
** 第二阶段：校准（教导裁判）**
一旦侦探 A 趋于稳定，他们就开始训练侦探 B（裁判）。他们向裁判展示侦探 A 正确和错误的案例，教导裁判如何识别其中的差异。
- “全局聚类”技巧： 训练中的一个常见问题是，如果你只观察一小组学生（一个“批次”），你可能会得到有偏见的观点。为了解决这个问题，AbstainGNN 保留了一个关于全班同学正确答案特征的全局记分卡。这确保了裁判既公正又准确。

4. 理论依据：为什么有效

这篇论文不仅仅是一个“试一试看效果”的实验；他们通过数学证明了其有效性。

“聚类”概念： 他们证明了，对于 AI 要想知道何时弃权，所有的“有毒”图必须看起来非常相似（紧密的簇），并且所有的“安全”图也必须看起来非常相似。
神奇之处： 通过迫使 AI 将相似的图紧密分组在一起（减少“类内方差”），AI 自然会在正确时更有信心，而在面对奇怪事物时信心降低。这种数学证明确保了 AI 不仅仅是在随机猜测；它清楚地知道何时应该停止。

5. 结果：更聪明、更安全的决策

作者在五个不同的现实世界数据集（如化学结构和社会网络）上测试了 AbstainGNN。

记分卡： 他们衡量了两件事：覆盖率（AI 尝试解决的案例数量）和风险（它犯错的数量）。
优势： 当被允许跳过困难案例时，AbstainGNN 的表现始终优于其他方法，其错误率更低。
- 示例： 在 MUTAG 数据集（化学物质）上，在跳过相同数量的困难案例的情况下，AbstainGNN 比次优方法减少了 16.8% 的错误风险。

总结

AbstainGNN 就像是教会一个超级聪明的 AI 如何拥有说“我不确定”的谦逊。

它使用两阶段训练过程：先学习事实，再学习判断信心。
它使用数学规则来确保相似的事物看起来相似，从而使信心评分值得信赖。
它通过在处理困难案例时犯更少危险错误，从而超越了现有方法，这在化学和生物等安全性极高的领域尤为重要。

论文得出结论，通过赋予 AI 弃权的能力，我们可以使这些系统在面对现实世界的高风险决策时更加可靠。

技术摘要：AbstainGNN

问题陈述

图分类是图数据挖掘中的一项基础任务，在分子性质预测、材料分析和社交网络分析等领域具有广泛应用。尽管图神经网络（GNN）已取得了显著的性能提升，但它们面临一个关键局限：在存在高不确定性、结构证据模糊或类间分离度弱的情况下，它们通常被迫做出预测。在安全至上的领域（如药物发现或金融风险评估），这种被迫决策可能会导致严重的下游错误。

现有的“带弃权学习”（或称分类拒绝）方法主要针对计算机视觉领域开发，允许模型将不确定的预测推迟给人类专家。这些方法往往无法捕捉图结构数据中固有的丰富拓扑和关系信息。此外，大多数现有方法依赖于缺乏坚实理论基础的启发式设计，这阻碍了为图领域开发原则性的弃权机制。

方法论

作者提出了 AbstainGNN，这是一个全新的、由理论驱动的框架，旨在明确赋予 GNN 在面对不确定图样本时进行弃权的能力。该框架由两个主要部分组成：用于分类的预测函数 $f$ 和用于确定是预测还是拒绝的弃权函数 $g$ 。

理论基础

AbstainGNN 的核心源自 PAC-Bayesian 泛化视角。作者从理论上刻画了分类误差与拒绝成本之间的权衡。

泛化界限： 定理 4.1 确立了 AbstainGNN 的泛化性能受经验边际损失（empirical margin-based loss）以及**图级表示的类内方差（intra-class variance of graph-level representations）**的上界约束。
核心洞察： 最小化图级表示的类内方差对于提高带弃权的图分类性能至关重要。

学习目标

基于理论分析，作者推导出了一个统一的学习目标：
$\mathcal{L}_{total} = \mathcal{L}_{ce} + \lambda_r \mathcal{L}_{icv}$
其中 $\mathcal{L}_{ce}$ 是标准的交叉熵损失， $\mathcal{L}_{icv}$ 是一种新型的正规化损失，旨在降低图级表示的类内方差。理论分析（定理 4.2）表明，最小化该目标会导致类内方差收缩，从而使泛化界限更加紧致。

实现策略

为了高效优化该目标，AbstainGNN 采用了两阶段训练策略：

预测函数预热（Warm-start）： 预测函数 $f$ 仅使用 $\mathcal{L}_{ce}$ 进行预训练，以将模型推入小梯度区域。这在引入方差正规化之前稳定了优化过程。
弃权函数校准：
- 全局聚类调整： 为了减轻由批次更新引起的估计偏差，模型在整个训练过程中使用移动平均策略来维护全局类簇（ $\mu_y$ ）。这确保了类内方差估计的准确性。
- 校准： 弃权函数 $g$ （通过 GNN 实现）被训练用于预测预测函数 $f$ 的输出是否正确。这通过将置信度校准转化为二分类任务，使置信度得分与预测准确率保持一致。

核心贡献

问题定义： 本研究首次探讨了带弃权的图分类问题，使 GNN 能够拒绝不确定或未知的图样本，从而提高在安全至上领域中的可靠性。
理论分析： 作者推导了 AbstainGNN 的 PAC-Bayesian 泛化界限，揭示了最小化类内方差是实现有效弃权在理论上的必要条件。这由此产生了一个统一的学习目标。
模型实现： 在理论指导下，作者开发了一种高效的实现方式，其特点是采用两阶段训练策略和全局类簇调整机制，以缓解估计偏差。
实验验证： 在五个真实世界基准数据集上的全面实验证明了该方法优于现有的弃权基准方法。

实验结果

作者在五个基准数据集上评估了 AbstainGNN：PROTEINS, MUTAG, NCI1（化学图）以及 IMDB-BINARY, COLLAB（社交图）。他们将其与最先进的基准方法进行了对比，包括 SR, MC-Dropout, Deep Gamblers, SAT, CCL-SC, NCwR 和 GraphPPD。

性能表现： 在所有数据集和覆盖率水平下，AbstainGNN 均一致优于现有方法。
风险降低： 在相同的拒绝率下，该模型实现了显著的相对风险降低：
- MUTAG 降低了 16.8%
- IMDB-BINARY 降低了 15.8%
- PROTEINS 降低了 9.8%
- COLLAB 降低了 5.9%
- NCI1 降低了 4.8%
消融实验： 移除预热策略或类内方差正规化项（ $\mathcal{L}_{icv}$ ）均会导致性能下降，证实了这两部分的必要性。
效率： 运行时分析显示，与基准方法相比，AbstainGNN 仅引入了适度的计算开销，在有效性和效率之间保持了良好的平衡。

重要性与主张

本文声称 AbstainGNN 通过提供第一个原则性的带弃权图分类框架，填补了图数据挖掘领域的一个重要空白。通过超越启发式设计，转向基于泛化界限的理论驱动方法，该方法为 GNN 提供了一种更可靠的决策机制。作者强调，该方法对于安全至上的应用特别有价值，因为在这些应用中，错误决策的代价远高于弃权代价。该工作验证了显式建模图结构信息并降低类内方差，是实现卓越的图分类任务覆盖率-风险权衡的关键。