🤖 machine learning

GATTA: Graph Active Learning with Test-Time Augmentation

本文介绍了 GATTA，这是一个通过利用基于一致性过滤的测试时增强来生成可靠不确定性估计的图主动学习框架，证明了该方法能显著增强简单的采集策略，使其在具有更低计算开销的情况下超越复杂的集成方法。

原作者： Zsombor Bánfi, András Gézsi, András Formanek

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Zsombor Bánfi, András Gézsi, András Formanek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字时代，我们的世界很大程度上并非被映射为一份平铺的清单，而是被映射为一个巨大的连接网络。想象一个社交网络，其中的朋友彼此相连；或者一个科学数据库，其中的研究论文相互引用。为了理清这些错综复杂的网络，计算机使用一种特殊类型的人工智能，称为图神经网络（graph neural network）。这些系统非常擅长从关系的结构中学习，帮助我们预测从哪些分子可能治愈疾病，到信息如何在社区中传播的一切事物。然而，这些智能系统通常需要海量的标注数据才能有效地学习。在现实世界中，标注数据往往既缓慢又昂expensive，且需要人类专家。如果你试图在医疗记录中识别一种罕见疾病，或在金融网络中识别某种特定类型的欺诈，你不能简单地让计算机去猜测；你需要人类来验证答案。这造成了一个瓶颈：计算机已经准备好学习了，但人类却因为太忙而无法提供必要的示例。

为了解决这个问题，研究人员使用了一种称为主动学习（active learning）的技术。与其要求人类标注成千上万个随机示例，不如让计算机扮演一个好奇的学生，只针对它最困惑的具体信息进行提问。它会挑选网络中最不确定的节点，并请求人类对其进行标注，希望这仅有的几个新示例能带给它最多的教益。然而，挑战在于如何知道哪些节点是真正不确定的。在一个复杂的连接网络中，计算机的猜测可能会受到其邻居的影响，这使得很难判断机器是真的不确定，还是仅仅被数据的噪声所干扰。如果计算机选择了错误的示例进行标注，人类的努力就会白费，系统的学习速度也会变慢。

来自布达佩斯和鲁汶的一组研究人员引入了一种名为 GATTA 的新方法，全称是“基于测试时增强的图主动学习”（Graph Active Learning with Test-Time Augmentation）。他们的工作表明，有一种出人意料的简单方法可以让这些系统在了解自身“不知道什么”方面变得更加聪明。其核心思想借鉴了长期用于图像识别的一种技术：计算机观察一张图片，然后观察该图片的略微修改版本——比如调整了亮度或改变了角度——以观察其答案是否会发生变化。如果计算机对每一次细微的变化都给出不同的答案，它就知道自己是不确定的。如果它每次都给出相同的答案，它就是自信的。研究人员将这一概念适配到了图数据中，但加入了一个关键的转折。与图片不同（旋转图片并不会改变物体本身），改变图中的连接可能会从根本上改变数据的含义。如果你删除了社交网络中两个人的连接，计算机可能会突然认为他们是陌生人。

为了处理这个问题，GATTA 框架会在计算机试图决定询问什么的时候，生成许多个略有不同的图版本。然后，它会观察所有这些不同版本的答案。如果计算机在所有变体中都保持一致，它就知道该节点不值得询问。如果答案各不相同，它就知道该节点是一个适合人类标注的候选对象。但由于某些变化可能会意外地破坏数据的含义，研究人员添加了一个安全过滤器。这个过滤器会检查计算机的预测在不同版本之间是否保持一致。如果某个图版本导致计算机对某个节点的类别产生了完全不同的判断，该版本就会被视为不可靠而被丢弃。系统随后仅根据一致的版本来计算平均值，从而获得真实的确定性度量。

这种方法的成果在多种不同类型的网络中进行了测试，包括论文相互引用的引用网络，以及商品被共同购买的商品网络。研究人员发现，这种方法使得非常简单、快速的计算机策略能够表现得与那些专门为此设计的、更复杂且计算成本更高的复杂方法一样好，甚至更好。在许多情况下，这种简单的策略结合这种新的增强技术，使最终模型的准确率提高了几个百分点，这在机器学习领域是一个显著的提升。或许最重要的一点是，该方法无需更改底层计算机模型的架构或从头开始重新训练。它就像一个插件式的升级，可以应用于现有的系统中。

研究还揭示了改变后的图组的大小非常重要。研究人员发现，使用大约 500 个不同的图变体可以在速度和准确性之间达到最佳平衡。超过这个数量会带来收益递减的问题，而使用过少则无法提供足够的信息来识别出那些真正不确定的节点。他们还发现，当对图进行的修改足以挑战计算机的理解，但又不至于破坏数据的含义时，该方法效果最好。通过仔细调整这些因素，研究人员展示了从业者可以在显著降低计算成本的同时，获得高性能的结果。

这项工作表明，通往更好的图数据人工智能之路并不总是需要构建更复杂的算法。相反，可以通过让现有系统对不确定性更加稳健来实现。通过要求计算机从许多略微不同的角度来看待同一个问题，并过滤掉那些令人困惑的版本，系统学会了信任自己的怀疑。这使得人类专家能够将时间集中在最有价值的示例上，从而使整个教学过程更加高效。研究结果表明，对于许多现实世界的应用场景，一种简单、可靠的测量不确定性的方法，比一种复杂的理论化方法更强大，它为任何从事连接数据工作的人提供了一个实用的工具。

技术摘要：GATTA（基于测试时增强的图主动学习）

问题陈述

图神经网络（GNNs）在建模关系数据方面已取得了最先进的性能，但它们通常依赖大量的标注数据集，这在标注成本高昂的领域（如科学和工业应用）中造成了瓶颈。主动学习（Active Learning, AL）通过策略性地选择最具信息量的节点来进行标注来解决这一问题。然而，与传统的 AL 设置相比，图结构数据呈现出独特的挑战：

结构依赖性： 节点预测取决于多跳邻域而非独立样本，这违反了标准不确定性采样中的独立性假设。
不确定性估计： 由于邻域聚合效应的影响，区分认识不确定性（可通过标签减少）和偶然不确定性（不可还原的噪声）变得复杂，这往往会导致偏差的节点选择。
现有方法的局限性： 复杂的量化不确定性方法（例如贝叶斯方法、集成方法如 MC Dropout，或复杂的采集函数如 MP 和 ESP）通常计算成本高昂，且需要架构修改或重新训练，限制了其可扩展性和易用性。

虽然测试时增强（Test-Time Augmentation, TTA）已被证明在计算机视觉中通过聚合扰动输入视图来提高不确定性估计的有效性，但其在图结构数据中的应用在很大程度上仍未得到充分探索。图中的一个特定挑战在于，增强操作（如边丢弃、特征掩码）本质上并非保持标签不变的；它们可能会改变用于预测的语义证据，从而可能引入噪声而非有用的不确定性信号。

方法论：GATTA

作者引入了 GATTA（基于测试时增强的图主动学习），这是一个即插即用的框架，旨在增强现有的图主动学习流水线，而无需对底层 GNN 进行架构更改。

核心机制

GATTA 通过在一系列增强的图视图分布上估计期望采集分数，而不是依赖于单个图实现。给定预训练的 GNN $f_\theta$ 和随机增强过程 $q(\phi | G)$ ，GATTA 近似计算期望值：
$Q^* = \mathbb{E}_{\phi \sim q(\phi|G)} [Q(f_\theta(\phi(G)))]$
其中 $Q$ 是采集函数。该期望值通过对 $N$ 个增强视图 $\{G^{(i)}\}_{i=1}^N$ 进行蒙特卡洛采样来近似。

关键组件

图增强： 该框架采用了标准的图增强技术：
- 特征掩码（Feature Masking）： 随机将节点特征置零。
- 特征加噪（Feature Noising）： 向节点特征添加高斯噪声。
- 边丢弃（Edge Dropout）： 随机移除边。
- 作者发现，结合特征加噪和边丢弃（FN+ED）效果最好。
聚合策略： GATTA 提出了两种不同的方式来聚合来自增强视图的预测：
- GATTA-S（分数聚合）： 对每个增强视图独立应用采集函数 $Q$ ，然后对生成的得分进行平均。
  $Q_S \approx \frac{1}{N+1} \sum_{i=0}^N Q(P_i)$
- GATTA-P（预测聚合）： 先对预测分布进行平均，然后再应用采集函数。
  $Q_P \approx Q\left( \frac{1}{N+1} \sum_{i=0}^N P_i \right)$
- 分析： 由于非标签保持型增强会导致“语义漂移”，GATTA-P 对此类情况更为敏感，因为平均概率可能会在视图差异显著时破坏不确定性估计。GATTA-S 则更为鲁棒，因为它在平均之前保留了单视图的不确定性。
一致性过滤： 为了应对非标签不变增强带来的挑战，GATTA 引入了一个过滤机制。它会丢弃那些预测类别与原始图预测类别不同的增强视图。
- 对于 GATTA-P，过滤机制对于防止性能下降至关重要，尤其是在增强强度较高时。
- 对于 GATTA-S，过滤机制并不那么关键，因为该方法即使在没有过滤的情况下也能保持鲁棒。

实验方案

评估重点是 转导式节点分类（transductive node classification）。该方案包括：

初始化一个包含每类一个节点的已标记集。
从当前已标记集开始从头训练 GNN。
使用采集策略为未标记节点评分。
将得分最高的节点添加到已标记集中并从头开始重新训练。
重复此过程，直到耗尽固定的预算（4C，其中 C 是类别数）。
在留出的测试集上评估最终准确率。

核心贡献

框架引入： 首次系统性地将测试时增强集成到图主动学习中，并提出了用于处理非标签不变图扰动的基于一致性的过滤机制。
性能与复杂度的权衡： 证明了通过 GATTA 增强的简单不确定性方法（如 Entropy, Least Confidence）可以达到甚至超过复杂的、计算成本高的采集函数（如 MP, ESP, GEEM）以及模型侧集成方法（如 MC Dropout），且计算成本极低。
实践指南： 提供全面的分析，包括关于增强类型（首选 FN+ED）、强度（中等到高）、集成规模（在 $N=200$ 时趋于饱和）以及基于采集函数复杂度的聚合策略权衡（GATTA-S vs. GATTA-P）的部署指南。

结果

作者在五个数据集（引用网络：Citeseer, CoraML, PubMed；共购网络：AmazonPhotos, AmazonComputers）、两种 GNN 架构（GCN, SGC）和六种采集策略上对 GATTA 进行了评估。

对简单方法的有效性： GATTA 为简单的基于不确定性的策略提供了实质性的改进。
- 最小置信度（Least Confidence, LC）： 平均增益为 +2.87%。
- 熵（Entropy）： 平均增益为 +3.03%。
- 在若干情况下（例如 CoraML, PubMed），经过 GATTA 增强的简单方法超过了像 GEEM 这样的复杂基准模型。
对复杂方法的无效性： 已经包含了复杂不确定性机制或结构信息的算法（例如 AGE, ANRMAB, GEEM, ESP）表现出不一致或微不足道的收益，并且在某些情况下（例如 AmazonComputers 上的 GEEM 和 MC Dropout），性能反而下降。这表明 GATTA 主要改善了输入到采集函数的预测分布；如果该函数已经考虑了不确定性或结构约束，额外的增强可能会引入噪声。
聚合策略： GATTA-S 在没有过滤的情况下始终优于 GATTA-P。GATTA-P 需要一致性过滤才能获得正向收益，尤其是在强增强情况下。
与 MC Dropout 的比较： GATTA 在 4 个数据集上匹配或优于 MC Dropout。将 GATTA 与 MC Dropout 结合使用并没有带来额外的收益，且往往会导致性能下降，这表明它们捕捉到了重叠的不确定性信息。
可扩展性： GATTA 随集成规模（收益呈对数增长）和图规模的变化而高效扩展。运行时间开销由集成规模和采集函数的复杂度决定。对于简单函数，GATTA-S 和 P 的扩展性相似；对于复杂函数，GATTA-P 的效率显著更高。

意义与主张

本文声称，通过测试时增强来增强简单、高效的不确定性方法，比设计复杂的采集函数是实现强大主动学习性能更具实际意义的路径。

易用性： GATTA 允许从业者以较低的计算开销和更低的实现复杂度获得具有竞争力的结果，因为它在推理层面运行，无需修改模型架构或重新训练。
设计原则： 研究结果建议了一种设计理念的转变：与其开发日益复杂的采集策略，不如通过 TTA 来增强稳健的简单策略，以获得更优的不确定性估计。
泛化性： 该框架与架构无关，并在特定的图属性（如同质性、特征信息量）被考虑的前提下，广泛适用于各种 GNN 模型（GCN, SGC, GAT, GraphSAGE）和数据集类型。

作者承认存在局限性，指出评估仅限于同质图上的转导式节点分类，且一致性过滤假设初始预测是相对可靠的。未来的工作方向包括自适应增强策略和收敛性的理论分析。