技术摘要：重新审视预传播图神经网络

1. 问题陈述

预传播图神经网络（PP-GNNs）通过将特征传播与变换解耦，为传统的消息传递图神经网络（MP-GNNs）提供了一种可扩展的替代方案。在 PP-GNNs 中，图扩散作为预处理步骤仅执行一次，以生成多跳特征，使得后续训练阶段能够利用密集的、可小批量处理的变换，而无需节点间的依赖。尽管这种设计提高了效率，并与针对密集计算优化的现代硬件加速器相匹配，但 PP-GNNs 的表现与 MP-GNNs 相比仍存在显著差距，尤其是在异配性图（即相连节点往往具有不同标签的图）上。

作者确定了导致这一差距的两个主要设计局限：

1. 扩散算子局限性：标准 PP-GNNs 依赖于简单的算子（如归一化邻接矩阵、随机游走），这些算子充当低通滤波器。这对于通常需要高频或带通分量的异配性图而言并非最优。此外，标准的单项式扩散基（扩散矩阵的幂）往往条件数较差，并产生高度相关的特征，限制了近似质量。
2. 一次性传播：PP-GNNs 仅对原始输入特征进行一次传播。与 MP-GNNs 不同，后者通过迭代地将传播与非线性变换交错进行以优化任务自适应表示，PP-GNNs 无法在训练过程中根据不断演变的隐藏状态更新传播后的特征。

2. 方法论

本文提出了一系列改进措施，旨在缩小精度差距，同时保留 PP-GNNs 的训练效率。该方法包含三个主要组成部分：

A. 鲁棒扩散算子

为了解决标准扩散基的局限性，作者为预处理阶段引入了两种正交的、条件数更优的扩散基：

• 雅可比多项式基：作者利用雅可比多项式 $P_k^{(\alpha, \beta)}(\tilde{L})$ 代替单项式 $\Phi^k$，其中 $\tilde{L}$ 是移位拉普拉斯矩阵。参数 $(\alpha, \beta)$ 基于图的光谱密度（使用随机切比雪夫矩）在单次轻量级预处理步骤中进行校准，以在图光谱集中的区域分配分辨率。这创建了一个正交基，降低了特征相关性。
• 兰道斯/克雷洛夫子空间基：为了捕捉特定通道的频谱内容，作者利用兰道斯迭代为每个特征通道构建克雷洛夫子空间。这生成了一组里茨向量和值，构成了一个正交的、与信号对齐的扩散库。该方法将特征分解为去相关的分量，为固定跳数预算下的聚合提供了更稳定的坐标系。

B. 隐藏状态重传播 (HRP)

为了克服“一次性”传播的局限性，作者引入了隐藏状态重传播 (HRP)。该机制将特征传播与学习到的表示重新耦合：

• 机制：训练被分为多个阶段。在每个阶段结束时，选择最佳隐藏表示（在最终输出投影之前）并将其分离。然后，该隐藏状态通过扩散算子重新传播，以生成一组新的多跳特征。
• 集成：这些重新传播的隐藏特征与原始预计算特征混合，形成下一个训练阶段的输入。
• 区别：作者明确将 HRP 与基于标签的复用（例如，使用逻辑输出或独热标签作为特征）进行对比。他们认为，重新传播高维隐藏状态携带了超越类别概率的互补关系信息，而标签传播可能会引入捷径或噪声，特别是在异配性图上。

C. 基于 RNN 的跳数聚合器

作为一种可选的效率改进，作者提出用循环神经网络（RNN）替代多头注意力（MHA）聚合器（如 HOGA 模型中所用），以处理跳数特征序列。这在保持相当精度的同时，降低了计算开销和内存使用。

3. 主要贡献

1. 鲁棒扩散基的适配：本文将雅可比多项式和克雷洛夫子空间扩散基适配到 PP-GNN 预处理方案中。这些基改善了预计算特征的条件数，并在固定跳数预算下实现了更丰富的频谱响应。
2. 隐藏状态重传播 (HRP)：一种轻量级机制，通过重新传播中间隐藏状态来迭代优化 PP-GNNs，有效地在不牺牲可扩展性的情况下，弥合了一次性传播与迭代消息传递之间的差距。
3. 高效聚合：一种基于 RNN 的跳数聚合器，作为基于注意力的聚合器的计算成本更低的替代方案。
4. 实证验证：在 12 个数据集（6 个异配性，6 个同配性）和 4 个 PP-GNN 骨干网络（SIGN, HOGA, GAMLP, GARNN）上进行了广泛的实验。

4. 实验结果

所提出的方法在异配性和同配性基准上进行了评估：

• 异配性图：在六个异配性数据集（包括 Roman-Empire、Minesweeper 和 Pokec）上，增强的 PP-GNNs 显著缩小了与 MP-GNNs 的精度差距。
  • 在异配性数据集上，相对于基线 PP-GNNs 的平均测试精度提升了 +2.18%。
  • 增强的模型在 6 个异配性图中的 4 个上优于强大的 MP-GNN 基线（如 GraphSAGE, GAT）。
  • 在 Roman-Empire 数据集上，MP-GNNs 与 PP-GNNs 之间的精度差距从约 11% 缩小至近乎持平。
• 同配性图：改进也转移到了同配性数据集（如 Cora、Citeseer、OGBN-Arxiv），平均提升了 +1.96%。增强的 PP-GNNs 在 6 个同配性数据集中的 3 个上优于 MP-GNNs。
• 消融研究：
  • 仅使用鲁棒扩散算子提供了约 2.09%（验证集）/ 1.99%（测试集）的平均增益。
  • HRP 提供了额外的约 1.54%（验证集）/ 1.61%（测试集）的增益。
  • HRP 显著优于“标签作为输入”和标签传播策略，特别是在标签平滑度较低的异配性图上。
• 效率：
  • 兰道斯算子增加的成本相当于几个标准扩散步骤。
  • HRP 引入了少量阶段（通常 < 4，最多 7 个），其中重传播扩散仅占总训练时间的约 2%。
  • 基于 RNN 的聚合器（GARNN）达到了与 HOGA 相似的精度，但训练时间显著减少（在 Pokec 上为 2.4 秒/epoch 对比 8.4 秒/epoch）。
  • 总体而言，增强的 PP-GNNs 实现了有利的精度 - 运行时间权衡，使 PP-GNN 家族更接近 MP-GNNs 的帕累托前沿。

5. 意义与主张

本文声称，所提出的框架成功解决了预传播图神经网络的表达能力局限性，而无需回归到迭代消息传递的计算瓶颈。

• 可扩展性与表达能力：这项工作表明，PP-GNNs 并非为了可扩展性而固有地牺牲表达能力；相反，差距源于次优的扩散算子和缺乏迭代优化。通过使用鲁棒扩散基和 HRP，PP-GNNs 可以在保留其训练效率和小型批量能力的同时，达到或超过 MP-GNNs 的精度。
• 通用适用性：虽然该方法 motivated 于异配性挑战，但实验表明其在异配性和同配性图结构上均有益。
• 实际影响：该方法提供了一条途径，可在大规模图（如社交网络、推荐系统）上部署高度可扩展的 GNN，其性能可与最先进的消息传递模型竞争，并可能降低大规模图学习的计算成本和能源消耗。

作者保持了谦逊的态度，指出虽然这些方法提高了性能，但它们并未引入新的数据模态，也并未从根本上防止与图学习相关的下游伦理风险（如偏差放大），强调了在部署中负责任机器学习实践的必要性。