🤖 machine learning

Towards Stable, Globally Expressive Graph Representations with Laplacian Eigenvectors

本文提出了一种通过利用可学习的 $O(p)$ 不变表示以及对数值接近的特征值进行平滑处理，从而基于拉普拉斯特征向量生成稳定且具有全局表达能力的图表示，来增强图神经网络的新方法。

原作者： Junru Zhou, Cai Zhou, Xiyuan Wang, Pan Li, Muhan Zhang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Junru Zhou, Cai Zhou, Xiyuan Wang, Pan Li, Muhan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教会一台计算机理解一个复杂城市（即一个“图”）的形状和结构，这个城市由交叉路口（节点）和道路（边）组成。计算机使用一种叫做**图神经网络（GNN）**的工具来进行学习。

然而，标准的 GNN 有两个主要的盲点：

局部盲点： 它们无法区分两个在即时邻域内看起来完全相同的交叉路口，即使这两个路口在整个城市的宏观结构中是截然不同的。
全局盲点： 它们难以理解两个遥远部分之间的关系，因为它们一次只能观察一条街道。

为了解决这个问题，研究人员通常会给计算机一张城市的“振动图”。在数学术语中，这些被称为拉普拉斯特征向量（Laplacian Eigenvectors）。你可以把这些特征向量想象成城市独特的“振动模式”或“指纹”。它们能精确地告诉计算机，某个节点在宏观大局中处于什么位置，以及它如何与整个系统连接。

问题所在：“摇晃的地图”

问题在于，这些振动图非常棘手。如果你旋转城市或者翻转地图，数值就会发生变化，尽管城市本身并没有改变。如果计算机被这些旋转所迷惑，它就会学到错误的东西。

更糟糕的是，这些地图是不稳定的。想象一下，一场微小的地震（数据的微小变化）导致一个高频振动模式突然破碎成几个较小的、不同的模式。如果计算机被训练去识别“大模式”和“小模式”为完全不同的事物，那么一次微小的地震就会让计算机陷入恐慌，并给出一个完全错误的答案。以往的方法试图通过将这些模式视为僵化的、独立的模块来解决问题，但这使得系统变得脆弱，容易在微小变化下崩溃。

解决方案：一种灵活、平滑的方法

该论文的作者提出了一种处理这些地图的新方法，他们称之为 OGE-Aug。他们使用了两个主要思路：

1. “通用翻译官”（Vanilla OGE-Aug）
首先，他们设想了一个超级聪明的翻译官，它可以观察任何一组振动模式（无论有多少个），并以一种不关心地图是否旋转或翻转的方式来描述它们。他们证明了，如果你使用这个翻译官，计算机理论上可以完美理解任何图。这就像拥有一本字典，可以描述每一种可能的城市布局，而不会被视角所迷惑。

2. “软滤波器”（OGE-Aug）
然而，这个超级聪明的翻译官在城市轻微振动时仍然有些摇晃，因此作者添加了一个平滑滤波器。

旧方法（硬划分）： 想象一下按大小对一盒弹珠进行分类。如果你有一个 5.0mm 的弹珠，你就把它放入“5mm”箱子。如果一次微小的振动让它变成了 5.01mm，你突然就必须把它移到“5.1mm”箱子里。这种“硬划分”会导致混乱。
新方法（软掩码）： 与其使用硬性的箱子，不如想象弹珠被一层柔软的、模糊的凝胶覆盖着。一个 5.0mm 的弹珠主要处于“5mm”区域，但也稍微重叠在“5.1mm”区域。如果它振动到了 5.01mm，它只是在凝胶内轻微移动，而不会跳到另一个箱子里。

作者使用一种数学上的“软掩码”（平滑函数）将不同的振动模式融合在一起。这确保了如果图发生了微小的变化，计算机的理解也会随之平滑变化，而不是发生突变。

他们的发现

他们在现实世界的数据上测试了这种新方法，包括：

分子： 预测化学性质（例如一种药物分子的行为）。
远程相互作用： 理解网络中遥远部分之间的连接。

结果：

更高的准确度： 他们的这种方法在标准测试中击败了几乎所有现有的方法。
全局理解： 这种方法在学习“全局”属性方面表现尤为出色——即那些依赖于整体结构（如分子的总能量）而非仅仅依赖局部细节的属性。
稳定性： 当数据带有轻微噪声或发生变化时，他们的方法能保持冷静和准确，而旧方法往往会失效。

总结

这篇论文介绍了一种为复杂网络提供“稳定、全局地图”的方法。通过使用一种灵活的、“软性”的数学滤波器来处理地图的振动，他们创造了一个既能极其强大地理解复杂结构，又足够鲁棒（能够应对现实世界噪声而不崩溃）的系统。

技术摘要：迈向具有拉普拉斯特征向量的稳定且全局表达性的图表示

问题陈述

图神经网络（GNNs），特别是消息传递神经网络（MPNNs），面临两个主要局限性：

局部表达能力有限： MPNNs 通常无法区分非同构图或具有相似邻域的结构不同节点，这一局限性受限于 1-Weisfeiler-Lehman (1-WL) 测试。
无法捕捉全局属性： 由于多次消息传递步骤导致的“过度压缩”（oversquashing），MPNNs 难以学习长程相互作用。

一种解决这些问题的有前途的方法是将拉普拉斯特征向量（Laplacian eigenvectors）与节点特征进行增强，这些特征提供了丰富的局部结构信息和全局位置坐标。然而，使用这些特征向量会引入两个关键约束：

正交群不变性（Orthogonal Group Invariance）： 拉普拉斯矩阵的特征分解不是唯一的。对于维度为 $p$ 的一个特征空间，对应于相同特征值的任何正交变换（ $O(p)$ ）都会产生同样有效的分解。GNN 必须对同构图产生相同的输出，无论其特征空间选择了哪种基底。
稳定性（Stability）： 当输入图发生微小扰动时，网络输出必须保持接近。对特征空间进行单独处理（例如，为不同的维度使用不同的编码器）的朴素方法是不稳定的，因为微小的扰动可能导致高维特征空间分裂成低维特征空间，从而导致所应用的编码器发生突变。

先前的工作尝试通过使用特征向量的内积（例如 $VV^T$ ）或差值的范数来解决不变性问题，但这些方法往往会丢弃丰富的结构信息，或无法确保稳定性。

方法论

本文提出了一个框架，用于生成基于拉普拉斯特征向量的稳定且具有全局表达性的图表示。该方法分两个阶段开发：

1. Vanilla OGE-Aug（Vanilla 正交群等变增强）

作者首先提出了一个在理论上理想的方法，以实现通用图表示。

机制： 对于每个对应于特征值 $\lambda_j$ 且维度为 $\mu_j$ 的特征空间，该方法应用特定的 $O(\mu_j)$ -不变通用表示函数，记作 $f_{\mu_j}$ 。这些函数基于强大的点云网络（如 Tensor Field Networks）。
构建： 通过将原始节点特征与处理后的特征向量、特征值及重数（multiplicities）的集合表示进行拼接，来构建增强后的节点特征。
理论结果： 作者证明，如果底层的点云网络是通用的，那么生成的 GNN 架构将是图的通用表示（能够区分任何非同构图），前提是暂时忽略稳定性约束。
局限性： 这种“硬拆分”方法（即为不同的特征空间维度使用不同的编码器）是不稳定的。图的微小扰动可能会改变特征值的重数，导致模型在不同的编码器（从 $f_{\mu}$ 到 $f_{\mu'}$ ）之间切换，从而导致输出的不连续变化。

2. OGE-Aug（平滑正交群等变增强）

为了解决 Vanilla OGE-Aug 的不稳定性，作者提出了一个平滑变体：OGE-Aug。

机制： OGE-Aug 不再为每个特征空间使用单独的编码器，而是使用单个 $O(n)$ -不变的通用表示函数 $f$ 来处理所有特征向量。
软掩码（Soft Masking）： 为了确保来自不同特征空间的特征向量得到适当处理而不进行硬拆分，该方法采用了连续平滑函数 $\rho$ $ρ$ 。对于目标特征值 $\lambda_j$ $λ_{j}$ ，其他所有特征值 $\lambda_k$ $λ_{k}$ 的特征向量将由 $\rho(|\lambda_k - \lambda_j|)$ $ρ (∣ λ_{k} - λ_{j} ∣)$ 进行加权。
- $\rho(0) = 1$ 且当 $x \to \infty$ 时 $\rho(x) \to 0$ 。
- 这创建了一个“软”掩码，其中属于同一特征空间的特征向量被完全包含，而来自遥远特征空间的特征向量则被衰减。
稳定性： 作者在理论上证明了 OGE-Aug 是稳定的。通过避免硬拆分并使用带有平滑权重的单一编码器，输出随拉普拉斯矩阵的扰动而连续变化。
实现： 在实践中，作者使用基于笛卡尔张量的点云网络（最高至二阶张量）来实现 $f$ ，而不是使用理论上通用但在计算上难以处理的通用网络。

核心贡献

理论通用性： 本文确立了拉普拉斯特征向量在经过 $O(p)$ -不变通用点云网络处理后，可以实现通用图表示。这回答了特征向量方法的表示极限问题（忽略稳定性）。
稳定增强框架： 作者提出了 OGE-Aug，这是一种通过牺牲部分理论最大表达性来换取可证明稳定性的新颖方法。它利用单个 $O(n)$ -不变编码器和通过平滑掩码来处理数值接近的特征值，从而确保了对扰动的鲁棒性。
经验性能： 大量的实验表明，OGE-Aug 在各种基准测试（QM9, ZINC12k, PCQM-Contact, CLUSTER, PATTERN, ogbg-molhiv）上实现了具有竞争力的或最先进的性能。
全局属性学习： 结果表明，该方法在学习图的全局属性（例如分子的宏观热力学性质）方面特别有效，在需要建模长程相互作用的任务中，其表现优于基于子图的方法和其他特征向量增强的 GNN。

实验结果

论文在多个数据集上评估了 OGE-Aug：

QM9（分子属性）： OGE-Aug 在 12 个目标上实现了极具竞争力的平均绝对误差（MAE）。值得注意的是，它在诸如 $U_0, U, H, G$ （热力学性质）等高度依赖长程相互作用的目标上表现优异，超过了 MPNN、NGNN 和 PST 等方法。
ZINC12k（溶解度回归）： 结合简单的 GINE 主干网络，OGE-Aug 优于所有基线模型，包括先进的图 Transformer（GraphGPS, Specformer）和其他特征向量增强方法（SignNet, BasisNet）。
PCQM-Contact（长程链路排序）： 当与 GPS 架构结合使用时，OGE-Aug 在所有基线中实现了最高的平均倒数排名（MRR），验证了其捕捉长程相互作用的能力。
分布外（OOD）基准（DrugOOD）： OGE-Aug 展示了鲁棒的分布外性能，特别是在“Assay”领域，优于 BasisNet 和其他位置编码方法。这支持了其理论稳定性转化为实际鲁棒性的观点。
消融实验： 实验证实，将 OGE-Aug 替换为不稳定的 Vanilla OGE-Aug 会导致性能显著下降，验证了平滑函数 $\rho$ 对于稳定性的必要性。

意义与主张

本文声称其主要意义在于弥合了基于拉普拉斯特征向量的 GNN 中表达能力与稳定性之间的鸿沟。

虽然以往的工作要么为了稳定性牺牲了表达能力（使用内积），要么为了表达能力忽略了稳定性（朴素使用特征向量），但 OGE-Aug 提供了一种既可证明稳定又高度表达的方法。
作者强调，使用平滑掩码来处理特征空间分裂的技术是一种通用的方法，可以应用于其他涉及特征值和特征向量的机器学习领域。
该工作证明，通过以稳定的方式利用拉普拉斯特征向量提供的全局坐标，可以有效地学习全局图属性，而无需依赖计算昂贵的更高阶 GNN 或子图枚举。