🤖 machine learning

A Survey of Graph Transformers: Architectures, Theories and Applications

本文对图变换器（Graph Transformers）进行了全面的综述，系统地根据结构处理策略对其架构进行了分类，分析了它们的理论表达能力，并将其应用整理为关系型、几何型、动态型和异构型图形式，旨在提供实践指导并概述未来的研究方向。

原作者： Chaohao Yuan, Kangfei Zhao, Ercan Engin Kuruoglu, Liang Wang, Tingyang Xu, Wenbing Huang, Deli Zhao, Hong Cheng, Yu Rong

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chaohao Yuan, Kangfei Zhao, Ercan Engin Kuruoglu, Liang Wang, Tingyang Xu, Wenbing Huang, Deli Zhao, Hong Cheng, Yu Rong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教会一台计算机去理解这个世界——不是将其视为像素的网格或单词的列表，而是将其视为一个巨大的、纠缠不清的连接网络。想象一个社交网络，其中的朋友是点，而握手是线；或者一个分子，其中的原子是点，而化学键是线。这就是“图数据”（Graph Data），一种表示自然界中那些混乱且相互关联之物的形式。长期以来，理解这些网络的最优工具被称为图神经网络（GNN）。它们的工作方式就像一场“传声筒”游戏：一个节点（一个点）会倾听其直接邻居的故事，更新自己的故事，然后将这个新故事传递给邻居。这对于处理局部的“八卦”非常有效，但对于听取来自房间另一头的消息却表现糟糕。如果网络过于庞大或连接过于复杂，信息在传播过程中会变得极其模糊，以至于最后每个人听起来都完全一样。

于是，Transformer 登场了——它是现代人工智能领域的超级巨星，彻底改变了计算机阅读书籍和生成图像的方式。Transformer 就像是“超级聆听者”；它们可以同时关注句子中的每一个单词，无论这些单词相隔多远。它们以能够理解长距离关系且不会产生困惑而闻名。科学家们一直在思考的一个重大问题是：“如果我们赋予 Transformer 聆听这些纠缠网络的能力，会发生什么呢？”这就是图 Transformer（Graph Transformers）的故事。它们是领域内的新生力量，试图将 Transformer 的超能力与图的结构相结合，以解决那些旧有的“传声筒”式方法无法攻克的难题。

这篇论文是一份关于爆发式增长的图 Transformer 世界的宏大导览指南。作者们是一群来自顶尖大学和技术实验室的研究人员，他们并没有仅仅罗列出每一个新出现的模型，而是将这些混乱的信息整理成了一张清晰的地图。他们研究了这些模型的构建方式、它们为何奏效（或为何失效），以及它们究竟被应用在哪些领域。

首先，他们拆解了研究人员用来让 Transformer 理解图的不同“架构”（即蓝图）。事实证明，实现这一目标的方法不止一种。有些模型将网络中的每一个点视为一个独立的单词（节点级）；有些模型则将点组合成邻域（子图级）；甚至有些模型将连接本身视为单词（边级）。有些模型会添加特殊的“位置编码”，以告知 Transformer 该点在网络中的位置，就像给城市里的每座房子一个唯一的地址，以便邮递员知道该往哪里走。另一些模型则会调整“注意力机制”——即决定大脑关注什么的那个部分——以确保它关注的是图中实际存在的连接，而不仅仅是随机的点。作者还发现，一些最聪型的模型实际上是“混合体”，它们将旧有的“传声筒”风格与新的“超级聆听者”风格结合在一起，以获取两者的最佳优势。

论文还深入探讨了理论问题，提出了一个尖锐的问题：“这些新模型是真的更聪明了，还是仅仅只是声音更大了？”他们通过数学测试，将图 Transformer 与旧方法进行了对比，以观察它们是否能分辨出两个看起来完全相同、但实际上存在细微差异的图。他们发现，虽然图 Transformer 在理论上更强大，但“更强大”并不总是意味着在现实生活中能赢过一切。有时，旧的、更简单的方法同样出色，尤其是在数据含有噪声或计算机内存不足的情况下。

最后，作者们梳了理出这些模型真正胜出的领域。他们将应用场景分为四个主要阵营：

关系图（Relational Graphs）： 如社交网络或化学分子，重点在于谁认识谁。
几何图（Geometric Graphs）： 如 3D 蛋白质结构或晶体，其中空间中的精确形状和距离至关重要。
动态图（Dynamic Graphs）： 如交通流或谣言传播，其中网络会随时间变化。
异质图（Heterogeneous Graphs）： 如用户、产品和图像的混合体，其中不同类型的事物相互连接。

论文最后为任何想要构建这些模型的人提供了一份实用指南。它建议，最佳的设计完全取决于你试图理解什么样的网络。如果你在研究 3D 形状，你需要处理几何结构的特定工具；如果你在追踪交通，你需要处理时间的工具。作者指出，虽然图 Transformer 是向前迈出的一大步，但它们并不是解决一切问题的魔杖。它们功能强大，但也带来了自身的挑战，比如需要大量的计算能力，并且有时会在面对极其庞大、混乱的网络时感到困惑。论文以展望未来结束，暗示下一个重大突破可能来自于将这些模型与其他新技术相结合，或者来自于创建“基础模型”（Foundational Models）——即像大型语言模型对待文本那样，能够学习一次图结构后即可用于多种不同任务的模型。

技术总结：图 Transformer 综述：架构、理论与应用

问题陈述

图神经网络（GNNs），特别是基于消息传递范式的模型，在建模非欧几里得数据方面取得了显著成功。然而，它们面临着内在的局限性，包括过度平滑（over-smoothing，即深层网络中节点嵌入变得难以区分）和过度挤压（over-squashing，即由于信息压缩导致无法有效捕获长距离依赖）。虽然 Transformer 架构在捕捉序列数据（如 NLP、视觉）中的长距离依赖方面表现卓越，但标准 Transformer 忽略了图的固有结构信息。因此，需要对图 Transformer (GTs) 进行系统性的回顾，以研究如何使 Transformer 架构适应图结构，并克服传统 GNN 的局限性。

方法论与分类学

本综述通过三个主要维度对 GTs 进行了全面的回顾：架构、理论和应用。

1. 架构策略

作者根据现有 GT 架构如何将结构先验集成到 Transformer 框架中对其进行了分类：

多级图标记化 (Multi-level Graph Tokenization)： 将图数据转化为序列标记（tokens）。
- 节点级 (Node-level)： 将每个节点视为一个标记（最细粒度）。
- 边级 (Edge-level)： 将边视为标记，以捕获交互动态。
- 子图级 (Subgraph-level)： 将诱导局部块视为标记，以捕获高阶基元（motifs）。
- 跳数级 (Hop-level)： 构建围绕锚点节点的有序邻域序列，以强调距离壳层（distance shells）和可扩展性。
结构位置编码 (Structural Positional Encoding, PE)： 调整 PE 以表示节点在图中的位置。
- 绝对 PE (Absolute PE)： 根据图结构分配唯一的嵌入（例如，拉普拉斯特征向量、随机游走概率、节点度）。
- 相对 PE (Relative PE)： 直接将成对关系注入注意力机制（例如，最短路径距离、电阻距离）。
结构感知注意力机制 (Structure-aware Attention Mechanisms)： 修改注意力矩阵以反映图拓扑结构。
- 注意力偏置 (Attention Bias)： 向注意力分数中添加源自结构度量（如最短路径、边特征）的偏置项。
- 注意力掩码 (Attention Mask)： 使用结构矩阵（如邻接矩阵、扩散核）来掩盖或加权注意力连接。
- 边级输入 (Edge-level Input)： 将边标记直接纳入注意力计算。
模型集成 (Model Ensemble)： 以各种配置（串行、交错或并行）结合 GNN 和 Transformer，以同时利用局部消息传递和全局注意力。

2. 理论基础

本综述通过使用 Weisfeiler-Lehman (WL) 测试 层级作为基准，考察了 GTs 的表达能力 (Expressivity)。

标记化与表达能力： 高阶标记化（子图、边、跳数）允许模型模拟 $k$ 阶 WL 测试，从而能够区分标准 GNN（1-WL）无法区分的图结构。
位置编码： 理论分析表明，虽然强大的 PE 可以打破对称性，但除非结合适当的标记化，否则它本身并不能提供高阶结构身份。相对 PE 通常对成对关系更有效，而绝对 PE 则提供全局坐标。
局限性： 理论上的表达能力（最坏情况下的可区分性）并不总是能转化为经验性能，后者还受到优化、样本效率和数据分布的影响。

3. 应用组织

作者并未按领域（如化学、社交网络）进行组织，而是按图组织形式 (Graph Organization Forms) 对应用进行了分类：

关系图 (Relational Graphs)： 具有离散语义（如分子、知识图谱）。其核心设计涉及关系感知偏置和最短路径编码。
几何与周期性图 (Geometric & Periodic Graphs)： 具有 3D 坐标和晶格结构的数据（如蛋白质、晶体）。其核心设计涉及等变 (Equivariant) 层和距离感知注意力，以确保在欧几里得变换下的不变性/等变性。
动态图 (Dynamic Graphs)： 随时间演化的结构（如交通、谣言）。其核心设计涉及时间位置编码和时空耦合注意力。
异质/多模态图 (Heterogeneous/Multimodal Graphs)： 具有多种节点/边类型或模态的图。其核心设计涉及类型特定的投影和交叉注意力机制。

4. 实践指导

论文将这些发现综合为一份实践指导表 (Table 4)，根据采用频率将架构组件映射到四种图组织形式。这使得从业者可以根据其输入结构（而非仅仅是应用领域）来选择设计家族（例如，针对几何图使用基于距离的注意力，或针对动态图使用时间 PE）。

核心贡献

统一的架构框架： 将 GTs 系统地分类为四种不同的集成结构信息的策略，明确了超越权宜性修改的设计空间。
理论合成： 通过 WL 测试的视角对 GT 的表达能力进行了批判性审查，区分了标记化能力与位置编码的作用，并强调了理论能力与经验鲁棒性之间的差距。
应用重组： 提出了一种基于图组织形式（关系型、几何型、动态型、异质型）的全新 GT 应用分类法，揭示了跨领域的统一设计模式。
实践路线图： 提供了一份基于频率的指导表，帮助从业者针对特定图类型进行架构选择。
未来方向： 确定了开放性挑战，包括将 GTs 扩展到数据受限领域、将 GTs 与多模态基础模型集成、探索自注意力机制的替代方案（如 Graph Mamba），以及弥合谱理论与架构设计之间的鸿沟。

结果与主张

本文并未呈现新的实验结果，而是通过综合现有文献得出以下结论：

架构-任务对齐： GT 设计的有效性更多地由输入图的组织形式而非具体的应用领域来预测。例如，几何图一致地需要等变更新和基于距离的注意力，而关系图则受益于最短路径偏置。
表达能力 vs. 性能： 虽然某些架构选择（如子图标记化）在理论上增加了表达能力（超过 1-WL），但它们并不保证卓越的经验性能。计算成本、稳定性（例如，拉普拉斯 PE 对扰动的敏感性）以及任务性质（局部 vs. 全局）等因素起着至关重要的作用。
可扩展性与等变性： 在解决可扩展性（通过线性注意力、稀疏机制和跳数级标记化）和等变性（通过 SE(3)-等变层）方面已取得显著进展，但在将这些技术扩展到大规模、数据稀缺领域方面仍面临挑战。

意义

作者声称本综述具有重要意义，因为它超越了以往侧重于架构细节的综述。通过将架构见解、理论表达能力和跨领域应用整合到一个统一的框架中，本文提供了一种理解 GT 设计选择的系统化方法。其目标是指导研究人员和从业者为特定的图结构选择合适的模型，并确定了未来的研究方向，如开发图基础模型 (Graph Foundational Models) 以及探索用于捕获长距离依赖的非注意力机制。