🤖 machine learning

Structure-Centric Graph Foundation Model via Geometric Bases

本文提出了以结构为中心的图基础模型（SCGFM），这是一种新颖的方法，它利用可学习的几何基和 Gromov-Wasserstein 对齐，将图拓扑视为可迁移知识的主要来源，以克服结构异质性和特征不兼容性，从而在多样化的图领域中实现卓越的泛化能力。

原作者： Xiaodong He, Haolan He, Ruiyi Fang, Ming Sun, Zhao Kang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaodong He, Haolan He, Ruiyi Fang, Ming Sun, Zhao Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人识别不同类型的地图。有些地图是拥有网格状街道的城市，有些是拥有蜿蜒小径的森林，还有些是拥有复杂环线的地铁系统。

问题在于，这些地图看起来截然不同。它们拥有不同数量的站点、不同的形状，而且站点上的“标签”（例如“咖啡店”与“树木”）使用的语言也完全不同。传统的 AI 模型在此处举步维艰，因为它们试图将每一张地图都强行塞进同一个僵硬的盒子里，而在这个过程中，往往丢失了地图独特的形状。

本文介绍了一种名为 SCGFM（以结构为中心的图基础模型）的新 AI 模型。SCGFM 并非将地图强行塞入盒子，而是教导机器人首先理解地图的形状，而不管上面写的是什么。

以下是其工作原理，分解为简单的概念：

1. “通用标尺”（几何基）

想象你拥有一组主模板或“几何基”。这些并非真实的地图，而是一小套抽象形状：一个像星星，一个像圆环，一个像长线，以此类推。

类比：将这些基想象为一套乐高积木，它们代表了任何网络的基本构建模块。
工作原理：AI 会自动学习这些形状。它并不关心输入的是分子还是社交网络；它只是问：“这张新地图有多像我的‘星星’积木？它有多像我的‘圆环’积木？”

2. “距离检查”（Gromov-Wasserstein）

为了确定一张新地图在多大程度上类似于主模板，该模型使用一种特殊的数学工具，称为Gromov-Wasserstein (GW) 距离。

类比：想象你有一张皱巴巴的纸（新地图）和一个平坦的模板（主基）。你不能直接将它们叠在一起，因为它们的尺寸不同。相反，你想象拉伸和变形那张皱巴巴的纸，直到它完美地贴合模板。拉伸它所需的“成本”或“努力”就是距离。
结果：如果一张新地图与“圆环”模板非常相似，拉伸成本就很低。如果它非常不同，成本就很高。这建立了一个纯粹基于形状的坐标系，忽略了节点上的具体名称或标签。

3. “通用翻译器”（特征重编码）

通常，当一个数据集使用 100 个数字来描述一个节点，而另一个数据集使用 50 个数字时，AI 模型会感到困惑。SCGFM 通过首先忽略原始数字来解决这个问题。

类比：想象你在翻译一本书。与其尝试逐字翻译（如果语言差异太大，这会失败），不如先总结情节结构（形状）。一旦你确定故事是一个“英雄之旅”（形状），你就可以将具体细节（特征）翻译成适合该故事结构的格式。
工作原理：模型将节点特征（如“用户年龄”或“化学键类型”）投影到主模板上。这创建了一个统一的描述，适用于任何数据集，无论是分子还是社交网络。

4. “魔法地图”（最终输出）

最终结果是为任何图生成的单一、紧凑的“指纹”。这个指纹由三部分组成：

形状坐标：“这个图 30% 像星星，50% 像圆环，20% 像长线。”
统计摘要：“这个图有很多三角形和短环路。”
对齐特征：“这里是具体细节，但已根据形状进行了组织。”

为什么这很重要？

大多数当前的 AI 模型就像专业厨师：一位擅长做披萨但不会做寿司的厨师。如果你给他们寿司食材，他们会失败。

SCGFM 就像一位大师级建筑师。它不在乎你是在建造房屋、桥梁还是塔楼。它理解底层的结构原理（几何学）。因为它首先学习了这些原理，所以它能够：

轻松迁移知识：它可以从分子数据集中学习，并立即将这些知识应用到社交网络上，即使它们看起来完全不同。
在极少数据下工作：在仅看到几个示例后（少样本学习），它就能识别新型图，因为它已经理解了“形状的语言”。
处理杂乱数据：它不需要数据事先被清理或完美格式化。它只看形状。

核心结论

该论文声称，通过将图视为几何形状而不仅仅是数据点列表，SCGFM 为网络创造了一种通用语言。它允许 AI 首先“理解”图的结构，这使得它在识别跨越完全不同领域（如生物学、社交媒体和化学）的模式时表现出色，而无需为每个领域从头开始重新训练。

技术摘要：基于几何基的结构中心图基础模型

1. 问题陈述

图基础模型（GFMs）旨在学习跨不同图领域的可迁移表示。然而，现有方法面临两个主要局限：

结构异质性：图在不同领域中的拓扑结构、规模和诱导度量存在显著差异。与文本或图像不同，图是仅在同构意义下定义的关联对象，缺乏共享的几何参考系。
特征不兼容性：节点特征空间在不同数据集中往往具有不同的维度和语义。当前的 GFMs 通常通过特定于数据集的投影、填充或适配器来强制固定特征维度。虽然这能对齐特征空间，但未能对齐底层图结构，导致表示无法准确反映图的内在相似性，从而限制了跨域迁移能力。

现有的替代方案（如图令牌化）对本质上无序的结构强加人为的顺序，违反了置换不变性，且无法捕捉图的内在几何结构。

2. 方法论：SCGFM

作者提出了结构中心图基础模型（SCGFM），将图拓扑视为可迁移知识的主要来源。其核心洞察是将图建模为度量测度空间（mm-spaces），并学习一个共享的结构坐标系。

2.1 几何视角

SCGFM 假设现实世界的图位于 mm-spaces 空间的一个全有界子集内。基于 Gromov 紧性定理，任何图都可以通过其到一组有限规范几何模式（基）的距离来近似。

2.2 核心组件

该框架包含两个阶段：几何基预训练和下游投影。

A. 可学习的几何基

SCGFM 学习一组有限的 $K$ 个几何基 $\{B_k\}_{k=1}^K$ 。每个基 $B_k$ 被定义为一个有限的 mm-space $( [M], d_k, \mu_k )$ ：

度量（ $d_k$ ）：表示为可学习的对称空心矩阵 $B_k \in [0, 1]^{M \times M}$ ，参数化具有 $M$ 个节点的规范图结构的边权重。
测度（ $\mu_k$ ）：固定为均匀分布，以确保定义良好的耦合。

这些基共同构成了一个共享的结构坐标系。

B. 基于 Gromov–Wasserstein (GW) 的结构对齐

输入图 $G$ 使用Gromov–Wasserstein (GW) 距离与基进行对齐。为确保可扩展性，该方法采用切片 Gromov–Wasserstein (SGW)，通过将度量结构投影到一维切片上，将计算复杂度从 $O(N^3)$ 降低至准线性 $O(N \log N)$ 。

对于图 $G$ ，其与每个基 $B_k$ 的结构差异计算为 $\delta_k = d_{GW}(G, B_k)$ 。这些距离通过 softmax 函数转换为结构坐标向量 $w$ （权重）：
$w_k = \frac{\exp(-\delta_k / \tau)}{\sum_j \exp(-\delta_j / \tau)}$
该向量 $w$ 作为图在共享几何空间中的表示。

C. 特征重编码

为了在不假设固定维度的情况下解决特征不兼容问题，SCGFM 采用了一种结构感知的特征重编码机制：

传输计划：在 GW 计算过程中获得的最优传输计划 $T_{ik}$ 将输入图的节点映射到几何基。
投影：节点特征通过 $T_{ik}$ 进行聚合并投影到基上，生成统一的特征矩阵 $H(G)$ 。
统一：此过程统一了锚定于结构的节点表示，对原始特征维度保持无关性。

D. 训练目标

预训练目标最小化三个损失的加权和：

GW 重建损失（ $L_{gw}$ ）：最小化输入图与 GW 重心（基的加权组合）的线性代理之间的距离。
统计重建损失（ $L_{rec}$ ）：解码器 $f(\cdot)$ 从 $w$ 重建图级统计量（度分布、聚类系数、子图模式），以确保结构保真度。
多样性正则化（ $L_{div}$ ）：强制基之间的成对分离，防止坍塌并确保它们覆盖结构空间。

2.3 下游表示

最终的图嵌入 $z(G)$ 是以下内容的拼接：

结构坐标 $w$ 。
重建的统计量 $f(w)$ 。
投影特征 $vec(H(G))$。

该统一嵌入通过冻结编码器和轻量级分类器（例如原型网络）用于下游任务（节点或图分类）。

3. 主要贡献

结构中心 GFM：一种新颖的框架，无需特定于数据集的架构或特征预处理，而是依赖共享的几何坐标系，即可实现跨异构图数据集的迁移。
几何基与潜在空间：引入了可学习的几何基，从而产生几何对齐的潜在空间。作者证明，该空间中的距离与内在的 GW 图几何结构高度相关。
特征灵活性：一种通过结构对齐统一异构图节点特征的机制，消除了对固定特征维度或特定于域的预处理的需求。
理论保证：证明了所学的结构坐标和重建的统计量关于 GW 距离是 Lipschitz 连续的，从而确保了稳定性。

4. 实验结果

作者在 5 个领域（分子、社交网络、学术、电子商务、合成）的12 个数据集上评估了 SCGFM，在5 次少样本学习协议下进行了图级和节点级分类。

性能：SCGFM consistently 优于强大的基线模型，包括普通 GNN（GCN, GIN, GAT）、自监督方法（GraphCL, GraphMAE）和现有 GFMs（GCOPE, RiemannGFM, GIT）。
- 图分类：在域内和跨域准确率方面均取得了优越表现，特别是在COLORS-3数据集上，由于巨大的结构偏移，基线模型的性能退化至接近随机水平，而 SCGFM 表现优异。
- 节点分类：表现出近乎与源无关的行为。例如，在Reddit数据集上，无论预训练域如何，性能均保持高位（约 84%），这归因于模型能够将高维语义特征投影到一个线性可分性得到保证的空间中（Cover 定理）。
可扩展性：SCGFM 平滑扩展至500 万节点的图，在所有方法中保持了最低的峰值内存消耗（约 12 GB）。竞争方法（GAT, GIT）在较低规模下就遇到了内存不足错误。
消融研究：
- 在特征主导的数据集（如 Cora）上，投影特征 $vec(H)$ 至关重要；移除它们会导致性能灾难性下降。
- 在结构主导的数据集（如 PROTEINS, MUTAG）上，几何坐标 $w$ 是性能的主要驱动因素。
- 重建损失和多样性损失对于所有模态下的稳定训练都至关重要。
可解释性：可视化显示，学习到的基专门化于不同的几何模式（例如，密集簇、环与尾模式），并在训练过程中从无序模式演变为清晰的拓扑原语。
等距性：潜在欧氏距离与真实 GW 距离显示出强烈的线性相关性（ $\rho \approx 0.70$ ），证实了该嵌入保留了内在的图几何结构。

5. 意义与主张

本文主张 SCGFM 为图令牌化和依赖域的 GFMs 提供了一种原则性的替代方案。通过将图建模为度量测度空间并利用 GW 距离，SCGFM 成功地将拓扑与语义解耦。

作者强调，他们的方法：

稳健泛化：跨不同领域无需架构修改即可实现泛化。
提供理论稳定性：通过 Lipschitz 连续性保证提供理论稳定性。
高效扩展：可扩展至大规模图，通过 SGW 近似克服了精确 GW 计算的计算瓶颈。
适应数据模态：根据数据集特征，有效利用结构或语义信号。

该工作将自己定位为迈向统一、以结构为中心的图基础模型范式的一步，旨在克服以特征为中心和基于令牌的方法的局限性。