🤖 machine learning

Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles

本文介绍了 GAUGE，一种基于神经向量丛（Neural Vector Bundles）的黎曼图基础模型，该模型在理论上将可迁移子结构与内在几何联系起来，并在零样本链路预测和图同构任务中经验性地证明了其卓越的性能。

原作者： Li Sun, Zhenhao Huang, Yiding Wang, Qin Chen, Pietro Lio, Philip S. Yu

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Li Sun, Zhenhao Huang, Yiding Wang, Qin Chen, Pietro Lio, Philip S. Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：我们能否复用图结构的“乐高”零件？

想象一下你正在玩乐高。你已经造了一座城堡、一艘宇宙飞船和一辆小汽车。现在，你想造另一艘不同的宇宙飞船。你可能会想：“我可以直接复用第一艘飞船里的‘引擎’或‘机翼’零件，对吧？”

在计算机科学领域，**图（Graphs）**就像这些乐高结构（节点是砖块，边是连接）。科学家们一直试图构建“基础模型（Foundation Models）”——即超级聪明的 AI 大脑，通过学习许多不同的图来学习知识，从而能够轻松理解新的图，而无需从零开始。

这篇论文提出的核心问题是：“我们在一个图中学习到的共同模式（子结构），是否真的可以迁移到另一个图中？”

之前的研究者试图通过观察乐高零件的离散形状（例如：“这是一个三角形吗？是一个星形吗？”）来寻找这些模式。但本文的作者说：“等等。这不仅仅关乎形状；它更关乎这个零件在其邻域中是如何**表现（行为）**的。”

核心思想：行为即几何

作者提出了一种全新的思考方式：

旧方法： “这是一个三角形，所以它到处都适用。”
新方法： “这个零件无论周围环境如何，都以一种特定的、稳定的方式运行。如果它的表现一致，那么它就是可迁移的。”

为了理解这种“表现”，他们使用了一个名为**黎曼几何（Riemannian Geometry）**的数学分支。你可以把它理解为一种测量数据所处空间“形状”的方法。

类比：空间的织物

想象这张图是一块织物。

如果你把织物拉扯得不均匀，它就会产生褶皱（弯曲）。
如果织物平整光滑，它就是平坦的。

作者发现，图中“可迁移”的部分正是那些织物平坦的部分。如果图的一部分在几何上是“平坦”的，这意味着管理该部分的规则是一致的，无论你将其移动到哪里，规则都不会改变。如果它是“褶皱”的（弯曲的），则意味着规则是混乱且仅针对该特定位置的，因此很难复用。

解决方案：神经向量丛（Neural Vector Bundle）

为了找到这些“平坦”的部分，作者发明了一个新工具，叫做神经向量丛。

隐喻：背包与地图
想象图中的每个节点（砖块）都背着一个背包（向量空间）。

基底： 图本身就是你行走的地面。
背包： 每个节点在其背包里都携带了一份局部地图（一组坐标）。
问题： 当你从一个节点走到相邻节点时，背包里的地图可能会发生旋转或扭曲。这就像是在不知道纽约地图和伦敦地图相对旋转关系的情况下，试图去比较这两张地图。
解决方法（GAUGE）： 作者构建了一个名为 GAUGE 的系统，它充当了一个神奇的翻译官。它将所有这些背包对齐，使它们指向同一个方向。它“抹平”了织物上的褶皱。

通过对齐这些局部地图，AI 可以识别出图中哪些部分是“平坦”的（稳定且可迁移的），哪些部分是“弯曲”的（混乱且特定的）。

GAUGE 是如何工作的（“抹平”过程）

论文介绍了一种新的训练方法，称为 GAUGE（具有通用几何嵌入的图架构）。

学习形状： GAUGE 不仅仅是记忆连接，它还在学习图的“内在几何（intrinsic geometry）”（即自然形状）。
狄利克雷损失（Dirichlet Loss，即“平滑度测试”）： 他们创建了一个新的数学测试，称为狄利克雷损失。你可以把它看作一个“平滑度计”。
- 如果 AI 根据邻居预测一个节点的值，并且预测非常完美，那么“平滑度计”读数为零。这意味着该区域是平坦且可迁移的。
- 如果预测结果很混乱，计数值就会很高。这意味着该区域是弯曲且具有特定性的。
目标： AI 的训练目标是最小化这个“平滑度计”。它试图寻找并锁定图中那些完美的平坦部分，因为这些部分是可以直接带到新图中使用的。

他们证明了什么？

作者在一些极具挑战性的任务上测试了该模型：

零样本链路预测（Zero-Shot Link Prediction）： 想象给 AI 一张它从未见过的城市地图，且没有针对该城市的预训练，然后让它猜哪里会有道路连接。
- 结果： GAUGE 在预测这些连接方面比以往的模型表现得更好，因为它学习的是道路连接的“平坦”且通用的规则，而不是死记硬背特定的城市布局。
图同构（Graph Isomorphism）： 这就像是在问：“这两个看起来不同的乐高结构，是否实际上是由完全相同的蓝图构建的？”
- 结果： GAUGE 能够极其出色地识别出两个看似不同的图实际上具有相同的底层结构，这证明了它理解的是深层几何，而非仅仅是表面形状。

总结

问题： 我们不知道图中的哪些部分是可以复用到新图中的（可迁移性）。
洞察： 可复用的部分是那些表现一致的部分，在数学上，这意味着它们存在于一个“平坦”的几何空间中。
工具： 他们构建了 GAUGE，这是一个利用神经向量丛来对齐局部地图，并使用狄利克雷损失来衡量“平滑度”的系统。
结果： 通过专注于几何平坦性，GAUGE 学习到了通用的图规则，在处理未见过的全新数据时，其表现优于以往的方法。

简而言之，他们不再仅仅观察乐高积木的形状，而是开始测量它们所坐的桌面的平滑度，并发现最平滑的桌面承载着最具复用价值的零件。

技术摘要：常见子结构是否具有可迁移性？基于神经向量丛的黎曼图基础模型

1. 问题陈述

基础模型在自然语言处理和计算机视觉领域带来了革命性的变化，但由于图数据的独特性质，其在图上的应用仍然面临挑战。与文本或图像不同，图拥有丰富的结构模式，其中子结构的功能源于其周围的结构邻域，而非孤立的离散模式。

目前的图基础模型方法通常依赖于识别常见的离散子结构（例如，基元、图子或结构词汇），或者严重依赖于通过大语言模型（LLM）获取的文本属性图。然而，这些方法面临以下局限性：

离散与连续： 先前的研究侧重于离散领域，未能刻画标准图模型生成的表示背后的内在几何特性。
迁移性差距： 目前缺乏一个原则性的框架来理解在预训练期间学习到的哪些结构行为能够真正迁移到未见的靶图上。
几何局限性： 现有的黎曼图学习方法通常依赖于预定义的、外在的几何先验（例如，双曲空间或球面空间），而不是学习由数据本身诱导的内在几何。

驱动这项工作的核心问题是：常见的子结构是否真正具有可迁移性？ 作者认为，迁移性应该通过**功能行为不变性（functional behavior invariance）**而非离散模式匹配来理解。

2. 方法论

本文提出了一个基于黎曼几何的框架，用于建模结构迁移性。该方法由三个主要部分组成：

A. 理论基础：将迁移性与内在几何联系起来

作者建立了行为不变性与表示空间中几何平坦性之间的理论联系。

行为不变性： 如果一种结构行为在应用于新图时几乎不需要调整，则认为该行为是可迁移的。这意味着该行为对结构邻域具有不变性。
向量丛表示： 图结构被建模为一个抽象的基础流形，每个节点都配备了一个纤维（一个向量空间），代表其局部结构。这避免了对预定义几何先验的需求。
平坦性与全纯（Holonomy）： 利用黎曼几何中的全纯概念，作者证明了不变的子结构对应于平坦的内在几何。具体而言，如果绕过子结构中任何闭环（2-单形）的平行移动结果为恒等映射，则该子结构是几何平坦的，因此是不变的。

B. 神经向量丛框架

为了实现这一理论，作者引入了神经向量丛（Neural Vector Bundle），这是一个利用局部坐标解析内在几何的数据驱动深度学习框架。

局部平凡化： 该框架为每个纤维学习参数化的局部坐标。它将节点表示分解为不相交的子空间，并使用多头注意力机制导出残差向量。随后通过正交化（通过 QR 分解）为每个节点形成局部基矩阵 $Q^{(i)}$ 。
伪平行移动： 相邻节点之间的纤维关系通过伪平行移动映射 $P^{(i,j)} = (Q^{(i)})^\top Q^{(j)}$ 进行建模。该映射捕捉了从一个节点的纤维移动到另一个节点纤维时的几何“挠率（torsion）”。

C. GAUGE 架构与狄利克雷损失

基于神经向量丛，作者设计了 GAUGE（具有通用几何嵌入的图架构），这是一个可预训练的架构。

门控平坦化： GAUGE 采用门控聚合机制，有选择地平坦化几何兼容的纤维。具有高兼容性（在平行移动中挠率较低）的相邻纤维会被聚合以细化局部坐标，从而逐步平坦化向量丛。
狄利克雷损失： 本文提出了一种基于**狄利克雷能量（Dirichlet energy）**的新型预训练损失函数。
$\mathcal{L}(G) = \sum_{i=1}^N \left\| (Q^{(i)})^\top \hat{z}_i^{(0)} - \frac{1}{|N_i|} \sum_{j \in N_i} (Q^{(j)})^\top z_j^L \right\|_2^2$
该损失衡量了局部坐标空间中节点局部表示与其邻居表示平均值之间的差异。证明最小化该损失足以学习行为不变的子结构。从理论上讲，狄利克雷能量是不变性的上界，并且在训练过程中单调递减，确保了向量丛的渐进平坦化。

D. 适配策略

在下游适配（微调）期间，神经向量丛的预训练参数保持冻结。仅对输入编码和任务特定的线性层进行微调。作者证明，对于 $\tau$ -不变子结构（即预测误差较低的子结构），微调期间的梯度更新是受限的，从而确保了学习到的不变行为得以保留。

3. 核心贡献

原则性的几何理解： 本文弥合了结构迁移性与内在图几何之间的鸿隙。它不再关注离散子结构，而是通过行为不变性将可迁移结构与几何平坦性联系起来。
神经向量丛： 一种新的内在几何学习框架，它使用参数化局部坐标来刻画底层流形的局部区域，而不依赖于预定义的几何先验。
GAUGE 架构： 一种新型预训练架构，通过平坦化兼容的纤维来构建向量丛，并利用狄利克雷损失来衡量迁移成本。
理论保证： 该工作提供了将狄利克雷能量与行为不变性联系起来的理论证明，展示了向量丛的单调平坦化，并确立了微调期间不变子结构的参数稳定性。

4. 实验结果

作者将 GAUGE 与 16 个强基线模型进行了对比，包括监督式 GNN、自监督式 GNN 以及现有的图基础模型（GFM）。

跨领域迁移学习： 在多样化领域（生物医学、社交、电子商务）的少样本设置（1-shot 和 5-shot）中，GAUGE 始终优于所有基线。例如，在 PubMed 数据集的 1-shot 任务中，GAUGE 达到了 61.26% 的准确率，而次优模型（GraphAny）为 54.18%。
零样本链路预测： 在无需任何微调的情况下，GAUGE 在四个数据集的链路预测任务中达到了最先进的性能，证明了其直接从预训练中捕获可迁移结构正则性的能力。
图同构： GAUGE 在区分图同构方面表现出卓越的表达能力（CSL, MUTAG, ZINC12K 数据集），在 CSL 数据集上达到了 92.56% 的准确率，显著优于传统的 GNN 和其他基础模型。
可视化： 该模型成功识别了玩具示例和真实世界图中的不变子结构，并与实际的结构模式（如树、网格、星形图）高度吻合，验证了其学习多样化拓扑行为机制的能力。

5. 重要性与主张

本文声称通过连接两个此前研究领域不同的领域——图知识迁移与内在几何，为图基础模型的发展建立了新的理论基石。

理论影响： 通过将向量丛概念（根植于 Élie Cartan 和 Shiing-Shen Chern 的数学理论）引入图学习，这项工作为刻画内在图几何提供了一个严谨的框架。它将范式从离散子结构匹配转向了连续的几何行为不变性。
实际影响： 作者认为，深入理解图知识迁移可以减少现实应用中大规模模型重训的需求。这种效率可以节省计算能力并降低碳排放，从而解决大规模模型训练的可持续性问题。
谦逊态度： 作者承认，尽管其方法在测试场景中表现优异，但图基础模型领域仍在发展之中。他们强调，其工作提供的是一个原则性的方向而非最终解决方案，特别指出图的内在几何非常复杂，其刻画工具仍处于开发阶段。

文章得出结论：常见子结构具有可迁移性，当且仅当它们对应于表示空间中的几何平坦区域，而 GAUGE 成功地学习并利用了这一特性。