🤖 machine learning

Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks

本文介绍了 SIGIL，这是一个全归纳式框架，通过将任意属性图映射到统一的结构交互图中，克服了图基础模型中的输入异构性问题，从而实现了学习到的特征表示在不同图之间的迁移，并统一了现有的知识图谱推理方法。

原作者： Omer Yom Tov, Avigdor Gal

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Omer Yom Tov, Avigdor Gal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教会一个机器人理解这个世界。在文字的世界里，我们有一个大家公认的庞大词典；一旦机器人学会了“猫”或“跑”是什么意思，它就可以阅读一本关于猫或跑步的新书，而无需重新学习。但在图（graph）的世界里——即社交媒体好友、化学分子或引用网络等相互连接的事物网络——并没有通用的词典。每一个图都有其独特的“特征”（例如一个人的特定属性或一个分子的属性），这些特征可能彼此完全不同。一个被训练用来理解科学家网络的模型，在面对在线购物者网络时可能会感到完全困惑，因为它们的“词汇”（特征）并不匹配。这使得构建一个单一的、智能的“基础模型”变得极其困难，因为这种模型需要能够从一种类型的网络跳转到另一种类型，而无需从头开始重新训练。研究人员提出的重大问题是：我们能否为这些混乱且各异的网络构建一个通用的翻译器，使其能够在任何地方、处理任何任务，而不需要为每一项新工作都准备一份词典？

这篇论文介绍了一个名为 Sigil（代表用于归纳学习的结构交互图，Structural Interaction Graphs for Inductive Learning）的巧妙新框架，正是为了解决这个问题。可以将 Sigil 想象成一位大师级厨师，他并不在意你递给他的是什么食材（无论是苹果、胡萝卜还是外星水果）。Sigil 不去尝试记忆每一种可能的食材，而是观察这些食材是如何相互作用的。它将一个杂乱、复杂的网络提升到一个新的、简化的层面，称为“结构交互图”（SIG）。在这个新的视角下，“节点”不再是人或分子，而是“特征”本身（例如“身高”、“价格”或“颜色”）。这个新图中的连接展示了这些特征如何根据原始网络的连接方式趋于一致或产生冲突。

通过在这个新的特征图上运行一种特殊的“消息传递游戏”，Sigil 学会了一种通用的特征语言。它将任何图（无论其特征多么奇特或不同）转化为一种标准的、固定大小的格式，以便下游的人工智能能够轻松理解。论文表明，这不仅仅是一个新技巧，更是一个统一的理论。当特征是简单的“独热”（one-hot）编码（如知识图谱中的离散关系类型）时，Sigil 能够完美地还原现有的强大模型。但当特征是连续数值（如实值传感器数据）时，Sigil 则能达到旧模型无法企及的高度。作者在包括预测网络中缺失链路和节点分类在内的广泛任务上测试了该模型。他们发现，仅凭一个 Sigil 模型（在像 Cora 引用网络这样的单一图上进行训练），就能在完全未见的、具有不同特征的图上表现得极其出色，甚至击败了其他试图进行泛化的“完全归纳式”模型。这就像是教一个学生读一本书，然后让他们在另一本用完全不同语言编写的书上通过考试，仅仅是因为他们学会了思想如何连接的底层语法，而不是死记硬背单词。

技术摘要：基于结构交互图的神经消息传递用于全归纳式图神经网络

1. 问题陈述

图基础模型（Graph Foundation Models, GFMs）的发展面临着一个核心障碍：输入异构性。与自然语言不同（自然语言拥有共享的 Token 词表，使模型能够编码任何文本），图数据以具有不同维度、坐标语义和标签集的独特节点特征空间形式呈现。因此，在一个图上训练的模型通常无法“阅读”另一个图。

现有方法解决了部分挑战，但未能实现统一：

节点分类 GFM： 像 GraphAny 这样的方法可以处理任意特征和标签空间，但仅针对节点分类设计，缺乏处理链路预测或关系推理的机制。
知识图谱基础模型 (KGFMs)： 像 ULTRA 这样的模型通过在离散关系类型上构建“关系图”来实现零样本迁移。然而，这种方法本质上是离散的；它预设了一个有限的关系词表，且缺乏处理连续节点或边特征的机制。

核心挑战在于设计一个**全归纳式（fully-inductive）**的图模型，使其能够同时在三个维度上进行泛化：未见的图结构、未见的特征空间（任意维度和语义）以及未见的标签空间。

2. 方法论：Sigil 框架

作者提出了 Sigil（用于归纳学习的结构交互图），该框架将任何属性图映射到一个统一的、固定维度的表示空间。其核心创新是结构交互图（Structural Interaction Graph, SIG）。

2.1 构建结构交互图 (SIG)

给定输入图 $G=(V, E)$ ，其节点特征为 $X \in \mathbb{R}^{n \times d}$ ，Sigil 将图从“节点域”提升到**“特征维度域”**。

多阶传播： 特征通过增加的邻域阶数 $k$ （从 $0 $到$ K $）进行传播，使用非参数化传播方式：$ X^{(k)} = A^k X$。
交互算子： 对于每个阶数 $k$ ，应用交互算子 $g$ （例如减法或元素级乘法）作用于相邻节点的特征，以创建边特征。
角色聚合： 这些边特征被聚合回节点，并按角色（对于有向图分为头/尾）进行分离，从而创建汇总矩阵 $\bar{X}^{(k)}_h$ 和 $\bar{X}^{(k)}_t$ 。这些矩阵刻画了特征值如何在局部邻域中实例化。
Gram 矩阵构建： 通过计算这些汇总向量的内积来捕捉特征维度之间的对齐关系，得到 Gram 矩阵： $\bar{A}^{(k)} = (\bar{X}^{(k)})^\top \bar{X}^{(k)}$ 。
SIG： 生成的矩阵 $\bar{A}^{(k)}$ $\overset{ˉ}{A}^{(k)}$ 构成了结构交互图 $G_{struct}$ $G_{s t r u c t}$ 。在此图中：
- 节点是输入的特征维度 $[d]$ 。
- 边是加权且有类型的，编码了特征在不同连接阶数下的对齐方式。
- 对于有向图，构建过程会产生每阶四个切片（头-头、尾-尾、头-尾、尾-头），以捕捉方向性交互。

2.2 通过关系消息传递学习表示

一旦构建了 SIG，关系消息传递网络 (RMPNN) 便在其上运行：

嵌入： RMPNN 将每个特征维度 $f \in [d]$ 嵌入到一个固定大小的隐藏空间 $d_h$ 中。
变换： 学习到的特征嵌入 $\Theta^{(T)} \in \mathbb{R}^{d \times d_h}$ 被用于将任何图的原始节点特征转换为统一表示： $H = X \Theta^{(T)}$ 。
归纳特性： 由于 RMPNN 的参数仅作用于固定的隐藏宽度 $d_h$ ，而从不作用于输入维度 $d$ ，因此单个训练好的 Sigil 模型可以处理具有任意特征维度的图。

2.3 下游任务

链路预测： 统一的节点表示被输入到具有表现力的链路预测 GNN（如 NBFNet）中，以进行零样本推理。
节点分类： 统一的表示作为下游解码器（如轻量级 MLP 或闭式解析解）的输入，用于预测标签。

3. 核心贡献与理论属性

3.1 对 KGFMs 的严格泛化

论文证明了 Sigil 是现有知识图谱基础模型（如 ULTRA）的严格泛化。

定理 1： 当输入特征是离散关系的独热编码（one-hot indicators）时，SIG 构建过程能精确还原 KGFMs 所使用的关系图。
扩展： 与 KGFMs 不同，Sigil 接受连续特征。在这种情况下，Gram 矩阵变为连续的特征对齐矩阵，而非整数共现计数。此外，Sigil 的多阶传播编码了特征之间的高阶交互，而 KGFMs（受限于单跳基元）则无法捕捉这些交互。

3.2 对称性与等变性

Sigil 满足全归纳泛化所需的对称性：

节点置换等变性： 输出的节点表示对于输入节点的置换具有等变性。
特征置换不变性： 统一表示对于输入特征维度的顺序或身份具有不变性。这使得模型能够读取从未见过的特征空间的图。
标签置换等变性： 当与等变解码器配合使用时，模型遵循标签置换。

4. 实验结果

作者在三个回归中评估了 Sigil，使用在 Cora 数据集（用于链路预测和节点分类）或混合知识图谱（用于 KG 推理）上预训练的单个模型。

4.1 链路预测（连续特征）

在 11 个基准测试（7 个属性图，4 个非属性图）上进行了评估。

属性图： Sigil-lp 是每个数据集上最强的全归纳方法，优于 UniLP 和 TFMLinker 等基线模型。值得注意的是，它在 CiteSeer 和 AmazonPhotos 等数据集上显著优于 UniLP，证明了通过 SIG 利用特征空间比直接丢弃特征更为优越。
非属性图： Sigil-lp 保持了竞争力，在全归纳方法中排名第二，并表现出高度的稳定性。
效率： Sigil-lp 在几分钟内即可完成推理，而像 UniLP 这样的上下文学习（in-context）基线方法则需要超过 24 小时的计算预算。

4.2 知识图谱推理

在 ULTRA 基准测试（涉及未见实体和关系的归纳设置）上进行了评估。

复现： Sigil(0)（阶数为 0 的 SIG）在预训练图上精确匹配了 ULTRA 的 MRR 等指标，实现了极小的误差复现。
表达力： 高阶 SIG（Sigil(1), Sigil(2)）的表现因数据集而异，这表明虽然高阶交互增加了表达力，但它们并不在所有任务中都能带来统一的性能提升。

4.3 节点分类

在 26 个具有不同特征维度和类别数的基准测试上进行了评估。

性能： Sigil-nc 具有竞争力，在 26 个数据集中的 10 个中排名第一或第二。虽然它略逊于针对特定任务优化的专门模型（如 RGVT 和 TAG），但它优于 GraphAny 和 TS-MEAN。
分析： 作者将性能差距归因于“统一的代价”：将任意特征空间压缩到固定维度 $d_h$ 会导致原始坐标对解码器而言变得不可及，从而需要更多的监督。然而，结果证实了在 SIG 上进行学习是节点分类基础模型的有效途径。

5. 重要性与主张

论文声称 Sigil 统一了此前几个独立的图基础模型设计领域：

统一性： 它弥合了节点分类 GFM（处理任意特征）与 KGFM（处理关系推理）之间的鸿沟，提供了一种单一的机制。
可迁移性： 它证明了单个在单一图上训练的模型，可以对具有完全不同特征空间和结构的图提供强大的零样本性能。
泛化性： 通过将关系图形式化为结构交互图的一个离散实例，这项工作为将关系推理扩展到连续输入空间提供了理论基础。

作者总结道，迁移性、关系推理和边级任务可以源于同一个机制（SIG 构建和消息传递），而不是需要为不同类型的图设计不同的方案。未来的工作建议研究如何改进在 SIG 上进行学习的架构，并研究其表达能力。