🤖 machine learning

Graphlets as Building Blocks for Structural Vocabulary in Knowledge Graph Foundation Models

本文提出了一种与模型无关的框架，将重复出现的图元视为结构令牌，以建立知识图谱基础模型的通用词汇表，从而实现对多样化未见图谱的鲁棒零样本迁移和更优的链接预测。

原作者： Kossi Amouzouvi, Robert Wardenga, Jens Lehmann, Sahar Vahdati

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Kossi Amouzouvi, Robert Wardenga, Jens Lehmann, Sahar Vahdati

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《图块作为知识图谱基础模型结构词汇的构建模块》的通俗解释，辅以生动的类比。

核心难题：“乐高”与“泥巴”的困境

想象一下，你正在教一个机器人理解世界。

对于文本（大语言模型）： 你给机器人一袋乐高积木（单词）。每一句话都只是这些积木的特定排列。因为积木是标准化的，机器人可以学会用“狗”积木搭建房子的规则，然后将这些规则应用到用“猫”积木搭建房子上，即使它从未见过猫。
对于图像： 你给机器人一个像素网格。它学会特定的像素模式看起来像一张脸，无论那是人脸还是狗脸。
对于知识图谱（KG）： 这里情况变得混乱。知识图谱就像一团巨大的、纠缠不清的泥巴和绳子。它有“实体”（点）和连接它们的“关系”（绳子）。
- 问题出在哪？每个知识图谱的形状都不同。有的像家谱；有的像公司组织架构图。它们没有共享的通用网格，也没有一套标准的“积木”。
- 因此，当前的 AI 模型难以从一个知识图谱中学习，并将这些知识应用到完全不同的新图谱中。它们就像一位知道如何烹饪特定炖菜的厨师，却因食材排列方式不同而无法弄清楚如何制作汤。

解决方案：将“图块”作为通用积木

作者提出了一种训练这些模型的新方法。与其试图记忆点的具体名称（如“爱因斯坦”或“苹果公司”），不如教模型识别形状。

他们将这些形状称为"图块"（Graphlets）。

你可以把图块想象成微小的、特定的连接模式，就像一小簇扣在一起的乐高积木。

类比： 想象你在看一张地铁线路图。你不需要知道城市的名字就能理解这个系统。你只需要识别模式：“这里是一个环线”，“这里是一条直线”，或者“这里是一个 T 型路口”。
创新点： 论文认为，这些模式（图块）是知识图谱的“通用词汇”。如果模型学会“环线”模式意味着"A 与 B 相关，且 B 又与 A 相关”，它就能在家庭图谱、企业图谱或学术图谱中找到同样的环线，即使其中的人名或公司名完全不同。

什么是"Ultra+"？

作者构建了一个名为**Ultra+**的新模型。你可以把 Ultra+ 想象成一位拥有全新、扩展工具箱的大师级建造者。

之前的模型（如原始的"Ultra"）只有几个基本工具：它们只能查看简单的路径（A 连接到 B，B 连接到 C）。它们忽略了环和复杂的簇。

Ultra+ 为工具箱增加了四项重大升级：

闭环与开环路径：
- 旧方法： 如果你看到 A→B→C，这是一条路径。如果你看到 A→B→C→A（一个圆圈），旧模型将其视为与路径相同。
- Ultra+ 方法： 它知道区别！它将圆圈（闭环路径）视为一种独特、特殊的积木。这至关重要，因为环路在数据中通常意味着非常具体的内容（如信任循环或周期性事件）。
星形结构：
- 它还能识别“星形”模式，即一个中心枢纽连接到许多事物（如一位拥有众多员工的老板，或连接多台计算机的中心服务器）。
二元关系（更简单的数学）：
- Ultra+ 不再试图用巨大复杂的公式（n 元）来描述复杂形状，而是将所有内容分解为简单的对子（二元）。这就像通过列出所有相互接触的点对来描述复杂的雕塑。这使得数学运算更快，且不易出错。
"SPARQL"扫描器：
- 为了在杂乱的数据泥潭中找到这些形状，Ultra+ 使用了一种特殊的扫描器（称为 SPARQL 查询）。它不是对整个数据库进行繁重缓慢的数学计算，而是直接向数据库提问：“你有这个特定的形状吗？”这要快得多，也高效得多。

结果：为何这很重要

研究人员在来自完全不同领域（家谱、科学论文、企业结构等）的51 个不同知识图谱上测试了 Ultra+。

测试： 他们要求模型预测缺失的链接（例如，“爱因斯坦的导师是谁？”），而无需事先见过爱因斯坦或其特定的导师。这被称为“零样本”学习。
结果： Ultra+ 击败了之前的最佳模型（Ultra 和 Motif）。
- 通过在其词汇表中添加闭环路径（环路）和星形，该模型在理解新数据结构方面变得强大得多。
- 它证明了你不需要记忆实体的名称；你只需要识别结构模式（即图块）。

一句话总结

这篇论文介绍了Ultra+，这是一种更智能的 AI 模型，它学会识别数据中通用的结构形状（如环路和星形），从而能够在无需从头重新训练的情况下，理解并预测全新知识图谱中的关系。

技术摘要：图块作为知识图谱基础模型结构词汇的构建基石

问题陈述

知识图谱（KGs）拥有离散的实体和关系，但缺乏文本（词元）或图像（像素）中存在的固定几何网格。这种不规则的非欧几里得拓扑结构，使得知识图谱基础模型（KGFMs）难以识别在跨未见知识图谱迁移表示时所需的结构不变性。虽然大型语言模型（LLMs）通过将文本分解为通用的词元词汇表而实现了有效的泛化，但现有的 KGFMs 却面临困境，因为它们往往无法区分不同的结构模式（例如，闭合路径与开放路径），或者依赖于稀疏矩阵乘法，这不仅会丢失频率信息，还会产生高昂的计算成本。因此，当前的模型在不进行重新训练的情况下，其泛化到新实体和新关系的能力受到限制。

方法论

本文提出了Ultra+，这是一个与模型无关的框架，通过重新定义用于构建关系图的结构词汇表，对现有的Ultra框架进行了扩展。

核心概念：作为结构词元的图块

Ultra+ 不再仅仅依赖长度为 2 的路径，而是将图块（graphlets，即小型连通子图）视为结构词元。该框架利用SPARQL ASK 查询而非稀疏矩阵乘法（SPMM）来挖掘知识图谱中的特定模式。这种方法允许明确区分：

闭合路径与开放路径：区分循环与线性链。
位置二元关系：将图块表示为位置二元关系（例如，关联路径中的第一个和最后一个关系），而不是传统的 $n$ 元关系。这种方法保留了成对语义，并避免了超图的复杂性。

结构词汇表

该框架定义了一个由图块和加权函数组成的词汇表 $V$ 。作者利用了两类词汇表：

基于路径的词汇表（ $V_p$ ）：包括长度为 2（ $P_2$ ）和长度为 3（ $P_3$ ）的开放路径和闭合路径。诸如$ffo $（前向 - 前向 - 开放）和$ fffc$（前向 - 前向 - 前向 - 闭合）等符号捕捉了方向性和拓扑结构。
基于拓扑的词汇表（ $M_m$ ）：包括 $m$ -星图块（例如 $M'_{4}$ ），表示以某个实体为中心的许多对许多关系。

关系图构建

构建一个关系图，其中节点代表原始知识图谱中的关系，边代表这些关系在词汇表定义的特定图块模式中的共现。

提取：该方法使用 SPARQL 查询来识别图块的出现情况。如果查询返回真，则涉及的关系之间存在一条边。
鲁棒性：通过使用位置二元顺序，该框架隐式地缓解了单次出现即创建一条边的问题。理论分析（定理 4.3）表明，Ultra+ 关系图中边的权重是其他框架中对应模式权重的总和，从而带来了更高的鲁棒性。

表示学习

Ultra+ 采用图神经网络（GNN）来学习关系和实体的嵌入：

关系嵌入：关系根据查询三元组 $q(h, ?)$ 进行条件嵌入。模型使用消息传递机制，消息根据结构词汇表（图块）进行聚合。
实体嵌入：实体根据查询和关系嵌入进行条件初始化，然后通过消息传递进行更新。
损失函数：模型使用二元交叉熵（BCE）损失进行训练，以区分真实三元组和被破坏的三元组。

主要贡献

基于查询的关系图提取：作者提出了一种灵活的基于 SPARQL 的提取方法，能够高效地识别信息丰富的结构，而无需依赖计算成本高昂的稀疏矩阵乘法。
闭合与开放图块的集成：该框架明确结合了闭合和开放图块（2-路径和 3-路径，以及星形图块），以捕捉更广泛的关系模式，解决了Ultra和Motif等先前模型的局限性。
位置二元表示：图块被表示为位置二元关系，而非 $n$ 元关系。这使得能够构建标准的关系图（而非超图），在保持与现有知识图谱处理技术兼容性的同时，捕捉循环结构。
与模型无关的设计：Ultra+ 是模块化的，可以集成到任何利用关系图或结构词汇表的知识图谱基础模型（KFGM）中。

实验结果

该框架在跨不同领域的51 个知识图谱上进行了评估，用于零样本归纳式和直推式链接预测任务。

性能：Ultra+ 变体始终优于基线Ultra和Motif模型。具体而言，Ultra+[V3]（使用开放和闭合的 3-路径）在所有设置中均取得了最佳性能，尽管使用了相似的词汇表大小但具有二元关系结构，其表现仍超越了Motif。
词汇表影响：
- 增加基于路径的词汇表（从 2-路径到 3-路径）通常提高了零样本性能。
- 然而，将基于路径的词汇表与基于拓扑的词汇表（例如 $V^+_3$ ）相结合，并未始终产生优于仅路径变体的性能提升，这表明添加拓扑图块并不总是有益的。
稀疏知识图谱上的鲁棒性：在稀疏数据集（例如 WDsinger、NELL23k）上的实验中，Ultra+ 表现出优于基线的鲁棒性，这归因于其更有效地区分结构模式的能力。
效率：与基于 SPMM 的方法相比，基于 SPARQL 的方法降低了关系图生成的时间复杂度，特别是对于高阶图块。

意义与主张

本文主张，Ultra+通过丰富知识图谱基础模型的结构词汇表，确立了零样本链接预测的新最先进水平。其主要贡献并非新的模型架构，而是一种结构词汇表增强，使模型能够更有效地推理复杂的关系模式（循环和开放路径）。

作者断言：

区分闭合路径和开放路径对于捕捉丰富的结构语义至关重要。
将图块表示为位置二元顺序，使得能够在没有超图计算开销的情况下对循环进行编码。
该框架为跨未见知识图谱迁移知识提供了坚实的基础，这仅使用三个预训练知识图谱就在 51 个不同数据集上取得了卓越性能的事实得到了证明。

本文得出结论，虽然扩大词汇表大小（特别是基于路径的词汇表）能提高性能，但包含受结构启发的图块（基于拓扑的）需要仔细考虑，因为它并不总能保证性能提升。未来的工作建议解决针对更复杂的高阶词汇表高效计算关系图的问题。