🤖 AI

Generating Graph-like Rules for Knowledge Graph Reasoning via Diffusion Models

本文提出了 GRiD，这是一个通过结合监督预训练和强化学习的两阶段训练策略来克服现有方法局限性，并有效生成用于知识图谱推理的可解释类图规则的新型框架。

原作者： Haoxiang Cheng, Yunfei Wang, Chao Chen, Kewei Cheng, Zhipeng Lin, Haoxuan Li, Changjun Fan, Shixuan Liu

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoxiang Cheng, Yunfei Wang, Chao Chen, Kewei Cheng, Zhipeng Lin, Haoxuan Li, Changjun Fan, Shixuan Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：解决“缺失环节”之谜

想象一下，**知识图谱（Knowledge Graph）**是一个由事实组成的巨大拼图。每一个碎片都是两个事物之间的连接（例如，“图灵”与“英国”通过“出生于”相连）。有时，这些碎片会丢失。**知识图谱推理（Knowledge Graph Reasoning）**的目标就是找出这些丢失的碎片应该放在哪里。

长期以来，计算机一直试图通过寻找**规则（Rules）*来解决这个问题。把规则想象成一份简单的说明书：“如果一个人在某所大学工作，且该大学位于某座城市，那么这个人就出生在那座城市。”*

问题所在：“链式规则” vs. “网络规则”

旧方法（链式规则）：
大多数以往的方法只能寻找看起来像单串珠子一样的规则。

类比： 想象一列火车。车厢 A 连接着车厢 B，车厢 B 连接着车厢 C。它是一条直线。
缺陷： 现实生活是复杂的。有时，要了解一个人是否为某个国家的公民，你需要知道他们既居住在那里，又在那里工作，并且在当地有配偶。一条直线的“火车”式的逻辑无法捕捉这种复杂性。这就像试图用一条直线来描述一个蜘蛛网。

新问题（搜索噩梦）：
如果我们尝试使用旧方法去寻找这些复杂的、类似网络的规则（带有分支和环路），那就如同在每秒钟都在指数级增长的草堆中寻找一根特定的针。计算机由于需要逐一检查太多可能性而陷入停滞。

新问题（“黑盒”训练）：
最近，被称为**扩散模型（Diffusion Models）**的 AI 模型（即 DALL-E 等图像生成技术背后的技术）在创建复杂结构方面变得非常出色。然而，它们通常通过尝试完美地“重建”图像或数据点来进行学习。

不匹配之处： 在规则挖掘中，我们并不关心规则在视觉上看起来是否“完美”；我们关心的是它在逻辑上是否成立且是否有用。这些模型标准的学习方式（测量像素差异的数学方法）并不适用于检查一个逻辑规则的好坏。这就像是试图通过让厨师看一张牛排的照片来教他如何烹饪完美的牛排，而不是让他去品尝肉的味道。

解决方案：GRiD

作者提出了 GRiD，这是一个全新的框架，它扮演着聪明、两步走的建筑师的角色，来构建这些复杂的网络状规则。

第一步：“学徒”阶段（监督预训练）

在 AI 尝试进行创作之前，它需要学习基础的构建模块。

类比： 想象一位学徒建筑师，他被给予了数千张现有的、有效的建筑结构照片（来自知识图谱的子图）。他现在不需要发明任何东西；他只需要学习当“墙壁”、“梁”和“屋顶”正确组合在一起时是什么样子的。
GRiD 的做法： 它使用了一个“去噪”过程。它取一个有效的规则，将其打乱（添加噪声），然后教 AI 将其还原回原始状态。这教会了 AI 构建规则的结构模式，而暂时不必担心这些规则是否是最好的规则。

第二步：“大厨”阶段（强化学习）

现在 AI 已经知道如何构建结构了，但它需要学习哪些结构对于解开拼图真正有效。

类比： 学徒现在变成了一位厨师。他可以做出牛排，但牛排好吃吗？论文指出，标准的烹饪课程并不教授“味道”。因此，GRiD 使用了强化学习（Reinforcement Learning, RL）。
运作方式： AI 生成一条规则（做出一份牛排）。然后，一个“评委”（奖励系统）会对它进行品尝。评委不看照片，而是检查逻辑：“这条规则真的有助于预测缺失的事实吗？它足够自信吗？它覆盖的范围够广吗？”
奖励机制： 如果规则很好，AI 会获得一颗“金星”（正向奖励）。如果规则很差，它会得到一个“大拇指朝下”（负向反馈）。AI 会根据反馈调整自己的策略，以获得更多的金星。这使得 AI 能够直接从逻辑的质量中学习，而不仅仅是从数据的形状中学习。

实际应用中的运作流程

输入： 你告诉 AI，“我想寻找关于‘公民身份’关系的规则。”
生成： AI 从一个空白的、充满噪声的画布开始。它会一步步地进行“去噪”，逐步添加连接和节点，并受到第二阶段学到的“金星”的引导。
输出： 它产生一条复杂的、网络状的规则。
- 示例： 它不再仅仅是“居住在 -> 公民身份”，它可能会生成：“居住在且工作于且配偶居住在 -> 公民身份”。
结果： 这些复杂的规则随后被用于填补巨大拼图（知识图谱）中的缺失部分。

研究结果：为什么它很重要

论文在六个不同的数据集（涵盖从家谱到医疗数据库再到电影明星）上进行了测试。

更高的准确度： GRiD 在预测缺失事实方面表现优于几乎所有其他方法。
“组合”效应： 最有趣的发现是，链式规则（简单的字符串）和图状规则（复杂的网络）结合在一起效果最好。
- 类比： 把链式规则想象成餐桌上的“主食”——它们很可靠，能覆盖大部分情况。而图状规则则是“辛香料”——它们不能涵盖一切，但能增加特定的风味，用以解决简单规则无法处理的棘手、模糊的情况。
效率： 尽管寻找这些复杂规则听起来计算量巨大，但 GRiD 非常快速且高效，因为它直接生成规则，而不是搜索每一种可能性。

总结

GRiD 是一种教计算机寻找复杂、多维度逻辑规则的新方法。它将扩散模型的结构学习（学习有效的形状是什么样的）与视频游戏的反馈循环（学习什么是“赢”的）结合在一起。这使得它能够解决那些简单的、直线型规则一直难以应对的复杂推理谜题。

技术摘要：通过扩散模型生成用于知识图谱推理的类图规则

1. 问题陈述

知识图谱（KG）推理高度依赖逻辑规则，以实现具有可解释性的事实推理。然而，现有的规则挖掘方法面临两个主要局限性：

结构限制： 当前的方法主要侧重于链式规则（关系的线性序列）。虽然这种结构效率很高，但无法捕捉更丰富的关系模式，例如复杂知识图谱模式中存在的环、分支和重叠约束。这导致在需要联合多关系约束的场景中会出现预测歧义。
计算瓶颈： 将规则发现扩展到通用的类图规则（即规则体构成一个有向图）会导致搜索空间发生组合爆炸（相比于链式规则的 $O(|R|^L)$ ，其复杂度为 $O((L|R|)^L)$ ）。传统的基于搜索的范式难以应对这种指数级的复杂度。
生成模型失配： 虽然扩散模型在其他领域取得了成功，但无法直接应用于规则挖掘。标准扩散模型训练优化的是可微的重构损失，而规则质量是通过不可微的离散指标（如置信度、覆盖率、PCA 置信度）来评估的。这导致了训练目标与生成高质量规则这一语义目标之间的不匹配。

2. 方法论：GRiD 框架

作者提出了 GRiD（使用扩散生成类图规则），该框架将规则发现重新定义为一个条件离散生成过程。GRiD 采用两阶段训练策略来克服离散搜索和不可微指标带来的挑战。

2.1 离散扩散公式化

GRiD 将规则体建模为一个有向邻接矩阵 $A \in \{0, 1, \dots, |R|, \emptyset\}^{S \times S}$ ，其中 $S$ 是最大节点数， $R$ 是关系集合。

条件化： 生成过程以目标头关系 $r_h$ 和扩散时间步 $t$ 为条件。
前向过程： 使用分类马尔可夫转移过程（D3PM 框架）将干净的规则矩阵 $A_0$ 逐步破坏为噪声 $A_T$ ，其中边要么被保留，要么从所有关系类型中均匀地进行重采样。
反向过程： 图 Transformer 去噪网络 $f_\theta$ 学习从噪声中重建干净的矩阵，并通过特征线性调制（FiLM）以目标关系和时间步为条件进行约束。

2.2 两阶段训练策略

为了解决规则质量指标不可微的问题，GRiD 集成了监督学习（SL）和强化学习（RL）：

阶段 A：监督预训练 (SL)：
- 目标： 学习结构先验并提供热启动。
- 方法： 模型通过重建从 KG 元图（meta-graph）中采样的子图来进行训练。其目标结合了用于结构重构的加权交叉熵损失，以及一个用于预测标量质量得分（基于覆盖率和置信度）的辅助损失。这使得学习到的表示能够与规则质量信号对齐，而无需直接优化离散指标。
阶段 B：强化学习 (RL) 微调：
- 目标： 直接针对不可微的规则质量指标进行优化。
- 方法： 将去噪过程建模为一个马尔可夫决策过程（MDP），其中去噪网络充当随机策略。
- 奖励信号： 在生成完整规则后，计算其作为覆盖率（Coverage）、置信度（Confidence）和 PCA 置信度（PCA Confidence）几何平均值的奖励。
- 优化： 使用带有基准（baseline）的 REINFORCE 算法进行微调以最小化方差，从而最大化期望的轮次级（episode-level）奖励。同时使用熵正则化来鼓励探索。

2.3 推理流水线

在推理期间，模型从一个带噪声的邻接矩阵开始，进行迭代的条件去噪，以生成离散的类图规则体。生成的图被解析为逻辑规则（识别头变量和尾变量），并根据 KG 结构约束进行过滤。

3. 核心贡献

框架创新： 提出了 GRiD，它将规则发现从迭代的组合搜索转变为条件离散扩散过程，从而能够生成复杂的类图结构。
训练策略： 引入了两阶段训练流水线，结合了用于结构模式识别的 SL 预训练和用于将生成过程与不可微规则质量指标对齐的 RL 微调。
实证验证： 在六个基准数据集（包括 FB15K-237、YAGO3-10 及领域特定数据集）上的广泛实验表明，GRiD 在知识图谱补全（KGC）任务中取得了具有竞争力的性能。
关于规则类型的见解： 消融研究证实，类图规则与链式规则具有互补性。虽然链式规则捕捉了主要的逻辑规律，但类图规则在复杂的模式中提供了必要的消歧作用，特别是在融合权重较低（约 0.1–0.2）的情况下。

4. 实验结果

性能： GRiD 在六个数据集上优于大多数现有的基于规则的基准方法（如 AnyBURL、AMIE、Neural-LP、RNNLogic），并且在与基于嵌入和基于 GNN 的方法对比时保持了竞争力。值得注意的是，在传统基于规则的方法经常面临扩展性问题的规模化 KG 上，它取得了最好或第二好的结果。
消融发现：
- 图 vs. 链： 将类图规则与链式规则结合使用，其表现始终优于单独使用其中任何一种类型，验证了它们的互补性质。
- RL 的必要性： RL 微调比仅使用 SL 的预训练在指标上提升了约 10%，证明了直接优化对于规则质量的必要性。
- 图规模： 对于复杂的 KG，最大图规模 $S=6$ 个节点已足够，在表达能力与计算效率之间取得了平衡。
- 融合权重： 当类图规则作为补充信号而非主导推理范式，且在最终评分中贡献较小且受控的比例（10-20%）时，达到最优性能。

5. 意义与主张

本文声称 GRiD 通过利用扩散模型的生成能力，解决了寻找类图规则的根本瓶颈。通过通过 RL 微调成功弥合了离散规则质量指标与连续生成模型之间的鸿沟，该框架实现了高效发现类图规则，这些规则能够捕捉以往标准挖掘方法无法触及的复杂关系模式（如环、分支）。

作者强调，虽然类图规则不是链式规则的替代品，但它们是解决具有丰富复杂模式的 KG 中歧义问题的关键补充机制。这项工作表明，对于图结构组合问题，研究方向正从穷举搜索转向可学习的优化程序。作者指出，未来的工作将探索直接从底层 KG 分布生成规则以减轻采样偏差，并开发更精确的结构评估指标。