Probabilistic Circuits for Knowledge Graph Completion with Reduced Rule Sets

想象一下，你正在试图教一个机器人如何理解世界。你不是直接把一整部百科全书塞进它的脑子里，而是给它一套逻辑性的“如果-那么”规则，比如“如果下雨了，那么地面就是湿的”。这就是**知识图谱（Knowledge Graphs）**的世界——它是连接着关于人、地点和事物的各种事实的海量数字地图。**知识图谱补全（Knowledge Graph Completion）**的目标是帮助机器人推测缺失的事实，比如通过逻辑推理出：如果“爱丽丝是鲍勃的姐姐”且“鲍勃是查理的哥哥”，那么“爱丽丝就是查理的姐姐”。

长期以来，最聪明的机器人使用的是“黑盒”数学模型，这些模型擅长预测，却极难解释其背后的原因。因此，科学家们回到了传统的基于规则的方法，因为这种方法是透明的：你可以看到清晰的逻辑链条。但问题在于，为了让这些基于规则的机器人变得像“黑盒”一样聪明，它们需要记忆数以万计的规则。这就像是为了破解一个谜题而去阅读一座拥有 20,000 本书的图书馆，而实际上你可能只需要读三本。其中大多数书都只是堆在书架上吃灰，让机器人变得反应迟钝、混乱且难以理解。

这篇论文提出了一个简单而大胆的问题：我们能否教机器人使用一个精简、经过筛选的规则库，而不是一个庞大的仓库，就能达到同样聪明的水平？ 作者们利用知识图谱和逻辑，提出了一种被称为“概率电路（Probabilistic Circuits）”的高明新方法。你可以把这不看作一本规则书，而是一位超级聪明的图书管理员，她知道哪些规则配合起来效果最好。该方法并非将每条规则视为孤立的事实，而是学习这些规则是如何“聚在一起”工作的。他们发现，通过这种方法，他们可以将所需的规则数量减少 70% 到 96%，同时获得相同甚至更好的结果。事实上，当他们使用这种新方法挑选出的极少量规则时，其准确度比使用旧方法尝试使用同样少量规则时的表现高出了 31 倍。他们证明了这种方法在数学上是严谨的，且不依赖于不靠谱的假设，为实现既极其聪明又易于理解的 AI 提供了一种途径。

问题所在：“规则爆炸”

想象你是一名正在侦破案件的侦探。旧的方法（被 AnyBURL 等系统使用）是收集所有已记录的线索和理论——也许有 20,000 条。当你试图解决某个特定的谜题时，系统会检查所有的 20,000 条线索。问题在于？对于那个特定的案件，大部分线索都是毫无用处的。在一个处理医学术语的名为 UMLS 的数据集上，旧系统需要 20,000 条规则才能获得最高分，但其中只有大约 12,938 条实际上被使用了。这意味着有超过 7,000 条无用的规则仅仅是在桌面上占地方！

这造成了三个大麻烦：

1. 混乱： 如果你问系统“你是怎么得出结论的？”，它会指向一堆由 20,000 条规则组成的混乱堆栈，让你无法判断哪些规则真正起到了作用。
2. 内存过载： 存储和管理数以万计的规则会占用大量计算机内存，如果你想将这些规则输入到像大语言模型（LLM）这样空间有限的智能系统中，这就会成为一个问题。
3. 思考缓慢： 当你必须在几乎全是无用规则的“大山”中进行搜索时，检查一致性或回答复杂的“如果……会怎样”这类问题会变得非常缓慢且困难。

解决方案：“聪明图书管理员”（概率电路）

作者引入了一个新的框架，它就像一位聪明的图书管理员。这位图书管理员不仅仅是列出规则，她还会学习一组规则的“概率分布”。用通俗的话说，系统在学习哪些规则倾向于像一个团队一样协同工作。

它是如何运作的：

• 指示开关（The Indicator Switch）： 对于系统学习到的每一条规则，他们都添加了一个微小的“开关”（称为指示器），用来决定该规则在特定情况下是否处于激活状态。
• 学习团队： 系统观察训练数据（它已知的既定事实），并学习哪些开关通常会一起被开启。它使用一种被称为**概率电路（PC）**的结构。你可以把 PC 想象成一个流程图，它计算不同规则组合为真的概率，而不会假设每条规则都是相互独立的。
• 打破独立性假设： 旧系统的一个常见错误是假设“规则 A 与规则 B 无关”。本文证明了规则之间确实存在相互影响。PC 学习了这些复杂的相互关系，从而使其能够挑选出一支精干、高效的规则“小队”。

结果：少即是多

团队在 8 个不同的基准数据集上进行了测试，涵盖了从医疗记录（UMLS）到家族树（Kinship）以及常识知识（WN18RR）。结果令人瞩目：

• 大幅缩减： 他们将达到巅峰性能所需的规则数量减少了 70% 到 96%。例如，在 UMLS 数据集上，他们仅需 1,000 条规则就能达到与原先 20,000 条规则相同的最高分 0.964 (Hits@10)。
• “31倍”的提升： 当他们将这个精简、优化的规则集与基准系统在使用相同少量规则时的表现进行对比时，他们的法最高可胜出 31 倍。这表明旧系统在挑选合适的少量规则方面表现糟糕，而新方法则是一个大师级的筛选者。
• 高效率： 在旧系统中，UMLS 数据集上只有约 64% 的规则被实际使用。而在新系统中，86.8% 的 1,000 条规则都是活跃的。他们不再在无用的规则上浪费空间。
• 保持性能： 即使使用这些精简的规则集，该系统仍保留了基准系统完整、庞大规则集的 91% 的峰值性能。

他们测试了使用该新系统的三种不同方式：

1. SingletonLB： 每次只使用一条规则来进行预测（一种简单、快速的方法）。
2. SingletonExact： 计算单条规则的精确概率（非常精准）。
3. GreedyLB： 逐步构建一小组规则（一种折中的方法）。

“SingletonExact” 是其中的佼佼者，它通常甚至能超越基准系统在允许使用其完整的、庞大的规则库时的表现。例如，在 CODEX-S 数据集上，新方法仅使用 5% 的规则（1,000 条 vs 20,000 条）就达到了基准系统最佳得分的 99.95%。

为什么这很重要

这不仅仅是为了节省计算机内存，更是为了让 AI 变得值得信赖。如果一位 AI 医生告诉你某位患者患有某种特定疾病，你一定想知道为什么。如果理由是一堆由 20,000 条规则组成的混乱列表，你就无法信任它。如果理由是一条由 50 条系统认为最可靠的规则组成的清晰、简洁的逻辑链，你就能理解并验证其逻辑。

作者展示了他们的方法是建立在坚实的数学基础（特别是 Nilsson 的概率逻辑）之上的，这意味着这不仅仅是一个幸运的猜测，而是一种处理不确定性的严谨方式，且不会凭空捏造事实。他们还指出，这种方法并不依赖于任何特定的规则生成器，这意味着它可以与任何系统学习到的规则配合使用，而不局限于他们所使用的系统。

简而言之，这篇论文证明了你不需要一座拥有 20,000 本书的图书馆来破解谜题。有了正确的“聪明图书管理员”，你只需通过一个被完美挑选的书架就能解决问题，这让 AI 变得更快、更清晰，而且依然同样聪明。