🤖 machine learning

Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings

本文揭示了高性能知识图谱嵌入模型在随机种子和超参数配置方面存在显著的不稳定性，这对当前基于排名的评估指标的可靠性以及链路预测结果的鲁棒性提出了挑战。

原作者： Guillaume Méroué, Fabien Gandon, Pierre Monnin

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Guillaume Méroué, Fabien Gandon, Pierre Monnin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《知识图谱嵌入中的预测还是败絮：不稳定性之源》（Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings）的解析，通过简单的概念与日常类比进行了拆解。

大局观：这个“魔力水晶球”问题

想象你拥有一部庞大但不完整的百科全书（知识图谱）。它知道“巴黎是法国的首都”，但不知道某个特定国家的现任总统是谁。

为了填补这些空白，科学家使用知识图谱嵌入模型（KGEMs）。你可以把这些模型想象成魔力水晶球。你问水晶球：“谁是总统？”它会查看它所知道的所有事实，进行一些复杂的数学运算，然后预测出答案。

论文指出，虽然这些水晶球在平均意义上能得到“正确”的答案，但在处理具体细节时却极其不可靠。如果你向同一个水晶球询问同一个问题两次，但通过投硬币来决定启动过程的方式（即“随机种子”），你可能会得到两个完全不同的候选名单，尽管水晶球声称两次都同样自信。

核心问题：“分数相同，故事不同”

在机器学习领域，我们通常用一个单一的分数来衡量这些模型，例如 MRR（平均倒数排名）。你可以把这个分数看作是成绩单上的等级。

论文的发现： 如果你用不同的随机种子训练一个模型五次，它们都能拿到“A”（高 MRR 分数）。
陷阱在于： 尽管它们都拿到了“A”，但它们给出的具体答案却完全不同。

类比：餐厅评论
想象三位美食评论家（模型）在评价一家餐厅。

评论家 1、2 和 3 都给这家餐厅打了 5 星好评（高 MRR 分数）。
然而，当你询问他们最喜欢的 3 道菜时：
- 评论家 1 说：牛排、沙拉、汤。
- 评论家 2 说：披萨、塔可、寿司。
- 评论家 3 说：汉堡、薯条、冰淇淋。

如果你是一名仅根据 5 星好评来决定点什么的顾客，你会认为他们达成了一致。但实际上，他们推荐的食物完全不同。如果你是一名试图寻找疾病治疗方案的医生（论文中提到的一个现实应用场景），因为一次随机的硬币投掷而得到一份“汉堡”而不是“药物”的清单，这是非常危险的。

调查研究：是什么导致了混乱？

作者们像侦探一样，试图找出这些模型为何会改变主意。他们隔离了训练过程中的“随机成分”：

初始化（Initialization）： 模型如何开启它的“大脑”（类似于通过掷骰子来设定初始权重）。
三元组排序（Triple Ordering）： 模型阅读事实的顺序（类似于从第 1 页读到第 100 页，还是从第 100 页读到第 1 页）。
负采样（Negative Sampling）： 模型如何学习什么是“错误”的（类似于老师给你错误的答案以进行纠正）。
Dropout： 在训练期间随机关闭模型的部分“大脑”（类似于学生在考试时闭上一部分眼睛）。
硬件（Hardware）： 运行模型的实际计算机芯片（GPU）。

令人震惊的发现：
论文发现，仅仅改变其中一种成分就足以导致巨大的不稳定性。

类比： 想象你在烤蛋糕。如果你更换了面粉的品牌、烤箱的温度，或者改变了搅拌鸡蛋的顺序，你最后得到的蛋糕可能味道一模一样（相同的 MRR 分数），但质地或形状却完全不同。
硬件的转折： 他们甚至发现，使用不同品牌的计算机芯片（GPU）所造成的混乱程度，与改变随机种子的程度相当。这意味着，如果你在一个模型在纽约训练，然后在东京的电脑上运行它，即使你使用了完全相同的代码，你也可能会得到不同的结果。

“投票”修复法：有效吗？

作者测试了一种常见的解决方案——投票法（Voting）。这就像是询问五位不同的评论家谁的菜品最好，然后取其多数意见。

结果： 投票法确实有一点帮助。它让模型变得稍微一致了一些。
局限性： 它并没有完全解决问题。模型在许多细节上仍然存在分歧。此外，训练五个模型而不是一个模型，需要花费更多的时间和金钱。

底层逻辑：性能 $\neq$ 稳定性

最重要的启示是：高分并不保证可靠性。

旧方式： “这个模型的得分最高，所以它是最好的。”
新现实： “这个模型的得分很高，但它是一场赌博。今天它可能会给你正确的答案，明天它可能会给你一个完全不同的（但同样‘高分’的）答案。”

论文结论认为，我们不能只盯着“成绩单等级”（MRR）看，而应该开始检查模型是否具有稳定性。如果我们使用这些模型来做出现实世界的决策（如寻找药物治疗或完善知识库），我们需要知道模型是否不会在每次运行时都在进行随机猜测。

一句话总结

仅仅因为一个知识图谱模型在测试中获得了高分，并不意味着它是值得信赖的；训练过程中微小的随机变化会导致它给出完全不同的答案，这使得将其用于重要决策时具有风险。

技术摘要：链路预测或“失误”：知识图谱嵌入中不稳定性之源

1. 问题陈述

知识图谱嵌入模型（KGEMs）是利用链路预测进行知识图谱补全（KGC）的主流方法。标准的评估协议高度依赖于基于聚合排名的指标，如平均倒数排名（MRR）和 Hits@K。然而，这些指标往往忽略了随机种子对结果稳定性的影响。

识别出的核心问题是：高聚合性能并不保证在三元组层面或嵌入空间层面的稳定性。两个使用不同随机种子训练的模型可能获得相同的 MRR 分数，但产生的 Top-K 预测却可能显著不同。在实际应用场景中（例如药物发现或自动化图谱补全），这种依赖于种子的变异性会导致生成的完整图谱出现分歧，从而削弱了 KGEMs 在下游决策中的可靠性。此外，现有文献很少研究学习到的嵌入空间本身相对于随机性的稳定性，尽管该空间会被复用于实体相似度和聚类等任务。

2. 研究方法

作者通过受控实验协议，对多种 KGEMs 和数据集进行了系统的稳定性分析。

实验设置：

模型： 选择了来自三个家族的代表性模型：几何模型（TransE, RotatE）、张量分解（DistMult, ComplEx）以及神经网络（ConvE, RGCN, Transformer）。
数据集： 包括 WN18RR, FB15k-237 和 CoDEx-S 在内的标准基准测试集。
随机性来源： 研究隔离了机器学习训练中常见的四个独立随机因素：
1. 参数初始化 ( $I$ )
2. 三元组排序 ( $O$ )
3. 负采样 ( $N$ )
4. Dropout ( $D$ )
- 此外，硬件（GPU 类型）也被确定为随机性的一个来源。
超参数搜索： 通过网格搜索确定了具有不同性能水平（最优、中等、最差）的配置，以测试性能与稳定性之间的相关性。

提出的指标：
为了超越聚合排名，作者引入了关注预测结果和嵌入空间相似度的指标：

Pred-Overlap@K： 衡量不同模型实例针对给定查询的 Top-K 预测实体的交集。
Space-Overlap@K： 衡量每个实体在嵌入空间中 $K$ 个最近邻的交集，用以评估学习到的潜在结构的稳定性。
Consistency@K 与 Homogeneity@K： 用于量化同时出现在所有运行次数的 Top-K 列表中的实体比例，以及候选者离散程度的聚合指标。

3. 核心贡献

系统性稳定性分析： 本文首次定量分析了随机种子如何影响 KGEMs 的预测行为（Top-K 候选者）和内部组织（嵌入空间）。
解耦性能与稳定性： 研究表明，高 MRR 分数并不能保证稳定的预测或嵌入空间。
识别硬件不稳定性： 作者指出硬件（特别是 GPU 架构）是显著的随机性来源，其不稳定性与随机种子变化相当，这对云环境中的可复现性提出了挑战。
评估修复方案的局限性： 本文评估了“投票”（集成方法）作为缓解策略的效果，发现其提升有限，且无法稳定嵌入空间。

4. 主要结果

聚合指标掩盖了不稳定性： 虽然 MRR 和 Hits@K 在不同种子间的方差很低，但实际的预测结果却高度分歧。例如，在 FB15k-237 上，两个使用不同种子的 RotatE 实例平均仅共享约 4.3 个 Top-10 预测实体。
三元组层面的分歧： 即使真实实体（ground-truth）的排名相似，非真实候选者也会出现巨大差异。在某些情况下，具有相同 MRR 的运行过程产生了完全不同的 Top-10 实体集合（Pred-Overlap@10 低至 0.17）。
嵌入空间的不稳定性： 嵌入空间的组织也是不稳定的。潜在空间中的邻居在不同运行之间存在显著差异，这表明尽管全局性能相似，但模型学习到了不同的潜在结构。
随机性来源： 独立改变任何单一随机源（初始化、排序、采样、Dropout）都会引发同等规模的不稳定性。没有哪一个来源占主导地位；这种不稳定性是训练过程固有的。
硬件影响： 在不同 GPU（如 RTX 2080 Ti 与 A100）上训练相同的配置，导致的不稳定性水平与改变随机种子相当。
性能与稳定性的相关性： 性能较差的模型通常稳定性也较低。然而，在高性能和中等性能的模型之间，不存在明确的相关性；较高的 MRR 并不保证更高的稳定性。
模型差异： TransE 表现出比其他架构（如 RotatE, ConvE）明显更高的稳定性，这表明架构差异发挥了作用。
投票法的局限性： 虽然集成投票提高了预测重叠度，但并未消除不稳定性，也无法用于稳定嵌入空间。

5. 重要性与主张

本文认为，目前的基准测试协议不足以评估 KGEMs 在实际应用中的可靠性。研究结果强调了以下关键局限性：

可靠性担忧： 依赖于种子的不稳定性意味着将 Top-K 预测添加到知识图谱中可能会产生截然不同的完整图谱，从而可能导致不一致或不可靠的下游决策。
嵌入空间的有效性： 嵌入空间的不稳定性质疑了依赖于这些空间的下游任务（如实体相似度评估、概念聚类和逻辑规则挖掘）的有效性，因为这些任务假设存在一个稳定的潜在结构。
复现性危机： 对硬件和微小随机选择的敏感性为复现性带来了重大挑战，特别是在云计算场景下。
评估改革： 作者主张转变评估实践，将稳定性视为区别于性能的一个独立维度。他们建议，模型选择不应仅依赖于 MRR，还必须考虑跨随机种子和硬件配置的鲁棒性。

文章总结道，虽然 KGEMs 在排序方面非常有效，但目前缺乏稳定性，这使得它们在需要一致、确定性的图谱补全或依赖于嵌入空间几何属性的应用中具有风险。未来的工作应侧重于设计具备稳定性感知能力的架构或训练程序。