🤖 machine learning

Generalized Rank-based Evaluation for Knowledge Graph Completion: Perspectives, Framework, and Analyses

本文介绍了 PROBE，这是一个针对知识图谱补全的广义评估框架，它通过一种新颖的秩变换器（rank transformer）和聚合器，解决了被忽视的预测锐度（predictive sharpness）和流行度偏差鲁棒性（popularity-bias robustness）问题，从而提供了比现有指标更具理论依据且更可靠的模型性能评估。

原作者： Sooho Moon, Jian Kang, Yunyong Ko

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sooho Moon, Jian Kang, Yunyong Ko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在挑选最佳候选人的招聘经理。你有两名申请人：爱丽丝（Alice）和鲍勃（Bob）。

爱丽丝是一名“短跑选手”。她在 50% 的测试中获得第一名（排名 #1），但在另外 50% 的测试中，她垫底。
鲍勃是一名“马拉松选手”。他从未获得过第一名，但他每次都能稳定地排在前 5 名。

谁才是更好的员工？答案完全取决于你需要什么样的工作。

如果你需要一名药物研发科学家，你需要的是短跑选手。一个错误的猜测可能是危险的，所以你需要立即得到最准确的答案。你会想要惩罚鲍勃，因为他虽然通常表现不错，但没能拿到第一。
如果你需要一个用于电影 App 的推荐引擎，你可能会更倾向于马拉松选手。只要用户能得到前 5 名中的一个好电影，是否是第 1 选并不重要。你希望奖励鲍勃，因为他表现得非常可靠且稳定。

问题所在：旧的尺子坏了

多年来，知识图谱补全（Knowledge Graph Completion，本质上是教计算机填补缺失的事实，例如“法国总统是谁？”）领域一直使用一把单一、僵化的尺子来衡量性能。这把尺子被称为 MRR（平均倒数排名）。

论文指出，这把旧尺子是有缺陷的，因为它表现得就像它只关心短跑选手一样。它会严厉惩罚任何未能获得第一名的候选人。此外，它还忽略了一个隐藏的偏见：它喜欢那些出名的（热门的）候选人，却忽略了那些稀有但重要的候选人。

Moon、Kang 和 Ko 提出：“我们需要一把可以根据工作进行调整的新尺子。”

解决方案：PROBE（可调节的尺子）

他们引入了一个名为 PROBE 的新框架。你可以将 PROBE 想象成不是一把单一的尺子，而是一个智能的、可调节的卷尺，上面有两个旋钮。

旋钮 1：预测锐度（“严格程度”旋钮）

这个旋钮控制你对“必须是第 1 名”与“表现还不错”的重视程度。

调高（高锐度）： 你是一个严厉的老板。如果你不是第 1 名，你会受到巨大的惩罚。这适用于医疗等高风险领域。
调低（低锐度）： 你是一个宽容的老板。如果你在前 5 或前 10 名，你会得到一个不错的评分。这适用于推荐电影或新闻等领域。

论文显示，现有的指标（如 MRR）其“严格程度”旋钮始终处于调到最高的锁定状态。它们不公平地惩罚了那些虽然很少完美、但表现始终如一的模型。PROBE 让你可以旋转这个旋钮，以匹配你的实际需求。

旋钮 2：流行度偏差鲁棒性（“名气”旋钮）

现实世界的数据很奇特。有些事实超级常见（例如“巴黎在法国”），而有些事实则非常罕见（例如“这种特定的罕见疾病影响了这种特定的基因”）。

问题所在： 旧的尺子热爱常见的知识。它们通过正确回答容易的、热门的问题来获得高分，却忽略了稀有的、重要的知识。这就像一个学生因为知道“1+1=2”就拿到了 A+，却没能学会新的、复杂的科学发现。
PROBE 的解决方法： 这个旋钮让你能够告诉尺子：“我不在乎那些著名的事实；我关心的是那些稀有的事实。”
- 如果你调高这个旋钮，尺子会为答对稀有、晦涩的事实给予更多分数，而为答对常见事实给予较少分数。
- 这有助于寻找那些真正聪明、能够发现新的、隐藏的联系的模型，而不是仅仅靠死记硬背最热门的内容。

它是如何运作的（幕后的魔法）

论文将评估过程分为三个简单的步骤：

预测： 计算机猜出一个答案并得到一个排名（例如，“我认为答案是第 42 位”）。
转换（锐度旋钮）： 系统将该排名转换为一个分数。如果你想要高锐度，第 42 名会得到一个极低的分数。如果你想要低锐度，第 42 名会得到一个不错的分数。
聚合（名气旋钮）： 系统会汇总所有分数，但会进行加权。如果问题涉及一个罕见的事实，它的权重就更高；如果问题涉及一个著名的事实，它的权重就较低。

他们的发现

作者在六个不同的现实世界知识库（例如巨大的事实数据库）上，针对六种不同的计算机模型测试了这个新尺子。

“一刀切”的谎言： 他们发现，旧的尺子（MRR）经常选出“错误”的赢家。一个在旧尺子上看起来表现优异的模型，实际上可能在寻找稀有事实方面表现糟糕，或者在实际应用中过于不稳定。
流行度陷阱： 在旧尺子看来是冠军的模型，往往只是“追逐名气”的人。它们擅长回答关于热门事物的问题，但在被问及稀有、重要事物时却表现得一塌糊涂。
一致性： 当他们在“完美世界”（所有事实已知）与“现实世界”（事实缺失）中进行测试时，旧的尺子会感到困惑并改变判断。PROBE 则保持了一致性。 无论信息缺失多少，它都能正确识别出表现最好的模型。

核心结论

论文认为，我们不能再仅仅使用一个标准分数来评判 AI 模型了。就像你不会用一把设计用来测量短跑选手的尺子去评判马拉松选手一样，我们也不应该使用一个“严苛且崇尚名气”的指标去评判需要灵活性和公平性的模型。

PROBE 让研究人员和开发者能够说：“对于这项特定的工作，我需要一个对第 1 名要求严格的模型，”或者“对于这项工作，我需要一个能够发现稀有、隐藏事实的模型。”它让评估变得公平、灵活，并且在现实生活中真正有用。

技术摘要：用于知识图谱补全的广义基于排名的评估方法

问题陈述

知识图谱补全（KGC）旨在从观测到的知识图谱中推断缺失的事实，这一任务对于从药物发现到检索增强生成等广泛的应用至关重要。尽管 KGC 模型层出不穷，但对这些模型的评估研究仍然不足。现有的基于排名的评估指标（如平均倒数排名 [MRR]、Hits@K）存在两个主要局限性：

缺乏预测锐度控制： 现有指标隐含地假设了对错误预测惩罚的固定严格程度。它们往往无法区分那些在顶端排名表现卓越的模型与那些在更广泛排名范围内都能提供持续高质量预测的模型。
对流行度偏差的敏感性： 现实世界的知识图谱遵循幂律分布，即少数实体和关系频繁出现。标准指标倾向于高估那些在这些高流行度三元组上表现良好的模型，而低估那些在稀有、低流行度实体和关系上泛化能力更好的模型，而后者对于药物相互作用发现等应用场景通常至关重要。

此外，在开放世界假设（OWA）下——即缺失一个三元组并不意味着其为假——现有指标难以一致地估计模型的内在性能，导致在与完整（闭世界）设置相比时，在不完整的实事子集上评估会产生不一致的排名。

方法论：PROBE 框架

作者提出了 PROBE（预测锐度与流行度偏差鲁棒性感知评估），这是一个旨在解决上述差距的广义评估框架。PROBE 将评估过程分解为三个阶段：预测、转换和聚合。

1. 用于预测锐度的排名转换器 (RT)

为了控制对预测进行惩罚的严格程度，PROBE 引入了一个排名转换函数 $f(r, \alpha)$ ，将正确实体的排名 $r$ 转换为一个分数。

机制： 该函数定义为 $f(r, \alpha) = 1/r^\alpha$ ，其中 $\alpha$ 是一个可调参数，用于控制预测的锐度。
行为：
- 高 $\alpha$ 值会对较低排名施加重罚，强调顶端预测（高锐度）。
- 低 $\alpha$ 值会减轻对中等排名预测的惩罚，允许在更宽排名范围内表现稳定的模型获得更高分数。
精细化： 为了确保可区分性和固定的范围 $[0, 1]$ ，作者应用了仿射变换，根据候选集大小 $|E_i|$ 对分数进行缩放，确保最差预测映射为 0，最好预测映射为 1。

2. 用于流行度偏差鲁棒性的排名聚合器 (RA)

为了减轻流行度偏差，PROBE 根据三元组的流行度为其分配权重。

三元组级流行度： 与以往仅考虑实体频率的工作不同，PROBE 通过结合以下内容来衡量三元组层面的流行度：
- 实体流行度 ( $\delta(e)$ )： 目标实体的频率。
- 实体条件下的关系流行度 ( $\delta(r|e)$ )： 在给定实体的情况下特定关系的频率。
权重机制： 三元组的权重 $w_t$ $w_{t}$ 通过由参数 $\beta$ $β$ 控制的实体和关系流行度权重乘积计算得出。
- $\beta > 0$ ：为低流行度三元组分配更高权重，为高流行度三元组分配较低权重，从而增强对偏差的鲁棒性。
- $\beta = 0$ ：退化为标准的无权重平均值（等同于现有指标）。
最终得分： 最终的 PROBE 得分是转换后分数的加权平均值： $PROBE = \sum w_i \cdot c_i$ 。

3. 几何解释

该框架将评估解释为 $n$ 维空间中的内积。排名转换器定义了分数空间的几何结构（由 $\alpha$ 控制），而排名聚合器定义了评估方向（由 $\beta$ 控制）。这使得该指标能够灵活地匹配不同的应用需求。

核心贡献

新视角： 本文识别并形式化了 KGC 评估中两个被忽视的视角：预测锐度和流行度偏差鲁棒性。
广义框架： 提出了 PROBE 作为一个统一的框架，在特定的参数配置下（如 $\alpha=1, \beta=0$ ），将现有指标（如 MRR、Hits@K）作为其特例包含在内。
理论分析： 作者为可靠的 KGC 评估定义了六个关键属性：
- 固定最优值与固定最劣值。
- 反单调性。
- 候选集规模感知。
- 锐度感知。
- 流行度感知。
  论文证明了 PROBE 满足所有六个属性，而现有指标仅满足其中一部分。
开放世界一致性： 理论分析表明，与现有指标相比，PROBE 在闭世界（CWA）和开放世界（OWA）设置之间能更好地保持模型的相对性能，从而提供更可靠的模型内在性能估计。

实验结果

作者使用六种 KGC 模型（包括 RotatE、ComplEx、TuckER、pLogicNet、RNNLogic）在六个真实世界的知识图谱（FB15k-237, WN18RR, YAGO3-10, Family, UMLS, Kinship）上进行了广泛的实验。

预测锐度 ( $\alpha$ ) 的影响： 改变 $\alpha$ 会显著改变模型的相对排名。像 RNNLogic 这样擅长顶端预测的模型在高锐度（ $\alpha=1$ ）下更受青睐；而像 HousE 这样在排名 3–100 之间保持稳定表现的模型，在较低锐度（ $\alpha \le 0$ ）下更受青睐。
流行度偏差鲁棒性 ( $\beta$ ) 的影响： 增加 $\beta$ 会使偏好转向对稀有事实具有鲁棒性的模型。例如，TuckER 在流行三元组上表现良好，但在稀有三元组上性能下降，而 pLogicNet 和 ComplEx 保持了稳定性，在高 $\beta$ 下成为顶尖模型。
全面性： 没有哪个模型在所有数据集和参数设置下都占据统治地位，这凸显了“最佳”模型取决于应用所需的特定评估视角。
OWA 下的可靠性： 在模拟不完整知识图谱的实验中，PROBE 与其在完整图（CWA）上的表现相比，能够一致地保持模型的相对排名。相比之下，MRR 和 p-MRR 在从 CWA 转向 OWA 时表现出显著的排名不稳定性和得分分歧。

意义与主张

本文声称，现有的基于排名的指标不足以对 KGC 模型进行全面的评估，因为它们隐含地假设了可能与现实世界应用需求不符的固定评估视角。通过引入 PROBE，作者提供了一个灵活且有原则的框架，该框架可以：

允许从业者根据特定的领域需求（例如，针对安全性至上的药物发现采用高锐度，或针对探索性推荐采用高偏差鲁棒性）来调整评估严格度和偏差鲁棒性。
提供一个具有理论基础的指标，即使在底层知识图谱不完整的情况下，也能可靠地估计模型的内在性能。
揭示了模型的优越性是依赖于上下文的，从而敦促社区超越单一指标评估，转向具备视角感知的评估方式。