💻 computer science

TeNS: A Temporal Neural Scoring Model for Temporal Knowledge Graph Completion

该论文提出了 TeNS，一种用于时序知识图谱补全的 Temporal Neural Scoring 模型，该模型利用可学习的时间编码器和多层感知机评分网络来捕捉复杂的时序模式和深层非线性交互，从而在链路预测任务中超越了现有的基准模型。

原作者： Qingfan Deng, Baohua Qiang, Shihao Zhang, Hong Zheng, Ruidong Chen, Haoran Chen, Zhi Wang

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Qingfan Deng, Baohua Qiang, Shihao Zhang, Hong Zheng, Ruidong Chen, Haoran Chen, Zhi Wang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字时代，我们的集体知识大部分被组织成巨大的、结构化的地图，被称为知识图谱。想象一个浩瀚的图书馆，其中的每一个事实都是两个事物之间的连接，比如“巴黎”和“法国”，并通过一种关系如“是……的首都”连接在一起。这些地图驱动着从搜索引擎到推荐系统的一切，帮助计算机理解世界是如何组合在一起的。然而，现实世界并非静止不变的；它是一条不断变化的河流。一个人的职业、一个国家的领导人或一家公司的地位都会随时间而变化。传统的知识地图通常将这些事实视为永久性的，忽略了“何时”发生这一关键要素。为了解决这个问题，科学家们开发了“时序知识图谱”（temporal knowledge graphs），为每个事实添加了一个时间戳，不仅记录了某事是真实的，还记录了它在特定时刻是真实的。挑战在于——研究人员仍在努力解决的问题——如何填补这些具有时间敏感性的地图中的缺失部分。如果计算机知道谁是2010年的总统以及谁是2020年的总统，它能否准确预测谁是2015年的总统，或者明年他们可能担任什么职位？这就是时序知识图谱补全（temporal knowledge graph completion）的问题，这是一个致力于根据时间和历史的模式来预测缺失事实的领域。

来自桂林电子科技大学和内蒙古师范大学的一个研究小组提出了一种解决该问题的新方法，称为 TeNS。他们的工作解决了当前方法中的一个特定弱点：无法捕捉时间的复杂、重复节奏以及事件之间深层的、非线性的联系。现有的模型通常将时间视为一个简单的、固定的标签，或使用基础的数学运算来组合信息，这限制了它们理解事实如何演变的能力。研究人员认为，时间更像是一波具有其独特频率和周期的波浪，理解这些模式需要更复杂的工具。为了测试他们的想法，他们构建了一个模型，该模型学习识别这些时间节奏，并使用强大的神经网络来权衡不同信息之间的相互作用。

TeNS 模型的核心在于一种教导计算机理解时间的新方式。该模型并没有为日期分配一个单一、僵化的数字，而是使用一种特殊的编码器，学习将时间表示为一种连续的、流动的模式。它通过学习特定的频率来实现这一点，类似于收音机调频到不同的电台，使其能够检测周期性模式，如每日循环、年度季节或更长的历史趋势。这使得模型能够看到，发生在一月份的事件可能是年度循环模式的一部分，而不仅仅是日历上的一个孤立点。一旦模型对时间维度有了丰富的理解，它就会将此与涉及的人物、组织和关系细节相结合。然后，它将所有这些信息输入到一个多层神经网络中，该网络充当一个深层推理引擎。与那些仅仅将数字相乘的旧系统不同，这个引擎执行复杂的非线性计算，以寻找实体与发生时间之间的微妙联系。这使其能够区分那些表面看起来相似但底层含义截然不同的事实。

为了训练这个系统，研究人员采用了一种策略，即向模型展示真实的既有事实和精心构建的虚假事实。他们发现，最有效的方法是对于每一个正确的事实，随机选择一个错误的事实进行对比，而不是用大量的负面示例来淹没训练过程。这种方法帮助模型学习了真实事实与虚假事实之间的边界，而不会因为过多的噪声而产生困惑。团队在三个包含数百万个真实世界事件（涵盖从国家间的政治互动到全球新闻报道）的主要数据集上测试了他们的模型。结果显示，TeNS 的表现显著优于现有方法。在追踪十年间政治事件的数据集上，该模型的成功率极高，在正确识别缺失实体的首选位置方面达到了近 95.7%，相比之前的最佳水平有了实质性的提升。即使是在一个更加混乱且多样化的新闻事件数据集中，该模型也保持了强劲的表现，正确识别出正确答案的概率超过了 70%。

研究人员还进行了一系列测试，以了解模型的哪些部分是取得成功的关键。他们发现，如果移除复杂的神经网络并将其替换为简单的计算，性能会出现明显的下降，这证明了深层、非线性推理的重要性。同样，当冻结时间编码器使其无法学习新模式，或者用基础的线性表示替换掉精密的时序表示时，模型的准确性也会大幅下降。这些发现证实，学习灵活、有节奏的时间表示并通过深度网络对其进行处理，是实现性能提升的关键驱动力。这项研究表明，对于机器而言，若要真正理解历史的流动并预测未来事件，它们必须超越简单的、静态的规则，转而拥抱能够学习时间本身那复杂、重复且非线性本质的模型。

技术摘要：TeNS —— 一种用于时序知识图谱补全的神经时序评分模型

1. 问题陈述

时序知识图谱补全（TKGC）旨在预测动态事实四元组 $(s, r, o, t)$ 中缺失的实体或关系。虽然静态知识图谱补全（KGC）模型可以有效捕捉结构语义，但它们无法解释现实世界事件随时间演化的过程。

作者指出了现有 TKGC 方法的两个主要局限性：

时序表示能力有限： 大多数模型采用固定的时序表示机制（例如全局共享嵌入或简单的线性变换）。这些方法难以捕捉复杂的时序模式、周期性演化特征以及动态数据中固有的多样化时序规律。
评分机制浅层化： 现有的评分模块通常依赖于浅层的线性运算、张量内积或双线性交互来融合实体、关系和时间特征。这些方法缺乏深层的非线性交互能力，难以建模复杂的跨周期依赖关系和复杂的语义相关性，从而限制了预测精度。

2. 方法论：TeNS 模型

为了解决这些挑战，作者提出了 TeNS（Temporal Neural Scoring，时序神经评分），该模型旨在通过深度非线性学习来增强时序编码和评分机制。其架构由三个主要部分组成：

2.1 可学习的时序编码器

与为离散时间戳学习独立向量的传统方法不同，TeNS 引入了一个可学习的时序编码器来生成连续的时序表示。

机制： 该编码器利用可训练的频率参数 ( $w$ )，通过正弦和余弦函数构建周期性时序特征： $z_t = [\sin(w_1t), \dots, \cos(w_k t)]$ 。
非线性投影： 这些特征通过一个多层感知器（MLP）生成最终的时序编码向量 $\tau_t$ 。这使得模型能够自适应地捕捉多尺度周期性时序特征和复杂的演化动态。

2.2 时序神经评分函数

TeNS 使用深度非线性网络取代了浅层评分函数，以建模高阶交互。

输入构建： 模型将头实体嵌入 ( $e_s$ )、关系嵌入 ( $e_r$ )、尾实体嵌入 ( $e_o$ ) 和连续时序编码 ( $\tau_t$ ) 拼接成一个统一的向量 $u$ 。
MLP 评分网络： 一个专门的 MLP 评分函数 $\phi_s(u)$ 对该拼接向量进行处理。与双线性或点积方法不同，该网络执行深度非线性交互学习，以评估时序四元组的合理性。这增强了模型区分复杂时序事实和捕捉高阶语义相关性的能力。

2.3 训练策略

模型使用随机负采样策略结合二元分类损失（二元交叉熵）进行优化。

对于每个正向四元组 $(s, r, o, t)$ ，通过随机替换尾实体来生成负样本。
损失函数将该任务视为二分类问题，旨在最大化正样本的分数，同时抑制负样本的分数。

3. 核心贡献

论文概述了四个主要贡献：

新颖的模型架构： 提出了 TeNS，它结合了使用正弦-余弦函数和 MLP 的可学习时序编码器，以增强对复杂时序模式和周期性规律的表示。
深度非线性评分： 设计了一个时间条件的查询表示和一个基于 MLP 的时序特征判别网络。这通过非线性交互将实体、关系和时间统一到一个共享的语义空间中，强化了对复杂时序依赖关系的建模。
优化策略： 使用随机负采样和二元分类损失对模型进行联合优化。论文还包含了对比随机负采样与硬负采样在所提框架下适用性的分析。
实证验证： 在三个基准数据集（ICEWS14、ICEWS05-15 和 GDELT）上进行了广泛实验，证明了其相对于主流基线模型的持续改进。

4. 实验结果

作者在三个数据集上评估了 TeNS：ICEWS14、ICEWS05-15 和 GDELT。性能衡量指标为平均倒数排名（MRR）和 Hits@K（K=1, 3, 10）。

整体性能： TeNS 在 ICEWS14 和 ICEWS05-15 的所有指标上均达到了最先进（SOTA）的结果。在 ICEWS05-15 上，TeNS 实现了 0.958 的 MRR 和 0.957 的 Hits@1，显著优于强基线模型如 SFPL（MRR 0.866）和 HyGNet（MRR 0.693）。
与静态模型的比较： 结果强调了时序建模的必要性；在 ICEWS05-15 上，静态模型（如 ComplEx）的 MRR 仅为 0.481，而 TeNS 达到了 0.958。
与时序模型的比较： TeNS 优于基于张量分解的方法（如 TNTComplEx）和其他神经方法（如 TeHTE、MDRQS），特别是在捕捉周期性模式方面。
数据集特性：
- 在以常规政治和外交事件为特征的 ICEWS 数据集上，TeNS 表现出持续的高性能，这归功于可学习编码器对周期性模式的有效捕捉。
- 在事件分布更密集且不规则的 GDELT 数据集上，TeNS 实现了 0.720 的 MRR。然而，论文明确指出 TeNS 在该数据集上逊于 SFPL（SFPL MRR 0.816 vs. TeNS MRR 0.720），这表明该模型在处理噪声和不规则时序模式方面仍需进一步改进。

消融实验

作者进行了消融实验以验证特定组件的作用：

评分函数： 将 MLP 替换为点积（TeNS-Dot）或线性函数（TeNS-Linear）会导致性能显著下降，证实了深度非线性交互的必要性。
时序编码器： 冻结编码器参数（TeNS-FTE）或将编码器替换为线性投影（TeNS-LTE）都会降低性能，证明了可学习频率和非线性映射的价值。
负采样： 研究发现，在 ICEWS 数据集上，随机负采样（ $N_{neg}=1$ ）效果最好，而在 GDELT 上，硬负采样表现更好。增加负样本数量（ $N_{neg} > 1$ ）通常会降低性能，尤其是在 GDELT 上，这可能是由于引入了具有语义合理性但未被观察到的噪声实体。

5. 重要性与主张

论文声称 TeNS 解决了当前 TKGC 模型中时序表达能力有限和非线性交互不足的关键瓶颈。通过引入可学习的时序编码机制和深度神经评分网络，该模型展示了在预测时序知识图谱中缺失链接方面的卓越能力。

作者强调，虽然 TeNS 取得了显著进展（特别是对于具有强周期性规律的数据集），但负采样策略的有效性高度依赖于数据集的特征（稀疏性和实体分布）。该研究结论认为，在增强时序建模和非线性判别能力的同时保持简洁的模型结构，是未来发展的一条可行路径，并建议未来的工作可以探索以关系为条件的时序编码以及更鲁棒的负采样策略。