🤖 AI

GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention

本文介绍了 GRATE，一种使用门控旋转注意力机制的无参数时间编码方法，该方法使知识图谱基础模型能够在不相交的时间数据集之间实现归纳迁移，并通过新构建的具有非重叠实体、关系和时间戳的基准测试进行了验证。

原作者： Jiaxin Pan, Osama Mohammed, Daniel Hernández, Steffen Staab

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaxin Pan, Osama Mohammed, Daniel Hernández, Steffen Staab

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的侦探，他可以通过观察一张由人物、地点和事物构成的巨大连接图谱来破解谜题。这个被称为“知识图谱基础模型”（Knowledge Graph Foundation Model）的侦探非常了不起，因为即使面对从未见过的名字或关系类型，他也能够发现新的联系。这就像是一个侦探，仅仅通过观察互动的模式就能识别出“友谊”或“敌对”，而不需要死记硬背世界上每一个名字。

但问题在于，现实生活是发生在时间里的。1974年两位总统之间的会面，与2024年两位的会面是非常不同的，即便它们的图谱结构看起来一模一样。旧的侦探们（现有的模型）受困于过去；他们把1974年的一个事实和一个2024年的事实视为同等重要，或者每当新的一年到来时，他们都需要从头开始重新训练。他们无法处理时间的流动。

于是，GRATE（用于时间编码的门控旋转注意力机制）登场了。你可以把 GRATE 想象成为这位侦探配备的一副神奇、隐形的“时间眼镜”升级版。它并没有给侦探的大脑增加任何沉重的负担（可学习参数），而是改变了侦探“观察线索的方式”。

GRATE 的工作原理：时间旋转与过滤器

GRATE 使用两个聪明的技巧让侦探具备时间感知能力：

时间旋转（旋转编码/Rotary Encoding）： 想象侦探发现的每一个线索都是一个旋转木马。如果一个线索发生在很久以前，GRATE 会让那个木马旋转很多圈；如果它发生在昨天，GRATE 则会让它只旋转一点点。这种“旋转”是基于线索与问题之间的时间差异，而不是日历上的具体日期。这意味着侦探可以理解，2024年的一次会面比1974年的会面更“接近”2024年的问题，即使侦探从未见过2024年这个年份。它将时间转化为一种平滑、连续的旋转，而不是一个僵化的日期列表。
智能过滤器（查询条件门控/Query-Conditioned Gating）： 仅仅因为一个线索在时间上很接近，并不意味着它是正确的。如果你问：“美国总统在2024年见了谁？”，那么一次与体育明星的会面可能在时间上很接近，但并不相关；而一次与外国领导人的会面则是至关重要的。GRATE 就像是一个俱乐部的保镖。它观察问题（查询）和旋转中的线索，然后决定：“是的，这个线索相关，让它进来，”或者“不，这个线索跑题了，把它拦住。”这个过滤器非常聪明，它不需要被教导什么是“相关”，它能根据问题本身实时判断。

大考：它能应对未知吗？

作者不仅仅是构建了这个模型，还让它经历了一场严苛的障碍赛。他们创建了特殊的测试集，称为 GDELTINDT 和 WIKIINDT。这些是“终极考试”，侦探需要处理涉及从未见过的的人物、关系和日期的谜团。这是终极的“零样本”（zero-shot）测试：没有作弊，无需重新训练，只有纯粹的逻辑。

结果令人印象深刻。当侦探使用 GRATE 时：

在标准测试（如 ICEWS14）中，与没有配备“时间眼镜”的侦探相比，它的准确度（MRR）提升了约 25% 到 38%。
在“从未见过”的测试中，它始终优于旧方法。例如，在 GDELT 数据集上，加入 GRATE 使插值预测（在已知时间范围内进行猜测）的分数提升了 0.16 到 0.21 点，使外推预测（向未来进行猜测）的分数提升了 0.12 到 0.18 点。
即使与使用文本进行猜测的巨型语言模型（LLMs）相比，GRATE 也能独当一面，在某些特定指标（如 ICEWS18 上的 Hits@10）上甚至超越了它们。

GRATE 不是什么

了解 GRately 的局限性也很重要。作者明确指出：

GRATE 并不是解决所有时间问题的万灵药。它在有大量线索可供选择时效果最好。在数据非常稀疏的数据集（如 WIKI，其中的事实是孤立且稀少的）中，“保镖”没有足够的证据做出明智的选择，因此提升幅度较小。
它并没有显式地模拟复杂的日历特性，如“闰年”或不规则的时间间隔。它将时间视为简单的数字差异。如果时间步长过于粗糙或混乱，其效果会减弱。
论文并未声称这是所有未来 AI 的“终极解决方案”。他们建议，将此技术与更快速、更具扩展性的数据处理方式相结合，是未来研究人员的工作。

总结

这篇论文表明，通过为现有的 AI 侦探添加这种“时间旋转”和“智能过滤器”，我们可以让它们理解时间的流动，而无需死记硬背历史上的每一个日期。这是一种轻量级的、无需额外参数的升级，让这些模型能够将其知识迁移到全新的、未知的时空和事件中。作者通过多个数据集测量了这一点，并发现，在大多数情况下（尤其是旧模式不再重复的情况下），GRATE 能帮助模型更清晰地洞察未来。

技术摘要：GRATE：通过门控旋转注意力为归纳式知识图谱基础模型提供时间扩展

1. 问题定义

本文旨在解决如何将归纳式知识图谱（KG）基础模型（如 ULTRA 和 TRIX）扩展到**时序知识图谱（TKG）**的问题。虽然现有的基础模型通过学习与词表无关的表示，实现了对未知实体和关系的强大归纳迁移能力，但它们缺乏处理时间动态性的机制。

目前的 TKG 模型通常依赖于转导式（transductive）设置，即学习针对特定数据集的实体、关系和时间戳嵌入。这使得它们不适用于新词汇（实体、关系或时间点）持续涌现的场景，例如新兴的政治参与者或快速演变的事件流。此外，现有的归纳式 KG 模型将所有时间戳的事实视为与查询等同对齐，未能考虑到支持事实的相关性往往取决于其相对于查询时间的相对时间位移。作者发现了一个空白：是否存在一种方法，能够在不牺牲基础模型无参数可迁移性的前提下，实现归纳式时间推理（即推广到不相交的词表和时间戳）？

2. 方法论：GRATE

作者提出了 GRATE（用于时间编码的门控旋转注意力），这是一种旨在增强 NBFNet 式 KG 基础模型的无参数消息函数。GRATE 集成到实体侧的消息传递机制中，且不引入任何可学习参数，从而保留了模型在不同词表图之间进行迁移的能力。

GRATE 通过两个互补机制运行：

A. 旋转相对时间编码
GRATE 不使用学习到的时间戳嵌入，而是通过相对时间差来编码时间。对于时间为 $\tau$ 的查询和在时间 $t_{uv}$ 观测到的边 $(u, r, v)$ ，相对时间间隔定义为 $\Delta t_{uv} = \tau - t_{uv}$ 。

该方法改编了最初源自 Transformer 的旋转位置嵌入（RoPE），根据 $\Delta t_{uv}$ 对结构化消息 $m_{uv}$ 进行旋转。
旋转矩阵 $R(\Delta t_{uv})$ 对消息向量应用频率依赖的旋转。这将其结构化消息转化为其时间位移的连续函数，使模型能够区分相对于查询在时间上接近或远离的事实，而独立于绝对时间戳的身份。

B. 查询条件门控
仅靠旋转并不能决定哪些经过时间偏移的事实与特定查询相关。GRATE 引入了一种门控机制，根据消息与查询的对齐程度对其进行加权。

通过对查询头实体表示和查询关系嵌入求和来构建查询状态 $Q_q$ 。
使用 Sigmoid 函数计算标量门控 $g_{uv} = \sigma(Q_q^\top m_{uv}^{rot} / \sqrt{d})$ ，其中 $m_{uv}^{rot}$ 是旋转后的消息。
该门控独立评估每条边，强调那些在时间上和语义上都与查询相关的信号，同时抑制无关信号。与 Softmax 注意力不同，这种独立的门控在归纳迁移中表现稳定，因为此时邻域规模可能会发生显著变化。

C. 多 TKG 预训练
为了在多个 TKG 上同时进行训练，作者在联合训练前将每个源数据集的时间戳重新映射到不相交的整数范围内。由于 GRATE 仅依赖于相对间隔（ $\Delta t$ ），这种重映射在防止跨数据集 ID 冲突的同时，保留了各源数据集内部的时间关系。

3. 核心贡献

GRATE 机制： 一种新型的无参数时间消息函数，通过相对时间旋转和查询条件门控，使归纳式 KG 基础模型能够执行时间推理。
归纳迁移基准测试： 构建了 GDELTINDT 和 WIKIINDT 基准测试集，专门用于测试跨数据集的时间迁移。这些基准测试在训练图和推理图之间具有不相交的实体、关系和时间戳，涵盖了插值和外推两种机制。
零样本时间推理： 证明了通过单一联合预训练的 GRATE 检查点，可以在无需微调的情况下提高对未知数据集的时间推理性能，优于静态基础模型和现有的归纳式基线模型。

4. 实验结果

作者使用单一联合预训练检查点在三种机制下评估了 GRATE：

转导式分布内（ICEWS14, ICEWS05-15）： 在 ULTRA 和 TRIX 中加入 GRATE 显著提升了性能。MRR 的增幅在 +25% 至 +38% 之间，Hits@1 的增幅在 +38% 至 +58% 之间，表明相对时间对齐主要提高了顶层排序的精确度。
归纳迁移（GDELTINDT, WIKIINDT）：
- 在 GDELT（一个稠密事件图）上，TRIX + GRATE 在插值任务中比仅使用递归的基线高出 +0.16 至 +0.21 MRR，在外推任务中高出 +0.12 至 +0.18 MRR。门控机制有效地从丰富的邻域事实中进行了筛选。
- 在 WIKI（一个由孤立断言组成的稀疏图）上，收益波动较大。当“字面递归”（DRec）较高（即事实在恰好一年前重复出现）时，GRATE 会锚定在这些匹配项上并取得显著收益。然而，在低递归设置下，静态基础模型的表现有时会优于 GRATE，尽管 GRATE 通常仍能击败递归基线。
零样本迁移（ICEWS18, YAGO）： GRATE 在 ICEWS18 的 Hits@10 上优于基于 LLM 的预测方法（ICL, GenTKG），并在 YAGO 上实现了更高的 Hits@1 和 MRR，尽管它是一个纯粹由结构驱动的模型，没有文本先验。
消融实验： 移除旋转或查询条件门控都会导致性能下降。消勃实验证实，相对时间对齐捕捉了大部分时间信号，而门控提供了额外的收益，尤其是在结构线索较弱的零样本设置中。

5. 重要性与主张

本文声称，可以在不牺牲无参数迁移性的前提下，为归纳式 KG 基础模型增加时间推理能力。GRATE 证明，通过依赖相对时间差异和查询条件相关性，而非数据集特定的嵌入，模型可以推广到具有完全未知实体、关系和时间戳的 TKG。

作者指出，GRATE 的影响程度随基础模型关系图的丰富程度而变化（例如，TRIX 的迭代细化过程比 ULTRA 的单次聚合过程受益更多）。他们也承认了局限性：GRATE 目前纯粹通过相对索引差异来编码时间，并未显式建模时间粒度或不规则间隔，这可能会削弱其在粗粒度数据集上的表现。未来的工作建议探索混合粒度预训练和更具扩展性的传播策略。