🤖 machine learning

Invariant Graph Representations for Continuous-Time Dynamic Graphs Under Distribution Shifts

该论文提出了 CIR，这是一个利用新型结构因果模型 (ICCM) 和归一化加权几何平均近似来高效学习连续时间动态图不变图表示的框架，从而在现有方法失效的分布外偏移下实现鲁棒性能。

原作者： Lanting Fang, Yulian Yang, Yawei Zhang, Shanshan Feng, Kaiyu Feng, Hanning Yuan

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Lanting Fang, Yulian Yang, Yawei Zhang, Shanshan Feng, Kaiyu Feng, Hanning Yuan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：如何在不被误导的情况下预测未来

想象一下，你正在尝试预测爱丽丝（Alice）和鲍勃（Bob）是否会成为朋友。你会观察他们的历史记录：他们和谁交谈过、什么时候交谈的，以及当时房间里还有谁。

大多数执行此类任务的计算机程序（AI）非常擅长识别其训练数据中的模式。但它们在处理变化方面表现得很糟糕。如果游戏的规则发生了轻微偏移（即“分布偏移”），这些程序往往会感到困惑并做出错误的判断。

这篇论文介绍了一个名为 CIR（连续时间不变表示，Continuous-time Invariant Representation）的新系统。它的目标是教会 AI 去寻找事物发生的真实原因，从而使其即使在周围世界发生变化时，也能做出准确的预测。

问题所在：“虚假线索”陷阱

为了理解为什么这很难，让我们看看论文中的一个具体例子（图 1）。

场景：
你想预测爱丽丝和鲍勃是否会建立联系。

真实原因（不变的真相）： 爱丽丝和鲍勃之所以成为朋友，是因为他们都认识一个共同的朋友查理（Charlie）。这是一种“三元闭包”（A 认识 B，B 认识 C，所以 A 和 C 见面）。这是一个稳固且不变的人类行为规则。
虚假线索（伪相关）： 在你的训练数据中，每当爱丽丝和鲍勃成为朋友时，恰好还有一个陌生人戴夫（Dave）在爱丽丝面前挥了挥手。

错误做法：
标准的 AI 查看数据后会说：“啊哈！每次戴夫挥手，爱丽丝和鲍勃就会成为朋友。我要把赌注押在戴夫身上！”

在训练世界中： AI 的正确率是 100%。
在现实世界（分布外 - OOD）： 当你在另一组从未见过戴夫挥手的陌生人身上测试该 AI 时，由于 AI 学习的是“戴夫”规则，它现在会完全失效，因为它忽略了真正的理由（查理）。

论文将此称为伪相关（Spurious Correlation）。AI 正在记忆捷径，而不是学习实际的原因。

解决方案：CIR 与“穿越时空的侦探”

作者提出了 CIR，一个旨在成为“穿越时空的侦探”的系统。它不仅仅观察发生了什么，还会追问：“无论存在哪些奇怪的巧合，究竟是什么导致了这件事的发生？”

以下是 CIR 的工作原理，分为三个简单的步骤：

1. 两支侦探团队（结构与时间）

论文认为，在一个不断变化的世界（连续时间动态图）中，你需要分别观察两件事：

结构团队： 谁与谁相连？（例如：爱丽丝、鲍勃和查理构成的三角形）。
时间团队： 事件何时发生？（例如：对话是否发生在某个大事件之后？）。

CIR 使用特殊的工具来提取这两类线索。它将“真实原因”与“背景噪音”分离开来。

2. “如果……会怎样”机器（干预）

这是最聪明的部分。论文使用了因果科学中的一个概念——干预（Intervention）。

想象你有一张犯罪现场的照片。普通的 AI 会观察照片并进行猜测。
CIR 会问：“如果我们神奇地从照片中抹去‘戴夫挥手’的动作，爱丽丝和鲍勃还会成为朋友吗？”

如果答案是“是”，那么挥手就不是原因。如果答案是“否”，那么挥手就是原因。

这种方法的难点：
在拥有每秒发生数百万次连接的真实世界图中，你无法物理性地抹去每一个“戴夫”并检查结果。那在计算上是不可能的。

窍门（NWGM）：
作者使用了一个数学捷径，称为归一化加权几何平均数（NWGM）。

类比： 与其试图采访城市里的每一个人以了解他们对新法律的反应，不如采访几个具有代表性的群体，然后使用一个聪明的公式来推测整个城市的平均反应。
这使得 CIR 能够瞬间模拟“如果……会怎样”的情景，而无需进行检查所有可能性的不可能的数学运算。

3. “记忆库”（环境记忆）

世界在变。有时“虚假线索”看起来像一种样子，有时又像另一种样子。

CIR 维护着一个记忆库。你可以把它看作是一个笔记本，AI 在其中记录下它过去见过的不同“类型”的虚假线索（例如：“戴夫挥手”、“雨天”、“节日”）。
当 AI 看到新情况时，它会检查自己的笔记本，看看自己是否正在处理一种熟悉的“虚假线索”。然后，它会调整自己的预测，以忽略这种特定的噪音。

为什么这比我们现在的技术更好？

论文在四个真实世界数据集（如维基百科编辑、Reddit 帖子和大学课程互动）上将 CIR 与其他顶尖 AI 模型进行了对比测试。

旧模型： 当“虚假线索”（捷径）在测试数据中被移除或改变时，旧模型的表现大幅下滑。它们的准确率下降了巨大幅度（有时性能损失达 30-50%）。它们过于依赖训练数据的特定模式。
CIR： 即使规则发生了变化，CIR 依然能保持良好的表现。它成功地忽略了“戴夫挥手”，并专注于“查理连接”。

一句话总结

CIR 是一个新的 AI 框架，它教会计算机忽略巧合性的模式，只关注事件中真正且不变的原因，从而使其即使在世界发生意外变化时，也能做出准确的预测。

本论文并未声称的内容

它并不声称这用于医疗诊断或临床用途。
它并不声称这在处理静态图（不随时间变化的图）方面优于现有方法；它是专门为随时间连续变化的图构建的。
它并不声称解决了所有 AI 问题，仅针对动态图中预测链路连接时出现的分布偏移问题。

技术摘要：面向连续时间动态图的不变表示学习 (CIR)

问题定义
连续时间动态图 (CTDGs) 对演化的关系系统进行建模，其中节点和边在任意时间点被添加或移除，从而捕捉细粒度的结构与时间变化。虽然现有的 CTDG 表示学习方法在分布内 (in-distribution) 设置下取得了成功，但在分布外 (OOD) 偏移下表现出有限的鲁棒性。具体而言，标准模型往往会利用伪相关性——例如在训练数据中频繁出现但与目标交互并无因果联系的特定时间模式或结构基元。当这些相关性在测试环境中发生变化时（例如由于底层数据生成过程的变化），模型性能会显著下降。

本研究解决的核心挑战是：缺乏能够学习在 CTDG 中应对 OOD 偏移的不变表示的方法。现有的因果方法依赖于结构因果模型 (SCMs) 和干预，主要针对静态或离散时间图设计。将这些方法应用于 CTDG 在计算上是难以实现的，因为可能存在的结构和时间子图存在组合爆炸问题，使得穷举干预变得不可行。

方法论：CIR 框架
为了应对这些挑战，作者提出了 CIR（连续时间不变表示），这是一个基于一种被称为独立且受混杂因素影响的因果模型 (ICCM) 的新型结构因果模型 (SCM) 的框架。

ICCM 框架：
ICCM 通过区分以下要素来显式建模 CTDG 中的因果机制：
- 不变因果子图： $C_s$ （结构）和 $C_t$ （时间），它们被编码为潜在表示 $H_S$ 和 $H_T$ 。
- 混杂因素： 结构型 ( $D_s$ ) 和时间型 ( $D_t$ ) 混杂因素，它们在 OOD 环境中引入了伪相关性。
- 预测机制： 模型定义了一个仅基于不变特征的分布内预测 $Y^I$ ，以及一个考虑了混杂因素的 OOD 预测 $Y^C$ 。其目标是通过因果干预（使用 Pearl 的 $do$ 操作）来阻断由混杂因素引起的后门路径，从而隔离不变因果效应。
通过 NWGM 实现高效干预：
直接对所有可能的结构和时间子图进行干预在计算上是不可行的。为了克服这一点，CIR 利用了归一化加权几何平均 (NWGM) 近似。该技术允许模型通过将期望算子移入非线性函数（如 sigmoid）内部，从而高效地近似期望干预结果，避免了对子图配置进行穷举枚举的需求。
神经架构：
ICCM 在一个深度学习架构中实例化，该架构包含：
- 双重子图提取器： 专用模块用于提取因果结构和时间模式。
  - 时间提取： 使用连续时间编码（基于余弦）和跨节点注意力机制，以识别在因果上支持目标链路的时间相关边，从而将它们与非因果时间噪声分离。
  - 结构提取： 在时间窗口内根据 $n$ -跳邻域对节点特征进行编码，并使用注意力机制来过滤掉引入伪相关性的背景节点。
- 环境记忆库 (Environment Memory Bank)： 为了在不直接观测的情况下近似潜在混杂因素 ( $D_s, D_t$ ) 的分布，模型维护了一个原型向量记忆库。这些原型代表了非因果子图和未观察因素的聚类。记忆库通过自监督对齐和多样性损失进行更新，以确保原型能够捕捉到不同的混杂模式。
- 融合与预测： 多头注意力模块聚合记忆库条目以估计混杂因素的预期贡献。这些估计值与不变表示 ( $H_S, H_T$ ) 融合，以产生最终的 OOD 预测。模型通过同时优化分布内和干预（OOD）目标来进行训练。

核心贡献

首次对 CTDG 中的 OOD 问题进行研究： 本文声称是第一个专门研究在 OOD 偏移下针对 CTDG 进行不变表示学习的研究，解决了现有因果方法因数据连续性和非平稳性而失效的问题。
ICCM 与 NWGM 近似： 作者引入了 ICCM 来表征 CTDG 中的不变因果子图，并开发了使用 NWGM 的高效干预策略。这避免了与传统动态设置中因果干预相关的组合爆炸问题。
CIR 框架： 设计了一个实用的深度学习架构来实例化 ICCM，通过记忆库机制实现不变结构/时间表示与环境特定特征的联合学习。

实验结果
在四个基准数据集（MOOC, REDDIT, WIKI, UCI）上进行了广泛实验，并引入了模拟的分布偏移（通过结构扰动引入）。

性能： CIR 一致地优于最先进的基准模型，包括 CTDG 特有模型（TGN, TGAT, GraphMixer）和鲁棒的 DTDG 模型（DIDA, EAGLE, Ada-DyGNN）。
鲁棒性： 在不断增加的分布偏移水平下（快捷方式比例从 0.2 到 0.6），现有模型性能大幅下降（例如，GraphMixer 在 MOOC 上的 AUC 下降超过 50%）。相比之下，CIR 保持了较高的 AUC 和 AP 分数且方差较低，展示了卓越的泛化能力。
效率： CIR 实现了极高的推理效率（在 REDDIT 上约为每条边 $5.4 \times 10^{-4}$ 秒），与复杂的基准模型（如 TGAT 和 TGN）相当甚至更好，并且明显快于需要为每个快照构建干预集的 DIDA。
消融实验： 移除关键组件（结构/时间编码器、OOD 预测分支 $Y^C$ 或记忆库）会导致性能大幅下降，验证了完整架构的必要性。

意义
本文将 CIR 定位为开发面向连续时间动态系统的鲁棒、可自解释图神经网络的重要一步。通过将重点从仅建模时间动态转向识别分布偏移下的不变因果结构，这项工作为数据分布非平稳的场景提供了理论和实践上的解决方案。作者声称，CIR 有效地减轻了伪相关性，确保预测依赖于稳定的因果机制而非瞬态的环境伪影，从而增强了动态图模型在现实应用中的可靠性。