🤖 machine learning

DynaSTy: A Framework for SpatioTemporal Node Attribute Prediction in Dynamic Graphs

DynaSTy 是一个端到端的基于 Transformer 的框架，它通过将随时间变化的邻接矩阵作为可自适应的注意力偏置，并采用专门的训练策略以缓解误差累积，从而在动态图中预测多步节点属性，其性能优于现有的静态图基线方法。

原作者： Namrata Banerji, Tanya Berger-Wolf

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Namrata Banerji, Tanya Berger-Wolf

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图预测一群人的未来行为，比如运动场上的一支球队，或者聊天室里的一群朋友。要做出准确的预测，你需要了解两件事：

他们此刻正在做什么（他们当前的心情、位置或状态数据）。
谁在和谁交流（他们之间的关系和连接）。

大多数旨在完成此类任务的计算机程序（称为“图神经网络”）存在一个重大缺陷：它们假设“谁在和谁交流”的映射关系永远不会改变。它们认为球队阵容是冻结在时间中的。但在现实世界中，关系是流动的。朋友会渐行渐远，新的连接会形成，而大脑区域也会根据当前任务的不同而呈现出不同的激活模式。

DynaSTy 是一个全新的计算机框架，旨在解决这一问题。它专为预测这些群体的未来而设计，即使它们关系的“地图”在不断变化。

以下是它的工作原理，通过一些日常类比来说明：

1. “变色龙”注意力机制

将标准的预测模型想象成一个戴着墨镜的人，这副墨镜只允许他看到一组固定的朋友。无论谁走进房间，他只关注同样的五个人。

DynaSTy 则不同。它像一只变色龙，能瞬间改变关注焦点。在每一个时间点上，它都会审视当前的连接“地图”。如果地图显示“此刻，Alice 与 Bob 相连”，DynaSTy 会立即将注意力转移到 Bob 身上。如果一秒钟后地图变为"Alice 现在与 Charlie 相连”，DynaSTy 会立即将焦点切换到 Charlie。它将不断变化的地图视为一种“偏差”或线索，提示模型：“嘿，此刻请看这里，因为结构表明这些人很重要。”

2. 从众多不同的“世界”中学习

大多数现有模型仅在单一特定世界上进行训练。想象一下，只让一名司机在纽约市的街道上训练。如果你把他扔到伦敦，他可能会迷路，因为道路布局不同。

DynaSTy 被训练成一名通用司机。它可以同时从许多不同的“世界”（或数据集）中学习。

示例： 在大脑网络研究中，每个人拥有相同的一组大脑区域（节点），但他们的内部连线（边）是独一无二的。DynaSTy 可以同时从受试者 A 的独特连线、受试者 B 的独特连线以及受试者 C 的独特连线中学习，而不会感到困惑。它理解到，虽然“房间”（大脑区域）是相同的，但每个人的“走廊”（连接）是不同的。

3. “填空”训练（预训练）

在 DynaSTy 尝试预测未来之前，它会玩一场“填空”游戏。

想象你给模型一个随机缺失单词的故事。
模型必须根据故事的上下文以及谁在和谁交流来猜测缺失的单词。
通过练习，模型深入理解了这些网络的行为方式，使其在最终必须预测未来时变得更加聪明。

4. “滚动预测”解码器

预测未来很难，因为一个错误可能导致一连串更多的错误（就像雪球滚下山坡）。

调度采样（Scheduled Sampling）： 为了防止这种情况，DynaSTy 使用了一种训练技巧。起初，它会稍微“作弊”，被展示上一步的“正确答案”。随着它变得更好，老师停止提供答案，模型必须依靠自己的预测。这有助于它学会在真正的考验来临时独立站立，而不至于跌倒。
时间范围加权损失（Horizon-Weighted Loss）： 模型还被教导去关注变化的形状，而不仅仅是确切的数值。如果温度本应上升，而模型预测出一条直线，即使平均数值接近，它也会受到惩罚。这使预测保持生动且符合现实。

他们测试了什么？

作者在三种截然不同的“活体网络”上测试了 DynaSTy：

比特币信任网络： 预测随着交易历史的变化，用户之间的信任程度如何变化。
交通传感器： 预测洛杉矶和旧金山湾区的交通速度（尽管物理道路不会移动，但他们模拟了不断变化的交通模式）。
大脑网络： 预测不同人的大脑活动信号，其中每个人拥有独特且不断变化的大脑连接地图。

结果

在每一项测试中，DynaSTy 都比之前的“最先进”模型更准确。它在预测未来数值时犯的错误更少。关键在于，当他们在比特币和大脑数据上进行测试（这些数据的连接确实在变化）时，忽略变化连接的模型表现要差得多。这证明了关注不断变化的地图对于准确预测至关重要。

简而言之： DynaSTy 是一个智能预测引擎，它不仅观察正在发生什么，而且实时更新谁与谁相连，从而能够比旧方法更好地预测复杂且不断变化的系统的未来。

技术摘要：DynaSTy

问题定义

本文解决了动态图上多步、多维节点属性预测的挑战。与假设所有时间步和训练样本共享静态邻接矩阵的传统时空图神经网络（STGNN）不同，DynaSTy 针对的是图结构（边）随时间演化且在各个输入样本间存在差异的场景。

问题定义如下：给定节点特征矩阵序列 $\{X_1, \dots, X_L\}$ 和对应邻接矩阵序列 $\{A_1, \dots, A_L\}$ ，表示动态图 $G_t = (V, E_t)$ ，目标是预测未来节点特征 $\{X_{L+1}, \dots, X_{L+H}\}$ 。该框架假设节点集合 $V$ 固定（共享节点本体），但允许边集 $E_t$ 在每个时间步动态变化，并在不同训练样本间存在差异（例如，脑网络研究中的不同受试者，或交通网络中的不同日期）。

方法论

DynaSTy 是一个端到端的动态边偏置时空模型，由空间编码器和时间解码器组成。

1. 架构概览

输入表示： 每个训练样本由节点属性历史张量 $X_{hist} \in \mathbb{R}^{N \times D \times L}$ 和动态图序列 $A_{hist} \in \mathbb{R}^{N \times N \times L}$ 组成。
空间编码器（边偏置注意力）：
- 编码器使用堆叠的 Transformer 层。
- 核心机制： 模型不学习静态图或使用固定邻接矩阵，而是将每个时间步观测到的邻接矩阵 $A_t$ 作为可学习的加性偏置注入到注意力分数中。
- 时间 $t$ 节点 $i$ 与 $j$ 之间的注意力分数计算如下：
  $\text{score}_{ijt} = \frac{Q_{it}^\top K_{jt}}{\sqrt{d}} + \text{Bias}_{ijt}(A_t)$
- 偏置项通过对邻接项 $A_t[i, j]$ 使用小型多层感知机（MLP）计算得出。这使得模型能够根据当前拓扑结构调整空间注意力，同时保留自注意力的灵活性。如果特征相似性暗示了不同的关系，基于内容的项（ $Q^\top K$ ）可以覆盖图偏置。
- 编码器具有置换等变性，并通过为每个样本提供特定的 $A_t$ 序列来支持每个样本的图。
时间解码器：
- 编码后的特征被传递给基于GRU 的解码器，该解码器在预测视界 $H$ 上以自回归方式运行。
- 课程采样（Scheduled Sampling）： 为了减轻训练 - 测试差异（推理期间无法获得真实值），解码器采用课程采样。在训练期间，下一步的输入在真实值和模型自身的先前预测之间概率性地选择，使用模型预测的概率随训练轮次增加而提高。
- 视界加权损失： 模型采用结合均绝对误差（MAE）与指数衰减权重的损失函数，以强调短期准确性。
- 变化损失： 次要损失项惩罚预测与真实值之间时间导数（帧到帧变化）的差异，防止过度平滑的预测。

2. 训练增强

掩码节点/时间预训练： 受掩码语言建模的启发，模型被预训练以利用对应的邻接序列 $A_{hist}$ 重建输入特征张量 $X_{hist}$ 中随机掩码的条目。这种自监督目标改善了表示学习，特别是针对噪声或不规则结构。
课程学习： 在监督训练的早期阶段，逐渐增加预测视界。

主要贡献

每个样本的动态图预测： 本文形式化并解决了多步节点属性预测任务，其中每个训练样本提供其自身演化的拓扑结构，超越了单一静态全局图的假设。
可移植的空间编码器： 引入了一种边偏置注意力机制，将提供的邻接矩阵作为加性偏置注入。这在保持置换等变性的同时融入了边动态，而无需模型从头学习图结构。
鲁棒的长视界预测： 课程采样、视界加权损失和变化损失的组合解决了多步预测中的误差累积问题。
实证验证： 该方法在异构数据集（比特币信任网络、洛杉矶交通和 fMRI 脑网络）上进行了验证，显示出相对于强基线的持续改进。

实验结果

作者在多个数据集上评估了 DynaSTy：

Bitcoin-OTC 和 Bitcoin-Alpha： 动态信任网络，其中边代表随时间演变的评分。
METR-LA 和 PEMS-BAY： 交通传感器网络（此处使用半合成动态图来测试鲁棒性）。
脑网络（ABIDE）： fMRI 数据，其中连接图谱因受试者而异。

性能：

DynaSTy 在所有数据集上，在**均方根误差（RMSE）和均绝对误差（MAE）**方面始终优于强基线（包括 STGCN、DCRNN、Graph WaveNet、MTGNN、DGCRN 和 PDFormer）。
消融研究：
- 移除边偏置机制导致在具有真实动态图的数据集（比特币和脑网络）上性能大幅下降，证实了基于每个时间步邻接矩阵进行条件化的必要性。
- 移除掩码预训练或变化损失导致中等程度的性能下降，表明它们作为有效正则化项的作用。
- 打乱实验： 当输入动态图被打乱（解耦节点动态与特定图结构）时，比特币和脑网络数据集的性能显著下降，证明模型依赖于特定的每个样本图结构。相比之下，使用共享静态图的交通数据集未出现此类下降。
队列分析： 在涉及神经典型和神经多样性队列的脑网络实验中，DynaSTy（基于每个受试者图进行条件化）在联合训练时保持了高准确性，而学习单一共享邻接矩阵的基线（Graph WaveNet）在联合训练中遭受了显著的性能下降，未能捕捉队列特定的连接模式。

意义与主张

本文声称，DynaSTy 填补了文献中的关键空白，实现了多系统设置下的节点属性预测，其中图结构不仅随时间变化，而且特定于样本。虽然先前的工作侧重于动态图上的链接预测或节点分类，或者假设属性预测使用静态图，但 DynaSTy 明确针对每个样本动态图的领域。

作者断言，他们的方法将 STGNN 推广到更广泛的领域，例如基于 fMRI 的脑区信号预测，其中个体受试者共享相同的解剖区域（节点），但表现出独特且演变的连接图谱（边）。结果表明，为每个样本建模特定的动态图结构对于准确性至关重要，特别是在异质人群中，且所提出的边偏置注意力机制有效地整合了这种结构信息，同时不牺牲自注意力的灵活性。