🤖 machine learning

Never Skip a Batch: Dense Learning of Temporal GNNs via Adaptive Pseudo-Supervision

本文引入了移动平均标签（Moving-Averaged Labels, MAL），这是一种利用历史标签分布来降低梯度方差，并在显著加速收敛的同时提升时序图网络预测性能的自适应伪监督方法。

原作者： Alexander Panyshev, Dmitry Vinichenko, Oleg Travkin, Roman Alferov, Alexey Zaytsev

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Panyshev, Dmitry Vinichenko, Oleg Travkin, Roman Alferov, Alexey Zaytsev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Never Skip a Batch》的解释，使用了简单的语言和创意类比。

问题所在：“沉默的教室”

想象你是一位老师（AI 模型），试图学习学生（图节点）如何与不同的学科（标签，如音乐流派或股票）进行互动。

在普通的教室里，老师每天都会收到一次测验，以了解学生的表现如何。根据测验结果，老师会调整自己的教学风格。这就是监督学习。

然而，在时序图（随时间变化的动态网络）的世界里，“测验”是非常罕见的。想象一所学校，在 100 天里，老师只有 2 天能收到测验。在剩下的 98 天里，老师只是看着学生互动，却得不到任何反馈。

当前的问题：
因为老师只有 2% 的时间能得到反馈，所以他们也只在 2% 的时间里更新教学方法。在剩下的 98 天里，他们只是“观察”却无所作为。这使得学习过程变得极其缓慢且低效。老师本质上是在跳过 98% 的课堂时间。

解决方案：“移动平均标签”（MAL）

作者提出了一个聪明的技巧，叫做移动平均标签（Moving-Averaged Labels, MAL）。与其等待真实的测验来更新教学，老师可以根据过去学到的知识创建一个“练习测验”。

把它想象成一个天气预报：

旧方法： 你只有在手头有温度计时才会检查温度。如果没有，你就什么都不猜。
MAL 方法： 你查看过去几天的温度。如果昨天是 70°F，前天是 72°F，你会假设今天大概在 71°F 左右。即使现在没有温度计，你也会用这个“估计”的温度来规划一天的活动。

在论文的方法中：

历史记忆： AI 查看过去针对特定用户所看到的标签（答案）。
“移动平均”： 它计算出一个“软”预测。它不会直接说“用户喜欢爵士乐”，而是说“基于其历史记录，该用户有 60% 的概率喜欢爵士乐，40% 的概率喜欢摇滚”。
永不跳过批次（Never Skip a Batch）： 现在，即使在没有真实测验的日子里，AI 也会利用这些“练习测验”来保持学习。它每一天都在更新自己的大脑，而不仅仅是在有真实反馈的那 2 天里。

为什么这有效（理论依据）

论文认为，之所以有效，是因为人类的偏好（如音乐品味或交易习惯）不会瞬间改变，它们是缓慢漂移的。

噪声的比喻： 想象你在一个嘈杂的房间里试图听一首歌。如果你只听一瞬间（单个数据点），噪声可能会让你觉得歌曲变了。但如果你听得久一点并对声音取平均值（移动平均），噪声就会抵消，你能更清晰地听到真实的旋律。
结果： 通过使用这些历史平均值，AI 减少了学习中的“噪声”。从理论上讲，这使得学习过程收敛（完成学习）得更快——具体来说，论文声称它能快 6 倍达到同样的技能水平。

他们测试了什么

研究人员在四个真实世界的数据集（如国际贸易、音乐流派、Reddit 活动和加密货币交易）上测试了该方法。他们将该方法与以下内容进行了对比：

Vanilla Training（基础训练）： 标准做法（在没有标签时跳过日子）。
其他伪标签技术（Other Pseudo-labeling）： 仅根据上一次看到标签的时间来猜测答案（持续预测/Persistent Forecast）。
平滑处理（Smoothing）： 一种通过稍微模糊答案来使其不再过于尖锐的技术。

结果：

速度： 他们的法达到顶尖性能的速度比标准方法快 6 倍。
质量： 尽管他们在大多数日子里使用的是“虚假”（伪）标签，但最终的模型实际上比标准模型更擅长预测未来。
通用性： 它在不同类型的图中表现良好，从小型贸易网络到庞大的加密货币网络。

“秘密武器”

论文强调了几个使其特别的关键特征：

无需额外的“大脑”： 它不需要 AI 去学习一种新的、复杂的猜标签方式。它只是应用在现有数据上的一个简单的数学公式（平均值）。
鲁棒性： 即使数据很乱或者标签被打乱了，该方法也比其他方法更稳健。
“窗口”大小： 如果观察“正确数量”的历史记录，该方法效果最好。观察太少的历史记录会有噪声；观察太多的历史记录则会让 AI 难以适应变化。作者发现了一个“甜点区”（窗口大小约为 7），这在大多数情况下都表现良好。

总结

该论文解决了由于标签缺失导致的训练数据“枯燥”问题。与其在缺少标签时停止学习过程，不如利用过去标签的时空穿越平均值，让 AI 每一秒都在持续学习。这使得 AI 的学习速度快了 6 倍，并且变得更聪明，且不需要任何额外的计算能力或复杂的全新架构。

技术摘要：永不跳过批次：通过自适应伪监督进行时序图神经网络的密集学习

1. 问题陈述

时序图网络（Temporal Graph Networks, TGNs）是处理动态图任务的最先进模型，然而在处理现实世界数据集时，其训练效率受到监督稀疏性的严重阻碍。在许多应用场景中（例如推荐系统、欺诈检测），有标签的交互仅占总事件量的不到 2%。因此，标准的 TGN 实现会在两种截然不同的模式下处理批次：

有监督批次： 涉及梯度更新和内存更新的完整训练步骤。
无监督批次： 仅进行内存和邻居采样器更新；由于缺乏地面真值标签，不执行基于梯度的训练。

这种“跳过批次”的行为造成了显著的瓶颈。模型在绝大多数数据上会跳过参数更新，导致当标签终于出现时，梯度更新具有高方差，且导致实际运行时间收敛缓慢。本文认为，节点的偏好随时间演变较为缓慢，这表明可以利用历史监督信号为这些原本闲置的批次生成具有信息量的伪目标。

2. 方法论：移动平均标签 (Moving-Averaged Labels, MAL)

作者提出了移动平均标签 (MAL)，这是一种伪标签方案，它根据历史监督信号为无监督批次生成软目标。该方法与底层模型架构（如 TGNv2、DyRep）是正交的，且不引入额外的可学习参数。

核心机制

对于缺乏地面真值标签的批次 $B_t$ 中的节点 $v$ ，MAL 利用观测到的过去目标构建伪目标 $\tilde{y}^{(v)}_t$ 。伪目标的定义为：
$\tilde{y}^{(v)}_t = \bar{y}^{(v)}_t + \gamma \cdot \epsilon$
其中：

$\bar{y}^{(v)}_t$ 是历史目标的聚合。
$\epsilon$ 是从均匀分布中采样的零均值噪声，经过归一化处理以确保 $\tilde{y}^{(v)}_t$ 仍是一个有效的概率分布（总和为 1）。
$\gamma$ 是作为正则化项的噪声缩放因子。

聚合策略

论文评估了三种用于计算历史聚合 $\bar{y}^{(v)}_t$ 的策略：

持久预测 (Persistent Forecast, PF)： 复用该节点最近一次观测到的标签。
移动平均 (Moving Average, MA)： 使用窗口大小 $w$ 增量更新伪标签。当新的目标 $y^{(v)}_t$ 到达时，聚合方式更新为：
$\bar{y}^{(v)}_t = \frac{w-1}{w}\bar{y}^{(v)}_{t-1} + \frac{1}{w}y^{(v)}_t$
历史平均 (Historical Average, HA)： 以相等的权重聚合所有过去的标签（理论基准）。

训练流水线

该方法修改了标准的 TGN 训练循环。当没有地面真值标签的批次到达时，模型使用所选的聚合策略计算伪目标 $\tilde{y}$ 。随后，模型执行完整的正向传播，计算针对这些伪标签的交叉熵损失，并进行反向传播以同时更新 GNN 参数和内存模块。这使得“闲置”的计算转化为了高效的训练步骤。

3. 理论分析

论文提供了理论依据，解释了为什么 MAL 通过降低随机梯度的方差来提高收敛速度。

方差缩减： 在用户偏好恒定（或缓慢漂移）的假设下，作者将标签生成建模为一个真实标签为 one-hot 向量的过程。他们证明了聚合 $h$ 个历史标签（历史平均）相比于单次观测能降低估计器的方差。
收敛界限： 对于具有 $\mu$ -强凸损失函数的随机梯度下降 (SGD)，遗憾界 $R_T$ 与梯度方差 $\sigma^2$ 成正比。作者推导出，对于历史平均标签 (HA)，方差随 $\frac{1}{\min(h, k)}$ 缩放，其中 $h$ 是历史长度， $k$ 是可能的交互类别数。
结果： 这意味着，只要时序一致性假设成立，与 vanilla 训练相比，收敛速度在理论上可以实现 $\min(h, k)$ 倍的提升。

4. 实验结果

作者在 Temporal Graph Benchmark (TGB) 上评估了 MAL，使用了四个大规模数据集：tgbn-trade、tgbn-genre、tgbn-reddit 和 tgbn-token。他们在 TGNv2 和一个改进的 DyRepv2（结合了 TGNv2 的源-目标识别功能）上实现了 MAL。

主要发现

预测性能： MAL 一致地优于 vanilla 训练和其他基准方法。在 TGNv2 模型上，移动平均 (MA) 在各数据集上的 NDCG@10 提升范围在 3% 到 17% 之间。
收敛速度： 最显著的收益在于训练效率。MAL 将达到目标分数所需的时间（time-to-accuracy）平均减少了 6 倍。在某些情况下（如 tgbn-token），该方法仅需极短的时间即可达到 vanilla 模型完全收敛后的性能。
基准对比：
- Vanilla 模型： 在 TGB 数据集上，许多现有架构（JODIE, TGAT, CAW-N 等）在没有 TGNv2 特定架构改进的情况下，会坍缩为平凡解（表现与均值目标基准相似）。
- 其他伪标签方法： MAL 的表现优于 持久预测 (PF)、标签平滑 (Label Smoothing) 以及 自监督 (SSL) 下一个边预测策略。
- 窗口大小： 消融研究表明，最优窗口大小因数据集而异（例如，trade 为 $w=3$ ，Reddit 为 $w=9$ ），但默认值 $w=7$ 通常能提供稳健的性能。
鲁棒性：
- 噪声： 该方法在不同的噪声因子 ( $\gamma$ ) 下保持稳定。
- 时序打乱： 当训练标签被打乱（破坏了时序一致性）时，所有方法的性能都显著下降，这证实了收益源于时序一致性而非单纯的正则化。
- 稀疏性： 在受控的标签移除实验下，随着监督变得更加稀疏，MAL 相对于 vanilla 训练的优势也随之增加。

5. 意义与主张

本文旨在解决动态图学习中的一个基本低效问题：即在无监督批次上浪费计算资源的问题。

范式转变： 本研究将范式从“仅在有监督时训练”转变为“始终训练，并进行智能外推”。
无需复杂性的高效性： 该方法在不修改模型架构、不增加可学习参数、也不需要单独预训练阶段的情况下，实现了最先进 (SOTA) 的结果和显著的加速。
理论基础： 它提供了理论证明，即聚合历史监督可以减少梯度方差，从而在时序稳定性这一温和假设下实现更快的收敛。
实际影响： 通过在稀疏数据上实现密集学习，MAL 使大规模时序图模型的训练变得更快、更有效，特别是在标记事件稀少的领域。

作者总结道，时序一致性是一种尚未被充分挖掘的监督信号，通过简单的移动平均进行利用，可以为时序图学习中的梯度稀疏问题提供一种原则性且轻量级的解决方案。