🤖 machine learning

CoMemNet: Contrastive Sampling with Memory Replay Network for Continual Traffic Prediction

CoMemNet 是一种双分支持续学习框架，它将动量更新的目标分支与动态对比采样器及轻量级时序记忆缓冲区相结合，以有效捕捉不断演变的流量模式并缓解灾难性遗忘，从而在大规模真实世界数据集上实现了最先进的性能。

原作者： Mei Wu, Wenchao Weng, Wenxin Su, Wenjie Tang, Wei Zhou

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Mei Wu, Wenchao Weng, Wenxin Su, Wenjie Tang, Wei Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图预测一个不断扩张的城市中的交通拥堵。每年，新道路建成，新路口开通，人们的驾驶方式也在改变。这正是论文 CoMemNet 所应对的挑战。

以下是他们如何利用简单类比来解决这一问题的故事：

问题：不断变化的“移动目标”城市

大多数交通预测工具就像旧地图。它们是基于几年前的城市状况绘制的。

问题所在： 如果你修建了一条新高速公路或一个新社区，你的旧地图就毫无用处了。
旧方法： 要修复一张旧地图，通常你必须扔掉它，并在每次出现新道路时从头重新绘制整个城市。这既耗时又耗资巨大（计算能力）。
“遗忘”问题： 如果你试图仅仅将新道路添加到旧地图中而不重绘所有内容，人工智能就会感到困惑。它学会了新道路，却忘记了旧道路是如何运作的。这被称为“灾难性遗忘”。

解决方案：CoMemNet（智能、适应性强的交通教练）

作者们创建了一个名为 CoMemNet 的系统，它像一位聪明的教练一样学习，即使团队不断成长和变化，也从不遗忘。它身怀三项主要绝技：

1. “双脑”系统（在线分支与目标分支）

想象一位拥有两个协同工作的大脑的教练：

“快速学习者”大脑（在线分支）： 这个大脑高度专注于今天的交通状况。它能快速学习以应对新道路和当前的早高峰模式。它灵活且迅速。
“智慧导师”大脑（目标分支）： 这个大脑行动缓慢。它记得去年和前年的交通模式。它不会轻易改变主意。
它们如何协同工作： “快速学习者”尝试新事物，但“智慧导师”会温和地将它拉回，使其记住基础知识。这确保了系统在学习新东西的同时，不会忘记旧东西。

2. “聚光灯”选择器（DC Sampler）

你无法同时观察一座大城市中的每一辆车；否则你的计算机会爆炸。

技巧： CoMemNet 不使用“聚光灯”去观察每一条道路，而是利用一种特殊的数学工具（Wasserstein 距离）来询问：“哪些道路的变化最大？”
结果： 如果一条道路十年来一直保持不变，“聚光灯”就会忽略它。如果一条新道路刚刚开通，或者一条旧道路的交通模式突然发生逆转，“聚光灯”就会将其照得通亮。系统只将精力集中在那些真正需要关注的道路上。这节省了海量的时间和内存。

3. “口袋笔记本”（TMRB-N）

通常，为了记住过去的交通状况，你需要存储一个包含每辆车历史记录的巨型图书馆。那太沉重了。

技巧： CoMemNet 使用一个微小、轻量级的“口袋笔记本”。它不存储每一个细节。相反，它只记录下最重要变化的“要点”。
结果： 当系统需要回忆过去时，它会翻阅这本小笔记本。它的效率如此之高，以至于即使城市多年扩张，系统也永远不会耗尽内存。

结果：为何这很重要

作者在加利福尼亚的真实交通数据（包括他们创建的两个新数据集）上测试了该系统。

准确性： 它的交通预测优于目前可用的任何方法（最先进水平）。
效率： 虽然其他方法每年必须重新训练数千条道路，但 CoMemNet 只关注极小一部分（有时不到 30%）的道路，却仍能获得更好的结果。
持久性： 它成功处理了一个在 7 年间不断扩张的城市，而没有“忘记”如何预测早期的交通状况。

简而言之

CoMemNet 就像一个交通预测系统，每当修建新街道时，它无需重新学习整个城市。它拥有一个用于新事物的快速大脑，一个用于旧记忆的缓慢大脑，一个只关注变化之处的聚光灯，以及一本用于保持条理有序的小笔记本。这使得它能够在不断扩张的城市中准确预测交通，而不会导致计算机崩溃。

技术摘要：CoMemNet

问题陈述

交通预测对于智能交通系统至关重要，然而现有方法在应用于现实世界中不断演变的交通网络时面临显著局限。大多数当前方法依赖于静态的底层图结构和短期训练窗口（通常为一个月），未能考虑到道路网络的持续扩展与演变，即新节点和边随时间不断添加。这种动态演变导致了三个主要挑战：

动态拓扑下的特征提取：依赖显式图结构（如邻接矩阵）的传统方法难以适应增量拓扑变化，且在结构重构过程中易受信息破坏。
时空漂移下的灾难性遗忘：随着交通流分布随时间推移发生偏移，基于新数据训练的模型往往会遗忘历史模式。直接应用记忆回放可能因失效的时空依赖关系而引入噪声。
增量图中的记忆爆炸：在动态、密集的交通图中存储所有历史节点的多跳邻居信息，会导致内存呈指数级增长，使得全局存储和重计算变得不可行。

方法论

作者提出了CoMemNet（带记忆回放的对比采样网络），这是一个专为扩展网络上的长期交通预测设计的双分支持续学习框架。该框架无需显式图结构输入，而是依赖基于嵌入的学习。

1. 双分支架构

CoMemNet 采用动量更新的双分支结构，以平衡快速适应与知识保留：

在线分支：通过梯度下降针对当前时间段（ $\tau$ ）进行优化，该分支有助于在当前交通模式上快速收敛。
目标分支：通过在线分支参数的指数移动平均（EMA）进行更新，该分支维持长期稳定性并保留历史知识，充当抵御快速波动的低通滤波器。

2. 动态对比采样器（DC Sampler）

为了解决在不进行全局图存储的情况下选择相关训练数据的问题，DC 采样器为每个时间段动态选择节点子集（ $V^s_\tau$ ）。

机制：它计算当前时间段与上一时间段（经目标分支处理）特征分布之间的Wasserstein 距离。
选择策略：它选择分布偏移最大的前 $M$ 个节点（表明动态网络特征发生了显著变化），并将它们与新添加的节点相结合。这实现了“难例优先”策略，将训练重点放在对拓扑和交通模式变化最敏感的节点上。

3. 节点自适应时序记忆回放缓冲区（TMRB-N）

为了防止记忆爆炸同时巩固历史知识，CoMemNet 利用了一个轻量级记忆缓冲区。

功能：TMRB-N 不存储整个图邻域，而是存储关键节点的低维时序嵌入。
更新机制：它采用门控机制（类似于 GRU/LSTM 单元）来更新时序特征。它计算当前与上一时间段之间的特征差异，选择差异最大的前 $K$ 个节点，并使用当前特征与历史特征的加权平均来更新它们的隐藏状态。这确保了模型在适应新分布的同时保留必要的历史先验。

4. 训练目标

模型使用仅在 DC 采样器选择的节点子集上计算的均绝对误差（MAE）损失函数进行训练。然而，评估是在整个节点集上进行的，以确保全面的性能评估。

主要贡献

CoMemNet 框架：一个简单、基于嵌入的骨干网络，消除了对显式图结构输入的需求，实现了对增量节点和边添加的动态适应。
双分支动量对比：一种机制，将快速适应的在线分支与稳定的目标分支协同工作，以减轻时空漂移下的灾难性遗忘。
高效内存管理：引入了DC 采样器和TMRB-N，选择性更新关键节点并存储低维表示，有效避免了全局图存储和记忆爆炸。
新数据集：作者整理并发布了两个新的大规模开源交通数据集（PEMSD4(L) 和 PEMS8(M)），源自 CalTrans 数据，覆盖了加利福尼亚州不同区域，具有不同的网络规模。

实验结果

作者在三个大规模真实世界数据集（PEMSD3(S)、PEMSD4(L) 和 PEMSD8(M)）上评估了 CoMemNet。

性能：CoMemNet 在所有三个数据集上均取得了最先进（SOTA）的性能，在 MAE、RMSE 和 MAPE 方面优于基线持续学习方法（如 TrafficStream、PECPM、TFMoE）以及静态/可扩展模型。
效率：该模型表现出卓越的计算效率。通过仅由 DC 采样器选择的小部分节点（例如，后期年份中总节点的 15–30%）进行训练，与在所有数据上重新训练模型或在所有节点上增量训练相比，CoMemNet 显著减少了训练时间和资源消耗。
消融研究：实验证实了 DC 采样器（用于选择信息丰富的节点）和 TMRB-N（用于记忆回放和时序特征更新）的必要性。移除任一组件都会导致性能显著下降。
敏感性分析：模型在特定超参数下表现出鲁棒性能（例如，节点选择比率 $\rho=0.05$ ，关键节点选择 $K=12$ ），表明其在不同数据集规模下的稳定性。

意义与主张

本文声称，CoMemNet 为扩展交通网络中长期持续学习这一新兴挑战提供了一种高效且有效的解决方案。通过将模型与固定图结构解耦并利用对比采样策略，它成功解决了适应新拓扑变化与保留历史知识之间的权衡。作者断言，他们的方法验证了部署可扩展、长期交通预测系统的可行性，这些系统可以随着城市基础设施的演变而进化，而不会产生过高的计算或内存成本。新开源数据集的发布进一步促进了研究社区在时空领域对持续学习进行基准测试的能力。