想象一下,互联网就像一座巨大且繁忙的城市。在过去,所有的重活累活——比如处理你的照片或运行复杂的游戏——都发生在一座名为“云端”的遥远巨型摩天大楼里。但随着我们开始要求设备能更即时地完成更多事情,比如自动驾驶汽车或增强现实,前往那座摩天大楼的长途旅行变得太慢了。于是,我们在各个社区建立了规模较小的本地“边缘”站点,来处理那些快速响应的需求。这就是**云边协作(Cloud-Edge Collaboration)**的世界:一个由“大脑袋”(云端)和“本地助手”(边缘)共同协作的团队努力。
然而,这些边缘站点是混乱的。它们就像繁忙的咖啡馆,顾客数量每分钟都在剧烈变化。有时是一个安静的周二,有时则是突然涌入的订单高峰。如果店主(计算机系统)没能准确预判这场高峰,他们要么会面临断货(崩溃),要么会因为让太多咖啡师待命而浪费资金(浪费能源)。科学家们面临的巨大挑战在于,如何准确地预测这些疯狂的突发状况,尤其是当每个店铺的模式各不相同且随时间不断变化时。
于是,研究人员设计了一个名为 DSTFView 的新式“水晶球”,旨在解决这个预测难题。把它想象成一个超级智能的计算机流量天气预报员。它不仅仅是观察过去几分钟的情况,而是同时通过三个不同的“镜头”进行观察:即时过去(接近性)、每日重复习惯(周期性)以及数据中的隐藏节奏(频率)。它还充当了社区站点与中央摩天大楼之间的双向通道。本地站点向云端发送一份关于现状的快速摘要,云端据此理清全局大局并向下发送建议。随后,本地站点将这种大局观的建议与自身的详细观察相结合,从而对接下来会发生什么做出最终且高度准确的判断。
研究人员在两个真实世界的数据集上测试了这个想法:一个追踪计算机处理器的负载情况(CPU),另一个测量网络流量速度(TP)。他们将这种新方法与许多其他流行的预测工具进行了对比。结果显示,DSTFView 在预测未来工作负载方面始终优于其他方法。它不仅能准确把握平均水平,而且在捕捉流量的突然激增和骤降(这也是最难预测的部分)方面表现尤为出色。通过将局部视角与全局视角相结合,并利用这三个不同的镜头来理解时间和模式,DSTFView 为在不浪费资源或在压力下崩溃的前提下,保持数字城市平稳运行提供了一种更可靠的方式。
技术摘要:DSTFView:基于双输入时空频建模的多视图云-边负载预测
1. 问题陈述
边缘侧 AI 推理的激增,使得边缘平台对支持延迟敏感、高并发且可靠性至关重要的应用产生了巨大需求。在这些环境中,有效的资源管理高度依赖于准确的负载预测。然而,现有方法在协同云-边设置中面临着显著挑战:
- 异构性与复杂性: 边缘负载表现出复杂的特征,包括站点间的空间依赖性、时间动态(突发性、趋势转变)以及频域规律性(服务周期)。现有方法通常仅关注单一视角(时间、频率或时空),或无法统一集成这些多源、多模式的特征。
- 依赖关系的不确定性: 边缘环境中的关系(地理邻近性、服务亲和性、共享资源耦合)是动态的、部分可观测的,并且由于用户移动性和动态部署,具有内在的不确定性。
- 效率与准确性的权衡: 以云为中心的解决方案会引入通信延迟和成本,而仅限边缘的解决方案则忽略了跨站点依赖。此外,现有的协同框架在处理多步预测时表现不佳,往往无法捕捉多尺度周期行为,或在处理会导致性能下降的不稳定连接时表现乏力。
2. 方法论:DSTFView 框架
作者提出了 DSTFView,一种专为协同云-边架构设计的双输入时空频(STF)多视图负载预测框架。该系统通过两个阶段的流水线运行:
A. 框架概述
该框架由边缘侧聚合层、云侧全局阶段和边缘侧局部阶段组成。
- 聚合: 边缘站点通过一个可学习的聚合层将历史虚拟机(VM)级别的负载轨迹压缩为轻量级的站点级序列,以最小化通信开销。
- 双输入机制: 全局和局部阶段均利用两个不同的输入分支:
- 接近度输入(Closeness Input): 捕捉近期动态。
- 周期输入(Period Input): 建模循环时间模式。
B. 全局阶段(云侧)
- 输入: 来自所有参与边缘站点的聚合站点级序列。
- 建模: 云端对多视图站点图进行全局 STF 建模。
- 频率提取: 应用快速傅里叶变换(FFT)从两个输入分支中提取频域特征。
- 时间建模: 使用门控时间卷积网络(TCN)捕捉时间依赖性。
- 空间建模: 在三个站点间图视图上运行图卷积网络(GCN):空间图(地理)、时间图以及自适应图。
- 自适应多视图融合(AMVF): 一种自适应机制根据学习到的重要性得分动态地重新加权来自三个图视图的表示,使模型能够专注于最相关的关系结构。
- 输出: 生成粗粒度的多步站点级预测,并作为全局指导返回给边缘站点。
C. 局部阶段(边缘侧)
- 输入: 精细化的虚拟机(VM)级负载序列以及来自云端的全局指导。
- 建模: 局部预测器镜像了全局 STF 架构,但在使用站点内多视图图的情况下在虚拟机粒度上运行:
- 图视图: 物理图、逻辑图和自适应图。
- 融合: AMVF 模块自适应地融合这些视图以精细化依赖建模。
- 解聚合与最终融合: 站点级全局预测通过一个解聚合层映射回虚拟机级别。最终的虚拟机级预测是通过使用可学习门控张量 (λm) 将局部预测与解聚合后的全局指导进行自适应融合而获得的。
3. 核心贡献
本文概述了三个主要贡献:
- 新颖架构: 一种专门为协同云-边多步预测设计的双输入时空频架构,它共同建模了接近度和周期性依赖,同时提取空间、时间及频域特征。
- 自适应融合策略: 一种多视图图融合策略,能够动态集成不同的关系视图(空间、时间、物理、逻辑和自适应),以适应变化的负载模式。
- 协同流水线与验证: 构建了一个全局-局部协同预测流水线,并在真实数据集(CPU 和 TP)上进行了广泛的实验验证,证明了其相对于基准方法的持续优越性。
4. 实验结果
作者在两个数据集上评估了 DSTFView:
- CPU 数据集: 来自 77 个边缘站点(Alibaba ENS)的 1,728 台虚拟机的 CPU 利用率轨迹。
- TP 数据集: 来自网络边缘平台(Alibaba NEP)的网络流量轨迹(上行/下行吞吐量)。
性能指标:
- 指标: 平均绝对误差(MAE)、对称平均绝对百分比误差(SMAPE)和 R2。
- 预测步长(Horizons): 在 H=1,4,8,12 的预测步长下进行测试。
- 基准模型: 将该模型与时间序列基准(如 PatchTST, TimesNet, iTransformer)、时空基准(如 STGCN, DCRNN, GWNET)以及协同云-边基准(ELASTIC, XELASTIC)进行了对比。
研究发现:
- DSTFView 在两个数据集和所有预测步长下,始终优于所有代表性的基准模型。
- 消融实验:
- 去除多视图融合或依赖于单视图图(仅空间或仅时间)会导致性能下降,证实了联合建模的必要性。
- 全部的 AMVF 配置实现了最佳结果,验证了自适应融合多个关系视图的有效性。
- 可视化: 定性分析表明,DSTFView 比最强的基准模型(XELASTIC)更紧密地追踪地面真值序列,特别是在峰值、谷值和局部趋势反转期间。
5. 意义与主张
本文声称 DSTFView 解决了在协同云-边环境中平衡多维特征建模与预测效率的关键差距。通过双输入 STF 方法统一建模近期动态、周期模式和异构空间依赖,该框架实现了更高的多步预测准确性。
作者强调,自适应融合机制使模型能够捕捉突发变化并处理边缘依赖中固有的不确定性。结果表明,这种方法优于现有的要么忽略跨站点依赖,要么无法有效集成频域信息和多视图图结构的方法。
未来工作:
作者指出,未来的研究将侧重于动态图构建、持续学习,并将该预测框架与资源管理任务(如自动扩缩容和调度)相结合,以增强在现实边缘环境中的实际适应性。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题,再试一次?
无垃圾邮件,随时退订。