RhyMix: A Lightweight Adaptive Multi-Rhythm Network for Long-Term Time Series Forecasting

技术摘要：RhyMix

问题陈述
现实世界的多元时间序列（MTS）表现出复杂的动态特性，其特征在于同时存在多种时间模式，包括短期波动、周期性季节循环、长期趋势以及不规则的突发变化。现有的预测架构通常依赖于单路径时间建模策略，难以同时捕捉这种多样性。基于 Transformer 的模型能够捕捉长程依赖，但往往会平滑局部变化，并面临二次方复杂度的问题；卷积网络可以捕捉局部模式，但感受野有限；而线性模型虽然高效，却无法捕捉非线性动态。此外，许多最先进（SOTA）的模型依赖于僵化的结构假设（例如固定的 Patch 大小、统一的 MLP），或者需要沉重的计算资源（例如预计算步骤如 SVD 或外部基础模型），这限制了它们在资源受限的边缘环境中的部署能力。因此，迫切需要一种轻量级、计算高效（线性复杂度）、且能够在不牺牲准确性的情况下自适应建模多尺度时间动态的架构。

方法论
作者提出了 RhyMix（RHYthm MIXture），这是一种围绕并行双路径建模范式与自适应门控机制设计的轻量级混合神经架构。该架构通过两个协调的编码分支处理时间信号：

1. 循环预测路径（Cyclic Forecasting Path）： 该分支通过四个可学习的循环嵌入表引入显式的季节性归纳偏置，周期 $P \in \{12, 24, 48, 168\}$（分别代表半天、每日、两天和每周循环）。它使用可学习的周期权重，为每个输入样本动态强调相关的周期性。
2. MSTCN-CA 路径（多尺度时间卷积网络结合通道注意力）： 该分支采用了一个轻量级的时间卷积网络，由两个堆叠的层级时间多尺度（TMS）块组成。每个块使用四个并行的深度可分离扩张卷积，扩张率 $d \in \{1, 2, 4, 8\}$，以捕捉不同感受野下的时间依赖关系。它集成了通道注意力，根据输入特征来调节多尺度特征。

自适应门控与融合：
其核心创新在于在多个层级使用自适应门控：

• 路径门控（Path Gating）： 一个混合门控（MLP）根据输入特征动态平衡循环路径（Cyclic Path）与 MSTCN-CA 路径的贡献。
• 头部门控（Head Gating）： 一个路径门控针对每个样本和通道动态组合四个专门的预测头。这些预测头捕捉不同的时间模式：
  1. 直接投影（Direct Projection）： 一个线性层。
  2. 趋势-季节性分解（Trend-Seasonal Decomposition）： 使用自适应移动平均。
  3. 局部模式提取（Local Pattern Extraction）： 使用深度卷积。
  4. 周期融合（Periodic Fusion）： 使用 2D CNN 将输入与循环嵌入进行融合。

该模型利用可逆实例归一化（RevIN）进行归一化和反归一化，以确保关注相对时间模式。整个架构相对于序列长度（$L$）和通道数（$C$）保持线性复杂度 $O(L \cdot C)$，避免了与自注意力或基于 SVD 投影相关的二次方成本。

核心贡献

1. 架构设计： 引入了 RhyMix，这是一种通过并行双路径设计，将显式的多周期循环建模与基于 TCN 的多尺度特征提取相结合的混合架构。
2. 自适应机制： 实现了自适应门控机制，能够基于每个样本动态组合四个专门的预测头并平衡两条编码路径，从而在没有固定结构假设的情况下使模型适应特定的时间模式。
3. 高效性： 实现了 SOTA 性能，且模型参数量极小，仅约为 40,269 个参数（157 KB），与近期 SOTA 模型相比（例如比 Time-o1 少 10 倍），显著降低了参数量。
4. 性能： 在 12 个不同的基准数据集（电力、交通、天气、金融）上进行了验证，展示了卓越或具有竞争力的性能，在 12 个数据集中的 10 个上达到了 SOTA 结果。

实验结果
作者在 12 个公开基准数据集（ETTh1/2, ETTm1/2, ECL, Traffic, Weather, Exchange, PEMS03/4/7/8）上评估了 RhyMix，回看窗口为 $L=96$，预测时界（horizon）高达 $H=720$。

• 准确度： RhyMix 在 12 个数据集中的 10 个上取得了最佳性能（最低 MSE/MAE）。它超越了包括 Time-o1, TimeMixer++, GCMNet, SEG-MOE, SOFTS, PatchTST 和 iTransformer 在内的近期基线模型。
• 效率： 该模型展示了每样本 4.47 ms 的推理延迟和 9.35 MB 的峰值推理内存占用。
• 消融实验： 通过系统性地移除组件（循环路径、MSTCN-CA 路径、自适应门控、周期特征、局部卷积），证实了每个模块都发挥了协同作用。周期特征被确定为最关键的组件，而双路径设计则根据数据集特征提供了互补的增益（例如，对于 ECL 倾向于循环路径，对于 ETTh1 倾向于 MSTCN-CA）。
• 复杂度对比： RhyMix 随预测时界呈线性缩放（$O(H)$），而像 Time-o1 这样的模型由于投影矩阵的原因随之呈二次方缩放（$O(H^2)$）。RhyMix 的参数量比 TimeMixer++ 少达 99 倍。

意义与主张
论文声称 RhyMix 解决了预测准确度与计算效率之间的权衡问题。通过将显式的季节性先验与数据驱动的多尺度卷积及自适应门控相结合，RhyMix 在保持轻量化的同时捕捉了多样化的时间模式。作者将 RhyMix 定位为资源受限边缘设备和实时应用的实用解决方案，它提供了一个无需预计算或外部基础模型的自包含架构。这项工作表明，自适应的多节奏建模可以在不具备当前基于 Transformer 或复杂混合方法的高昂计算开销的情况下，实现 SOTA 性能。

局限性
作者承认 Rhy-Mix 在具有强空间传感器间依赖关系的数据集（例如拥有 862 个传感器的 Traffic 数据集）上表现出局限性，在这些数据集上，专门的通道依赖（CD）架构（如 SOFTS 或 iTransformer）表现更好。此外，在 PEMS04 数据集的长时界（$H=96$）预测中，RhyMix 略逊于 MSTN-Transformer，这表明自适应门控机制在某些特定数据分布的长时界预测上可能效果较弱。作者指出，这反映了在优先考虑通用多尺度学习而非专门归纳偏置方面的设计权衡。