🤖 AI

TriTS: Time Series Forecasting from a Multimodal Perspective

本文提出了 TriTS 框架，通过将时间序列解耦为时域、频域和 2D 视觉模态，并结合周期感知重塑、Visual Mamba 及多分辨率小波混合技术，在保持线性计算复杂度的同时实现了长序列预测的 SOTA 性能。

原作者： Xiang Ao

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiang Ao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 TriTS 的新模型，它的任务是预测未来（比如明天的天气、下个月的电费、未来的交通状况）。

为了让你轻松理解，我们可以把“预测时间序列”想象成预测一场复杂的交响乐接下来会怎么演奏。

1. 过去的难题：盲人摸象

以前的预测模型就像是一个只有一只耳朵的盲人音乐家。

只看时间（1D 视角）： 就像只盯着乐谱上的音符顺序，虽然能听到节奏，但很难听出和弦的复杂变化或突然的变调。
只看频率（FFT）： 就像只拿着一个频谱分析仪，知道有哪些乐器在响，但分不清这些声音具体是在什么时候出现的（比如鼓声是刚才响的，还是下一秒响的）。
只看图像（ViT）： 现在的流行做法是把时间序列变成一张“图片”（比如把波形折叠起来），然后让擅长看图的人工智能（像 Vision Transformer）去分析。但这有个大问题：太慢了！ 就像让一个超级大厨去处理一吨食材，虽然能做出美味，但等菜端上来，天都黑了（计算量太大，内存不够用）。

2. TriTS 的解决方案：组建一个“全能三人乐队”

TriTS 觉得，既然一个人（或一个模型）搞不定，不如组建一个三人乐队，每个人负责自己最擅长的部分，最后由一位“指挥”把它们完美融合。

这个乐队由三个成员组成：

🎻 成员一：稳如泰山的“低音贝斯手”（时间域分支）

角色： 负责大趋势。
比喻： 就像贝斯手，不管上面的旋律怎么花哨，他始终稳稳地踩着节拍，保证整首歌不会跑调。
技术点： 它使用了一种叫“指数移动平均”的方法，专门捕捉那些缓慢变化的长期趋势（比如气温逐年变暖，或者电费逐年上涨）。它保证了预测结果不会乱飞，非常稳定。

🎹 成员二：火眼金睛的“钢琴手”（频率域分支）

角色： 负责细节和突变。
比喻： 钢琴手擅长处理复杂的和弦和突然的变奏。普通的频率分析（像 FFT）就像是用一个固定的滤镜看世界，看不清细节；而 TriTS 的钢琴手用的是**“多分辨率小波混合”**。
技术点： 这就像把音乐拆分成“低音部”（趋势）和“高音部”（噪音/突变）。它能精准地告诉模型：哪里是长期的规律，哪里是突然的异常（比如台风天导致的电力骤降）。它把“趋势”和“噪音”分得清清楚楚。

🎨 成员三：眼光独到的“视觉艺术家”（视觉域分支）

角色： 负责全局结构和长距离联系。
比喻： 以前让艺术家看图（Vision Transformer），就像让画家拿着放大镜看一幅巨大的壁画，每看一寸都要回头重新看，效率极低。
创新点： TriTS 请来了Visual Mamba (Vim)。这就像给艺术家换了一副**“智能眼镜”**。
- 它先把时间序列折叠成一张“时间图片”（比如把一周的波形折叠成一个方块）。
- 然后，它利用一种叫“状态空间模型”的技术，像扫描条形码一样，线性地、快速地扫过整张图。
- 效果： 它既保留了看大图的能力（发现长周期的规律，比如“每周一早高峰都会堵车”），又不需要像以前那样慢吞吞地计算，速度极快，内存占用极低。

3. 指挥家：动态融合（自适应门控）

有了这三个厉害的乐手，怎么合奏呢？
TriTS 设计了一个智能指挥家（门控融合机制）。

如果今天的天气很平稳，指挥家会让“贝斯手”（时间域）多主导一点。
如果今天是节假日，交通模式很乱，指挥家会让“钢琴手”（频率域）多关注细节。
如果数据里藏着长期的周期性规律，指挥家会让“视觉艺术家”（视觉域）多发挥。
核心： 指挥家会根据当下的情况，动态调整每个人的音量，确保最终输出的预测既准确又稳定。

4. 为什么它这么牛？（实验结果）

又快又好： 以前的“视觉派”模型虽然准，但太慢太费电。TriTS 用 Visual Mamba 替代了它们，速度提升了，内存占用大幅降低，但准确率却更高了（达到了 SOTA，即当前最高水平）。
适应性强： 无论是在预测电力、交通还是天气，它都能像变色龙一样适应不同的数据环境。

总结

TriTS 就像是一个“三头六臂”的超级预测员：

一只手稳住大方向（时间域）；
一只手拆解细节和噪音（频率域）；
一只手快速扫描全局规律（视觉域，且速度极快）；
最后由智能大脑把它们完美结合起来。

它解决了以前模型要么“算得太慢”，要么“看不太清”的痛点，让长期预测变得既精准又高效。

以下是基于论文《TriTS: Time Series Forecasting from a Multimodal Perspective》的详细技术总结：

1. 研究背景与问题 (Problem)

长期时间序列预测 (LTSF) 在金融、能源、交通和气象等关键领域至关重要。然而，现有的预测方法面临以下核心挑战：

单一模态的局限性：现实世界的时间序列包含高度纠缠的动态特征（如全局趋势、复杂季节性和非平稳局部突变）。仅从一维（1D）时间域视角难以完全捕捉这些特征，导致信息丢失或表示瓶颈。
视觉模态的计算瓶颈：虽然将时间序列转化为 2D“时间图像”并利用视觉基础模型（如 Vision Transformer, ViT）取得了进展，但 ViT 的自注意力机制具有 $O(N^2)$ 的二次计算复杂度。在处理超长历史窗口时，这会导致巨大的显存消耗和推理延迟。
频域方法的局部性不足：基于快速傅里叶变换 (FFT) 的方法使用全局基函数，难以准确定位现实数据中普遍存在的瞬态突变和非平稳偏移，缺乏细粒度的时频定位能力。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 TriTS，这是一个新颖的跨模态解耦框架。该框架将一维时间序列投影到三个正交且互补的模态空间：时间域、频域和 2D 视觉域，并通过动态融合机制进行预测。

核心组件：

时间域分支 (Time-domain Branch) - 数值稳定性锚点
- 目的：捕捉非平稳趋势项，确保数值稳定性。
- 机制：采用流式指数移动平均 (Streaming EMA) 替代传统的简单移动平均 (SMA)。EMA 通过指数衰减权重对近期变化更敏感，且无需填充操作，避免了边界偏差。
- 输出：通过线性层处理趋势项，作为整个框架的“线性锚点”，防止激活函数破坏线性关系。
频域分支 (Frequency-domain Branch) - 细粒度时频定位
- 目的：解决 FFT 在处理非平稳信号时的局限性，解耦趋势与噪声。
- 机制：提出多分辨率小波混合 (Multi-Resolution Wavelet Mixing, MR-WM) 模块。
  - 利用离散小波变换 (DWT) 将信号分解为多层近似系数（宏观趋势）和细节系数（局部变化）。
  - 为每个频率分量构建独立的分辨率分支，防止高频噪声污染低频趋势。
  - 采用双阶段混合 (Dual-Stage Mixing)：先在 Patch 维度聚合局部上下文，再在 Embedding 维度提取全局语义特征。
- 优势：显式解耦趋势和噪声，实现精确的时频定位，有效处理非平稳突变。
视觉域分支 (Vision-domain Branch) - 高效全局纹理捕捉
- 目的：突破 ViT 的计算瓶颈，高效捕捉跨周期的全局依赖。
- 机制：
  - 周期感知重塑 (Period-Aware Reshaping)：根据主导周期 $P$ 将 1D 序列重塑为 2D“时间图像”，将周期内变化映射为行纹理，周期间演化映射为列结构。
  - Visual Mamba (Vim)：引入基于双向状态空间模型 (Bi-SSM) 的 Vim 编码器替代 ViT。利用选择性扫描机制 (Selective Scanning)，将时间序列视为视觉纹理进行建模。
- 优势：将计算复杂度从 $O(N^2)$ 降低至 $O(N)$ ，在保持线性复杂度的同时，实现了类似 ViT 的全局感受野。
自适应融合 (Adaptive Scale-Aware Fusion)
- 设计了一个尺度感知门控融合模块。通过轻量级网络生成时间步级别的置信度权重，动态加权三个分支的输出。这使得模型能根据数据特性（如某些数据更依赖周期性，某些更依赖趋势）灵活调整各模态的贡献。

3. 主要贡献 (Key Contributions)

TriTS 框架：提出了首个将时间、频域和 2D 视觉空间进行动态融合的统一跨模态解耦框架，有效解决了单模态方法的信息丢失和表示瓶颈。
Visual Mamba 的引入：首次通过 1D 到 2D 的模态桥接策略将 Visual Mamba 引入时间序列预测。利用双向 SSM 打破了传统视觉预测器的 $O(N^2)$ 计算瓶颈，实现了超长序列的高效全局纹理捕捉。
MR-WM 频域编码器：设计了基于多分辨率小波混合的频域编码器，克服了 FFT 在处理非平稳突变时的局限，实现了趋势与噪声的层级解耦及局部异常的精确定位。

4. 实验结果 (Results)

数据集：在 7 个广泛使用的真实世界基准数据集（包括 ETT, Weather, Electricity, Traffic）上进行了评估。
性能表现：TriTS 在大多数数据集和预测长度上均达到了最先进 (SOTA) 的性能，显著优于 VisionTS、VisionTS++、PatchTST、iTransformer 等基线模型。
效率对比：
- 参数量与延迟：相比基于 ViT 的 VisionTS（使用 MAE-Base 模型，参数量大），TriTS 使用 Vim-Tiny 架构，大幅减少了参数量和推理延迟。
- 显存占用：在处理长序列（如 Lookback=720）时，TriTS 的显存占用显著低于 VisionTS，证明了其线性复杂度的优势。
消融实验：移除任何一个分支（时间、频域或视觉）都会导致性能下降。特别是移除时间域分支会导致训练不稳定或梯度过拟合，证明了其作为数值锚点的重要性。
权重分析：可视化显示，模型能自适应调整模态权重。例如，在具有强长期依赖的 ETTh1 数据上，视觉域权重较高；而在具有强局部周期性的 Weather 数据上，频域权重较高。

5. 意义与影响 (Significance)

重新定义效率基准：TriTS 证明了多模态方法不必以牺牲计算效率为代价。通过结合 Vim 和小波变换，它在保持高性能的同时，显著降低了计算成本和资源需求。
跨模态范式创新：该工作为时间序列分析提供了新的视角，即不再局限于单一的时间域或频域分析，而是将时间序列视为具有时间、频率和视觉结构的多模态实体。
实际应用价值：其低延迟和高稳定性的特点，使其非常适合部署在资源受限或需要实时响应的关键基础设施（如电网调度、交通监控）中。

总结：TriTS 通过巧妙的架构设计，成功融合了线性模型的稳定性、小波变换的局部解析能力以及视觉模型的全局感知能力，同时利用 Mamba 架构解决了长序列预测中的计算效率难题，是当前时间序列预测领域的一项突破性工作。