🤖 machine learning

Multi-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series

本文提出了 MSC-OT，一种用于多元时间序列预测的新颖架构，该架构在倒置嵌入框架内集成了多尺度卷积和 Sinkhorn 最优传输正则化，以有效地捕捉多粒度结构模式并抑制噪声，从而在短期和长期预测任务中均实现了卓越的性能。

原作者： HaoChong Fu, Jian Xu

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： HaoChong Fu, Jian Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测一座繁华城市的未来。你拥有来自数百个不同传感器的各种数据：交通灯、气象站、电网和股票市场。这就是科学家们所说的多元时间序列（Multivariate Time Series）。你的目标是观察所有这些移动的部件，并预测接下来会发生什么。

有一段时间，实现这一目标的聪明方法是使用“Transformer”模型——一种类似于“超级专注的图书管理员”的 AI 类型。但问题在于，传统的图书管理员会抓取一个时间点（比如“上午 9:00”），然后同时观察所有的传感器。他们擅长观察交通灯从 9:00 到 9:01 的变化，但却很难理解交通灯的整个历史过程（过去一小时）是如何影响电网的。

随后，一种名为 iTransformer 的新想法出现了。它颠覆了剧本！它不再是观察一个时刻下的所有传感器，而是将一个传感器的整个历史轨迹视为一个“Token”（一个信息单元）。这在理解不同传感器之间如何进行对话方面取得了巨大的成功。然而，这篇论文的作者 HaoChong Fu 和 Jian Xu 注意到了一个问题：通过将一小时的数据压缩成一个微小的 Token，模型丢失了细微的、局部的细节。这就像是在读一部小说的摘要，却错过了第三章里那些有趣的对话。

核心创意：MSC-OT
为了解决这个问题，作者构建了一个名为 MSC-OT（多尺度卷积结合最优传输）的新系统。你可以把它想象成给图书管理员戴上了一副“超级眼镜”，并交给她一本“严格的规则手册”。

1. 超级眼镜（多尺度卷积）
“多尺度卷积”部分就像是给模型提供了不同的透镜来观察数据。

想象一下你在观察人群。一个透镜聚焦于正在交谈的三个人（一个小模式）；另一个透镜则拉远视角，观察整排人（一个大模式）。
论文使用了两种特定的透镜：一种观察 3x3 的数据块，另一种观察 5x5 的数据块。
这使得模型能够捕捉到“局部结构模式”——即那些之前的“压缩”Token 方法所遗漏的微小波动和短期起伏。这就像是意识到，虽然整个城市都很繁忙，但某个特定的街角有着独特的节奏，而这个节奏对预测至关重要。

2. 严格的规则手册（Sinkhorn 最优传输）
第二部分，Sinkhorn 最优传输，是模型的“定心丸”，让它在混乱中保持冷静。

在现实生活中，数据是杂乱无章的。有时传感器会发生故障，发送一个巨大的、虚假的数值峰值（异常值）。普通的 AI 可能会惊慌失措，认为：“天呐，这个巨大的峰值一定是最重要的东西！”从而忽略了其他所有信息。
作者使用了一种名为最优传输（通过 Sinkhorn 算法求解）的数学方法来充当“平衡木”。
这就像一位公正的老师在给全班同学评分。如果有一个学生用极大的声音喊出了答案（异常值），老师不会只给他所有的分数。相反，老师会确保分数在全班同学之间公平分配。
论文设置了一个特定的“平衡旋钮”（称为 $\lambda$ ）为 5.0。这个数字经过调优，既能平滑处理数据以忽略噪声，又不会丢失真实的信号。它迫使模型观察全局，而不是被一个奇怪的数据点分散注意力。

神奇的混合器（自适应融合）
这三者是如何协同工作的呢？基础注意力（原始图书管理员）、超级眼镜（卷积）以及规则手册（最优传输）。

模型并不仅仅是选择其中之一；它将它们全部混合在一起。
它使用了一个“可学习”的混合器。想象一个拥有三个推子的 DJ。在开始时，DJ 将基础注意力设置为 0.7（70%），卷积设置为 0.2（20%），规则手册设置为 0.1（10%）。
在训练过程中，模型学会了调整这些推子。例如，在 ECL（电力）数据集上，模型学会了更多地依赖“超级眼镜”（卷积），将其权重提升到了 40% 以上，因为该数据集需要更多的局部细节。而在 Traffic（交通）数据集上，它保持了基础注意力的高位，约为 63%。
这证明了最好的组合并非对每个城市都一样；模型会为每项具体工作学习合适的“配方”。

效果如何？
作者在五个真实世界的数据集上进行了测试：ECL（电力）、ETT（能源）、Exchange（货币）、Traffic（交通）和 Weather（天气）。他们将自己的模型与过去几年的顶尖模型进行了对比，如 iTransformer、PatchTST 和 TimesNet。

结果令人振奋。论文报告称，MSC-OT 在其中三个数据集（ECL、Traffic 和 Weather）上实现了最佳准确度（最低误差），并在 Exchange 数据集上排名第二。

与 Crossformer 相比，性能提升了 27%。
与 TimesNet 相比，性能提升了 35%。
与 Fedformer 相比，性能提升了 19%。

作者还进行了“消融实验”，这是一种高级说法，意思是：“让我们把部分组件拆掉，看看会发生什么。”当他们移除“超级眼镜”或“规则手册”时，模型的表现变差了。这证实了这两个部分都是必要的，并且比起单独使用，它们结合在一起的效果更好。

关于本文“并非”什么
需要注意的是，这篇论文并没有声称某些内容。作者明确反对认为旧的嵌入数据方式（即在单一时刻观察所有传感器）是最佳方法的观点。他们还指出，如果你不使用“反转嵌入法”，那么仅仅使用线性层（非常简单的数学）可能比复杂的 Transformer 更好；但他们认为，通过正确的增强手段（如他们的研究），Transformer 方法在处理复杂的多元任务时仍然具有优越性。

结论
论文表明，通过结合观察精细细节的方法（多尺度卷积）与忽略噪声并保持平衡的方法（最优传输），我们可以构建一个更强大的、用于预测复杂系统未来的“水晶球”。作者对他们的结果充满信心，展示了在不同预测长度（从未来 96 步到 720 步）下的一致性提升，但他们将其呈现为一个实用的、有效的解决方案，而非解决宇宙中所有问题的“万灵药”。他们甚至在 GitHub 上分享了代码，以便他人尝试！

技术摘要：基于最优传输注意力机制的多尺度卷积多变量时间序列模型

问题陈述
多变量时间序列（MTS）预测在捕捉多粒度结构模式以及有效抑制噪声方面面临显著挑战。虽然基于 Transformer 的模型在序列建模中已占据主导地位，但它们在处理时间序列时的应用通常将同一时间戳下的多个变量嵌入为通道，侧重于捕捉时间依赖性。近期的进展，如 iTransformer，引入了一种“反转嵌入”（inverted embedding）范式，即将每个变量的整个时间序列视为单个 Token，以更好地捕捉跨变量依赖关系。然而，作者指出该方法存在一个关键局限性：通过将一个变量的时间信息压缩为固定维度的 Token，细粒度的局部时间模式（例如短期波动、周期性）会发生丢失。此外，标准的注意力机制容易受到离群值和噪声的影响，这可能导致注意力分布偏斜并产生次优的预测结果。

方法论：MSC-OT
为了解决这些局限性，本文提出了 MSC-OT（多尺度卷积与最优传输注意力），这是一种旨在增强反转嵌入框架的新型架构。该方法由三个核心组件组成：

多尺度卷积增强：
- 目标： 在注意力评分矩阵中恢复并建模在反转嵌入过程中丢失的局部结构模式。
- 机制： 模型直接对注意力评分矩阵（ $S \in \mathbb{R}^{B \times H \times N \times N}$ ）应用并行 2D 卷积，卷积核大小分别为 $3 \times 3$ 和 $5 \times 5$ 。
- 功能： 这些卷积在变量交互空间内捕捉不同粒度的局部结构模式。生成的多尺度特征通过简单的平均进行聚合，以确保数值稳定性并保留互补信息。
Sinkhorn 最优传输（OT）正则化：
- 目标： 将注意力计算公式化为一个最优传输问题，以确保平衡的信息流并提高对噪声的鲁棒性。
- 机制： 将注意力评分矩阵视为熵正则化最优传输问题的代价矩阵。采用 Sinkhorn 算法 通过迭代归一化行和列，生成双随机（doubly-stochastic）注意力分布。
- 功能： 熵正则化项（ $\lambda H(P)$ ）能够自然地平滑注意力权重，防止任何单个变量（即使其评分异常高）主导注意力分布。这有效地抑制了现实世界 MTS 数据中常见的离群值和测量噪声的影响。
自适应融合策略：
- 目标： 动态组合基础注意力评分、卷积增强评分和 OT 正则化评分。
- 机制： 最终的注意力评分通过加权和计算得出： $S_{final} = \alpha \cdot S + \beta \cdot S_{conv} + \gamma \cdot P$ 。
- 功能： 权重（ $\alpha, \beta, \gamma$ ）是可学习的参数，初始值分别为 0.7、0.2 和 0.1。它们通过 Softmax 进行归一化以确保训练稳定性。这使得模型能够根据数据集的具体特征，自适应地确定各组件的最佳贡献度。

核心贡献

增强的反转嵌入： 本文提出了一种方法，在保留 iTransformer 跨变量建模优势的同时，通过对注意力评分进行多尺度卷积，补偿了细粒度时间依赖性的损失。
噪声鲁棒的注意力机制： 通过集成 Sinkhorn 最优传输，模型引入了一种内在的机制来抑制噪声并防止离群值主导，解决了标准 Softmax 注意力在 MTS 处理中的关键弱点。
协同架构： 本研究表明，多尺度卷积（捕捉局部模式）与 OT 正则化（全局平衡与噪声抑制）是互补的。自适应融合策略使这些组件能够协同工作，而非独立运行。
达到最先进水平（SOTA）的性能： 作者通过广泛的实证验证表明，MSC-OT 在多个基准数据集上均优于近期的最先进模型（包括 iTransformer、PatchTST、Crossformer 和 TimesNet）。

实验结果
作者在五个广泛使用的基准数据集上评估了 MSC-OT：ECL（电力）、ETT（电力变压器温度）、Exchange-Rate（汇率）、Traffic（交通）和 Weather（天气）。

性能表现： MSC-OT 在 ECL、Traffic 和 Weather 数据集上取得了最佳的均方误差（MSE）结果，并在五个数据集中的四个上取得了最佳的平均绝对误差（MAE）结果。
对比增益： 文中声称在特定场景下较特定基准模型有显著提升，例如在特定背景下比 Crossformer 提升了 27%，比 TimesNet 提升了 35%，比 Fedformer 提升了 19%。
消融实验： 实验证实，移除多尺度卷积或 OT 正则化中的任何一项都会导致性能下降。研究还表明，自适应融合权重能够有效地平衡各组件（例如在 ECL 中，卷积和 OT 组件合并占用了近 60% 的权重，表明了它们的关键作用）。
超参数： 发现最优的熵正则化系数为 $\lambda=5.0$ ，且两次 Sinkhorn 迭代足以实现收敛，而不会带来过高的计算成本。

意义与主张
本文将 MSC-OT 定位为解决现实世界多变量时间序列预测问题的实用且有效的方案。作者声称，该方法通过解决捕捉局部时间结构与在噪声环境下保持鲁棒的跨变量建模之间的特定权衡，成功优化了注意力机制。通过利用最优传输，该方法建立了一条新的注意力优化路径，该路径对离群值不那么敏感，并且更适用于现实世界时间序列数据的复杂多尺度特性。代码已公开，以促进进一步的研究与应用。

技术摘要：基于最优传输注意力机制的多尺度卷积多变量时间序列模型

类似论文