🤖 AI

PMDformer: Patch-Mean Decoupling Information Transformer for Long-term Forecasting

PMDformer 是一种新颖的长程时间序列预测模型，它通过引入补丁均值解耦（patch-mean decoupling）来分离趋势和形状信息，并结合趋势恢复（Trend Restoration）和近邻变量注意力机制（Proximal Variable attention mechanisms），以有效地捕捉形状相似性和跨变量依赖关系，同时性能优于现有的最先进方法。

原作者： Ao Hu, Liangjian Wen, Jiang Duan, Yong Dai, He Yan, Dongkai Wang, Jun Wang, Yukun Zhang, Ruoxi Jiang, Zenglin Xu

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ao Hu, Liangjian Wen, Jiang Duan, Yong Dai, He Yan, Dongkai Wang, Jun Wang, Yukun Zhang, Ruoxi Jiang, Zenglin Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图根据长期的历史数据来预测未来的天气、股市趋势或交通流量。这被称为长期时间序列预测（Long-Term Time Series Forecasting）。挑战在于，这些数据非常杂乱；它们有巨大的峰值、剧烈的跌幅以及规模的变化，这使得很难看清正在发生的实际“形状”或模式。

这篇论文介绍了一种新的 AI 模型，叫做 PMDformer。你可以把它想象成一个超级聪明的侦探，它学会了一个特殊的技巧：忽略“规模”带来的噪音，完全专注于故事的“形状”。

以下是它的工作原理，通过简单的类比进行拆解：

1. 问题所在：容量失真（The "Volume" Distortion）

想象你在地图上观察三座不同的山：

山 A 是一个小丘陵（高 0 到 10 米）。
山 B 是一个中等丘陵（高 0 到 100 米）。
山 C 是一个巨大的山峰（高 0 到 1,000 米）。

如果你问一个标准的 AI 哪两座山看起来一样，它可能会感到困惑。它看到山 C 非常巨大，而山 A 非常微小，所以它认为它们完全不同。但如果你观察其坡度（形状），山 A 和山 B 的陡峭程度可能其实是完全一样的，只是处于不同的规模。

旧的 AI 模型会被数据的**规模（Size/Scale）**所干扰。它们认为一个大的峰值比一个小峰值更重要，即使小峰值的模式与大峰值完全一致。这会导致错误的预测。

2. 解决方案：“分块”与“解耦”（"Patching" and "Decoupling"）

作者的模型 PMDformer 使用了三个主要技巧来解决这个问题：

技巧 #1：“减去均值”眼镜（分块-均值解耦 Patch-Mean Decoupling）

模型并没有直接观察原始数字，而是将长期的历史数据分解成被称为**分块（Patches）**的小块（就像把一部长电影剪辑成一个个短场景）。

对于每个场景，它做了一件聪明的事：减去平均高度。

想象你有一个从 100 到 110 的图表。模型会说：“好吧，让我们忽略它处于 100 这个事实。让我们只看它是如何相对于 100 进行移动的。”
现在，一个从 100 到 110 的图表看起来与一个从 1,000 到 1,010 的图表完全一样。
结果： 模型终于能够看到两个不同的数据流具有完全相同的形状（上升和下降的模式），即使其中一个是巨大的，另一个是微小的。它将“趋势”（平均高度）与“形状”（波动）分离开来。

技巧 #2：“近期邻居”规则（近端变量注意力 Proximal Variable Attention）

在现实世界中，事物之间的关系是会变化的。例如，在股市中，两家公司可能会在危机期间同步波动，但在平静时期则会各走各的路。

旧模型会查看整个历史记录（可能是 5 年的数据）来猜测变量之间的关系。这就像试图通过观察你 5 年前是如何表现的，来预测你今天的心情。这太嘈杂了！

PMDformer 说：“让我们只看最近的一块数据。”

它只关注电影的最后一个场景，以观察变量在现在是如何相互作用的。
这防止了模型被那些不再适用的陈旧、过时的关系所干扰。

技巧 #3：“趋势恢复器”（趋势恢复注意力 Trend Restoration Attention）

还记得技巧 #1 吗？在那里我们减去了平均高度以观察形状。但是，如果我们完全忘记了这个平均高度，我们的预测将会是平坦且无用的。我们需要知道数据处于哪里，而不只是它如何移动。

因此，在模型理清了形状和关系之后，它有一个特殊的步骤叫做趋势恢复（Trend Restoration）。

它取出之前被单独放起来的“平均高度”（趋势），然后将其温柔地重新放入最终的预测中。
结果： 模型得到了两全其美：它能准确预测模式（因为它忽略了规模噪音），同时也能准确预测规模（因为它把趋势加回来了）。

3. 结果：为什么它能胜出

论文在电力使用、交通流量和天气等真实世界数据上，将该模型与现有的最佳 AI 模型进行了测试。

类比： 想象一场比赛，所有人都在试图预测未来。其他的选手因为被自己的鞋带绊倒（规模差异），或者因为盯着旧地图（过时的历史）而步履蹒跚。
获胜者： PMDformer 跑得非常顺畅，因为它看到了路径真实的形状，并且只看下一英里的地图。
结果： 论文声称，在所有测试的顶尖模型中，PMDformer 比它们更准确、更稳定。它在预测未来时犯的错误更少。

总结

PMDformer 是一种新的预测工具，它能够：

忽略容量以看到数据的真实形状。
专注于近期过去以避免过时的模式。
重新加入大局观使最终预测符合现实。

通过这样做，它解决了“规模偏差”问题，并为我们提供了一个更清晰、更准确的预知未来的水晶球。

技术摘要：PMDformer

问题陈述

长时序时间序列预测（LTSF）对于能源管理、金融和交通预测等领域至关重要。虽然基于 Transformer 的模型已采用基于补丁（patch-based）的策略来捕捉长程依赖关系，但它们面临着一个根本性的挑战：在跨补丁和跨变量建模时，准确捕捉**形状相似性（shape similarities）的过程往往会被尺度差异（scale differences）**所掩盖。

时间序列数据具有固有的非平稳性，导致补丁的尺度会剧烈波动。正如论文中所展示的，这些尺度变化会主导注意力机制，导致模型倾向于优先考虑具有较大量级的补丁，而非那些具有真正相似形状的补丁。例如，一个均值较高的补丁可能会被错误地认为比一个均值较低但轨迹形状更为一致的补丁更具相似性。此外，现有的变量依赖型（VD）方法通常对整个历史窗口内的交互进行建模，这会引入过时相关性的噪声并增加过拟合风险，而标准的归一化技术（如 Z-score）在移除标准差的同时，也会无意中扭曲数据的内在形状。

方法论

作者提出了 PMDformer，一种旨在解耦趋势与形状信息以促进精确的“以形状为中心”注意力的模型。该架构由四个协同模块组成：

1. 补丁均值解耦 (Patch-Mean Decoupling, PMD)

PMD 不采用完全归一化，而是将输入序列划分为不重叠的补丁，并减去每个补丁的均值 ( $\mu$ )。

机制： 对于补丁 $P$ ，残差形状 $r$ 计算为 $r = P - \mu$ 。
效果： 这将每个补丁中心化为零均值，从而显式地将长程趋势（编码在均值中）与残差形状信息分离。至关重要的是，与 Z-score 归一化不同，PMD 保留了原始的振幅变化和内在形状结构。这使得注意力机制能够专注于真实的形状相似性，而不是被尺度所误导。

2. 近端变量注意力 (Proximal Variable Attention, PVA)

为了应对跨变量关系的非平稳性，PVA 将变量交互建模限制在最近的时间段内。

机制： PVA 仅在所有变量的最后一个（最接近的）补丁的 Token 上应用多头自注意力（MHSA）。
效果： 通过关注最近的交互，模型能够捕捉对未来动态最具预测性的形状相似性，避免了来自历史漂移的噪声，并将计算复杂度从 $O(C^2N)$ 降低到 $O(C^2)$ 。

3. 趋势恢复注意力 (Trend Restoration Attention, TRA)

为了确保全局动态在进行以形状为中心的处理过程中不会丢失，TRA 重新整合了趋势信息。

机制： 一个参数共享的 Transformer 编码器处理形状嵌入。查询（ $Q$ ）和键（ $K$ ）投影仅在形状残差上运行，以建模补丁间的形状相似性。然而，值（ $V$ ）路径通过加法连接显式地纳入了解耦的补丁均值 ( $\mu$ )： $V = P W_V + \mu$ 。
效果： 这种架构上的分离允许模型共同编码细粒度的局部形状依赖（通过 $Q/K$ ）和全局趋势动态（通过 $V$ ），从而确保生成的预测既符合长程趋势，又保持稳定。

4. 投影层 (Projection Layer)

最终层在生成多步预测之前，将精炼后的形状嵌入与每个补丁的趋势均值重新结合，确保输出与原始尺度和长程动态保持良好的校准。

核心贡献

补丁均值解耦 (PMD)： 一种通过减去均值在注意力模块内分离趋势与残差形状的新颖机制。这使得在不扭曲振幅的情况下，能够有效捕捉时间补丁和变量之间的形状相似性。
近端变量注意力 (PVA)： 该模块将跨变量注意力集中在最近的补丁上，捕捉最相关的形状相似性，并减轻对过时相关性的过拟合。
趋势恢复注意力 (TRA)： 一种将解耦的趋势信息恢复到注意力机制的值路径中的方法，实现了局部形状与全局趋势的联合编码。
实证性能： 大量实验表明，在多个 LTSF 基准测试中，PMDformer 的稳定性与准确性均优于现有的最先进方法。

实验结果

作者在八个真实世界数据集（ECL, Traffic, Weather, Solar, ETTh1, ETTh2, ETTm1, ETTm2）上对 PMDformer 进行了评估，对比的基准模型包括 TQNet, TimeBase, SOFTS, SparseTSF, ModernTCN, iTransformer, TimeMixer 和 PatchTST。

整体性能： PMDformer 在 8 个数据集中的 7 个上取得了最低的均方误差 (MSE) 和平均绝对误差 (MAE)。
对比增益：
- 与 TimeBase（领先的基于补丁的模型）相比，PMDformer 的 MSE 平均降低了 5.68%，MAE 平均降低了 6.61%。
- 与 TQNet 相比，其 MSE 平均降低了 8.62%，MAE 平均降低了 9.96%。
- 与 iTransformer 相比，其 MSE 平均降低了 11.44%，MAE 平均降低了 12.38%。
消融实验：
- 移除 PMD 或将其替换为标准归一化（如 SAN 或 Z-score）会导致性能下降，证实了在解耦趋势的同时保留形状的必要性。
- 将 PVA 替换为对所有历史 Token 的注意力或将其移除，都会导致性能显著下降，验证了关注近端变量交互的重要性。
- 将 TRA 替换为标准自注意力或将其移除会导致显著误差，凸显了趋势恢复的关键作用。

意义

论文声称 PMDformer 解决了当前 LTSF 架构的一个核心局限：即无法在非平稳数据中区分真实的形状相似性与尺度偏差。通过显式地将趋势与形状解耦，并将变量交互聚焦于最相关的时窗，该模型提供了一个更鲁棒的长时预测框架。结果表明，以形状为中心的 Transformer 设计（即优先考虑结构相似性而非原始量级）在处理复杂时间序列任务时，在稳定性和准确性方面具有显著优势。作者将这项工作定位为迈向能源和金融等关键基础设施领域更可靠预测的重要一步。