📊 statistics

Hopformer: Homogeneity-Pursuit Transformer for Time Series Forecasting

Hopformer 是一种新颖的两阶段 Transformer 框架，它通过首先利用稀疏模式聚合（Sparsity Pattern Aggregation）提取一个统一时间模式的共同低方差趋势，随后利用经过 LoRA 微调的 Transformer 对残差依赖关系进行建模，从而在具备偏差-方差权衡与泛化能力理论保证的同时，实现了最先进的性能。

原作者： Wan Zhang, Qinjie Lin, Chan Lee, Weijian Li, Han Liu, Kai Zhang

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wan Zhang, Qinjie Lin, Chan Lee, Weijian Li, Han Liu, Kai Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

水晶球问题：在混沌世界中预测未来

想象一下，你正试图预测天气。你拥有一台超级聪明的计算机，它读过每一本气象学书籍。这台计算机非常擅长识别云层和风力的模式，但当你递给它一叠由 500 份不同报纸组成的资料——每份报纸都包含关于交通、股市和当地节日的不同类型数据时，它就会感到困惑。传统的预测模型（那些老派的模型）会试图阅读每一份报纸，结果被信息淹没并最终放弃。而较新的、高级的 AI 模型（即“Transformer”）则像出色的侦探一样能够发现复杂的模式，但当线索（数据）同时来自太多不同的来源时，它们往往会感到吃力。它们可能会被噪音分散注意力，或者根本不知道该如何权衡一份交通报告与一次股市崩盘之间的权重。

这就是时间序列预测的核心挑战：当你拥有大量可能有所帮助但又过于杂乱的额外信息（协变量）时，如何预测接下来会发生什么（例如销售额、用电量或疾病传播）。目标是找到一种方法，利用所有这些额外的有用信息来做出更好的猜测，而不让 AI “头痛”。如果我们能解决这个问题，我们就能构建出更好的系统，用于管理从电网到流感爆发等各种领域。

走进 Hopformer：两步走的侦探

论文介绍了一种名为 Hopformer（同质性追求 Transformer）的新方法。你可以把它想象成一个旨在解决“线索过多”问题的两步走侦探团队。Hopformer 并没有尝试将杂乱的报纸直接喂给超级聪明的 AI，而是将这项工作分成了两个截然不同的阶段。

第一步：“同质化”过滤器（趋势猎人）
首先，Hopformer 将杂乱的数据通过一个由不同专家组成的“过滤器”。想象一个侦探小组：其中一位是热爱直线条的数学天才，另一位是寻找分支模式的攀树高手，第三位则是神经网络忍者。他们观察额外的信息（如经济指标或传感器数据），并试图预测未来的基本、可预测的趋势。

Hopformer 并没有只选择某一位侦探，而是使用了一种被称为**稀疏模式聚合（Sparsity Pattern Aggregation, SPA）**的聪明技巧。这就像是一个投票系统，能够自动识别哪些侦探在当前任务中表现出色，并忽略那些仅仅是在瞎猜的人。它结合了这些专家的最佳想法，从而创造出一条单一且平滑的“趋势线”。这一步剥离了数据中由额外信息驱动的那些可预测的、枯燥的部分。论文在数学上证明，这种方法是结合这些专家几乎最理想的方式，它在过于简单与过于复杂之间找到了完美的平衡。

第二步：“残差”猎人（模式大师）
一旦移除了可预测的趋势，剩下的会是什么？是那些杂乱、怪异、不可预测的剩余部分。在数学术语中，这些被称为“残差”。也许趋势显示销售额应该上升，但突然出现的病毒式梗引发了奇怪的激增。这时第二步就开始发挥作用了。Hopformer 获取这些杂乱的剩余部分，并将其输入到一个强大的 AI 模型——Transformer 中。

然而，Hopformer 并没有重新训练整个庞大的 AI（这既耗时又耗能），而是使用了名为 LoRA（低秩自适应）的技术。你可以把这看作是给 AI 提供了一套“辅助轮”或一个小的、可调节的覆盖层。它仅微调 AI 大脑的一小部分来学习剩余部分的特定特征，同时让大脑的其余部分保持冻结状态。这使得过程既快速又高效。

他们的发现

作者在六个不同的数据集上测试了 Hopformer，包括电力使用量和销售记录等现实世界数据，以及旨在测试系统的合成数据。

效果更好： Hopformer 击败了当前的顶尖模型（state-of-the-art）。在所有测试中，它平均提高了准确度（通过名为 MASE 的指标衡量），平均提升了 6.56%。在某些特定的合成数据案例中，与现有的最佳方法相比，它的准确度提升了 4.45%。
两步走团队是关键： 当他们测试没有第一步（仅将原始数据输入 AI）的情况时，效果并不理想。当他们单独测试第一步时，表现虽好但并不完美。但当他们将两者结合时？那就是奇迹发生的时候。第一步清理了数据，使第二步的工作变得轻松得多。
它非常高效： 论文表明，在第二步中使用“辅助轮”（LoRA）的效果几乎与重新训练整个 AI 一样好，但消耗的计算能力要少得多。
它能处理短视和长远视角： 即使作者给它很少的过去数据来看（短上下文），或者要求它预测很远的未来（长时界），Hopformer 依然保持强劲。在一项测试中，当数据窗口缩减到仅 32 个步骤时，Hopformer 仍然显著优于竞争对手。

它不是什么

论文谨慎地说明了 Hopformer 不能做什么。它并不声称自己是一个无需任何调整就能适用于所有可能问题的“魔杖”。它专门针对拥有高维协变量（大量额外数据）的情况。如果你没有这些额外数据，Hopformer 的第一步就会变成一个标准模型，其“两步走”设计的特殊优势也就无法以同样的方式体现出来。此外，虽然数学证明了第一步在理论上是可靠的，但第二步的成功取决于 AI 进行微调的具体方式，作者对此进行了广泛测试，但也承认这可能会随不同的 AI 架构而变化。

简而言之，Hopformer 表明，预测未来的最佳方式不是把一切都扔给一台单一的超级计算机，而是先用一个聪明的专家团队找到明显的模式，然后让一个专门的 AI 去处理剩下的部分。它提醒我们，有时候，最明智的做法是将一个巨大且杂乱的问题分解为两个更小、更清晰的问题。

技术摘要：Hopformer —— 用于时间序列预测的同质性追求 Transformer

1. 问题陈述

本文解决了时间序列预测中的一个关键挑战：如何在保持现代深度学习模型的可扩展性和预测能力的同时，有效地利用高维外部协变量（例如经济指标、传感器阵列）。

虽然基于 Transformer 的架构在捕捉复杂非线性动力学方面已经树立了最先进的性能标准，但在依赖高维协变量的场景下，它们往往难以应对。传统的注意力机制或嵌入层在这些设置中会变得计算昂贵或不稳定。此外，近期的“通用型”预测模型（如 Chronos、MOIRAI）由于架构限制或为了实现零样本泛化，往往会避开协变量挑战或完全舍弃协变量。核心问题在于：如何在不损害基础模型的扩展性或不需要大规模重新训练的情况下，利用高维协变量来提高预测精度。

2. 方法论：Hopformer

作者提出了 Hopformer (Homogeneity-Pursuit Transformer，同质性追求 Transformer)，这是一个新颖的两阶段框架，旨在统一异构、多源时间序列中的共同时间模式，同时保留特定序列的信息。该框架将预测任务分解为两个互补的模块：

第一阶段：通过稀疏模式聚合 (SPA) 进行确定性趋势提取

第一阶段充当“同质化层”，用于提取由协变量驱动的共同、低方差趋势。

专家池 (Expert Pool)： 构建了一个多样化的横截面回归专家池 ( $\{g_j\}_{j=1}^M$ )。这些专家包括线性模型、树模型（如 XGBoost、LightGBM）和神经网络，每个专家都经过训练以使用共享的协变量设计来捕捉不同的结构特征（趋势、季节性、自回归）。
聚合机制： 该方法并非采用固定权重，而是采用 稀疏模式聚合 (SPA)。该方案根据经验性能，通过一种凸模型组合方法自适应地组合专家。
- 它定义了一个稀疏模式 $p$ （一个表示哪些专家被包含在内的二进制向量）。
- 权重通过一种指数加权方案进行计算，该方案在经验风险与模型复杂度之间取得平衡，倾向于选择专家的稀疏组合。
输出： 此阶段产生一个趋势估计值 $\hat{X}^{trend}$ 和一个残差序列 $R = X - \hat{X}^{trend}$ 。残差包含了协变量驱动的趋势未能捕捉到的复杂、非线性和长程依赖关系。

第二阶段：通过 LoRA 微调的 Transformer 进行残差建模

第二阶段对残差序列中剩余的复杂依赖关系进行建模。

架构： 使用预训练的 Transformer 主干网络来建模残差的时间动力学。
参数高效微调 (PEFT)： 为了使基础模型能够适应特定数据集而无需全量重新训练，作者采用了 低秩自适应 (LoRA)。
- 仅训练低秩矩阵 ( $B$ 和 $A$ ) 来更新注意力权重 ($W + BA$)，而原始预训练权重保持冻结。
- 这种方法在保持模型表达能力的同时，最小化了内存占用和计算成本。
最终预测： 最终预测是一个加法分解形式： $\hat{X} = \hat{X}^{trend} + \hat{R}$ 。

3. 理论贡献

论文为该框架的两个阶段提供了理论保证：

趋势聚合的 Oracle 不等式：
作者证明了 SPA 估计器实现了近乎最优的偏差-方差权衡 (bias-variance trade-off)。具体而言，他们建立了一个 Oracle 不等式，表明 SPA 估计器的期望风险受限于最佳稀疏专家组合的风险，外加一个取决于先验质量和样本量的复杂度惩罚项。这证明了“同质性追求”策略的合理性，确保了趋势提取在统计上是高效的。
LoRA 微调的泛化界限：
对于第二阶段，论文推导了在相关时间序列数据（假设满足平稳性和 $\beta$ -混合性）下，经 LoRA 微调的 Transformer 的泛化界限。
- 使用信息论框架，该界限将泛化误差与训练数据及学习到的模型参数之间的互信息联系起来。
- 理论表明，PEFT 方法（如 LoRA）通过限制模型的有效容量（自由度）来减少这种互信息。这从理论上解释了为什么 LoRA 比全量微调能减少过拟合并提高稳定性。

4. 实验结果

作者在六个数据集（Illness、EPF、M5 以及三个合成数据集：Sales1、Sales2、Electricity）上对 Hopformer 进行了评估，对比的基准模型包括 Chronos、PatchTST、TemporalFusionTransformer (TFT)、ARIMA 和 ETS。

整体性能： Hopformer 达到了新的最先进水平，在所有基准测试中平均将 平均绝对比例误差 (MASE) 降低了 6.56%。
零样本能力： 在零样本场景下（不微调主干网络），Hopformer（仅使用 SPA 阶段）在六个数据集中的五个上超越或持平了 Chronos 基础模型，证明了协变量驱动趋势提取的有效性。
LoRA 的效率： 使用 LoRA 微调残差模块所达到的性能与全量微调几乎一致（MAPE 差异在 1% 以内），但训练参数显著减少。
消融研究：
- SPA 聚合策略始终优于其他聚合方法（等权重、单一最佳、Lasso），与次优方法相比，平均降低了 7.08% 的 MASE。
- 该框架在不同的上下文长度和预测步长下均表现稳健，即使在短上下文窗口（如 32 步）下也能保持优势。
泛化性： 集成 Hopformer 横截面阶段提升了其他基础模型（Moirai、Lag-Llama）的性能，表明该方法具有模块化且兼容多种架构的特性。

5. 重要性与主张

论文声称，Hopformer 通过实现对高维协变量的高效利用，同时不牺牲现代基础模型的可扩展性，填补了时间序列预测领域的一个关键空白。

统一框架： 它提供了一种统一的方法，将确定性的、协变量驱动的趋势与随机的、非线性的残差分离，从而允许每种成分由最合适的工具（回归集成 vs. Transformer）进行建模。
理论支撑： 不同于许多仅依赖经验成功的深度学习方法，Hopformer 拥有关于其聚合策略的最优性和其微调方法泛化性质的严谨理论保证。
实际效率： 通过利用 SPA 进行趋势提取和 LoRA 进行残差建模，该方法以极低的计算开销和重新训练需求实现了高精度，使其适用于涉及高维协变量的各种现实应用场景。

作者总结道，这种两阶段分解提供了一种稳健、可解释且具有理论依据的范式，用于处理高维时间序列预测的复杂性。