🤖 machine learning

Local Attention Mechanism: Boosting the Transformer Architecture for Long-Sequence Time Series Forecasting

本文介绍了局部注意力机制（Local Attention Mechanism, LAM），这是一种针对时间序列连续性量身定制的高效 $O(n \log n)$ 注意力算法，在集成到 Transformer 中后，其在长程预测任务中的表现优于现有的最先进模型，同时本文还提出了一个全新的数据集套件以解决评估差距问题。

原作者： Ignacio Aguilera-Martos, Andrés Herrera-Poyatos, Julián Luengo, Francisco Herrera

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ignacio Aguilera-Martos, Andrés Herrera-Poyatos, Julián Luengo, Francisco Herrera

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过观察一条蜿蜒的长路来预测未来。这条路可能是一条股票市场的走势、城市中流动的电力，或者是交通拥堵中出租车的移动。这就是**时间序列预测（Time Series Forecasting）**的世界：利用过去的数据点来猜测接下来会发生什么。长期以来，计算机在面对过长的“道路”时，很难看到“大局”。它们擅长记住最后几步，但当被要求观察数周或数月后的情况时，就会变得混乱或耗尽内存。

Transformer 的出现改变了这一切。这是一种因阅读和编写人类语言而闻名的人工智能类型。你可以将 Transformer 想象成一位超级聪明的侦探，他可以同时观察故事中的每一个线索，而不是逐字逐句地阅读。这种“全方位”的超能力被称为注意力机制（Attention），它允许模型连接遥远的关联点。然而，当应用于长序列时间序列时，这位侦探遇到了一个问题：为了将每一个线索与其它所有线索相连，他必须进行海量的数学计算。这就像是在一场聚会上试图介绍每一个人与其他所有人的关系；随着人数增加，握手的次数呈爆炸式增长，导致整个聚会陷入停滞。这篇论文正是针对这一特定的“交通拥堵”问题，提出了疑问：我们如何在保留侦探超能力的同时，避免让他们进行不可能完成的工作量？

作者们引入了一个巧妙的新工具，称为局部注意力机制（Local Attention Mechanism, LAM）。他们的主要发现是：对于时间序列数据，你并不需要观察过去的所有时刻来预测未来；你主要需要观察的是与当前时刻紧邻的那些时刻。通过仅关注这些“局部”邻域，他们创造出了一种在数学上被证明比传统方法更快、更节省内存的方法。在测试中，这种新方法不仅节省了时间，而且即使在进行长远预测时，其表现也优于目前的顶尖模型。

问题所在：侦探的过载

为了理解为什么需要这个新工具，让我们看看标准 Transformer 的工作方式。想象一位侦探试图根据一本日记来破解谜题。标准方法（称为全注意力机制 Full Attention）要求侦探阅读日记的每一页，并将每一页与其它所有页面进行比较以寻找联系。如果日记有 1,000 页，侦探就要进行大约 1,000,000 次比较。如果日记有 10,000 页，这个数字就会跳升到 100,000,000 次。这就是科学家所说的二次复杂度（Quadratic Complexity, $\Theta(n^2)$ ）。随着日记变长，工作量会呈爆炸式增长，导致计算机内存耗尽或运行极其缓慢。

此外，作者指出，虽然这种“观察一切”的方法在语言处理中效果很好（因为句子开头的词可能与结尾的词相关），但在时间序列中往往是大材小用。在时间序列中——比如温度或用电量——“现在”发生的事情通常受“刚刚发生”的事情影响最大。与三天前发生的事情之间的联系通常要弱得多。然而，标准的 Transformer 却在浪费精力，将这些微弱的联系当作强联系来计算。

解决方案：邻里守望

作者提出了局部注意力机制（LAM）。LAM 不再让侦探阅读整本日记，而是告诉他：“只看最近的几页，或许再加上特定模式中的几页，其余的请忽略。”

他们设计这种机制是为了利用时间的“连续性”。在现实世界中，事物不会瞬间改变，而是流动的。如果你在预测下午 2:00 的温度，那么 1:59 PM 的温度是一个巨大的线索，但上周二的温度就没那么相关了。LAM 使用一种数学上的“掩码”（Mask，即过滤器）来屏蔽掉那些无关且遥远的过去。

LAM 的神奇之处不仅在于它忽略了某些内容，更在于它“如何”忽略。作者开发了一种使用张量代数（Tensor Algebra）（一种组织数据块的高级方式）的特定算法，使计算机能够完全跳过无用的计算。与其进行 $n^2$ 的工作量，LAM 的工作量仅与 $n \log n$ 成正比。换句话说：如果标准方法处理一个长数据集需要 100 小时，LAM 可能只需要几个小时。这就像是从检查城市里的每一栋房子，转变为只检查你自己所在的街道以及相邻的几条街道。

结果：更快、更聪明

团队不仅开发了工具，还对其进行了测试。他们将经过 LAM 增强的 Transformer 与包括流行的 Informer 模型在内的当前最先进模型以及几种旧有的统计方法进行了对比。

更好的预测： 在使用电力消耗、天气模式和出租车行程等真实世界数据的实验中，LAM 模型在误差控制上始终优于竞争对手。它在进行长远预测（长时程预测）方面表现尤为出色，而其他模型在此时往往会变得混乱。
高效性： LAM 模型明显更小、更轻量。虽然 Informer 模型拥有超过 1,200 万个参数（即 AI 的“脑细胞”），但 LAM 模型仅用约 600 万个参数就实现了更好的结果。
“公平”测试： 作者非常谨慎地确保了对比的公平性。他们将 LAM 与 Informer 特有的注意力方法（称为 ProbAttention）进行对比，但保持其余的计算机架构完全一致。即便是在这种正面交锋中，LAM 依然胜出，这证明了改进源于新的注意力机制本身，而非仅仅是因为更高级的计算机设计。

对更好数据的呼吁

论文还对用于测试这些模型的工具提出了批判性的观察。作者认为，该领域使用的标准数据集过于微小且过于简单。这就像是用一个空旷的停车场来教学生开车。现实世界的问题，如预测整个城市的交通或大规模电网的用电量，涉及数百万个数据点和复杂的模式。

为了解决这个问题，作者引入了一套全新的数据集进行测试。其中包括：

IHEP： 超过 200 万条家庭用电记录。
NYTaxi： 超过 200 万条纽约市出租车行程记录。
RPB： 关于电池和太阳能使用的记录。
TiNA： 一个拥有超过 3,800 万条工业采矿机记录的海量数据集。

当他们在这些大规模、真实的复杂数据集上测试模型时，LAM 的优势变得更加清晰。旧模型经常因为数据量太大而崩溃或内存溢出，而 LAM 则能保持流畅且准确的运行。

这意味着什么

论文得出结论：对于长序列时间序列预测，这种“观察一切”的方法不仅速度慢，而且往往是不必要的。通过专注于时间的局部邻域，我们可以构建出更快、运行成本更低且准确度惊人的 AI。

作者建议，虽然他们的方法是向前迈出的有力一步，但该领域仍需要更好的基准测试和更严格的测试。他们并没有声称解决了预测领域的每一个问题，但他们提供了一个观察未来的强大新视角——一个锐利、高效且专注于真正重要之物的视角。

技术摘要：用于长序列时间序列预测的局部注意力机制

问题陈述

长序列时间序列预测（LSTF）是一个复杂的挑战，涉及基于广泛的历史记录来预测未来的时间实例。虽然 Transformer 已成为自然语言处理（NLP）领域的领先架构，并已被应用于时间序列领域，但它们在这一领域面临两个关键限制：

计算复杂度： 标准注意力机制相对于序列长度 $n$ 表现出二次方级的时间和内存复杂度（ $\Theta(n^2)$ ）。这为在长序列上进行训练造成了瓶颈，阻碍了从业者在大型数据集上利用全注意力机制。
位置信息的丢失： 标准注意力机制将序列元素视为一个集合而非有序序列，导致了时间局部性的丢失。虽然位置编码试图缓解这一问题，但经验证据表明，原始 Transformer 往往无法区分原始输入与置换后的时间序列输入，这对于时间顺序至关重要的预测任务而言是一个关键失效。

现有的高效替代方案，例如 Informer 模型中使用的概率注意力（ProbAttn），通过对注意力矩阵进行稀疏化处理将复杂度降低到 $\Theta(n \log n)$ 。然而，这些方法通常会导致显著的信息丢失，因为它们将未被选中的查询（queries）设为零，从而有效地平均了数值并丢弃了局部依赖关系。此外，目前的 LSTF 基准测试通常依赖于实例数量和特征有限的数据集，这可能不足以有效地训练复杂的深度学习模型。

方法论：局部注意力机制 (LAM)

本文引入了局部注意力机制（Local Attention Mechanism, LAM），这是一种专门为利用时间序列固有的连续性和局部性属性而设计的注意力机制。

理论基础

LAM 的核心假设是：对于连续时间序列，给定时间步 $t$ 的注意力得分高度集中在附近的时刻（局部性），而不是像在 NLP 中常见的分布于全局。基于此，LAM 将注意力得分的计算限制在一个大小为 $L$ 的局部邻域窗口内。

从数学上讲，LAM 定义为：
$LAM(Q, K, V) = \text{softmax}\left(\frac{QK^T + M}{\sqrt{d_q}}\right)V$
其中 $M$ 是一个加性掩码矩阵。如果键（key） $j$ 在查询 $i$ 的局部邻域内（具体为 $i - L + 1 \leq j \leq i$ ），则 $M_{i,j} = 0$ ；否则， $M_{i,j} = -\infty$ 。这迫使 softmax 在非局部交互上分配零概率。

高效张量代数实现

一种朴素的掩码实现仍需计算完整的 $QK^T$ 矩阵，从而保留 $\Theta(n^2)$ 的复杂度。作者提出了一种新算法，通过使用张量代数重新构建 LAM，从而实现 $\Theta(n \log n)$ 的时间与内存复杂度（假设 $L = \Theta(\log n)$ ）。

该算法步骤如下：

拆分（Splitting）： 将输入矩阵 $Q, K, V$ 拆分为大小为 $L$ 的块。
张量构建（Tensor Construction）： 构建新的张量（ $T_Q, T_K, T_V$ ）来表示这些块。至关重要的是， $T_K$ 的构建包含 $2L-1$ 个元素的重叠，以确保捕获局部窗口内所有必要的点积，且不存在边界问题。
局部计算（Local Computation）： 该算法不执行全局矩阵乘法，而是执行分块乘法（ $T_Q \cdot T_K^T$ ），随后进行局部掩码（ $T_M$ ）和 Softmax 操作。
聚合（Aggregation）： 将结果拼接以形成最终输出。

这种方法使得 LAM 可以使用标准的深度学习框架（PyTorch/TensorFlow）进行实现，而无需自定义 CUDA 代码，与全注意力相比显著降低了内存开销。

核心贡献

局部注意力机制 (LAM)： 一种新型注意力机制，利用时间序列的局部性将计算和内存复杂度降低到 $\Theta(n \log n)$ ，同时保留局部时间依赖关系。
张量代数公式化： 通过张量运算实现 LAM 的高效推导，避免了以往稀疏注意力方法中使用的稀疏矩阵实现的内存瓶颈。
新基准数据集： 作者指出现有的 LSTF 基准（如 ETT, ECL）具有有限的实例数量和特征。他们提出了四个更大规模、跨学科的数据集（IHEP, NYTaxi, RPB, TiNA），其实例数量（高达 3800 万）和特征显著增加，以便更好地评估长时程预测模型。
全面评估： 在标准及提出的数据集上，将 LAM 与最先进的模型（Informer, LogTrans, Reformer, Autoformer）以及 vanilla Transformer 进行了严格对比。

实验结果

作者在三个场景下进行了实验：

与最先进模型的对比： 使用标准数据集（ETT, Weather, ECL），增强了 LAM 的 vanilla Transformer 优于所有其他模型，包括 Informer, LogTrans 和 Autoformer。LAM 在 50 个指标组合中的 43 个中取得了最佳结果。贝叶斯检验确认了这些改进在统计学上的显著性。
架构隔离（LAM vs. ProbAttn）： 为了隔离注意力机制的影响，作者在完全相同的 vanilla Transformer 架构内（移除了 Informer 复杂的架构增益）对比了 LAM 和 Informer 的 ProbAttn。LAM 始终优于 ProbAttn，在较长时程下减少了约 25% 的累积误差。这表明性能提升源于注意力机制本身，而非架构复杂度。
在大规模新数据集上的评估： 在提出的较大数据集（IHEP, NYTaxi, RPB, TiNA）上，LAM 展示了卓越的可扩展性。当处理长序列时，使用 FullAttention 的 vanilla Transformer 和 Informer 经常因内存限制而无法执行（OOM 错误），而 LAM 成功处理了所有场景。在准确性方面，在这些具有挑战性的数据集上，LAM 在 40 个指标实例中有 32 个取得了最低误差。

重要性与主张

论文声称，LAM 解决了时间序列预测中计算效率与保持时间局部性之间的根本权衡。通过在不产生概率采样带来的信息损失的情况下将复杂度降低到 $\Theta(n \log n)$ ，LAM 使 Transformer 模型能够在比以往更长的序列和更大的数据集上进行训练。

作者强调，其结果凸显了以下必要性：

局部性（Locality）： 利用时间序列数据的连续性比使用受 NLP 启发的模型的稀疏性假设更为有效。
更好的基准（Better Benchmarks）： 当前的数据集不足以训练复杂模型；提出的新数据集为 LSTF 提供了更严格的测试场。
简洁性（Simplicity）： 仅通过增强 LAM 即可使简单的 vanilla 架构超越像 Informer 这样复杂的、经过重度工程化的模型，这表明注意力机制是性能的主要驱动力，而非架构深度或卷积。

研究结论认为，LAM 代表了使 Transformer 成为长序列时间序列预测中实用的前沿解决方案的重要一步，同时也呼吁未来在开发专用架构和进行严格消融研究方面开展工作。