🤖 AI

Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering

本文提出通过在输入阶段集成可学习的频谱滤波器来增强基于 Transformer 的模型以进行长时序预测，该方法在仅增加极少参数的同时提升了性能、减小了模型规模，并实现了对全频谱的更充分利用。

原作者： Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过观察一段漫长的历史数据，来预测一个复杂系统的未来，比如天气、交通流量或电力消耗。这被称为时间序列预测。

很长一段时间以来，最智能的计算机（AI 模型）使用一种名为Transformer的特定工具来完成这项任务。将 Transformer 想象成一位非常专注的图书管理员，他阅读堆积如山的书籍（数据）以寻找模式。然而，这位图书管理员有一个怪癖：他非常擅长理解缓慢、平稳的故事线（低频模式），但往往会错过快速、尖锐的细节或突然的峰值（高频模式），因为他倾向于过度“平滑”处理。

论文**《先过滤，后关注》（Filter Then Attend）**提出了一种简单而有力的解决方案：在图书管理员开始阅读之前，给他戴上一副特制的眼镜。

以下是论文核心思想的分解，使用了日常类比：

1. 问题：模糊的“图书管理员”

作者发现，标准的 Transformer 模型存在一种“偏差”。它们就像快门速度过慢的相机：能很好地捕捉汽车的总体运动，但车轮旋转的细节却变得模糊。在数据术语中，这些模型过于关注缓慢的趋势，而忽略了那些对准确预测至关重要的快速、高频变化。

2. 解决方案：“频谱滤波”眼镜

作者在流程的最开始增加了一个新步骤。在数据进入 Transformer（图书管理员）之前，它会先通过一个可学习的频谱滤波器（Learnable Spectral Filter）。

类比：想象你在听一首歌，其中夹杂着很多背景杂音，还有几个重要的高音音符。如果你戴上一副降噪耳机，这副耳机经过调校，能增强那些高音音符并滤除浑浊的低频噪音，那么歌曲就会变得清晰得多。
工作原理：这个滤波器在“频域”中观察数据（就像观察声波的频谱）。它学习信号的哪些部分是重要的并加以放大，同时抑制噪音。关键在于，这副眼镜是可学习的，意味着计算机能针对每个特定数据集，计算出究竟需要什么样的“调校”。

3. 结果：“先过滤，后关注”

论文将这种新方法称为FilterFormer（以及变体如 iFilterFormer）。其工作流程非常简单：

过滤：数据首先通过特制的眼镜。
关注：经过清理和锐化后的数据随后交给 Transformer。

由于数据已经“预处理”过，且高频细节得以保留，Transformer 能更好地发挥其作用。

4. 关键发现（该方法的“魔力”）

作者在九个不同的真实世界数据集（如电力消耗、交通和天气）上测试了这种方法，发现了一些令人惊讶的好处：

更高的准确率：在许多情况下，添加这些滤波器将预测准确率提高了5% 到 10%。在 AI 领域，个位数的提升通常是一件大事，往往需要巨大而复杂的全面改革。而在这里，仅仅是一个微小的添加。
更小的模型：由于滤波器承担了大部分繁重的工作，主 Transformer 模型不需要那么“强壮”。作者发现，他们可以缩小模型的尺寸（嵌入维度），同时仍能获得更好的结果。这就像给跑步者提供更好的跑鞋，这样他们就不需要天生那么强壮就能赢得比赛。
廉价且快速：滤波器几乎不增加计算机的内存或处理负担（仅增加约 1,000 个参数）。在 AI 世界里，这是一顿“免费午餐”：你获得了更好的性能，却无需在速度或内存上付出沉重代价。
修复“过度平滑”：作者证明，该滤波器专门帮助模型看到 Transformer 通常遗漏的数据“快速”部分。没有滤波器，Transformer 会模糊掉尖锐的边缘；有了滤波器，这些边缘保持锐利。

5. 一个注意事项：垃圾进，垃圾出

论文也指出，滤波器并非针对劣质数据的魔法棒。在一个特定案例中（一个传感器损坏的交通数据集），由于训练和测试数据本身不一致，滤波器最初使情况变得更糟。然而，一旦移除了这些坏数据，滤波器就完美地工作了。这证明滤波器增强了模型的学习能力，但它无法修复损坏的输入。

总结

论文认为，Transformer 很棒，但它们有点“低通”（喜欢缓慢的事物）。通过在开始时添加一个简单的、可学习的频率滤波器，我们可以锐化数据，让 Transformer 能够清晰地看到全貌。这造就了更准确、更小、更快的模型，使它们能够更好地预测能源电网和交通流等复杂系统的未来。

技术摘要：先滤波后注意力

问题陈述

基于 Transformer 的模型在长时序预测（LTSF）领域取得了显著进展，往往能达到最先进（SOTA）的结果。然而，这些模型存在两个主要局限性：对数据中低频成分的偏差，以及高昂的计算和内存需求。尽管近期研究尝试将频域学习整合到深度预测模型中，但许多方法仍依赖多层感知机（MLP）来处理滤波后的信号，未能解决 Transformer 架构固有的低效问题。此外，现有文献表明，Transformer 可能充当低通滤波器，潜在地导致信号“过度平滑”，从而无法捕捉对准确长期预测至关重要的高频模式。

方法论

本文提出了一种简单而有效的架构修改：在基于 Transformer 的模型开头放置一个可学习的频谱滤波器。这种方法被称为“先滤波后注意力”（Filter Then Attend），将频域处理直接整合到 Transformer 流程中。

核心架构：FilterFormer

作者引入了FilterFormer，该模型在应用标准 Transformer 注意力机制之前，先将时间序列数据通过一个可学习滤波器。该架构包含以下组件：

输入嵌入与分块：遵循 PatchTST 框架，输入时间序列被视为独立的单变量序列。这些序列经过归一化，并被划分为重叠或非重叠的块（Patches）。每个块被嵌入到潜在空间，并辅以位置嵌入。
频谱块：在注意力机制之前，嵌入的块会经过频谱处理。
- 信号通过快速傅里叶变换（FFT）转换到频域。
- 在频域中通过逐点乘法应用可学习滤波器。该滤波器初始化为随机的一组实数参数，并通过 rFFT 进行变换。
- 滤波后的信号通过逆离散傅里叶变换（IDFT）转换回时域。
- 与以往仅通过 MLP 处理滤波信号的工作（如 FilterNet）不同，该方法将滤波后的信号直接送入 Transformer 的注意力块。
- 注：在 FilterFormer 的具体实现中，频谱块内包含了一个小型 MLP，但作者指出，对于其他变体（iFilterFormer、FilterLeddam），可以省略 MLP 以减少参数量。
注意力块：滤波后的块由标准的多头自注意力机制处理。模型在频谱块和注意力块之间交替，其比例由超参数 $\alpha$ 控制。
输出：最终表示被展平，并通过线性头映射到预测范围。

作者还创建了应用于其他基础模型的变体：iFilterFormer（基于 iTransformer）和FilterLeddam（基于 Leddam）。

主要贡献

可学习滤波器的整合：本文证明，在基于 Transformer 模型的输入端添加可学习频率滤波器，能显著提升其在 LTSF 任务中的性能。
效率与参数减少：添加滤波器引入了约 1,000 个参数。关键在于，这一添加允许降低底层 Transformer 的嵌入维度。因此，生成的模型通常比其非滤波对应物更小、更快，同时实现了更优或相当的精度。
频谱利用分析：通过合成实验，作者提供了证据表明，滤波器使 Transformer 能够更好地捕捉高频模式。他们假设标准 Transformer 充当低通滤波器（导致过度平滑），而可学习滤波器通过放大中高频分量来抵消这一现象。
实证验证：该方法在九个多样化的数据集（包括 ETT、Electricity、Weather、Traffic 和 Solar-Energy）以及多个预测范围上进行了验证。

实验结果

作者将他们的模型与强大的基线模型进行了评估，包括 iTransformer、PatchTST、Leddam、FilterNet、Fredformer 和 DLinear。

性能提升：在多个数据集上，FilterFormer 变体在预测性能（以 MSE 和 MAE 衡量）上实现了**5–10%**的相对提升。例如，在 Electricity (ECL) 数据集上，FilterFormer 相比 PatchTST 提升了 11.7%。
鲁棒性：改进在不同领域间保持一致，尽管作者指出，在 Traffic 数据集上，由于特定异常通道导致训练集和测试集之间存在频谱差异，模型最初表现不佳。移除该异常值后，模型恢复了其优越性能。
效率：论文中的表 6 强调，FilterFormer 模型所需的参数量显著更少（例如，0.6M 对比 PatchTST 的 3.7M），且浮点运算次数（FLOPs）更少，同时保持了有竞争力的精度。这归因于在存在滤波器时能够使用更小的嵌入维度。
合成实验：在一个包含低、中、高频的合成信号上，标准 iTransformer 由于频率偏差而表现挣扎（MSE = 1.0e-1），而 iFilterFormer（带有滤波器）实现了显著更低的 MSE（2.6e-4），有效地建模了高频分量。

意义与主张

本文将“先滤波后注意力”定位为深度时间序列预测背景下的“免费午餐”。作者声称：

添加可学习滤波器是一个微小的架构变更，很少会降低性能，但具有大幅提升性能的潜力。
滤波器是使 Transformer 能够利用数据全频谱的必要构建模块，特别是为了抵消自注意力的低通特性。
该方法并非万能药；其有效性最终受限于骨干 Transformer 的容量。然而，它允许这些骨干以更高效的方式运行。
作者倡导将学习到的滤波器作为未来基于 Transformer 的预测模型的基本配置，建议进一步的工作可以集中在开发更先进、可控制和可解释的滤波器上。

本文结论认为，将频率滤波与注意力机制相结合，产生了一个“整体大于部分之和”的模型，为长期时间序列预测提供了一种轻量级且有效的解决方案。