💻 computer science

FAiT: Frequency-Aware Inverted Transformer for Multivariate Time Series Forecasting

本文介绍了 FAiT，一种频率感知型倒置 Transformer，它通过采用一种用于恢复高频信号的倒置注意力机制（Inverted Attention mechanism）以及一个用于自适应重新校准频谱能量的动态时频调制模块（Dynamic Temporal-Frequency Modulation module），克服了标准 Transformer 固有的低通偏差和固定频谱调制的局限性，从而在多元时间序列预测方面实现了最先进的性能。

原作者： Peng He, Yao Liu, Yanglei Gan, Run Lin, Yuxiang Cai, Qiao Liu

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Peng He, Yao Liu, Yanglei Gan, Run Lin, Yuxiang Cai, Qiao Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测一个复杂系统的未来，比如城市的交通流量或用电量的波动。这些系统有两个层面的故事在讲述：

大局观： 缓慢、稳定的趋势（例如“下午5点交通总是很拥堵”或“夏季用电量上升”）。
突发峰值： 剧烈、混乱的时刻（例如一场事故导致的交通拥堵或电网故障）。

问题所在：“奶昔”机

长期以来，用于这类任务的最佳 AI 模型（被称为 Transformer）就像一台高端搅拌机。它们非常擅长将事物混合在一起以寻找大局趋势。然而，当它们混合数据时，会不小心把一切都变成了“奶昔”。

它们太擅长寻找“平滑”趋势了，以至于抹平了尖锐的峰值。在技术术语中，它们起到了“低通滤波器”的作用。它们保留了缓慢、乏味的部分，却丢弃了快速、令人兴奋且至关重要的细节。如果你尝试用这种模型来预测突发的车祸或电力激增，它很可能会错过，因为它认为一切都应该是平滑的。

一些研究人员尝试通过添加一个“频率”工具（就像音响上的均衡器）来修复这个问题。但他们的均衡器固定在一个设置上。他们假设“音乐”（数据）永远不会改变风格。但在现实世界中，“音乐”在不断变化，因此静态的均衡器无法捕捉到新的、突然的音符。

解决方案：FAiT（“双通道”大厨）

论文作者创建了一个名为 FAiT（频率感知反转 Transformer）的新模型。你可以把 FAiT 想象成一位不仅会搅拌食材，还会将平滑的酱汁与酥脆的配料分开处理，最后再完美混合的厨师。

以下是 FAiT 的工作原理，使用简单的类比：

1. “反转注意力”（安全网）

标准的 AI 模型观察过去并说：“平均趋势是什么？”而 FAiT 做了一件聪明的事：它问，“我们漏掉了什么？”

它获取标准的“平滑”预测，并将其从原始数据中减去。
剩下的部分就是尖锐的高频部分（突发的峰值）。
FAiT 创建了一个专门用于捕捉这些遗失细节的特殊“高通”分支。这就像是在主网之外，专门设立了一个用来捕捉那些滑落细节的安全网。

2. “动态调制”（智能均衡器）

一旦 FAiT 同时拥有了“平滑趋势”和“尖锐峰值”，它就需要将它们混合。

旧的方法使用固定的配方（例如，“始终加入10%的香料”）。
FAiT 使用了一个动态时频调制（DTFM）模块。可以将它想象成一个智能、自适应的均衡器，它能实时倾听“此时此刻”的音乐，并即时调整不同频率的音量。
如果数据很平静，它就调低“峰值”音量；如果数据很混乱，它就调高“峰值”音量。它能适应特定的时刻，确保模型不会过度平滑一场危机，也不会对平静的日子反应过度。

为什么这很重要

作者在 12 个不同的真实世界数据集（如电网、交通传感器和天气）上测试了 FAiT。

结果： FAiT 始终优于之前的最佳模型。
视觉证明： 当观察预测结果时，旧模型的预测看起来像是一条模糊、平滑的线。而 FAiT 的预测则更紧密地跟随了那种锯齿状的、真实的线条，捕捉到了其他模型会错过的突然下降和上升。
效率： 它不仅效果更好，而且非常高效，比与之竞争的一些重量级模型消耗更少的计算机内存。

简而言之

FAiT 解决了现代 AI 的“奶昔问题”。它不再只是将一切搅拌成平滑的趋势，而是使用了一个双路径系统来保持尖锐、突发的细节，并使用一个智能、自适应的混合器将它们完美结合。这使得它不仅能预测缓慢的趋势，还能预测时间序列数据中那些突然且关键的惊喜。

技术摘要：FAiT —— 用于多元时间序列预测的频率感知反转 Transformer

1. 问题陈述

多元时间序列预测（MTSF）在从金融风险管理到电网优化等诸多领域都至关重要。虽然基于 Transformer 的架构因其捕捉长程依赖的能力而成为主流，但它们在自注意力机制中存在根本性的低通滤波偏差。

核心问题在于，标准的自注意力通过加权平均来聚合信息，这本质上会平滑掉高频信号。这导致了对剧烈局部变化、突发冲击以及特定变量特有的高频模式的衰减，而这些模式对于准确预测往往至关重要。此外，现有的频率增强方法试图通过将数据投影到固定谱基（例如傅里叶变换）并应用序列级（均匀）调制来缓解这一问题。这些方法未能考虑到现实世界数据的两个关键特性：

非平稳性： 频谱特征随时间演变，并不总是与静态谐波分量对齐。
局部动态： 全局频谱操作缺乏在特定时间段内对频率进行精细控制所需的细粒度能力。

因此，现有模型要么无法拟合不规则的时间动态，要么由于过度平滑而无法捕捉细粒度的变化。

2. 方法论：FAiT

为了解决这些局限性，作者提出了 FAiT（频率感知反转 Transformer），它通过集成两个互补的组件，在注意力层中显式地分离并控制低频和高频行为。

2.1 反转注意力机制

其核心创新是反转 Transformer，它通过构建双路径架构来纠正标准注意力的频谱偏差：

低通分支： 标准自注意力机制（ $A = \text{softmax}(QK^T/\sqrt{D})$ ）被视为一个可学习的低通算子，用于聚合平滑趋势（ $Z_{low} = AV$ ）。
高通分支： 意识到注意力矩阵 $A$ 作为一个低通滤波器的作用，作者通过反转注意力矩阵构建了一个互补的高通分支。高频成分被显式地建模为残差项： $Z_{high} = (I - A)V$ 。这种代数互补恢复了被低通分支抑制的瞬态信号和局部突变。
自适应频谱门控（ASG）： 为了处理趋势与波动重要性随时间变化的非平稳状态，一个可学习的门控机制会在每一步动态地重新校准 $Z_{low}$ 和 $Z_{high}$ 的相对贡献，而不是使用静态求和。

2.2 动态时频调制（DTFM）

虽然反转注意力提供了二元分离（低频 vs 高频），但复杂的 MTSF 需要对特定频带进行更细致的控制。DTFM 模块引入了实例自适应的频谱重加权：

原型合成： DTFM 不再学习静态缩放参数，而是根据当前的融合表示合成动态调制权重。它利用一组可学习的频谱原型（ $K$ ）和一个轻量级门控网络（带有 Tanh 的 MLP）来生成实例特定的系数（ $\alpha$ ）。
频域调制： 融合后的表示通过离散傅里叶变换（DFT）转换到频域。合成的权重被应用于复谱的实部和虚部，以在保留相位信息的同时重新校准频带能量。
重构： 校准后的频谱通过逆离散傅里叶变换（IDFT）转换回时域，从而实现对演变的、多尺度模式的精细建模。

2.3 架构概览

完整流程包括：

RevIN 与嵌入： 可逆实例归一化及随后的线性投影。
反转 Transformer 层： 通过具有自适应门控的双路径（低/高）注意力进行处理。
DTFM： 对融合特征应用动态频谱调制。
残差融合与输出： 通过残差连接将频谱增强后的特征与原始输入融合，随后通过线性投影映射到预测时界。

3. 核心贡献

本文概述了四个主要贡献：

FAiT 架构： 一种新型的频率感知反转 Transformer，通过在注意力层内分离并控制低频和高频行为，显式地解决了传统注意力机制的低通偏差问题。
动态时频调制（DTFM）： 一种精细的频谱控制机制，能够根据当前表示自适应地对时频子带进行重加权，从而实现对非平稳模式的灵活建模。
模型无关框架： 本文证明了反转注意力机制可以作为一种“即插即用”的增强器。当集成到各种 Transformer 类预测器（如 iTransformer、PatchTST、CARD）中时，它能通过恢复高频建模能力持续提升性能。
全面评估： 在 12 个广泛使用的基准数据集（包括长期和短期场景）上进行了广泛实验，结果显示其性能持续优于最先进的 Transformer 类和基于频率的模型。

4. 实验结果

作者在 12 个数据集（如 ETT、Electricity、Traffic、Weather、PEMS）上对 14 个基线模型进行了评估，包括线性模型（DLinear、TimeMixer++）、Transformer 模型（iTransformer、PatchTST）以及基于频率的模型（FreDF、FilterNet、FITS）。

长期预测： 在 8 个长期数据集的 32 个测试案例中，FAiT 在 MSE 指标上取得了最好或第二好的表现；在 MAE 指标上，其在 32 个案例中的 31 个中表现最优。它在 8 个数据集中的 6 个上刷新了 MSE 的 SOTA，并在全部 8 个数据集上刷新了 MAE 的 SOTA。
短期预测： 在四个 PEMS 交通数据集上，FAiT 在所有预测时界内均实现了最低的 MSE 和 MAE，相比于最强的竞争对手，MSE 降低了 3% 到 20%。
消融实验： 移除反转注意力或 DTM 模块都会导致性能显著下降，证实了它们的互补作用。具体而言，移除反转注意力会导致局部波动追踪能力的丧失，而移除 DTFM 则会削弱模型处理精细频率偏移的能力。
效率： FAiT 展示了卓越的内存效率，其显存占用约为 3.70 GB，而 CARD 为 9.50 GB，TimeMixer 为 11.33 GB，同时保持了极具竞争力的训练速度。
可视化： 频谱响应分析表明，FAiT 成功恢复了被标准注意力抑制的高频能量，而其他基于频率的方法仍表现出频谱衰减现象。

5. 意义与主张

本文声称，FAiT 代表了解决时间序列预测中固有注意力机制局限性的重要进展。通过超越固定的频谱基和全局操作，FAiT 引入了一种动态、实例自适应的频谱建模方法。

作者强调，他们的工作不仅仅是增加了频率操作，而是从根本上重新思考了注意力机制作为一种频谱滤波器的本质。 “反转注意力”的概念提供了一种理论和实践方法，用于恢复标准 Transformer 不可避免会丢失的高频信息。其意义在于能够同时捕捉全局趋势和剧烈的、瞬时的局部动态，这对于涉及非平稳和多尺度时间模式的现实应用至关重要。反转注意力机制的模块化特性进一步表明，它作为现有 Transformer 架构通用增强方案具有广泛的应用前景。