🤖 machine learning

FADTI: Fourier and Attention Driven Diffusion for Multivariate Time Series Imputation

本文介绍了 FADTI，这是一个基于扩散模型的多元时间序列插补框架，该框架通过集成一个结合了自注意力机制与门控卷积的可学习傅里叶偏置投影模块，以注入显式的频域归纳偏置，从而增强了在高缺失率和分布偏移情况下的泛化能力。

原作者： Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试完成一个拼图游戏，但有人从图中撕掉了巨大的碎片。有些地方是随机缺失的（比如零星散落的星星），而有些地方则是整个天空的部分都消失了。你的目标是根据现有的线索，推测出那些缺失的部分原本是什么样子的。

这正是 FADTI 所做的事情，只不过它修复的不是拼图，而是破碎的数据流（例如天气报告、心率或交通传感器数据）。

以下是该论文用简单易懂的方式对这一解决方案进行的解释：

问题所在：“断断续续”效应

大多数现有的计算机程序试图通过观察紧邻的相邻数据来填补缺失值。这就像是通过只看前一个词来猜测句子中的下一个词。

问题在于： 如果一个传感器损坏了很长时间（即“长间隔”），这些程序就会感到困惑。它们通常会尝试用一条平滑的直线或随机的猜测来填补空白，这破坏了数据的自然节奏。
频率问题： 一些程序试图去分析数据的“音乐”（其模式和周期）。但是，如果你试图去分析一段带有巨大沉默片段的“音乐”，计算机就会感到困惑。它会误以为这段沉默也是歌曲的一部分，从而产生扭曲、嘈杂的声音。

解决方案：FADTI（“音乐建筑师”）

作者构建了一个名为 FADTI（傅里叶与注意力驱动扩散模型）的新系统。把它想象成一位聪明的建筑师，他不仅观察洞口旁边的砖块，还会倾听整座建筑本应唱出的“旋律”。

以下是 FADTI 使用的三大绝招：

1. “幽灵之耳”（傅里叶偏差投影/Fourier Bias Projection）

这是该论文最大的创新点。

工作原理： FADTI 并不直接分析那些破碎、沉默的数据部分（因为这会导致失真），而是通过观察数据的“洁净”部分来学习整个故事的“节奏”或“频率”。
类比： 想象你在试图完成一首歌，但麦克风在中间坏了。普通的计算机试图通过观察沉默的部分来猜测缺失的音符。然而，FADLI 会倾听整首歌的“其余部分”，以理解旋律的“形状”。然后，它将这种“形状”（频率偏差）投射到缺失的部分作为引导。它告诉计算机：“不要只是瞎猜；记住，这首歌通常是以平滑波浪的形式上升和下降的，所以请用这种波浪来填补空白。”
工具： 他们使用了三种不同的“耳朵”来聆听这种节奏：
- DFT（离散傅里叶变换）： 同时聆听整首歌（擅长处理稳定的节奏）。
- STFT（短时傅里叶变换）： 聆听短小的片段（擅长处理随时间变化的节奏）。
- FrSST（分数阶短时傅里叶变换）： 一只极其敏锐的耳朵，可以听到其他耳朵无法捕捉到的复杂、摇摆的节奏。

2. “注意力团队”（自注意力机制/Self-Attention）

虽然“幽灵之耳”负责处理节奏，但 FADTI 还使用了注意力机制。

类比： 想象一群侦探。有些侦探观察时间线（昨天与今天的关系），而另一些侦探则观察不同变量之间的关系（例如，如果温度升高，湿度是否会下降？）。
FADTI 结合了这些侦探。它同时观察长期历史以及不同传感器之间的关系，从而做出智能的预测。

3. “去噪雕塑家”（扩散模型/Diffusion Model）

最后，FADTI 使用了扩散模型。

类比： 想象一位雕塑家从一块充满噪声、布满静电感的粘土块开始创作。雕塑家并不会瞬间雕刻出最终的形状，而是通过一步步地、缓慢地剔除噪声，不断精炼雕像，直到缺失的部分清晰地显现出来。
FADTI 从一个随机的猜测开始，通过逐步“去噪”，利用节奏引导（来自步骤 1）和侦探线索（来自步骤 2），一步步雕刻出最准确的形状。

为什么它更好（结果）

论文在多个真实世界的数据集上测试了 FADTI，包括：

能源数据（用电量）。
天气数据（温度、湿度）。
交通数据（车速）。
酵母数据（一种追踪细胞生长的全新生物数据集）。

研究结果显示：

准确性： FADTI 填补缺失部分的准确度高于任何其他方法，尤其是在大量数据缺失（高达 50% 的数据丢失！）的情况下。
处理混沌的能力： 它特别擅长处理“非平稳”数据——即那些节奏会随时间变化的动态数据（例如心跳加速或风暴改变方向）。
效率： 尽管它进行了复杂的数学运算，但与以往的方法相比，它可以用更少的“猜测”（采样次数）生成高质量的结果，这在实践中使其速度更快。

总结

简而言之，FADTI 是一种修复破碎数据的新方法。它不再仅仅盯着紧邻的相邻数据或被沉默所困扰，而是通过倾听整个数据集的“音乐”来理解潜在的节奏。然后，它利用这种节奏来引导一个循序渐进的雕刻过程，使填补进去的缺口能够完美契合整个故事的形状。

技术摘要：FADTI —— 用于多元时间序列填补的傅里叶与注意力驱动扩散模型

1. 问题定义

多元时间序列填补（Multivariate Time Series Imputation, MTSI）旨在解决医疗保健、交通预测和生物建模等领域中普遍存在的缺失值问题。这些缺失源于传感器故障、通信丢失和不规则采样。虽然现有的方法，特别是基于 Transformer 的模型（如 SAITS）和基于扩散的模型（如 CSDI），在改进时间依赖性和不确定性估计方面取得了进展，但它们面临一个关键限制：频率失真（frequency distortion）。

目前的方法通常过度依赖时域建模。当直接将频域技术应用于被遮掩或零填充的输入时，缺失的位置会被视为真实的信号值。这种天真的投影会扭曲估计的光谱，导致频率特征被缺失值产生的伪影而非潜在的时间动态所主导。因此，在严重稀疏的情况下，恢复长程周期性模式或结构化时间间隙仍然具有挑战性。

2. 方法论：FADTI 框架

作者提出了 FADTI（Fourier and Attention Driven Diffusion，傅里叶与注意力驱动扩散），这是一个条件扩散框架，旨在将频域归纳偏置集成到去噪过程中，而不直接从受损输入中估计光谱。

核心架构

FADTI 遵循一个条件扩散流水线，其逆过程以观测值 ( $x^{co}_0$ ) 和观测掩码 ( $m$ ) 为条件。去噪网络由堆叠的残差块组成，结合了三个关键组件：

时频建模（Temporal-Frequency Modeling）： 核心创新点，即**傅里叶偏置投影（Fourier Bias Projection, FBP）**模块。
特征注意力（Feature Attention）： 捕获跨变量的依赖关系。
门控滤波（Gated Filtering）： 高效更新残差表示。

傅里叶偏置投影 (FBP) 模块

与直接对遮掩输入进行傅里叶投影不同，FBP 将可学习的频率感知偏置注入去噪网络的中间隐藏状态中。该过程运行如下：

分解： 使用 1D 平均池化将中间隐藏状态 ( $H$ ) 分解为平滑趋势 ( $H_{trend}$ ) 和高频残差 ( $H_{res}$ )。
频谱变换： 对这些组件进行通道级的谱算子 $F_\nu(\cdot)$ $F_{ν} (\cdot)$ 处理。论文中实例化了三种变换：
- DFT（离散傅里叶变换）： 捕获全局周期性和稳定的趋势。
- STFT（短时傅里叶变换）： 捕获局部的、随时间变化的频率模式。
- FrSST（基于同步挤压的短时分数傅里叶变换）： 锐化非平稳的时频结构。
偏置注入： 将复数谱系数投影到固定的余弦和正弦基上，以保留幅度和相位信息。这些系数被映射回时间特征空间，形成可学习的偏置 ( $H_{freq}$ )。
集成： 这种频率感知的偏置与原始特征融合，并输入到时间自注意力或门控扩张卷积中，引导网络保留平滑趋势和周期性结构。

训练与推理

训练： 模型使用掩码去噪分数匹配目标进行训练。从观测掩码中采样一个条件掩码 ( $M^{co}$ ) 以向模型展示数值，同时使用目标掩码 ( $M^{ta}$ ) 隐藏原始观测值以提供监督。损失函数仅在受监督的目标条目上计算。
推理： 缺失条目使用高斯噪声进行初始化。模型迭代应用逆扩散过程，以固定观测值为条件，生成概率填补结果。

3. 主要贡献

论文概述了四个主要贡献：

FADTI 框架： 一个频率感知的条件扩散框架，通过将傅里叶域归纳偏置直接集成到去噪过程中，解决了结构化缺失模式的挑战。
灵活的 FBP 模块： 一个支持 DFT、STFT 和 FrSST 实例化的新型模块。这使得模型能够自适应地建模平稳和非平稳的时间结构，而无需依赖受损输入的频谱。
高效的时间建模： 引入了一个轻量级的局部建模模块（门控卷积）来补充全局注意力依赖，从而降低了计算开销。
全面的评估： 在多个基准数据集（包括新引入的生物时间序列数据集 Yeast）上进行了广泛实验，证明了在准确性、不确定性估计和采样效率方面的持续改进。

4. 实验结果

作者在三个真实世界数据集 ETT（能源）、Weather（气象）和 Yeast（生物）上，针对 10% 和 50% 缺失率下的点状（point-wise）和时间状（time-wise）缺失模式进行了评估。

准确度 (MAE)： FADTI 在大多数设置下实现了最低的平均绝对误差 (MAE)。值得注意的是，在缺失率较高（50%）以及在 Yeast 数据集上，它相较于 CSDI、MTSCI 和 SAITS 等基准模型表现出显著增益。
不确定性 (CRPS)： FADTI 展示了卓越的校准性和锐度，在大多数情况下实现了最低的连续秩概率评分 (CRPS)，表明其具有更好的概率质量。
鲁棒性： 该模型在时间状缺失模式（连续间隙）下保持了强大的性能，而许多基准模型在此类模式下性能大幅下降。
采样效率： 与 CSDI 和 MTSCI 相比，FADTI 在生成更少样本 ( $K$ ) 的情况下实现了更好的准确度和 CRPS。例如，在 ETT 数据集上，生成 $K=2$ 个样本的 FADTI 优于生成 $K=28$ 个样本的 CSDI 和 MTSCI。
消融研究：
- 去除 FBP（改用简单的反向投影）会导致性能下降，证实了将偏置与频率投影耦合的重要性。
- 基于 DFT 的变体在规则模式（ETT、Weather）上表现最好，而 STFT 和 FrSST 变体在需要局部频谱分析的时间状缺失间隙方面更具竞争力。
零样本预测： 在 Yeast 上的零样本“填补转预测”实验中，FADTI 优于确定性基准模型和基于扩散的 MTSCI，展现了强大的外推能力。

5. 重要性与主张

论文声称 FADTI 通过弥合频域信号处理与用于填补的生成式扩散模型之间的差距，代表了一项重大进展。其重要性在于：

解决频率失真： 通过投影中间隐藏状态而非原始遮掩输入，FAD liệu 避免了困扰天真频率方法的谱伪影。
处理非平稳性： FrSST 的引入使模型能够捕获非平稳振荡模式，这是 MTSI 文献中罕见的特性。
稀疏机制下的鲁棒性： 该框架在高度缺失和不规则缺失模式（常见于现实世界的传感器数据）下特别有效。
泛化能力： 对 Yeast 数据集的引入以及成功的零样本预测结果表明，该模型的适用性已超越了标准的填补任务，扩展到了复杂的、非平稳的生物环境。

作者总结道，虽然 FADTI 实现了最先进的性能，但未来的工作将侧重于将该框架扩展到不规则时间网格和自适应谱变换。