Towards Robust Real-World Multivariate Time Series Forecasting: A Unified Framework for Dependency, Asynchrony, and Missingness

该论文提出了名为 ChannelTokenFormer 的 Transformer 框架，旨在通过统一处理通道依赖、异步采样和缺失值这三大现实挑战，显著提升多变量时间序列预测在复杂真实场景下的鲁棒性与准确性。

要点

这篇论文提出了一种名为 ChannelTokenFormer 的新方法，旨在解决现实世界中时间序列预测（比如预测天气、电力负荷或工厂机器状态）面临的三个最头疼的难题。

为了让你轻松理解，我们可以把时间序列预测想象成预测一场大型交响乐团的演出。

1. 现实世界的三个“捣乱鬼”

在理想的实验室里，预测就像让一个完美的合唱团唱歌：所有人节奏一致、声音清晰、没有杂音。但在现实世界（比如工厂、电网、医院），情况完全不一样，有三个“捣乱鬼”在作祟：

• 捣乱鬼一：不同步的节拍器（异步采样）
  • 比喻：想象乐团里，小提琴手每秒钟拉一下（高频），大鼓手每 10 秒敲一下（低频），而指挥家每 5 分钟才挥一次手。
  • 问题：现有的预测模型通常假设所有人都在同一秒动作。如果强行把它们对齐，就像把大鼓手强行按在小提琴的节奏上，要么漏掉信息，要么产生奇怪的“杂音”（数据失真）。
• 捣乱鬼二：断片的乐谱（数据缺失）
  • 比喻：演出中途，大鼓手突然感冒了，连续敲了 10 分钟没声音；或者麦克风坏了，小提琴手的声音断断续续。
  • 问题：以前的模型遇到这种“空白”，通常会用“猜”或者“填补”（插值）的方法，比如假设大鼓手刚才敲了个平均音。但这往往是错的，因为现实中的缺失可能是因为机器故障或维护，强行填补会掩盖真实情况，导致预测出错。
• 捣乱鬼三：复杂的合奏关系（通道依赖）
  • 比喻：小提琴的旋律其实和大鼓的节奏是有关联的（比如鼓点重的时候，小提琴通常会变快）。
  • 问题：很多模型要么只盯着单个乐器看（忽略了合奏关系），要么虽然看了合奏，但处理不了上面提到的“不同步”和“断片”问题。

2. 主角登场：ChannelTokenFormer（令牌化交响乐指挥）

这篇论文提出的 ChannelTokenFormer 就像一位超级聪明的指挥家，它有一套独特的方法来应对这三个捣乱鬼：

核心策略一：给每个乐器组发一个“代表令牌”（Channel Tokens）

• 怎么做：它不再试图把每个乐手（每个数据点）都强行排成整齐的方阵。相反，它给每个乐器组（比如所有的小提琴、所有的大鼓）选出一个“代表”（Token）。
• 作用：这个“代表”负责总结这一组乐器的整体状态。不管这一组乐手是快是慢，或者中间有没有人请假，这个“代表”都能把核心信息提炼出来。
• 比喻：就像开会时，每个部门只派一个代表发言，而不是让全公司几千人都站起来说话，这样效率更高，也能抓住重点。

核心策略二：动态的“分块”切法（Frequency-based Dynamic Patching）

• 怎么做：它不强制把时间切成一样长的块。它会根据每个乐器自己的节奏（频率）来切分。
• 作用：对于拉得快的小提琴，它切得细一点；对于敲得慢的大鼓，它切得宽一点。
• 比喻：就像切蛋糕，给胃口大的人切大块，胃口小的人切小块，而不是强行把所有人的盘子都切成一样大。这样既尊重了每个乐器的特性，又避免了强行对齐带来的“失真”。

核心策略三：聪明的“屏蔽”机制（Mask-Guided Attention）

• 怎么做：当遇到“断片”（数据缺失）时，它不会去瞎猜填补。相反，它直接把这个缺失的“代表”在计算时屏蔽掉（Masking）。
• 作用：它告诉模型：“这部分数据没了，别管它，直接看其他乐器组（其他通道）来推断。”
• 比喻：如果大鼓手突然不敲了，指挥家不会假装他在敲，而是直接听小提琴和长笛的旋律，推断出大鼓应该什么时候进。这样既诚实又聪明，避免了被错误的“填补数据”带偏。

3. 为什么它很厉害？（实验结果）

作者用了很多真实世界的数据集（比如美国的空气质量数据、液化天然气船的传感器数据、太阳能和风能数据）来测试。

• 结果：在那些数据乱、缺、节奏不一的“恶劣环境”下，ChannelTokenFormer 就像一位经验丰富的老指挥，总能比那些死板的模型（比如强行插值对齐的模型）预测得更准。
• 关键点：它不需要把数据强行“修好”再预测，而是直接接受不完美的数据，利用不同乐器组之间的默契（交叉通道依赖）来互相补位。

总结

简单来说，这篇论文就是告诉我们要尊重现实世界的混乱。

以前的模型像是在强迫一个生病的、节奏不一的乐队去唱完美的歌，结果越唱越跑调。而 ChannelTokenFormer 则是派出一位聪明的指挥，让每个乐器组派出代表，利用它们之间的默契，在有人“断片”或“乱节奏”的情况下，依然能指挥出一场精彩的演出。

这对于工业监控、能源管理和医疗预测等需要高度可靠性的领域来说，是一个巨大的进步。

技术摘要

这是一篇发表于 ICLR 2026 的论文《TOWARDS ROBUST REAL-WORLD MULTIVARIATE TIME SERIES FORECASTING: A UNIFIED FRAMEWORK FOR DEPENDENCY, ASYNCHRONY, AND MISSINGNESS》（迈向鲁棒的现实世界多变量时间序列预测：依赖、异步与缺失的统一框架）的详细技术总结。

1. 研究背景与问题定义 (Problem)

现实世界的时间序列数据通常具有三个核心挑战，而现有的预测模型往往只能解决其中一部分，或基于过于简化的假设（如所有通道采样同步、数据完整）：

1. 通道间依赖 (Channel Dependency)：不同传感器或子系统之间存在复杂的相互依赖关系，忽略这些关系会损失关键的预测信号。
2. 通道级异步采样 (Channel-wise Asynchrony)：不同通道由于物理特性或设备限制，往往以不同的时间分辨率（采样周期）进行采样。现有模型通常假设所有通道在相同的时间点上对齐，强行插值会导致信号失真。
3. 测试时块状缺失 (Test-time Block-wise Missingness)：实际应用中常出现因设备故障、维护或通信中断导致的连续时间段数据缺失（块状缺失），而非离散的随机缺失。传统的插值方法在处理长缺失块时不可靠，且容易引入噪声。

核心问题：如何在一个统一的框架中，同时处理异步采样、测试时块状缺失以及复杂的通道间依赖，而不依赖可能导致频谱失真的插值操作？

2. 方法论：ChannelTokenFormer (Methodology)

作者提出了 ChannelTokenFormer (CTF)，这是一个基于 Transformer 的预测框架，旨在通过以下机制统一解决上述三个挑战：

2.1 核心架构设计

• 通道令牌 (Channel Tokens)：

  • 借鉴了 iTransformer 和 TimeXer 的思想，但进行了改进。CTF 为每个通道引入少量的可学习“通道令牌”（Channel Tokens）。
  • 这些令牌作为全局注意力锚点，聚合每个通道内的局部时间信息，并显式地编码跨通道依赖关系。
  • 预测仅基于这些压缩后的通道令牌，而非原始的不均匀 Patch 序列，从而天然地适应了不同采样率的通道。

• 基于频率的动态分块与 Tokenization (Frequency-based Dynamic Patching)：

  • 针对异步采样，CTF 不使用固定长度的 Patch。
  • 利用快速傅里叶变换 (FFT) 估计每个通道的主导频率，据此动态确定每个通道的 Patch 长度。
  • 这使得模型能够根据每个通道自身的周期性特征进行分块，保留了原始采样结构，避免了插值。

• 掩码引导的统一注意力机制 (Unified Mask-Guided Attention)：

  • 构建了一个包含“局部 Token"（Patch 级别）和“通道 Token"（全局级别）的统一序列。
  • 注意力掩码策略：
    1. 局部 Token：仅关注同一通道内的其他局部 Token（捕捉时间依赖）。
    2. 通道 Token：关注自身通道的局部 Token 以及其他通道的 Token（捕捉跨通道依赖），但不可见于局部 Token（只读角色）。
    3. 通道 Token 之间：允许跨通道交互，但禁止自注意力（避免冗余），鼓励信息交换。
  • 这种设计在一个注意力层中同时完成了时序建模和跨通道依赖建模。

2.2 处理缺失值的策略

• 训练时的 Patch 掩码 (Training-time Patch Masking)：
  • 为了模拟测试时的块状缺失，CTF 在训练阶段随机掩码掉一部分 Patch（PatchDropout 策略）。
  • 如果某个 Patch 在测试时完全缺失，模型在输入阶段直接移除该局部 Token，而不是用零或均值填充。
  • 这使得模型学会直接利用其他通道的信息来推断缺失部分，而不是依赖插值，从而避免了插值带来的频谱失真。

3. 关键贡献 (Key Contributions)

1. 统一框架：首次在一个模型中同时解决了多变量时间序列预测中的异步采样、块状缺失和通道依赖三大现实挑战。
2. 无插值设计 (Interpolation-free)：通过动态分块和直接移除缺失 Patch 的策略，避免了传统方法中因插值导致的频谱失真（如幅度衰减、相位延迟和高频伪影）。
3. 通道令牌机制：提出了一种新的 Token 设计，将局部时序信息与全局通道依赖解耦又融合，作为预测的紧凑表示。
4. 鲁棒性验证：在包含真实工业数据（LNG 货船系统）和多个修改后的基准数据集上，证明了模型在极端缺失和异步条件下的优越性。

4. 实验结果 (Results)

作者在四个修改后的基准数据集（ETT1/2-practical, Weather-practical, SolarWind-practical, EPA-Air）和一个私有工业数据集（LNG CHS）上进行了广泛实验。

• Case 1：通道异步采样：
  • CTF 在 CMSE（通道聚合均方误差）和 CMAE 指标上，在大多数数据集上取得了最佳或第二好的结果。
  • 相比 TimeXer、iTransformer 等需要插值的 SOTA 模型，CTF 避免了插值带来的性能下降，特别是在 EPA 和 CHS 等异步性强的数据集上优势明显。
• Case 2：异步采样 + 测试时块状缺失：
  • 在 SolarWind 数据集上，随着缺失比例（12.5% 到 50%）的增加，CTF 的性能下降幅度远小于其他基线模型。
  • 其他模型（如 TimeMixer++, TimeXer）在遇到长缺失块时，预测结果会出现明显的噪声或趋势漂移，而 CTF 能准确捕捉周期性变化。
• 消融实验：
  • 移除通道依赖、动态分块或 Patch 掩码中的任何一项，性能均显著下降，证明了三个组件的必要性。
  • 通道令牌的数量（1-3 个）需根据数据集的通道异质性进行调整。
• 频谱分析：
  • 通过 FFT 分析发现，插值方法会导致高频能量衰减和相位延迟。CTF 由于无插值，更好地保留了原始信号的频谱特性。

5. 意义与影响 (Significance)

• 理论意义：揭示了传统插值方法在处理现实世界异步和缺失数据时的局限性（频谱失真），并提出了一种基于“移除”而非“填充”的缺失处理新范式。
• 实际应用价值：
  • 该框架特别适用于工业物联网（IIoT）、能源系统和环境监测等场景，这些场景中的数据往往具有多速率采样、设备故障导致的长时缺失等特征。
  • 提供的 LNG 货船数据集和实验结果为工业级时间序列预测提供了新的基准和参考。
• 未来方向：虽然模型在数百个通道下表现良好，但在超大规模通道（如数千个交通传感器）场景下，注意力机制的二次复杂度仍是挑战，未来可探索通道稀疏化或分组表示。

总结：这篇论文通过重新审视多变量时间序列中的“通道”概念，提出了一种无需插值、能原生处理异步和缺失数据的统一 Transformer 框架，显著提升了模型在复杂现实场景下的鲁棒性和预测精度。