🤖 machine learning

XCTFormer: Leveraging Cross-Channel and Cross-Time Dependencies for Enhanced Time-Series Analysis

XCTFormer 是一种新颖的基于 Transformer 的模型，它通过令牌到令牌的跨关系注意力机制显式地捕捉跨时间步和跨通道的依赖关系，在多变量时间序列任务中实现了最先进的性能，尤其在数据填补方面表现突出。

原作者： Israel Zexer, Omri Azencot

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Israel Zexer, Omri Azencot

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图预测天气，但你不是只看一支温度计，而是拥有一个装满温度计的房间，此外还有气压计、风速传感器和湿度计。在数据科学领域，这被称为多变量时间序列分析。其目标是综合观察所有这些不同的信息“通道”，以理解正在发生的情况并预测未来。

长期以来，专家一直认为，要做出最佳预测，你需要一个能够理解所有这些传感器如何相互“交谈”的模型。如果风速增加，温度可能会下降；如果湿度上升，随后可能会下雨。这些就是依赖关系。

然而，该领域最近的一个意外发现表明，那些忽略这些“对话”（将每个传感器视为独自在房间中）的模型，往往比那些试图倾听整个群体的模型表现更好。这就像发现独唱歌手往往比试图和声的合唱团更能唱准音符。

本文的作者，XCTFormer，问道：“为什么合唱团失败了？是因为他们唱错了音符，还是因为他们试图以一种混乱、令人困惑的方式倾听彼此？”

他们认为，之前的“合唱团”模型试图间接地理解这些关系，就像试图在嘈杂的房间里只通过听音量来听清对话一样。它们错过了微妙而直接的连接。

解决方案："Token-to-Token"超级倾听者

作者引入了XCTFormer，这是一种新模型，旨在倾听每一个数据片段在每一个时间点的信息，并确切理解它如何与其他每一个数据片段相关联。

以下是他们构建该模型的方法，使用了一些日常类比：

1. 数据处理：将故事分解为场景

模型不是同时查看传感器的整个历史，而是将数据切分成称为patches（块）的小片段。这就像将一部长电影剪辑成短小、易于管理的场景。这有助于模型专注于局部模式（例如温度的突然飙升），而不会被整部电影压垮。

2. 核心引擎：CRAB（跨关系注意力块）

这是整个操作的大脑。在标准 AI 模型中，“注意力”机制就像一束聚光灯，照亮数据中最重要的部分。但通常，这束聚光灯只能变得更亮（正权重）。

XCTFormer 的 CRAB之所以特殊，是因为：

它学习该忽略谁：它使用一种“可学习的掩码”。想象一位指挥家，他不仅告诉乐团演奏得更响亮，还告诉特定的乐器演奏得更轻柔，甚至如果它们造成干扰就完全停止。这有助于模型专注于最关键的关系。
它理解“负向”关系：标准模型只能说“这很重要！”（正向）。XCTFormer 还能说“当这个上升时，那个必须下降！”（负向）。它使用了一种新的数学技巧（称为AbsAct），允许聚光灯反向照射，捕捉其他模型错过的复杂“跷跷板”关系。

3. 可扩展性插件：DeCoP（压缩助手）

这里有一个陷阱：如果你有 1,000 个传感器和 1,000 个时间步，检查它们之间每一个连接会产生一个巨大的连接网（100 万个连接！）。这对计算机来说太沉重了。

为了解决这个问题，他们添加了DeCoP。这就像一个摘要器。与其阅读 1,000 页书的每一页来寻找连接，DeCoP 会阅读整本书并写出一份 50 页的摘要，保留所有重要的情节要点，但丢弃了无关的废话。这使得模型能够在不崩溃的情况下处理海量数据集，同时保留最重要的信息。

他们发现了什么？

作者在三个主要任务上测试了他们新的“超级倾听者”：

预测（预测未来）：他们尝试预测电力使用和交通流量等。XCTFormer 表现非常出色，通常胜过现有的最佳模型，特别是在一项设计用来测试模型能否忽略“虚假”信号（干扰项）的棘手合成测试中。
插值（填补空白）：想象一个传感器损坏并停止发送数据。模型能否根据其他传感器猜测它应该发送的内容？XCTFormer 在这里是冠军，其填补缺失数据的错误率显著低于第二好的模型（约低 20%）。
异常检测（发现怪异之处）：模型能否发现机器行为异常？XCTFormer 在这方面表现优异，成功识别了服务器数据和水处理系统中的异常模式。

结论

该论文声称，之前模型未能利用数据的“群体对话”的原因在于它们倾听得太间接。通过构建一个能够直接倾听每一个数据点与每一个其他点之间关系的模型（使用CRAB引擎），并压缩该倾听过程以保持速度（使用DeCoP），他们取得了最先进的成果。

他们证明，如果你正确地构建“合唱团”——赋予它理解正向和负向关系的正确工具——它最终可以胜过“独唱歌手”。

技术摘要：XCTFormer

问题陈述

多变量时间序列分析对于预测、插值和异常检测等任务至关重要。尽管现实世界中的变量通常在时间和通道间共享潜在依赖关系，但最近的发现（例如 Han 等人，2024）挑战了“显式建模这些跨通道关系能提升性能”这一假设。相反，将变量独立处理的通道独立（CI）模型往往优于通道依赖（CD）模型。作者将此归因于模型容量与鲁棒性之间的权衡：CD 模型可能因依赖捕捉方式的局限性而无法充分发挥其潜力，通常依赖于间接建模策略，这些策略要么忽略了重要的交互作用，要么无法适应随时间变化的依赖关系。

方法论

为了解决这些局限性，作者提出了XCTFormer，这是一种基于 Transformer 的通道依赖框架，旨在显式且直接地建模时间维度和通道维度上所有 token 之间的成对依赖关系。该架构由三个主要组件构成：

数据处理单元：
- 输入通道被独立分块（patching），以捕捉局部时间模式。
- 分块后的数据被 token 化，然后在分块和通道维度上进行展平。这创建了一个统一的序列，使得 Transformer 能够在单一步骤中关注所有成对关系（自滞后、跨通道同步、跨通道滞后以及向前时间关系）。
跨关系注意力块（CRAB）：
- CRAB 修改了标准 Transformer 的注意力机制，以增强表达力和鲁棒性。
- 可学习非布尔掩码： 不同于二值掩码，CRAB 采用可学习的实值掩码，逐元素地应用于注意力分数。这使得模型能够根据学习到的重要性对依赖关系进行加权，并控制注意力权重的符号。
- 有符号注意力激活（AbsAct）： 取代标准的 Softmax，CRAB 使用基于数值绝对和的行向归一化。这允许存在负注意力权重，增强了模型捕捉更广泛关系的能力，同时保持了训练稳定性所需的有界 Frobenius 范数。
依赖压缩插件（DeCoP）：
- 为了解决在高维数据上建模所有成对 token 所带来的二次方内存和计算复杂度（ $O(N^2)$ ），引入了 DeCoP 作为可选模块。
- 它利用可学习变换压缩注意力矩阵，将相对于序列长度的复杂度降低至线性（ $O(N)$ ），同时保留关键的依赖结构。当 DeCoP 启用时，CRAB 中的可学习掩码会被省略，因为直接的成对结构不再完全实体化。

主要贡献

识别建模差距： 论文指出，当前的 CD 方法通常间接地建模跨通道和跨时间依赖关系，未能充分发挥多变量数据的潜力。
XCTFormer 框架： 一种通用架构，通过 token-to-token 方法直接建模所有成对依赖关系。它集成了：
- CRAB： 通过可学习的重要性感知掩码和有符号注意力激活来增强表达力。
- DeCoP： 通过可学习压缩缓解高维数据上的可扩展性瓶颈。
全面评估： 该模型在三个核心任务（预测、异常检测、插值）上，跨越多个基准进行了评估，显示出相对于强基线的一致改进或具有竞争力的性能。

实验结果

作者在标准基准上评估了 XCTFormer，包括 ETT 子集、Weather、Electricity、Traffic 以及各种异常检测数据集（SMD、SWaT、PSM、MSL、SMAP）。

插值： XCTFormer 取得了最先进（SoTA）的性能，在所有数据集上，其均方误差（MSE）平均比第二好的方法低20.8%，平均绝对误差（MAE）低15.3%。
预测： 该模型在 10 个评估指标中的 8 个上取得了第二好的性能，涵盖了多样化的基准。在一个旨在测试对虚假相关性鲁棒性的合成数据集上（其中目标依赖于滞后的跨变量信号），XCTFormer 在准确率方面排名第二，同时使用的参数数量和浮点运算次数（FLOPs）显著少于排名第一的基线。
异常检测： 该模型取得了具有竞争力的 F1 分数，表明其有效捕捉了用于识别异常模式的跨通道依赖关系。
消融研究： 移除各个组件（可学习掩码、有符号激活或集成的跨时间/通道建模）始终导致性能下降，验证了所提出的架构选择的必要性。

意义与主张

论文声称，XCTFormer 通过从间接建模转向直接的、token-to-token 的依赖建模，代表了实现多变量时间序列数据完整建模潜力的实质性一步。

实现潜力： 该工作认为，以往 CD 模型表现不佳并非由于建模跨通道依赖关系本身存在固有困难，而是现有间接策略的低效所致。
鲁棒性： 通过合成实验，作者证明了他们的方法能够将具有信息量的跨变量信号与干扰项区分开来，显示出对虚假相关性的鲁棒性。
局限性： 作者谦逊地承认，统一的 token-to-token 注意力机制随 token 数量呈二次方扩展，因此对于大型数据集需要 DeCoP。他们还指出，性能提升并非在所有数据集上均匀分布，表明该方法的有效性对数据底层的依赖结构敏感。

总之，论文提出，通过统一的注意力机制显式捕捉跨通道和跨时间交互的完整结构，XCTFormer 克服了近期倾向于通道独立方法的容量 - 鲁棒性权衡。