🤖 machine learning

Falcon-X: A Time Series Foundation Model for Heterogeneous Multivariate Modeling

Falcon-X 是一种新颖的时间序列基础模型，通过将变量解耦至统一的潜在原型空间、利用 Diff-Attention 机制对齐异构量并捕捉复杂交互、以及采用变量重组路由器来实现最先进的多变量预测性能，从而克服了现有单变量和原始空间方法的局限性。

原作者： Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图预测一个复杂系统的未来，比如天气、股市或交通流。这些系统拥有许多相互作用的运动部件（变量）。有时，当一个变量上升时，另一个也随之上升（协同）；而有时，当一个变量上升时，另一个却下降（拮抗）。

长期以来，试图预测这些未来的计算机模型一直面临两大难题：

“语言障碍”：它们试图直接将不同类型的数据（如温度和交通速度）混合在一起，这就像试图将苹果和橙子放入搅拌机并期待得到顺滑的果汁。由于单位和含义截然不同，计算机会感到困惑。
“一刀切”的盲点：大多数模型一次只关注一个变量，或者假设所有事物都是友好的。它们忽略了这样一个事实：有些变量相互对抗（负相关），而另一些则协同工作。

现在，Falcon-X 登场了，这是一种新的“时间序列基础模型”。你可以把它想象成这些混乱系统的超级智能翻译和指挥家。以下是其工作原理的简化步骤：

1. “通用翻译器”（潜在原型空间）

Falcon-X 不再强迫计算机直接比较原始数据（如"100 度”与"50 辆车”），而是首先将所有内容翻译成一种秘密的通用语言，称为潜在原型空间。

类比：想象一个房间里挤满了讲不同语言的人（英语、中文、西班牙语等）。与其试图让他们直接对话，不如安排一组专家翻译（即原型）。每个人都与翻译交流，翻译理解的是词语背后的含义，而不仅仅是特定的语言。
为何有效：这解决了“语言障碍”。无论你的数据是关于电力还是交通，Falcon-X 都能将它们翻译成相同的“含义”，使它们能够真正相互理解。

2. “双重视角镜头”（Diff-Attention）

大多数 AI 模型就像只看到积极事物的相机。如果两件事同步移动，相机会说“好！”；如果它们背道而驰，相机就会困惑或忽略。

Falcon-X 拥有一个特殊的Diff-Attention机制，它使用两个镜头：

协同镜头：寻找相互帮助的事物（例如：雨和雨伞）。
拮抗镜头：寻找相互对抗的事物（例如：价格和需求量）。
类比：想象法庭上的一位法官。这位法官不仅仅听取“支持”方的意见，而是拥有一种特殊能力，能同时听取“支持”和“反对”双方的论点并加以权衡。这使得模型能够理解复杂的相互关系，即一个变量将另一个变量推向相反方向的情况。

3. “智能调度员”（变量重组路由器）

在翻译员完成工作、法官权衡了论点之后，模型需要将通用含义重新转化为针对你原始数据的具体预测（例如：“温度会是多少？”）。

类比：想象一家繁忙的餐厅厨房。厨师（模型）准备了一锅完美的大杂烩（通用理解）。但你点了一份特定的汤，你的朋友点了一份沙拉。路由器就是那位服务员，他确切地知道大杂烩中的哪些食材属于你的汤，哪些属于你朋友的沙拉。它不会把整锅汤倒在你的盘子里，而是仔细挑选并组装出适合每道菜的恰当部分。
为何有效：这确保了即使模型是从许多不同系统的混合中学习到的，它仍然能为你的特定系统提供精确的答案，而不会搞混细节。

结果

作者在大规模的真实世界数据集（如天气、电网和销售额）上测试了 Falcon-X。

得分：在准确性方面，它击败了所有之前的最佳模型（如 Chronos-2 和 Moirai）。
“零样本”超能力：由于它学习了这种“通用语言”，因此能够预测它从未见过的事物。如果你给它一个它未曾训练过的数据集，它仍然能做出良好的猜测，因为它理解的是底层模式，而不仅仅是具体的数字。

总结

Falcon-X 就像是将一个充满讲不同语言、相互争斗又相互合作的人的混乱房间。它将人们送往一组翻译员那里，将所有内容翻译成一种通用语言，让一位法官权衡友好和敌对的关系，然后派遣一位聪明的服务员返回，为每个人提供他们确切需要的东西。其结果是，对接下来会发生什么的描绘变得更加清晰、准确。

技术摘要：Falcon-X

问题陈述

时间序列基础模型（TSFMs）正通过利用大规模跨域预训练重塑预测领域。然而，现有的 TSFMs 在处理异构多变量数据时面临两个根本性局限：

语义错位：大多数模型直接在原始变量空间运行。当混合来自不同数据集的异构物理量（例如温度与交通流量）时，标准的组注意力机制无法对齐其不同的语义。这导致“语义崩溃”，即模型学习到虚假的、特定于数据集的相关性，而非可迁移的时间结构。
关系表达力受限：现实世界系统表现出复杂的相互作用，包括协同（正向）和对抗（负向）依赖关系。标准的注意力机制依赖非负 Softmax 分数，主要捕捉聚合效应，难以显式建模对立动态或对抗关系。

当前方法通常将多变量序列展平或在原始空间内使用组注意力，这要么随维度扩展性差，要么无法解耦异构语义，从而限制了零样本迁移能力。

方法论：Falcon-X

Falcon-X 是一个仅编码器基础模型（5.91 亿参数），旨在将物理变量与交互空间解耦。它引入了统一潜在原型空间范式，包含四个主要阶段：

1. 预处理与分词

归一化：输入经过反正弦变换，使用仅从观测值计算的实例级均值和标准差，以保留缺失条目。
分词：序列通过添加相对时间戳和二元观测掩码进行增强。随后将其划分为不重叠的块，并通过残差块嵌入机制投影到隐藏维度。

2. 时间注意力

Falcon-X 采用仅编码器 Transformer 架构，首先捕捉内在时间模式。 $n$ 层时间注意力独立应用于每个变量沿时间维度。这确保了在任何跨变量交互发生之前，先提炼出鲁棒的时间动态，防止过早的语义纠缠。

3. 变量注意力（核心创新）

此阶段弥合了异构输入与统一表示之间的差距：

统一原型差分注意力（UPDA）：Falcon-X 不是混合原始变量，而是将它们投影到固定维度的潜在原型空间（ $C$ $C$ ）。它利用具有两个可学习键矩阵的差分注意力机制： $K_{pos}$ $K_{p os}$ （协同）和 $K_{neg}$ $K_{n e g}$ （对抗）。
- 模型计算针对两个键的注意力分数： $A_{pos} = \text{softmax}(QK_{pos}^T)$ 和 $A_{neg} = \text{softmax}(QK_{neg}^T)$ 。
- 统一表示通过基于差分分数聚合值得出： $H_C = (A_{pos} - \lambda A_{neg})^T V$ 。
- 正交性损失约束 $K_{pos}$ 和 $K_{neg}$ 以确保语义独特性。这使得模型能够显式捕捉正向和负向亲和力。
潜在实体注意力（LEA）：一旦在共享原型空间中对齐，全局跨变量交互通过标准多头注意力执行。由于所有实体都位于同一维度无关的语义空间中，这促进了在不同变量数量和物理意义的数据集之间无缝的零样本迁移。
变量重组路由器（VRR）：为了重建特定轨迹，使用请求 - 分发机制。来自原始时间嵌入的路由请求（ $R_{req}$ $R_{r e q}$ ）与原型索引（ $P_{idx}$ $P_{i d x}$ ）匹配，以从源上下文（ $S_{ctx}$ $S_{c t x}$ ）检索相关的语义负载。
- 最终输出通过门控残差连接融合原始时间嵌入与重组的跨变量表示： $\hat{H} = H_T + G(H_T) \odot H_V$ 。该门控动态调节融合，防止在弱相关系统中出现语义干扰，同时在强相关系统中利用依赖关系。

4. 预测头

该模型采用概率预测范式，使用分位数损失预测一组分位数上的未来分布。

主要贡献

新颖的异构建模范式：Falcon-X 从原始空间混合转向统一潜在原型空间。这创建了一个通用坐标系，解决了跨数据集的语义差异，实现了原则性的零样本知识迁移。
架构创新：
- 差分原型注意力：显式建模协同和对抗动态，克服了非负注意力的局限性。
- 变量重组路由器：一种门控机制，自适应地融合全局上下文与局部时间信号，确保在不同依赖强度下的鲁棒性。
实证卓越：该模型在综合基准测试中展示了最先进的性能，验证了其结构适应性。

实验结果

Falcon-X 在 GIFT-Eval 和 fev-bench 上进行了评估，这两个大规模基准测试涵盖了不同的领域（自然、能源、金融、医疗保健等）。

GIFT-Eval：Falcon-X 取得了最佳整体性能，MASE 为 0.666，CRPS 为 0.453。它优于强大的基线模型，包括 STRIDE（MASE 提升 1.2%）、Toto-2.0-FT（MASE 提升 1.9%）和 Timer-S1（MASE 提升 3.9%）。值得注意的是，其优势随着预测时长的增加而扩大，取得了最佳的中期（0.68 MASE）和长期（0.70 MASE）结果。
fev-bench：Falcon-X 排名紧随 Chronos-2 之后（0.652 对比 0.645 MASE），同时严格依赖内生目标序列，优于其他近期模型如 TiRex 和 Moirai 2.0。
消融研究：移除负原型键（ $K_{neg}$ ）导致了最严重的性能下降，证实了建模对抗关系的必要性。联合训练（单变量 + 多变量）被证明优于两阶段课程学习。
扩展性：该模型遵循神经扩展定律，随着参数从 5900 万扩展到 5.91 亿，显示出一致的性能提升。

意义与主张

该论文声称，Falcon-X 为复杂的多变量环境提供了一种原则性且可扩展的范式。通过将物理变量与交互空间解耦并显式建模双重依赖（协同和对抗），它解决了当前 TSFMs 的语义对齐和关系表达力瓶颈。作者认为，这种方法实现了鲁棒的零样本结构迁移，使模型能够学习可重用的跨域模式，而无需耦合到原始变量维度。这项工作被视为迈向更统一、更具表达力的时间序列基础模型的一步，代码已公开发布以支持未来研究。