💻 computer science

TS-ICL: A Flexible Time-Indexed Foundation Model for Time Series via In-Context Learning

TS-ICL 是一种新型的时间索引基础模型，它利用上下文学习（In-Context Learning）将预测与填补任务统一起来，通过将任务构建为具有合成因果依赖关系的时刻对齐回归，在不规则及部分观测的时间序列上实现了最先进的性能。

原作者： Etienne Le Naour, Tahar Nabil, Adrien Petralia

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Etienne Le Naour, Tahar Nabil, Adrien Petralia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测天气，但你的气象站坏了。有时它会停止记录数小时；有时它只提供温度而没有风速；有时数据传回的时间间隔也非常奇怪且不规则。目前大多数“超级智能”的计算机模型（被称为基础模型/Foundation Models）在数据完美且规整时表现出色，但当面对混乱或缺失的数据时，它们就会陷入困境。

这篇论文介绍了一种名为 TS-ICL 的新型 AI 模型，它是专门为处理这种混乱的现实情况而设计的。你可以把它想象成一个全能的“时空旅行侦探”，它可以同时解决两个不同的谜题：填补日记中缺失的页面（填补/Imputation）以及预测接下来会发生什么（预测/Forecasting）。

以下是它的工作原理，我们使用简单的类比来解释：

1. “上下文”侦探（上下文学习/In-Context Learning）

大多数 AI 模型就像是死记硬背特定教科书的学生。如果你问它们一个没学过的课题，它们就会失败。TS-ICL 则不同，它使用了**上下文学习（In-Context Learning）**技术。

想象你是一名正在试图破案的侦探。你不是依靠预先写好的规则手册，而是观察眼前的线索（即“上下文”）。

类比： 如果你看到一串脚印通向一扇门，即使你以前从未见过这扇特定的门，你也无需通过规则手册就能知道有人进去了。你只需要观察此时此刻现有的脚印，并推断出其中的模式。
TS-ICL 如何实现： 它获取你提供的数据（“回顾窗口”），并将其视为一次“微型课程”。它从这些特定的线索中学习模式，并立即将学到的知识应用于预测未来或填补空白，而无需针对每一项新任务进行重新训练。

2. “时间索引”地图（处理不规则数据）

传统的模型通常会将时间序列数据强行塞入一个僵化的网格中，就像一个电子表格，要求每一行必须精确地间隔一小时。如果传感器漏掉了一次读数，整个行就会出错，或者模型必须猜测缺失的行应该放在哪里。

TS-ICL 更像是一个 GPS 地图，而不是电子表格。

类比： 电子表格会说：“第 1 行是下午 1:00，第 2 行是下午 2:00。”如果错过了下午 2:00，电子表格就会感到困惑。而 GPS 会说：“你在下午 1:00 的位置，下一个点是在下午 2:15。”它理解时间是一个连续的流动，而不是一组固定的方格。
优势： 因为 TS-ICL 理解特定的时间戳，所以它可以处理缺失、不规则或延迟到达的数据，而不会出错。它不需要先去“修复”数据，它只需读取时间戳并继续运行。

3. “助手”系统（协变量/Covariates）

有时，为了预测未来，你需要的不仅仅是主线故事。例如，为了预测用电量，你可能需要知道温度（这是一个“协变量”）。

类比： 想象你在预测汽车的速度。主要数据是汽车的速度。但如果你还知道风速和路面坡度（这些是“助手”），你的预测会变得更加精准。
TS-ICL 如何实现： 它拥有一个特殊的机制来倾听这些“助手”信号。它可以判断风速是否真的对汽车速度有影响，还是仅仅是噪音。它学会了忽略无关的助手，专注于有用的信息，同时紧盯着主线故事。

4. 二合一的超能力

通常情况下，你需要一个工具来填补缺失数据（填补），而需要另一个工具来预测未来（预测）。

类比： 这就像拥有一把既是螺丝刀又是开瓶器的瑞士军刀，但它比单独购买两件工具的效果还要好。
结果： TS-ICL 统一了这两项任务。它可以观察一段混乱、不完整的历史，填补缺失的部分，然后立即预测未来，这一切都在一个步骤内完成。

论文声称的内容（实验结果）

作者将这位“侦探”与现有的顶尖模型进行了对比测试：

填补空白： TS-ICL 是填补缺失数据的全新冠军。它显著超越了之前的最佳模型（称为表格基础模型/Tabular Foundation Models），并且速度快了 50 倍。
预测未来： 在预测方面，尽管采用了不同的方法，它的表现与顶尖模型（如 Chronos-2）不相上下。
“破碎数据”测试： 最令人印象深刻的说法是它的性能表现。如果给一个标准模型一段包含 50% 缺失数据的历史记录，它的预测效果会变得非常糟糕。然而，TS-ICL 依然保持强劲且准确，因为它天生就是为了处理不规则时间戳而构建的。

总结

TS-ICL 是一个灵活且聪明的模型，它不在乎你的数据是否混乱、缺失或不规则。它将时间视为一种连续的流动，从眼前的线索中学习，并仅在有助于预测时才使用额外信息（如温度或风速）。它是目前修复破碎数据记录的最佳工具，也是预测未来的顶尖竞争者，同时在处理缺失信息时，其速度远快于竞争对手。

技术摘要：TS-ICL

问题陈述

时间序列基础模型（TSFMs）已将范式从特定任务的模型转向通用型、零样本推理系统。然而，现有的方法在实际应用中面临三个关键局限性：

任务碎片化： 大多数 TSFM 专注于预测，无法原生支持缺失值填补（imputation），而这在不规则采样数据中非常常见。
协变量处理： 许多模型缺乏鲁棒的协变量感知推理机制，尽管外部信息对于许多实际任务是必要的。
采样僵化： 标准的基于补丁（patch-based）的架构（如 Chronos、TimesFM）假设输入是定期采样的，这阻碍了它们处理异步或部分观测时间序列的能力，而无需进行预处理。

虽然适配于时间序列的表格基础模型（TFMs，如 TabPFN-TS）支持协变量和填补，但它们通常依赖于手工设计的时序特征，且面临高昂的推理成本，在预测基准测试中落后于纯 TSFM。因此，需要一个统一的框架，能够同时处理预测与填补，支持协变量，并能在不规则采样数据上高效运行。

方法论

作者引入了 TS-ICL（时间序列上下文学习），这是一个概率 Transformer 基础模型，它将时间序列建模重新表述为一个时间索引的上下文回归问题。该架构由四个顺序模块组成：

时间序列编码器 ( $E$ )： 基于 Perceiver 编码器设计，该模块以通道独立的方式处理上下文时间戳和数值（以及可选的协变量）。它使用一组固定的可学习 Token 来对时间戳-数值对进行交叉注意力计算，将任意长度的输入压缩为紧凑的潜变量序列 ( $Z_{val}$ )。
通道混合器 ( $M$ )： 该模块聚合跨通道的信息。它通过交叉注意力允许目标时间序列查询协变量 Token，从而将通道维度折叠为一个统一的、具备协变量感知能力的表示 ( $Z_{final}$ )。随后的自注意力层用于建模全局依赖关系。
时间上下文查询模块 ( $C$ )： 为了在离散潜变量 Token 与连续时间域之间建立桥梁，该模块使用基于频率的位置编码对任何查询时间戳 $t$ 进行嵌入。它通过交叉注意力作用于 $Z_{final}$ ，生成任意时间戳的上下文感知表示 $H(t)$ ，从而实现对不规则采样的灵活处理。
上下文学习回归器 ( $R$ )： 最终模块将预测视为一个上下文回归任务。它从观测到的上下文对 $(H(t), x_t)$ 中构建训练集 $D_{train}$ ，并使用因果自注意力来推断未见时间戳处的目标值。它输出一组通过平滑分位数损失（smoothed pinball loss）训练得到的密集分位数估计值。

数据先验与训练：
TS-ICL 在结合了真实世界数据集和合成数据的结构化数据先验上进行训练。

单变量： 包含 31 个真实世界数据集和来自 TempoPFN 的合成信号的混合体，涵盖了多样化的领域和频率。
多变量（协变量）： 使用有向无环图 (DAGs) 和结构因果模型 (SCMs) 的注册表生成合成的目标-协变量结构。这确保了模型能够学习到对未见依赖结构的鲁棒零样本泛化能力，包括信息性、冗余性和独立的协变量。
任务： 训练过程中在填补（掩盖点或块）和预测（掩盖未来时界）之间动态切换。

核心贡献

统一架构： TS-ICL 是一种新型的概率 TSFM，它在一个单一的连续时间框架内统一了预测和填补，无需改变架构即可原生支持这两项任务。
结构化合成先验： 作者设计了一个基于 DAG 的目标-协变量关系因果先验，使模型能够学习到对复杂依赖结构的鲁棒零样本泛化。
最先进的填补性能： TS-ICL 在零样本填补基准测试中达到了新的 SOTA（最先进）水平，超越了领先的 TFM（如 TabPFNv2.5-TS、TabICLv2-TS）。
高效的协变量感知推理： 该模型支持带有协变量的高效推理，能够处理任意可用模式（例如，协变量仅在回顾窗口中观测到，或者在回顾窗口和时界中均有观测）。
对缺失数据的鲁棒性： 与基于补丁的模型不同，TS-ICL 的时间索引公式使其在历史观测部分缺失时仍能保持鲁棒。

实验结果

模型在 fm-impute-bench（填补）和 fev-bench（预测）上进行了评估，并在 TIME 基准测试上进行了额外验证。

填补： TS-ICL 在零样本填补基准测试中创下了新的纪录。相比领先的 TFM（TabPFNv2.5-TS, TabICLv2-TS），它在逐点（NMAE）和概率（CRPS）得分上都有显著提升（例如，比 TabICLv2-TS 提升了 17% 和 15%）。至关重要的是，它的推理速度比这些 TFM 快达 50 倍。
预测： 在预测基准测试中，TS-ICL 与 Chronos-2 和 TiRex 等领先的 TSFM 保持了竞争力，并位居顶尖水平。当协变量可用时，它能有效利用协变量，提升了其在 TSFM 中的相对排名。
对缺失历史的鲁棒性： 在回顾窗口缺失程度增加（30%–90%）的实验中，TS-ICL 始终优于 Chronos-2。当上下文变得稀疏时，Chronos-2 的性能显著下降，而 TS-ICL 则保持了稳定性，凸显了其时间索引公式优于基于补丁的方法。
效率： 虽然 TS-ICL 比高度优化的 Chronos-2 慢约 4 倍，但它比 TFM 快约 40 倍，提供了强大的精度-效率权衡。

重要性与主张

论文声称，TS-ICL 通过提供一个能够统一预测与填补并具有原生协变量支持的单一架构，解决了当前时间序列建模中的碎片化问题。

其主要意义在于其对不完整历史观测的鲁棒性。作者证明了基于补丁的模型对缺失上下文非常敏感，而 TS-ICL 的时间索引公式使其能够应对现实中数据不规则或部分观测的预测场景。通过将上下文学习的灵活性与结构化因果先验相结合，TS-ICL 提供了一种可扩展的替代方案，在保持竞争力的预测能力的同时，实现了最先进的填补性能。

作者也指出了局限性，特别是逐点回归公式比高度优化的补丁式模型（如 Chronos-2）具有更高的计算成本，但通过其优于 TFM 的速度得到了缓解。他们建议未来的工作可以包括架构优化（如缓存）以及进一步多样化训练数据先验，以增强零样本泛化能力。