Interventional Time Series Priors for Causal Foundation Models

本文提出了名为 CausalTimePrior 的框架，通过生成包含观测与干预数据的合成时序结构因果模型，解决了现有基准缺乏干预目标的问题，从而使得先验数据拟合网络（PFNs）能够作为基础模型应用于时序因果推断。

要点

这篇论文介绍了一个名为 CausalTimePrior 的新工具，它的目标是教人工智能（AI）如何像科学家一样，在时间序列数据（比如股票走势、天气变化、心率监测）中理解“因果关系”，而不仅仅是看到“相关性”。

为了让你轻松理解，我们可以把这篇论文的故事想象成教一个超级天才厨师（AI）如何预测“如果换了食材，菜的味道会怎么变”。

1. 核心问题：AI 只会看热闹，不会看门道

现在的 AI 很厉害，能看很多历史数据（比如过去十年的天气），然后预测明天会不会下雨。这叫做**“相关性”**。

• 现状：如果你问 AI：“如果明天我人为地让气温升高 5 度，会发生什么？”
• AI 的困境：以前的 AI 就像只看过菜谱的厨师，它没见过“人为改变气温”的实验数据。它只知道“气温高时通常冰淇淋卖得好”，但它不知道“如果我把气温强行调高，冰淇淋销量会不会因为其他原因（比如大家觉得太热不想出门）而下降”。
• 痛点：在表格数据（比如简单的问卷调查）中，科学家已经造出了很多“虚拟实验数据”来训练 AI。但在时间序列（随时间变化的数据）领域，一直缺少这种能模拟“人为干预”的虚拟实验室。

2. 解决方案：CausalTimePrior（因果时间先验）

作者造了一个**“万能虚拟实验室”**，叫 CausalTimePrior。

• 它是怎么工作的？
  想象这是一个**“时间机器模拟器”**。

  1. 生成剧本（生成模型）：它先随机生成成千上万个不同的“世界剧本”。每个剧本里，变量之间都有复杂的因果链条（比如：下雨 -> 地滑 -> 摔跤）。
  2. 模拟两种世界：
     • 世界 A（观察模式）：它让时间自然流动，记录下自然发生的数据（比如：今天下雨了，有人摔倒了）。
     • 世界 B（干预模式）：它强行修改剧本！比如，它强行命令“今天不下雨”（这就是干预），然后看世界 B 会怎么发展（比如：没人摔倒了，但路很干）。
  3. 配对教学：它把“世界 A"和“世界 B"的数据像双胞胎一样配对好，喂给 AI 学习。

• 它的超能力（创新点）：

  • 各种干预手段：不仅能“硬改”（强行把温度设为 0 度），还能“软改”（稍微加一点热量），甚至能“动态改”（让温度像波浪一样慢慢升高）。
  • ** regime-switching（ regime 切换/模式切换）：这是它最牛的地方。现实世界很调皮，因果关系会变。比如“冬天”和“夏天”，同样的“下雨”可能导致不同的结果（冬天路滑，夏天可能只是凉爽）。这个模拟器能模拟这种“规则突然改变”**的情况，教 AI 适应这种变化。

3. 实验结果：AI 真的学会了吗？

作者训练了一个小型的 AI 模型（叫 PFN，可以理解为**“看过所有菜谱的天才厨师”**），让它在这个虚拟实验室里学习。

• 测试场景：给 AI 看一段自然发生的数据，然后问它：“如果我强行把变量 X 改变，结果 Y 会变成多少？”
• 表现：
  • AI 的表现：它不仅能猜对，而且能分清**“真正的因果”和“虚假的巧合”**。
  • 比喻：
    • 普通 AI（基于相关性）：看到“公鸡打鸣”和“太阳升起”总是同时发生，就认为“公鸡打鸣导致太阳升起”。如果你把公鸡的嘴封住（干预），它可能还会预测太阳不会升起。
    • CausalTimePrior 训练的 AI：它知道公鸡打鸣只是太阳升起的前奏，而不是原因。如果你封住公鸡的嘴（干预），它依然会准确预测太阳照常升起。
  • 数据：在测试中，这个 AI 在判断“干预后的结果”时，准确率远高于那些只学过历史数据的传统模型。

4. 为什么这很重要？（未来的意义）

这就好比给 AI 装上了**“反事实推理”**的大脑。

• 以前：AI 只能告诉你“过去发生了什么”或者“如果保持现状，未来可能发生什么”。
• 现在：AI 可以回答**“如果我们要改变政策、调整药物剂量、或者改变投资策略，会发生什么？”**
  • 医疗：如果给病人换一种药（干预），他的病情会如何随时间演变？
  • 经济：如果央行突然加息（干预），股市和汇率在未来几个月会怎么波动？
  • 气候：如果我们人工降雨（干预），对当地生态系统的长期影响是什么？

总结

这篇论文就像是为时间序列数据建造了一个**“平行宇宙模拟器”。它通过制造海量的“如果……会怎样”的虚拟实验数据，教会了 AI 理解因果关系**，而不仅仅是统计规律。

这就让未来的 AI 不再只是一个“预言家”（预测未来），而变成了一个真正的“决策顾问”（告诉你如果采取行动，未来会如何改变）。这对于解决复杂的现实世界问题（如医疗、金融、气候）具有巨大的潜力。

技术摘要

1. 研究背景与问题 (Problem)

核心痛点：
尽管基于先验数据拟合的网络（Prior-Data Fitted Networks, PFNs）在表格数据的因果推断中已展现出作为基础模型（Foundation Models）的潜力，但将其扩展到时间序列领域面临根本性障碍：缺乏能够生成“干预目标”（Interventional Targets）的合成数据生成器。

• 现有基准的局限性： 现有的时间序列因果基准（如 CausalTime, TimeGraph, CauseMe 等）虽然提供了具有真实因果图（Ground-truth Causal Graphs）的观测数据，但仅包含观测数据，缺乏干预数据。
• 训练需求缺失： 要训练能够进行“上下文因果效应估计”（In-context Causal Effect Estimation）的基础模型，必须让模型在训练过程中看到“如果进行了干预，结果会如何”的数据对（即观测数据与干预数据的配对）。没有干预数据，模型无法学习因果结构，只能学习相关性。
• 现有生成器的不足： 少数支持干预的生成器（如 CAnDOIT, TECDI, CaTSG）存在明显缺陷：仅支持硬干预或软干预中的一种、仅支持静态干预值、仅支持线性机制，或者缺乏对**状态切换（Regime-switching）**动态的支持。

2. 方法论：CausalTimePrior (Methodology)

为了解决上述问题，作者提出了 CausalTimePrior，这是一个用于生成成对观测与干预时间序列的 principled（原则性）框架。

2.1 核心定义：时序结构因果模型 (TSCMs)

框架基于离散时间的动态结构因果模型（DSCM），定义 $S = (G, F, P_\epsilon)$：

• 图结构 ($G$)： 包含瞬时边 ($G_0$) 和滞后边 ($G_k$)，允许时间延迟的因果依赖。
• 结构方程 ($F$)： $X_t^{(i)} = f_i(Pa(X_t^{(i)})) + \epsilon_t^{(i)}$。
• 噪声 ($P_\epsilon$)： 支持多种分布（高斯、均匀、拉普拉斯）。

2.2 先验分布设计 ($\Pi$)

CausalTimePrior 通过以下先验采样生成多样化的 TSCM：

1. 图先验 ($\Pi_G$)： 采样变量数 $N$、最大滞后 $K$ 和边概率。瞬时边通过拓扑排序保证无环，滞后边概率随滞后时间衰减。
2. 机制先验 ($\Pi_F$)： 支持非线性自回归机制。激活函数 $\phi$ 从 $\{id, \sin, \cos, \tanh, |\cdot|, (\cdot)^2, \exp(-|\cdot|)\}$ 中均匀采样，确保覆盖广泛的非线性动态。
3. 噪声先验 ($\Pi_\epsilon$)： 为每个变量独立采样噪声分布。

2.3 干预类型支持

这是该框架的核心创新，支持三种干预类型，且可组合：

• 硬干预 (Hard Interventions)： 使用 do-算子，直接设定 $X_t^{(i)} := c$，切断入边。
• 软干预 (Soft Interventions)： 扰动机制，$X_t^{(i)} = f_i(\dots) + \delta_i + \epsilon_t^{(i)}$。
• 时变干预 (Time-varying Interventions)： 设定 $X_t^{(i)} := c(t)$，其中 $c(t)$ 可以是阶跃、斜坡、正弦或采样轨迹。

2.4 状态切换 (Regime-Switching)

关键创新点： 首次将状态切换动态与干预数据生成相结合。

• 引入马尔可夫链 $d_t$ 控制当前激活的“状态”（Regime）。
• 每个状态 $r$ 拥有独立的因果图 $G^{(r)}$ 和机制 $F^{(r)}$。
• 使用“粘性”马尔可夫链（Sticky Markov Chain）模拟因果结构在时间上的持久性变化。
• 这使得模型能够学习在因果结构随时间变化（结构断点）的情况下进行干预推理。

2.5 数据生成流程

对于每个训练样本：

1. 采样 TSCM 结构、机制和噪声。
2. 采样干预规范（目标变量、时间、类型、数值）。
3. 前向模拟生成观测序列 $X^{obs}_{1:T}$。
4. 在干预条件下前向模拟生成干预序列 $X^{int}_{1:T}$。
5. 构建训练元组：(观测序列，干预规范，干预结果)。

3. 主要贡献 (Key Contributions)

1. 首个支持干预的时序合成数据生成器： 提出了 CausalTimePrior，能够生成带有真实因果图和配对干预数据的时序结构因果模型（TSCMs），填补了训练因果基础模型所需数据的空白。
2. 高度可配置的复杂动态支持：
   • 支持非线性机制。
   • 支持硬、软、时变三种干预类型。
   • 首创将状态切换（Regime-switching）动态与干预生成结合，模拟现实世界中因果关系的时变特性。
3. 基础模型验证： 初步实验证明，基于 CausalTimePrior 训练的 PFN 能够仅凭观测数据在上下文中（In-context）估计干预效果，无需针对每个数据集进行微调。

4. 实验结果 (Results)

作者在 10 万个生成的 TSCM 上训练了一个简单的 2 层 GRU 基础模型（SimpleCausalPFN），并在 1000 个未见过的 TSCM 上进行评估。

• 先验验证：
  • 多样性： 生成了包含 3-10 个变量、1-3 阶滞后的模型，其中 70% 为非线性，15% 为状态切换模型。
  • 稳定性： 10 万个样本中 0% 发散（无 NaN/Inf）。
  • 干预覆盖： 涵盖了硬、软、时变干预，效应大小跨度大。
• 因果推断性能：
  • 区分能力： 模型能准确区分因果查询与非因果查询。对于干预目标查询，预测值与真实值比率（Pred/GT）为 0.95；对于非因果变量查询，比率为 0.46（接近 0，表明模型正确识别了无因果影响）。
  • 对比基线： 在不进行每样本拟合（Per-dataset fitting）的情况下，其 RMSE (176.45) 与需要逐样本拟合的 VAR-OLS (176.45) 相当，且优于仅依赖相关性的预测。
  • 抗虚假相关性： 在存在强虚假相关性（Correlation = -0.49）但无因果路径的案例中，PFN 预测误差极小（0.005），而 VAR-OLS 误差巨大（0.936），证明了模型真正学到了因果结构而非相关性。
• 消融实验： 混合多种干预类型（硬/软/时变）训练的模型，在效应方向准确率和效应大小相关性上均优于仅使用硬干预训练的模型。
• 分布外泛化 (OOD)： 在更大图、更密集边和更复杂机制的 OOD 测试集上，性能有所下降，但仍保留了基本的因果理解能力（干预查询的 RMSE 仍低于下游非干预查询）。

5. 意义与未来展望 (Significance & Future Work)

意义：

• 填补空白： 解决了时间序列因果基础模型训练数据匮乏的关键瓶颈，特别是缺乏干预数据的问题。
• 新范式： 展示了通过合成先验数据训练基础模型，使其具备“零样本”或“少样本”因果推理能力的可行性。
• 现实模拟： 引入状态切换机制，使合成数据更贴近金融、气候等现实世界中因果结构随时间演变的场景。

局限性与未来工作：

• 假设限制： 目前假设马尔可夫噪声和离散时间动态。未来需扩展至非马尔可夫混淆和连续时间过程（如 SDE）。
• 图结构先验： 目前使用 Erdős-Rényi 采样，隐含覆盖了典型因果结构，但未像 Do-PFN 那样显式分层采样特定动机（Motifs）。
• 验证： 尚未在真实世界的因果时间序列分布上进行验证。
• 计划： 扩展至更大规模模型、引入连续时间动力学（Neural ODE/SDE）、并在半合成数据集（基于真实观测数据）上进行基准测试。

总结：
CausalTimePrior 为时间序列因果推断的基础模型研究铺平了道路。通过提供包含丰富干预类型和动态结构变化的合成数据，它使得训练能够进行上下文因果推理的通用模型成为可能，是迈向“时间序列因果大模型”的重要一步。