🤖 machine learning

DoTime: A Synthetic Benchmark Generator for Interventional and Counterfactual Time Series

本文介绍了 DoTime，这是一个针对多元时间结构因果模型的可扩展且具有理论依据的合成基准测试生成器，它通过提供开放工具、具有精确真值的评估套件，以及关于干预训练相比观测模型能提高因果方向准确性的实证证据，解决了干预和反事实时间序列数据匮乏的问题。

原作者： Dennis Thumm, Billy Tim Anthony, Ying Chen

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dennis Thumm, Billy Tim Anthony, Ying Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解谜题的侦探，但你仅有的线索只是一堆陈旧、布满灰尘的照片。你可以看到过去发生了什么，但你永远无法看到如果有人做出了不同的选择，事情“本会”如何发展。这就是研究“因果关系”（即弄清什么是因、什么是果的艺术）的科学家们每天面临的挣扎。在现实世界中，我们通常只是观察事物的发生（观测数据），就像看着一株植物在阳光下生长。但要真正理解因果关系，我们需要提出“如果……会怎样？”的问题（反事实）。如果我们在植物浇水会怎样？如果我们关掉灯会怎样？为了回答这些“如果……会怎样？”的问题，我们通常需要进行实验，但在医学或气候科学等领域，进行实验可能既危险、昂贵，甚至是不可能的。

因此，科学家们开始构建“模拟器”——即数字世界，让他们可以在其中安全地进行实验。他们创建遵循因果规则的虚假数据，训练他们的计算机大脑（AI 模型），然后希望这些大脑足够聪明，能够解决现实世界的谜题。大问题在于：我们如何知道这些数字测试世界是否足够好？如果模拟器太简单，AI 就会学到错误的教训；如果它太混乱，我们就无法判断 AI 究竟是真的聪明还是仅仅运气好。我们需要一个完美、公平且具有挑战性的游乐场，在这些 AI 侦探走向现实世界之前对它们进行测试。

于是，DoTime 出现了，这是由研究人员 Dennis Thumm、Billy Tim Anthony 和 Ying Chen 开发的一种新工具。把 DoTime 想象成一个为“时空旅行侦探”准备的终极“飞行模拟器”。它是一个计算机程序，可以生成数百万个关于事物随时间变化的复杂虚假故事，并附带一个秘密的“答案解析”，告诉你如果改变情节，结果会发生什么变化。

这篇论文介绍了 DoTime，将其作为一种修复 AI 测试方式重大缺陷的方法。现有的多数测试世界只能向 AI 展示“发生了什么”，而不能展示“可能发生什么”。DoTime 与众不同，因为它能让 AI 练习“干预性”思维。它创建了一些场景，让你能够说：“好吧，在这个故事里，让我们假装给病人换了一种药，”然后模拟器会立即重写未来以展示结果，同时保持其他一切完全不变。它甚至有一个特殊的“共享噪声”模式，就像拥有两个完全相同的双胞胎：一个过着正常的生活，而另一个接受了特定的治疗。因为他们是双胞胎，所以他们生活中的任何差异都保证是由那项治疗引起的，而不是由随机运气造成的。

研究人员使用 DoTime 测试了一个特定的想法：让 AI 在这些“如果……会怎样？”的故事中进行训练，是否比仅仅观察普通的故事更能更好地解决现实问题？他们为两个规模完全相同的 AI 模型设置了一场公平的竞赛。一个模型仅在普通的、观测性的故事中进行训练（观察发生了什么）；另一个则在“如果……会怎样？”的干预故事中进行训练。结果清晰且可衡量：经过“如果……会怎样？”故事训练的模型，在正确判断因果方向方面的频率始终高于那个仅靠观察的模型。在他们的模拟中，这种“干预式训练”赋予了 AI 一个可衡量的优势，使其准确度比其观测型的孪生模型提高了约 8 到 9 个百分点。

然而，作者们非常谨慎，并未声称他们已经解决了世界上的所有问题。他们明确排除了 AI 只是运气好或者仅仅记住了答案的可能性。他们将 AI 测试在不同类型的故事、不同长度的时间、甚至是在真实世界数据（如风洞实验和药物反应）上，以观察这些技能是否可以迁移。虽然 AI 显示出它可以处理真实数据，但结果却褒贬不一；它擅长预测结果的总体“水平”，但有时难以追踪数据中微小、快速的波动。这表明，虽然 DoTime 是一个强大的新训练场，但 AI 仍在学习过程中，尚未达到完美。

简而言之，DoTime 是一个庞大的、开源的游乐场，让科学家们能够培养出更好的“时空旅行”侦探。它证明了教导 AI 想象不同的未来，会让它在理解因果关系方面变得更聪明，但也向我们展示了这些数字大脑在哪些地方仍然会跌倒。它是一个构建更好模型的工具，而不是一个能在一夜之间解决所有问题的魔杖。

技术摘要：DoTime

问题陈述

目前的时序因果推理基准测试主要集中在观测性、小规模或特定领域。这在评估**干预（interventional）和反事实（counterfactual）**估计方面留下了关键空白，而这两者对于医疗保健、政策评估和气候科学等高风险应用至关重要。现有工具存在三个主要局限性：

观测偏差（Observational Bias）： 像 Dream3 和 NetSim 这样的生成器侧重于结构发现而非效应估计（$p(Y|do(A))$），其训练模型的数据从未暴露在干预之下。
可扩展性问题： 现实世界的干预数据集（如 Causal Chambers）规模太小，不足以训练基础模型。
静态限制： 静态基准（ACIC, IHDP）忽略了时间动态，而近期的动态基准（CausalDynamics）侧重于从观测数据中进行图恢复，而非干预效应估计。

因此，旨在回答 $do(\cdot)$ 查询的模型往往是在纯观测数据（ $p(Y|A)$ ）上进行拟合和评分的，这种偏差导致其无法验证真正的因果推理能力。

方法论：DoTime 框架

DoTime 是一个开放、可扩展且具有理论依据的多变量**时序结构因果模型（TSCMs）**生成器。它通过一个流水线运行：采样结构先验、模拟在观测和干预条件下的轨迹，并提供精确的地面真值目标。

核心组件

时序结构因果模型 (TSCMs)：
- 由图集合 $\mathcal{G} = (G_0, G_{1:K})$ 定义，其中 $G_0$ 是瞬时有向无环图（DAG）， $G_{1:K}$ 是滞后邻接关系。
- 动力学遵循 $X^i_t = f_i(Pa^0_i(X_t), Pa^{1:K}_i(X_{t-1:t-K})) + \varepsilon^i_t$ 。
- **干预（Interventions）**会在特定时间窗口内覆盖目标节点的机制 $f_i$ 。
真值层级（Pearl 阶梯）：
- 第 2 层（干预层）： 干预臂从先验 $P(\varepsilon)$ 中抽取全新的外生噪声。
- 第 3 层（反事实层）： 干预臂重用生成观测轨迹的相同噪声流 $\varepsilon$ 。DoTime 的连续时间套件通过构造生成第 3 层反事实；离散时间套件则提供第 2 层干预孪生。
超越先前生成器的关键扩展：
- 干预类型： 支持硬干预（ $do(A_t=v)$ ）、软干预（加性偏移）和随时间变化的干预。
- 连续时间窗口： 使用底层 SDE 的 Euler–Maruyama 积分，将单步干预泛化为窗口干预 $do(A[t_0, t_1]=v)$ 。这允许不规则的观测网格（抖动或泊松分布）。
- 反事实模式： 包含一个“正值保护（positivity guard）”，将干预值裁剪至观测支持范围（ $\hat{\mu} \pm 3\hat{\sigma}$ ），从而区分外推型和支持内反事实。
- 机制切换（Regime-Switching）： 实现基于 SCM 参数的粘性马尔可夫链，将中断时间序列（ITS）设计泛化为随机切换和多机制场景。
图与机制先验：
- 图： $G_0$ 为 Erdős–Rényi 图，通过构造保证无环性（上三角掩码）。滞后边遵循几何衰减。
- 机制： 从包括线性、tanh、sin、cos、ReLU 及复合函数在内的多样化集合中均匀采样。
- 噪声： 尺度从偏移指数分布中采样。

核心贡献

本文发布了 DoTime 生态系统，包括：

dotime PyPI 包： 包含生成器、套件加载器和评估框架。
四个冻结评估套件：
- dot-Identifiability-v1： 包含 8 种命名识别结构（如后门、前门、工具变量、未观测混杂因素）的 10,800 条轨迹。
- dot-RegimeSwitch-v1： 包含 10,000 条具有 2、3 或 5 个机制密度的轨迹。
- dot-Continuous-v1： 包含连续时间干预窗口和不同查询偏移量的 10,000 条轨迹。
- dot-Generic-100k： 来自完整多样化先验的 100,000 条轨迹，规模足以用于预训练基础模型。
参考基准： 包含了启发式方法（TrajMean, AR1）、经典方法（VAR, BackDoorOLS, IV2SLS）以及一个 Do-Over-Time-PFN（先验拟合网络），该网络在干预和观测语境下均进行了训练。

结果

论文评估了 Do-Over-Time-PFN 相对于基准模型以及具有相同容量的观测孪生模型的表现。

指标局限性： 在这些非线性 TSCMs 上，标准 RMSE 指标接近饱和（模型聚集在均值附近）。论文认为，方向准确度（direction accuracy）（预测效应的正负号）才是区分因果质量的判别信号。
干预训练 vs. 观测训练：
- 在干预数据上训练的模型（ $PFN_{int}$ ）在方向准确度方面始终优于容量相同的仅在观测数据上训练的模型（ $PFN_{obs}$ ）。
- 差距幅度： 在 Identifiability 套件上， $PFN_{int}$ 达到了 0.66 的准确度，而 $PFN_{obs}$ 为 0.57（差距为 +0.08）。在 Generic 套件上，差距为 +0.04。
- 鲁棒性： 这种优势在三种训练种子、四种轨迹长度（ $T \in \{200, 500, 1000, 2000\}$ ）和三种识别结构（后门、前门、IV）中持续存在。聚合差距为 +0.09，种子间的标准差仅为 0.005。
测试时语境： 该优势归功于干预预训练，而非仅仅是在测试时看到了干预值。即使在测试时给出干预值的观测模型（TabPFN, Chronos-2）并未表现出准确度差距。
零样本迁移： 经合成数据训练的 PFN 可迁移至现实领域（Causal Chambers 风洞实验和 Warfarin 药代动力学）。虽然它无法追踪高频微观振荡，但它成功恢复了朴素基准模型失败的粗略机制重定位（regime relocation）（干预后的运行水平）。

意义与主张

本文将 DoTime 定位为第一个专门针对干预和反事实时序的开放、可扩展基准。其核心主张是一个可证伪的假设：干预训练能为具有相同容量的观测模型带来可衡量的方向准确度优势。

作者证明了：

因果理解： 该基准成功地在固定容量下隔离了因果理解，而在传统的回归指标失效的情况下，该指标依然有效。
合成数据的必要性： 现实世界的干预数据稀缺；DoTime 提供了一个原则性的、具有理论依据的替代方案，用于训练基础模型。
局限性： 作者对研究范围保持谦逊。目前的套件使用 $N \le 10$ 个变量和 $K \le 3$ 个滞后项（尽管生成器支持更多）。合成数据尚未涵盖趋势/季节性混杂因素或除隐藏混杂因素外的部分可观测性问题。向现实数据迁移的结果被呈现为“机制重定位”的证明，而非对领域特定工具的竞争性压制。

总之，DoTime 提供了将时序因果推理从基于观测数据的结构发现，转向严谨的干预效应估计的基础设施，并验证了在合成干预数据上进行训练可以产生具有更优因果推理能力的模型。