Towards Continuous-time Causal Foundation Models

本文提出了一种连续时间因果基础模型,该模型通过与解耦观测的细网格积分确保轨迹规律对观测计划的不变性,并在多种非线性动力学和不规则数据场景下展现出优于朴素积分方法的性能。

原作者: Dennis Thumm, Ruben Wiedemann, Ying Chen

发布于 2026-05-29
📖 1 分钟阅读☕ 轻松阅读

原作者: Dennis Thumm, Ruben Wiedemann, Ying Chen

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

想象一下,你正在尝试教导一个超级智能的 AI 如何预测随时间变化的系统的未来,例如药物在人体内的代谢过程,或者风洞对突发气流的反应。

通常,AI 模型以“快照”的方式看待时间——就像一本翻页书,每一页都是固定的时刻(1 秒、2 秒、3 秒)。但现实世界并不等待时钟滴答作响,它是连续流动的。

本文旨在教导 AI 理解这种流动,而不仅仅是那些快照。以下是使用简单类比进行的拆解:

1. 问题所在:“停 - 启”陷阱

作者指出了一个常见的错误。如果你试图通过仅在特定时间展示快照来教导 AI 了解连续过程(如流动的河流),AI 学到的将是快照的时间表,而非河流本身。

  • 类比: 想象你试图学习汽车如何加速。
    • 糟糕的方法(离散/天真): 你只在每次眨眼时查看速度表。如果你眨眼慢,你会看到缓慢的加速;如果你眨眼快,你会看到快速的加速。AI 会学到“我眨眼的速度”决定了车速,而非引擎。
    • 结果: AI 会感到困惑。如果你向它展示一套新的眨眼时间表,它会失败,因为它学到的是你眨眼的模式,而非汽车的物理规律。

2. 解决方案:“高速摄像机”

本文提出了一种训练这些模型的新方法,称为连续时间因果基础模型。它们不使用每个间隔一张快照的方式,而是采用“高速摄像机”方法。

  • 类比: 为了理解汽车,你以超高速(每秒数千帧)记录引擎运转,生成一段完美、平滑的加速视频。然后,你将这段平滑视频展示给 AI。
  • 技巧: 即使 AI 仅在慢速快照上进行测试(例如医生每天检查一次病人),它也已经从高速训练中学习了平滑、连续的物理规律。它掌握的是“河流的法则”,而不仅仅是“快照的法则”。

3. 三个训练层级

作者创建了一个“分级列表”,用于分类不同模型处理时间的方式:

  • 第 1 级(翻页书): 旧方法。AI 仅知晓固定的时间步长。如果时间发生变化,它就会失败。
  • 第 2 级(懒惰的摄影师): AI 试图变得连续,但仅在两次观测之间拍一张照片。这更好,但如果时间间隔发生变化,它仍然会感到困惑。这就像仅凭两张模糊的照片来猜测车速。
  • 第 3 级(高速专家): 这就是本文所达成的成就。AI 在超精细网格(数千个微小步长)上模拟物理过程,然后仅向 AI展示它需要看到的具体时刻。
    • 结果: AI 学到了系统真实且不可改变的规律。无论观测是每秒一次、每小时一次,还是在随机时间进行,它都不在乎。

4. 实验:它真的有效吗?

团队使用两种类型的“物理引擎”对此进行了测试:

  1. 线性: 简单、直线的物理现象(如弹簧)。
  2. 非线性: 复杂、扭曲的物理现象(如混沌天气系统)。

他们将“懒惰的摄影师”(第 2 级)与“高速专家”(第 3 级)进行了对决。

  • 发现: “高速专家”每次都获胜。
  • 惊喜: 当使用高速方法训练 AI 时,甚至不需要告诉它“观测之间经过了多少时间”。它自然而然地理解了流动。然而,当使用懒惰方法训练时,AI必须被明确告知时间间隔才能表现良好。

5. 现实世界测试(“零样本”测试)

作者尝试将他们的新型 AI 应用于其从未见过的现实世界数据(零样本)。

  • 药代动力学: 预测血液中的药物浓度(茶碱和华法林)。尽管是在合成数据上训练的,AI 仍能令人惊讶地很好地追踪药物的升降。
  • 物理系统: 风洞实验。AI 成功预测了风洞速度对风扇功率突然变化的反应。

核心结论

本文为 AI 构建了一个更好的“时间机器”。通过迫使 AI 学习事物如何变化的平滑、连续规律(使用高速模拟),而不仅仅是记忆数据点之间的间隔,AI 在预测未来方面变得更加聪明,即使数据以奇怪、不规则的时间到达也是如此。

本文并未声称:

  • 它并未声称这已准备好取代医生或工程师。
  • 它并未声称它解决了所有类型的时间序列问题。
  • 它承认现实世界的测试是“初步的”,在用于关键情况之前需要更多工作。

这是一个基础性的步骤:证明如果你教导 AI 将时间视为流动的河流,而不是一系列踏脚石,它就能更好地学习宇宙的规律。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →