🤖 machine learning

ABC: Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space

本文介绍了ABC，这是一个新颖的框架，它利用非马尔可夫扩散桥和连续随机微分方程来生成以任意观测子集为条件的随机过程，从而克服了现有扩散模型在视频生成和天气预报等任务中的结构和动态局限性。

原作者： Gabe Guo, Thanawat Sornwanee, Lutong Hao, Elon Litman, Stefano Ermon, Jose Blanchet

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Gabe Guo, Thanawat Sornwanee, Lutong Hao, Elon Litman, Stefano Ermon, Jose Blanchet

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试填补一部用坏掉的相机拍摄的电影中缺失的页面。你拥有第一帧、最后一帧，也许还有中间的一些随机帧，但其余部分都是空白的。你的目标是猜测空白处发生了什么，以便故事能够流畅地衔接。

这就是论文ABC（通过非马尔可夫扩散桥实现任意子集自回归）试图解决的问题。这是一种让计算机生成连续内容（如视频或天气预报）的新方法，尤其适用于数据混乱、不规则或缺失片段的情况。

以下是论文如何用简单的类比来解释它：

问题：旧方法就像“跳跃”

当前的方法（如标准扩散模型）运作起来有点像一位笨拙的画家。

“从噪声到数据”的跳跃：为了生成视频的下一帧，这些旧方法通常从一块覆盖着静态（随机噪声）的空白画布开始，试图从头绘制新图像。
- 缺陷：在真实视频中，第 1 帧和第 2 帧之间的差异微乎其微（比如一只手稍微移动）。但从“静态噪声”开始，就像试图通过将该手从完全不同的房间瞬移过来移动它一样。这忽略了新帧应该与旧帧非常相似的事实。这导致视频出现生硬、闪烁的问题。
“一刀切”的计时器：这些旧方法将时间视为通用的秒表。它们假设为了生成下一帧而添加的“噪声”量是相同的混乱程度，无论你是跳跃到 1 秒后还是 1 小时后。
- 缺陷：实际上，1 秒的视频变化很小，而 1 小时的视频变化很大。如果对两者使用相同量的“混乱”，短期视频会显得抖动，而长期视频会显得不真实。
“严格顺序”规则：大多数模型只允许你基于过去来预测未来。它们无法轻易利用“剧透”（如电影的最后一帧）来帮助填补中间部分。

解决方案："ABC"方法

作者提出了ABC，它像一个智能的连续桥梁建造者，而不是跳跃者。

1. “数据到数据”的桥梁

ABC 不是从随机噪声开始，而是确切地从最后一个已知帧结束的地方开始。

类比：想象你在遛狗。如果你想知道 5 秒后狗会在哪里，你不会从公园里的随机地点猜测；而是从狗鼻子此刻所在的位置开始。ABC 就是这样做的。它将生成过程视为从一个已知状态到下一个状态的连续行走，进行微小、自然的调整，而不是巨大、突兀的跳跃。

2. “物理时间”时钟

ABC 理解时间具有物理权重。

类比：想象一条河流。如果你扔下一片叶子，它在短距离内（1 秒）移动缓慢，但在长距离内（1 小时）会行进很远。
- 旧方法将河流视为无论你看多远，水流速度都相同。
- ABC 根据实际经过的时间调整“水流速度”（波动性）。如果间隔很小，它只添加极少的“晃动”。如果间隔很大，它会添加更多的“晃动”以解释更大的变化。这使得运动看起来在物理上是真实的。

3. “任意子集”超能力

ABC 可以查看过去、未来或两者的混合来填补空白。

类比：想象你在填字谜。
- 旧方法只能查看空白方格左侧的字母。
- ABC 可以查看左侧的字母、右侧的字母，甚至是你已经推断出的单词中间的字母。它利用所有可用的线索（时间线上的任意子集）来猜测缺失的部分，无论它们是在过去还是未来。

工作原理（魔术技巧）

这篇论文使用了一些复杂的数学（随机微分方程和“测度变换”），但其核心思想很简单：
他们构建了一条单一的、连续的数学“道路”（一个 SDE），用于追踪真实时间。他们不是为每一步都建造一座新桥（这会导致“抖动”问题），而是建造了一条连接所有已知点的长而平滑的道路。然后，他们使用神经网络来学习“漂移”（即转向的方向），以便在这条道路上行驶的汽车能够自然地经过所有特定的检查点（已知帧）而不发生碰撞。

结果

作者在以下方面测试了该方法：

视频：填补人脸视频（CelebV-HQ）和天空延时摄影（Sky-Timelapse）中缺失的帧。
天气：预测风暴模式（SEVIR 数据集）。

结论：
在他们的测试中，与之前的方法相比，ABC 生成了更平滑、更逼真的视频和天气预报。

它的闪烁更少（更好的时间一致性）。
它能更好地处理不规则的间隔（如缺失的帧）。
它能够利用“未来”帧来帮助填补过去，而旧模型在这方面很吃力。

总结

ABC就像是从一个试图从头猜测下一步的“跳跃机器人”，升级为一个“平滑的滑翔机”，它从一个已知点自然流向另一个已知点，根据经过的时间调整速度，并利用所有可用的线索（过去或未来）来保持航向。论文声称，这导致了像视频和天气这样的基于时间的数据生成更加真实和灵活。

以下是论文《ABC：通过连续时空中的非马尔可夫扩散桥实现任意子集自回归》的详细技术总结。

1. 问题陈述

本文解决了在部分观测条件下生成连续时间、连续空间随机过程（例如视频、天气预报、股票价格）的根本挑战。这些观测可能具有以下特征：

不规则采样：数据点在时间上并非均匀分布（例如，零星的 GPS 读数）。
非因果性：基于未来状态进行条件生成（例如，根据首尾帧填充视频）。
任意子集：模型必须能够处理过去、现在和未来观测值的任意组合。

现有方法的局限性：

噪声到数据的扩散：标准扩散模型（如 DDPM）将高斯噪声映射到数据。这忽略了时间序列的物理连续性，即相邻状态高度相似。从不具信息量的噪声开始会导致结构保持性差以及物理上不可信的过渡。
固定波动率计划：现有的扩散桥通常使用与物理时间无关的辅助时间变量 $\tau \in [0, 1]$ 。无论状态之间经过的物理时间是多少，它们都注入相同数量的噪声。这无法捕捉正确的动力学（例如，1 秒的间隔应比 1 小时的间隔具有更小的波动性）。
马尔可夫假设：大多数模型假设下一个状态仅依赖于紧邻的前一个状态，忽略了长程时间依赖性和路径历史。
离散时间：许多自回归模型在固定网格上运行，使其难以适应不规则采样或连续时间推理。

2. 方法论：ABC 框架

作者提出了ABC（通过非马尔可夫扩散桥实现任意子集自回归模型），该模型在连续时间和空间中统一了扩散模型与自回归生成。

核心洞察

ABC 不是链接多个短桥或将噪声映射到数据，而是将整个过程建模为一个连续的随机微分方程（SDE），其中时间变量和中间状态直接对应于物理时间和过程状态。

关键技术组件

A. 通过测度变换实现数据生成动力学

基础过程：作者定义了一个与数据无关的基础过程（Ornstein-Uhlenbeck 过程） $dX_t = -a(t)X_t dt + \sigma(t)dB_t$ 。
Doob $h$ -变换：为了使基础过程在特定时间点匹配数据分布 $p_{data}$ ，他们应用了测度变换（Doob $h$ -变换）。这引入了一个漂移项，将 SDE“拉向”指定时间处数据的高密度区域。
非马尔可夫漂移：与标准扩散不同，漂移 $s(t, X_t; X_{0:i^*})$ 是路径依赖的。它基于所有已观测状态 $X_{0:i^*}$ 的完整历史进行条件生成（其中 $i^*$ 是时间 $t$ 之前最近一次观测的索引）。这使得模型能够捕捉复杂的非马尔可夫相关性。

B. 时间自适应波动率

SDE 中的波动率 $\sigma(t)$ 与物理时间绑定。
定理 3证明，链接单独的扩散桥（即使它们匹配边缘分布）会导致与单个连续 SDE 相比不正确的路径测度（二次变差）。
通过使用具有物理时间的单个 SDE，噪声注入会随经过的时间自然缩放，从而确保物理上可信的动力学（例如，短时间间隔变化较小，长时间间隔变化较大）。

C. 路径和时间依赖的分数匹配

训练目标：作者推导了一个损失函数，将去噪分数匹配（DSM）推广到非马尔可夫、时间依赖的情况。
目标：网络学习预测分数 $\nabla_{x_t} \log p_{base}(x_{t_{i^*+1}} | x_t)$ ，有效地预测当前状态 $x_t$ 应如何调整以与下一个观测路点 $x_{t_{i^*+1}}$ 对齐，同时以完整路径历史为条件。
任意子集条件生成：神经网络（带有交叉注意力的 Transformer）接收以下输入：
- 当前噪声状态 $x_t$ 。
- 当前物理时间 $t$ 。
- 下一个目标状态的时间 $t_{i^*+1}$ 。
- 所有观测路点（过去和未来）的集合 $K$ 。
  这使得模型能够处理任意子集的观测值，包括非因果的未来帧。

D. 架构

基于扩散 Transformer (DiT)。
扩展 DiT 以包含交叉注意力层，用于处理条件路点（过去和未来）。
输入包括噪声潜在变量、当前时间、下一个路点时间以及带有时间戳的条件帧集合。

3. 主要贡献

ABC 模型：一种新颖的基于 SDE 的生成模型，将自回归推广到连续时间和空间，专门解决任意子集情况（不规则采样、非因果条件生成）。
理论保证：
- 证明跟踪物理时间的单个连续 SDE 对于捕捉正确的路径测度是必要的（定理 3）。
- 证明时间自适应波动率对于随机过程的忠实建模至关重要。
训练目标：推导了一种可扩展的、无需模拟的训练目标（路径依赖桥分数匹配），将 DSM 扩展到非马尔可夫、时间依赖的场景。
实证验证：在视频生成和天气预报方面展示了最先进的性能，优于链接扩散桥和噪声到数据的扩散方法。

4. 实验结果

作者在 CelebV-HQ（人脸视频）、Sky-Timelapse（天气视频）和 SEVIR（雷达天气数据）上评估了 ABC。

指标：使用 FVD（Fréchet 视频距离）衡量时间一致性，使用 FID 衡量帧质量。对于天气数据，使用 MAE、MSE 和 CSI（临界成功指数）。
性能：
- 视频生成：ABC 在 FVD 方面显著优于基线（条件扩散桥和噪声到数据扩散），特别是在非因果设置（填充缺失帧）中。它在 FVD 和 FID 方面均实现了帕累托最优。
- 天气预报：ABC 在 SEVIR 上取得了最佳整体性能，证明了其在预测风暴事件方面优于基线的准确性。
- 消融研究：
  - 波动率：具有时间自适应波动率的模型（ABC）始终优于具有固定波动率计划的模型。
  - 条件生成：路径依赖条件生成（使用完整历史）产生的结果优于马尔可夫（仅最后一帧）或仅前缀条件生成。
  - 数据到数据 vs. 噪声到数据：数据到数据桥（ABC）优于噪声到数据扩散，后者存在数值刚性和不连贯动力学的问题。

5. 意义与影响

范式转变：超越了时间序列的“噪声到数据”范式，建立了尊重物理时间连续性的“数据到数据”桥框架。
灵活性：解决了长期被忽视的连续时间任意子集自回归问题，实现了不规则帧率视频修复、稀疏传感器数据插补和非因果预测等应用。
理论严谨性：利用测度论和随机微积分提供了数学上严谨的推导，证明了为何之前的“链接桥”方法无法捕捉正确的动力学。
实用价值：证明了直接对物理时间演化进行建模，能在天气和视频等复杂领域产生更真实、更连贯的生成结果。

总之，ABC 通过将扩散桥、自回归和连续时间动力学统一到一个单一的、具有理论基础的框架中，并适应数据的物理现实，代表了时间序列生成建模的重大进步。