技术摘要：扩散驱动的状态空间模型 (DDSSM)

问题陈述

时间序列建模的从业者经常面临模型表达能力与捕捉潜在系统动力学能力之间的权衡。现有方法通常会在其中一个目标上做出牺牲：

• 深度状态空间模型 (DSSMs)（例如深度卡尔曼滤波器）提供了原则性的推理和端到端训练，但通常假设高斯转移密度。这种假设限制了其表达能力，往往无法捕捉多模态动力学，并会引入高斯先验，从而导致过度正则化潜在表示，丢弃必要的结构信息。
• 扩散模型具有高度的表达能力，能够建模复杂的、多模态的分布。然而，当应用于时间序列时，它们通常被用作以过去观测值为条件的生成采样器，或者依赖于两阶段训练（首先学习自编码器，然后学习扩散模型）。这种两阶段方法可能会产生过度正则化的潜在空间，从而丢弃了对下游生成动力学至关重要的信息。

如何以原则性的方式在序列数据上联合训练自编码器和扩散模型，以结合两者的优势，仍然是一个悬而未决的问题。

方法论

作者提出了扩散驱动的状态空间模型 (DDSSM)，该模型将扩散模型直接集成到状态空间模型 (SSM) 的转移密度中。

生成模型

该模型假设观测值 $x_{1:T}$ 是由通过马尔可夫过程演化的潜在状态 $z_{1:T}$ 生成的，该过程可能以协变量 $u_{1:T}$ 为条件。联合似然分解为：
$$p(x_{1:T}, z_{1:T} | u_{1:T}) = p_{\eta,\theta}(z_{1:j}, x_{1:j} | u_{1:j}) \prod_{t=j+1}^T p^{(t)}_\psi(z_t | z_{t-j:t-1}, u_{t-j:t}) p^{(t)}_\theta(x_t | z_{t-j+1:t}, u_{t-j+1:t})$$

关键创新点包括：

1. 扩散转移 (Diffusion Transitions)： 模型不再使用参数化高斯转移 $p^{(t)}_\psi$，而是使用扩散过程。对于每个时间步 $t$，转移密度通过引入中间噪声潜在状态 $z^1_t, \dots, z^K_t$ 来建模。转移定义为：
   $$p^{(t)}_\psi(z^0_t, z^{1:K}_t | z_{t-j:t-1}, u_{t-j:t}) = p(z^K_t) \prod_{k=1}^K p^{(t)}_\psi(z^{k-1}_t | z^k_t, z_{t-j:t-1}, u_{t-j:t})$$
   其中 $z^0_t = z_t$ 且 $z^K_t \sim \mathcal{N}(0, I)$。这使得模型能够学习任意的、潜在的多模态转移密度。
2. 发射 (Emissions)： 发射密度 $p^{(t)}_\theta$ 仍为由神经网络参数化的标准高斯分布，用于处理残差不确定性，而扩散模型则负责捕捉复杂的非高斯结构。
3. 初始化： 初始状态分布 $p_\eta(z_{1:j}|u_{1:j})$ 利用变分层次先验 (VHP) 来避免对初始潜在状态的限制性假设。

推理与训练

由于真实的后验分布是难以计算的，作者采用了变分推理框架。他们推导出了一个反映了真实后验条件独立结构的证据下界 (ELBO)。

• 变分后验： 后验分布被分解为一个包含平滑转移项（依赖于过去的潜在状态和未来的观测值）和一个扩散加噪过程项的结构。
• 联合训练： 与两阶段方法不同，DDSSM 是端到端训练的。其目标是最大化 ELBO，其中包括：
  • 重建损失（发射的负对数似然）。
  • 用于初始化的 KL 散度项。
  • 扩散链损失（源自扩散模型的逆过程），旨在鼓励编码器生成在学习到的转移动力学下可预测的潜在状态。
• 预处理 (Preconditioning)： 为了确保联合训练过程中不同噪声水平下的梯度稳定性，作者采用了预处理技术（Karras 等人，2022）来重新缩放扩散网络的输入和输出。

核心贡献

1. DDSSM 框架： 引入了一种状态空间模型，其中转移密度被扩散模型取代，从而能够在不依赖限制性高斯假设的情况下，学习灵活的多模态潜在动力学。
2. 端到端训练： 为在序列数据上联合训练自编码器和扩散模型这一开放问题提供了一个原则性的解决方案。这避免了在潜在时间序列扩散中常见的两阶段训练所带来的过度正则化问题。
3. 理论推导： 对该混合模型的 ELBO 进行了严谨的推导，证明了其最优变分后验如何通过分解来匹配真实后后的结构，从而缩小了近似差距。

实验结果

作者在具有双模噪声（潜在随机游走伴随双模转移）的模拟时间序列数据集上评估了 DDSSM。

• 设置： 他们将 DDSSM 与带有变分层次先验的深度卡尔曼滤波器 (DKF) 以及最后一次观测值携带法 (LOCF) 基准进行了比较。
• 指标： 性能通过模型 1 步预测分布与真实分布之间的 Jensen-Shannon 散度 (JSD) 进行衡量。
• 发现：
  • 受限于高斯转移的 DKF 将概率质量放置在两个真实模态之间，未能捕捉到双模结构。
  • DDSSM 成功捕捉到了真实分布的两个模态。
  • 从定量上看，DDSSM 的 JSD 显著低于 DKF。
  • 从定性上看，DDSSM 生成的重建和预测具有代表性，而 DKF 的预测缺乏一致的模式，且未能很好地重建观测数据。

意义与主张

本文声称，通过将潜在时间序列扩散问题构建为具有扩散转移分布的状态空间模型，可以实现端到端训练，从而在不惩罚潜在动力学学习的前提下，获得灵活的重建。

作者将 DDSSM 定位为一种解决扩散模型的表达能力与 SSM 的结构严谨性之间紧张关系的方案。他们断言，传统深度 SSM 中的高斯先验假设对于在多模态设置下学习潜在表示是有害的，而他们的方法为潜在轨迹提供了一个更具表达能力的先验。这项工作通过超越两阶段训练范式，扩展了潜在时间序列扩散模型的文献。

作者指出，未来的工作将涉及将 DDSSM 应用于大规模数据集，并结合深度 SSM 文献中的进一步想法，以充分利用扩散转移分布的力量。