📊 statistics

Latent Stochastic Interpolants

该论文提出了潜在随机插值（LSI）框架，通过推导连续时间下的变分下界（ELBO）目标，实现了编码器、解码器与潜在空间随机插值模型的端到端联合优化，从而在避免扩散模型简单先验限制的同时，显著降低了高维观测空间下的计算成本，并在 ImageNet 基准测试中展现了优异的生成性能。

原作者： Saurabh Singh, Dmitry Lagun

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Saurabh Singh, Dmitry Lagun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为**“潜在随机插值器”（Latent Stochastic Interpolants, 简称 LSI）的新方法。为了让你轻松理解，我们可以把生成图像（比如画出一只猫）的过程想象成“把一团混沌的颜料变成一幅精美的画作”**。

1. 以前的难题：要么太慢，要么太死板

在 LSI 出现之前，生成式 AI（比如现在的 Diffusion 扩散模型）主要有两种“画风”：

方法 A：直接在画布上作画（观察空间模型）。
- 比喻：想象你要在一张巨大的、铺满整个房间的画布（高维度的像素空间）上，把一团乱涂的颜料慢慢变成一只猫。
- 缺点：画布太大了，每次修改都要处理几百万个像素点，非常慢，而且计算量巨大，就像让一个画家在巨大的操场上一点点描画细节。
方法 B：先画草图再上色（传统的潜在变量模型，如 VAE）。
- 比喻：画家先在一张小纸片（低维度的潜在空间）上画个草图，然后再放大到画布上。
- 缺点：虽然快，但传统方法通常要求“颜料”必须是某种固定的、简单的形状（比如必须是标准的 Gaussian 分布，就像只能用水彩，不能用油画或丙烯）。这限制了画家的发挥，导致画出来的东西不够生动或多样。

以前的“随机插值器”（SI） 是一种很厉害的新工具，它允许画家在任意两种颜料之间自由转换（比如从“一团黑”变到“一只猫”），不需要固定的颜料形状。但是，它有个大毛病：它要求画家必须同时看到“起点”和“终点”。在训练 AI 时，这意味着它无法把“画草图（编码器）”和“上色（生成器）”这两个步骤结合起来一起优化，导致效率不高。

2. LSI 的解决方案：在“梦境”里一起训练

LSI 的核心创新在于：它把“画草图”和“把草图变成画”这两个过程，在同一个“梦境空间”（潜在空间）里，像训练一个超级团队一样，同时一起训练。

核心比喻：三位一体的“造梦工厂”

想象 LSI 是一个造梦工厂，里面有三个紧密合作的员工，他们被绑在一起，必须共同对最终的效果负责：

编码员（Encoder）： 负责把现实世界的一张照片（比如一只真猫），压缩成一张**“梦境草图”**（潜在变量）。
- 以前的问题：编码员只负责压缩，不管后面怎么还原。
- LSI 的改进：编码员知道后面的生成员会怎么画，所以他会画一张更容易被还原的草图。
生成员（Latent SI Model）： 负责看着这张“梦境草图”，利用 LSI 的神奇魔法，把它从“随机噪声”慢慢变成“完美的猫”。
- 以前的问题：生成员只能处理固定的、简单的噪声。
- LSI 的改进：生成员可以处理任何形状的噪声（比如不均匀的、复杂的分布），因为它是在和编码员“结对子”训练的。
解码员（Decoder）： 负责把“梦境草图”还原成高清大图。
- LSI 的改进：解码员和生成员配合默契，确保草图里的每一个线条都能精准还原成猫毛。

关键点： 以前这三个员工是分开训练的，或者只能按顺序来。LSI 发明了一种新的**“连续时间”训练公式（ELBO），让他们在训练过程中实时互动**。如果生成员觉得草图太难画，编码员就会调整草图的画法；如果解码员觉得还原不出来，生成员就会调整生成策略。

3. 为什么这很厉害？（三大优势）

省资源（快）：
- 比喻：以前是在巨大的操场上（像素空间）画画，现在是在一张小纸片（潜在空间）上画。
- 结果：计算量大幅减少。论文数据显示，在生成 256x256 的图片时，LSI 比传统方法节省了约 65% 的计算量（FLOPs），就像从开卡车运货变成了骑摩托车，速度快多了。
更灵活（强）：
- 比喻：以前的生成模型只能接受“标准白开水”作为起点（简单的先验分布）。LSI 可以接受“可乐”、“咖啡”甚至“混合果汁”作为起点。
- 结果：这意味着模型可以适应更复杂的数据分布，生成的图像质量更高，多样性更好。
质量高（好）：
- 比喻：因为三个员工是“捆绑销售”、共同优化的，他们之间的配合天衣无缝。
- 结果：在著名的 ImageNet 图像生成测试中，LSI 生成的图片质量（FID 分数）与那些在巨大画布上直接画画的顶级模型不相上下，但速度快得多。

4. 总结：LSI 是什么？

简单来说，LSI 就是给 AI 画家装上了一个“超级大脑”和“高效工作室”。

它不再让 AI 在巨大的像素海洋里盲目摸索。
它让 AI 学会先在低维度的“梦境”里，把“压缩”、“生成”和“还原”这三个步骤无缝衔接、共同进化。
它打破了以前对“起点”必须简单的限制，让 AI 能更自由、更高效地创造高质量图像。

这就好比以前造房子，砖块（像素）是分开烧制、分开运输、最后由不同工头指挥砌筑的，效率低且容易出错。而 LSI 是建立了一个全自动的 3D 打印工厂，从设计图到最终大楼，所有步骤在一个系统里连续、协同地完成，既快又好。

1. 研究背景与问题 (Problem)

背景：

随机插值 (SI) 是一种强大的生成建模框架，能够灵活地在任意两个概率分布之间进行转换。它通过连续时间的随机过程，将简单的先验分布 $p_0$ 映射到复杂的数据分布 $p_1$ 。
扩散模型 (Diffusion Models) 是 SI 的一种特例，通常假设先验是高斯分布，且直接在观测空间（像素空间）进行操作。

核心问题：

联合优化的缺失： 现有的 SI 框架假设先验 $p_0$ 和目标分布 $p_1$ 的样本都是直接可观测的（固定分布）。然而，在潜在变量模型 (Latent Variable Models) 中，生成过程需要在低维潜在空间中进行，且编码器（Encoder）、解码器（Decoder）和潜在生成模型需要联合训练 (Jointly Optimized)。
直接应用的局限性：
- 如果在高维观测空间直接应用 SI，计算成本极高。
- 如果在潜在空间直接应用 SI，由于潜在分布 $p_1(z)$ 是未知的（它是编码器输出的聚合后验），且编码器本身在训练过程中是动态变化的，因此无法像观测空间 SI 那样直接构建满足 SI 要求的插值路径。
先验限制： 传统的扩散模型通常受限于简单的先验（如各向同性高斯分布），缺乏灵活性。

2. 方法论 (Methodology)

作者提出了 潜在随机插值 (Latent Stochastic Interpolants, LSI)，这是一个端到端训练的框架，包含编码器、解码器和潜在空间的 SI 模型。

2.1 核心思想

LSI 的核心在于推导了一个基于连续时间的证据下界 (ELBO) 目标函数。该目标函数允许在潜在空间内直接构建随机插值，而无需直接观测到真实的潜在后验分布。

2.2 关键推导步骤

动态潜在变量的 ELBO：
利用连续时间随机微分方程 (SDE) 描述潜在变量 $z_t$ 的演化。模型定义了一个从先验 $p_0(z_0)$ 到潜在表示 $z_1$ 的生成过程。
目标函数基于 Girsanov 定理推导出的路径空间 KL 散度，形式为：
$\ln p_\theta(x) \geq \mathbb{E}_Q \left[ \ln p_\theta(x|z_1) - \text{KL}(Q \| P_\theta) \right]$
其中第一项是重构损失，第二项是路径分布不匹配的惩罚。
无模拟采样 (Simulation-Free Sampling) 的变分后验：
为了在训练时避免昂贵的 SDE 模拟，作者利用 扩散桥 (Diffusion Bridge) 理论构造了一个变分后验近似。
- 假设潜在过程是线性的（加性噪声），利用 Doob's h-变换，可以解析地计算出给定 $z_0$ 和 $z_1$ 时 $z_t$ 的条件分布 $p(z_t | z_1, z_0)$ 。
- 该条件分布是高斯分布，因此可以通过 重参数化技巧 (Reparameterization Trick) 直接采样 $z_t$ ，而无需数值求解 SDE。
- 插值形式定义为： $z_t = \eta_t \epsilon + \kappa_t z_1 + \nu_t z_0$ 。
训练目标 (Training Objective)：
将上述推导代入 ELBO，得到了一个可优化的损失函数。对于线性插值选择（ $\kappa_t=t, \nu_t=1-t$ ），损失函数包含两部分：
- 重构项： $-\ln p_\theta(x_1|z_1)$ ，确保解码器能恢复图像。
- 动力学匹配项： 最小化变分漂移与模型漂移之间的差异。
  $\mathcal{L} = \mathbb{E} \left[ -\ln p_\theta(x_1|z_1) + \beta_t \| \text{Target} - h_\theta(z_t, t) \|^2 \right]$
  其中 $\beta_t$ 是权衡重构与生成质量的超参数。
参数化 (Parameterization)：
作者提出了一种名为 InterpFlow 的参数化方式，通过变量变换解决了原始公式中分母 $\sqrt{1-t}$ 导致的梯度方差过大问题，使得训练更加稳定。

2.3 采样策略

支持确定性采样（概率流 ODE， $\gamma_t=0$ ）和随机采样（SDE）。
支持无分类器引导 (Classifier-Free Guidance, CFG)，通过线性组合条件漂移和无条件漂移来增强生成质量。
支持图像反转 (Inversion)，类似于 DDIM 反转，可以将真实图像映射回潜在先验 $z_0$ ，从而进行编辑或重采样。

3. 主要贡献 (Key Contributions)

LSI 框架： 提出了首个支持端到端联合训练编码器、解码器和潜在生成模型的随机插值框架。它实现了在低维潜在空间中的高效生成，同时保持了对任意先验分布的支持。
统一视角： 将连续时间随机过程（SI）的灵活性与潜在变量模型相结合，提供了一个统一的视角，既保留了 SI 的灵活性（任意先验），又利用了潜在空间的效率。
原则性的 ELBO 目标： 推导出了一个新的 ELBO 目标函数。该目标函数不仅保留了 SI 的“无模拟训练”和“灵活先验选择”的优势，还通过联合训练解决了潜在表示与生成过程对齐的问题。
可扩展性： 证明了该方法在大规模数据集（ImageNet）上的有效性，并展示了其在计算效率上的优势。

4. 实验结果 (Results)

作者在 ImageNet 数据集上进行了广泛的实验，对比了不同分辨率（64x64, 128x128, 256x256）下的表现。

生成质量 (FID)：
- LSI 模型在 128x128 分辨率下达到了 3.12 的 FID 分数，与同等规模的观测空间 SI 模型（FID 3.46）相当甚至略优。
- 证明了联合训练（Joint Training）比独立训练（先训练编码器/解码器，再训练生成模型）效果更好。随着损失权重 $\beta$ 的增加，生成质量提升，但重构质量（PSNR）会下降，存在权衡。
计算效率：
- 参数与 FLOPs： LSI 将参数分布在编码器、解码器和潜在模型中。在采样阶段，编码器不使用，解码器仅使用一次，只有潜在模型需要多次迭代。
- 采样加速： 相比于直接在像素空间运行 SI，LSI 在采样时显著降低了计算量。例如，在 256x256 分辨率下，100 步采样可节省约 64.9% 的 FLOPs。
灵活性与鲁棒性：
- 先验分布： LSI 支持多种先验分布（高斯、拉普拉斯、均匀分布、高斯混合模型）。实验表明，虽然高斯分布表现最好，但其他分布也能获得具有竞争力的结果，证明了框架的通用性。
- 编码器噪声： 实验发现，完全确定性的编码器（无噪声）表现最差，引入适当的随机性（噪声尺度 $c$ ）能显著提升 FID。
消融实验：
- InterpFlow 参数化 优于其他参数化方案（如 OrigFlow, Denoising, NoisePred），收敛更快且 FID 更低。
- 联合训练 vs 独立训练： 即使将部分容量从潜在模型转移到编码器/解码器，联合训练的模型（ $\beta > 0$ ）仍能保持较好的 FID，而独立训练的模型（ $\beta \to 0$ ）性能下降明显。

5. 意义与影响 (Significance)

突破 SI 的应用瓶颈： 成功将随机插值框架从“固定分布、观测空间”扩展到了“联合优化、潜在空间”，填补了 SI 在生成式潜在变量模型中的理论空白。
效率与质量的平衡： 提供了一种在保持高生成质量（媲美观测空间模型）的同时，显著降低采样计算成本的方法。这对于高分辨率图像生成尤为重要。
灵活的先验选择： 摆脱了传统扩散模型对简单高斯先验的依赖，允许使用更复杂的先验分布，为生成模型的设计提供了更大的自由度。
理论严谨性： 通过连续时间 SDE 推导出的 ELBO，为潜在空间生成模型提供了坚实的理论基础，避免了启发式或分阶段训练的弊端。

总结：
Latent Stochastic Interpolants (LSI) 是一项重要的工作，它通过创新的连续时间 ELBO 推导，实现了编码器、解码器和生成模型的端到端联合优化。LSI 不仅解决了 SI 在潜在空间应用的难题，还展示了在 ImageNet 基准测试中极具竞争力的生成性能和显著的计算效率优势，为未来高效、灵活的生成式建模开辟了新方向。