🤖 machine learning

Conservative Flows: A New Paradigm of Generative Models

本文介绍了“保守流”，这是一种新的生成建模范式，它通过从数据支持的状态而非噪声初始化离散随机动力学，并利用保概率采样机制，在各类数据集上持续提升生成质量，从而改进了现有的基于流的模型。

原作者： Eshed Gal, Md Shahriar Rahim Siddiqui, Moshe Eliasof, Eldad Haber

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Eshed Gal, Md Shahriar Rahim Siddiqui, Moshe Eliasof, Eldad Haber

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试创作一张逼真的新花卉照片。

旧方法（从噪声到数据）：
将当前流行的方法（如标准 AI 图像生成器）想象成从一个装满纯静态电视雪花（随机噪声）的桶开始。AI 必须学习一张巨大而复杂的地图，引导那混乱的雪花穿越风暴，逐步将其一步步转化，直到变成一朵完美的花。这就像试图从一堆沙子开始，希望将其塑造成狮子来雕刻一座雕像。

新方法（保守流）：
这篇论文提出了一种称为“保守流”的不同方法。不是从噪声开始，想象你被给予一朵真实且完美的花作为起点。你的目标不是从头构建一朵花；而是拿那朵真实的花，轻轻晃动它，改变它的角度，或稍微交换它的花瓣，但始终确保它在整个过程中仍然是一朵有效的花。

作者将这种转变称为从“传输”（从噪声移动到数据）转向“不变性”（保持在数据内部）。

以下是他们两种新方法的运作方式，使用简单的类比：

1. “梅特罗波利斯修正”行走（dMALA）

想象你正行走在一条狭窄蜿蜒的山路上（即“数据分布”）。你想迈一步去看看新景色，但必须保持在路上。

问题： 如果你只是随机向前迈一步（就像标准 AI 所做的那样），你可能会不小心踏出悬崖。数学上说你应该留在路上，但由于你是一步步（离散化）移动的，你会逐渐偏离。
解决方案： 作者添加了一个“安全检查”。你迈一步，然后问：“我还在路上吗？”
- 如果是，就保留这一步。
- 如果否，就退回到你原来的位置。
结果： 你可以在山上自由漫步，探索新景色，但数学上保证你永远不会掉下边缘。你始终站在一朵有效的花上，只是一朵略有不同的花。

2. “预测器 - 校正器”流

想象你拿着一朵真实的花，但你想看看如果它稍微模糊或变形会是什么样子，然后再将其瞬间恢复为完美清晰的状态。

步骤 1（预测器）： 你故意给花添加一点点模糊或噪声。它不再完美锐利，但仍然可识别。
步骤 2（校正器）： 你使用一个预训练的“魔法透镜”（AI 已经学习到的流模型）来瞬间修复模糊，将花 snap 回完美、锐利的状态。
结果： 由于“魔法透镜”是专门训练用来修复这种模糊的，花会 snap 回成为一朵有效的花。你可以反复这样做，每次让花看起来不同，但它永远不会变成一块石头或一朵云。

为什么这很重要？

该论文声称有三个主要优势：

无“预热”时间： 旧方法通常从垃圾噪声开始，需要很长时间“预热”才能产生任何好结果。这种方法从真实的花（或检索到的图像）开始，因此立即就能产生好结果。
更高质量： 由于 AI 从未离开“有效花”区域，它生成的图像通常比旧的噪声到数据方法更锐利、更逼真（FID 分数更低）。
重用旧模型： 你不需要从头训练一个新的 AI。你可以利用现有的强大 AI 模型（如 SoFlow 或 SiT），只需在其上插入这些新的“晃动”规则。这就像给一辆标准汽车加装一个新的、更智能的 GPS 系统，让你始终保持在道路上。

核心结论

作者并非声称这是制作 AI 艺术的唯一方法。他们说的是：如果你已经有一张好图像，为什么要从噪声重新开始呢？ 相反，从好图像开始，使用他们的新规则晃动它，你就能获得一个新鲜、高质量的变体，且保证看起来真实。

他们在合成形状（如瑞士卷）、花卉以及数千张 ImageNet 图片上测试了这种方法，发现他们的“晃动”方法始终比标准的“噪声到图像”方法产生更好的结果。

技术摘要：保守流

问题陈述

现代生成建模主要由传输范式定义：学习从简单参考分布（通常为高斯噪声）到复杂数据分布的映射。尽管基于分数和基于流的扩散模型通过逆转前向加噪过程取得了最先进的成果，但这种方法本质上需要学习跨越一系列中间分布的全局传输映射。

作者指出了这些模型中使用的连续时间动力学离散化存在的一个根本局限性。具体而言，虽然连续时间朗之万动力学在理论上保持目标数据分布 $p$ 为不变测度，但其显式离散时间近似（例如未调整的朗之万算法，ULA）无法精确做到这一点。离散化误差导致生成的样本随时间逐渐偏离真实数据流形，破坏了生成过程在每一步都必须保持在数据分布之内的要求。

此外，作者认为在许多实际场景中——例如增强检索系统或潜在生成流水线——生成并不一定从“无信息”的噪声状态开始。相反，有效的初始状态通常以检索到的数据点、最近邻或已经位于目标分布附近或之上的潜在编码形式存在。本文提出，对于此类场景，从传输（噪声到数据）到不变性（数据到数据）的范式转变更为自然且高效。

方法论

本文提出了保守流（Conservative Flows），这是一个通过保持数据分布不变的离散随机动力学进行生成的框架。系统从数据支持的状态初始化（ $x_0 \sim p$ ），并在每一步演化时保持概率定律不变（对于所有 $j \ge 1$ ， $x_j \sim p$ ）。

该框架引入了两种不同的概率保持采样机制，可以直接在现有的预训练流匹配模型之上运行，而无需重新训练：

1. 修正朗之万动力学 (dMALA)

该方法将 Metropolis 调整朗之万算法 (MALA) 适配到生成建模中，其中显式密度 $p(x)$ 不可用。

机制：它利用学习到的分数场 $s_\theta$ ，或者更实际地，利用一个去噪器 $D_\sigma$ ，该去噪器经过训练，可从噪声观测值中预测干净样本。该去噪器直接源自流匹配训练中所使用的桥接。
修正：为了恢复不变性，该方法采用 Metropolis-Hastings 修正。由于不需要未知的对数密度差 $\log p(y) - \log p(x)$ ，该方法使用保守分数场（或去噪器残差）沿当前状态 $x$ 与提议状态 $y$ 之间路径的线积分。
不变性目标：该机制保持高斯平滑分布 $p_\sigma = p * \mathcal{N}(0, \sigma^2 I)$ 不变，其中 $\sigma$ 由去噪器的噪声水平决定。
效率：通过梯形法则近似线积分，接受率简化为去噪器平方残差的函数，每一步仅需两次去噪器评估。

2. 预测 - 修正流

该方法直接针对原始数据分布 $p$ ，而非其平滑版本。

机制：它作为一个两步过程运行：
1. 预测：向当前样本 $x \sim p$ 添加受控量的噪声，将其移至中间“桥接”分布 $p_\tau$ （其中 $\tau < 1$ ）。
2. 修正：应用学习到的流映射（或直接解映射），将噪声样本传输回数据分布 $p$ （时间 $t=1$ ）。
不变性：在精确流模型下，该核严格保持概率。该方法依赖于流模型准确地将样本从桥接映射回数据流形的能力。
灵活性：与 dMALA 的局部接受/拒绝性质不同，该方法允许通过暂时离开流形并通过学习到的流返回，从而实现更大、非局部的移动。

主要贡献

范式转变：本文将生成建模从“从噪声传输”重构为“对数据分布的平稳探测”。核心对象是一种保持相关定律的随机动力学，从数据支持的状态初始化。
两种概率保持机制：作者开发并形式化了两种特定的采样器（dMALA 和预测 - 修正），用于修正标准朗之万动力学和基于流生成的离散化误差。
预训练模型的复用：一个关键的实践贡献是，这两种机制都不需要从头开始训练新的生成模型。两者都可以直接从现有的预训练流匹配检查点（例如 SoFlow、SiT）中提取必要的分数、去噪器或流映射。
理论修正：本文明确解决了离散朗之万动力学无法保持目标定律的问题，并提供了通过线积分和桥接流进行修正的数学推导。

实验结果

该框架在合成瑞士卷目标、ImageNet-256 和 Oxford Flowers-102 上进行了验证。

合成目标（瑞士卷）：实验表明，虽然标准 ULA 会偏离目标分布，但修正动力学（dMALA）和预测 - 修正流保持在正确的流形上，在长链中保持分布不变。
ImageNet-256：
- 两种方法均一致优于预训练骨干网络（SoFlow-XL/2-cond 和 SiT-REPA-XL）的基线采样器。
- dMALA 实现了最低的 Fréchet 初始距离 (FID) 分数，特别是在较小的平滑水平下（ $\sigma=0.3$ ），表明其对数据分布的高度保真度。
- 预测 - 修正 实现了更高的初始分数 (IS) 和精确率，表明其生成的样本更多样化和独特，尽管在某些配置下 FID 略高于 dMALA。
- 长链行为：两种方法随着链长 ( $K$ ) 的增加均表现出优雅的退化，这与预训练骨干中近似误差的累积一致，但性能明显优于基线。
计算效率：预测 - 修正方法显示出与直接 ODE 积分相当的竞争力。例如，预测 - 修正方法的 200 次网络函数评估 (NFEs) 实现了比同一骨干网络的 800 步前向欧拉积分 (6.51) 更低的 FID (4.91)。

意义与主张

作者将这项工作定位为生成建模的新范式。他们声称，通过将目标从将噪声转换为数据转变为在所学动力学下维持数据分布，该框架实现了：

忠实的样本变化：通过将过程保持在数据流形的高概率区域。
改进的数据保真度：通过修正困扰标准朗之万动力学的离散化误差。
高效复用：无需重新训练即可增强现有预训练模型的能力。

本文谦逊地承认了局限性，指出采样器的有效性受限于底层预训练流或基于分数模型的质量。分数模型中的近似误差可能会在重复应用核时累积。此外，当前的验证仅限于连续域（图像），将该范式扩展到离散域（如文本生成）被确定为未来的工作。作者强调，他们的贡献是将守恒原则统一到一个围绕平稳探测而非反向加噪组织的生成框架中。