技术摘要：迭代流匹配——路径校正与渐进式细化

1. 问题陈述

生成模型，包括流匹配（Flow Matching, FM）、扩散模型（Diffusion Models）、GANs 和归一化流（Normalizing Flows），旨在将源分布 $\pi_0(x)$（例如噪声）转换为目标分布 $\pi_T(x)$（例如数据）。然而，作者指出标准生成过程中存在一个根本性的局限：学习到的变换往往无法完美地将 $\pi_0$ 映射到 $\pi_T$。相反，它产生了一个分布 $\hat{\pi}_T$，其中 $\hat{\pi}_T \neq \pi_T$。

这种差异是由以下几个因素引起的：

• 插值伪影（Interpolation Artifacts）： 在流匹配中，速度场 $v_\theta(x, t)$ 是通过在连接 $x_0$ 和 $x_T$ 的直线轨迹（随机插值）上进行训练来学习的。然而，在推理过程中，由于离散化误差以及在高维、稀疏空间中插值速度场的难度，常微分方程（ODE）积分往往会偏离这些直线路径。
• 分布外（OOD）样本： 由于积分轨迹 $x(t)$ 偏离了训练流形 $\pi_t$，模型会遇到训练期间未见过的分布。这导致了“幻觉”（hallucinations）现象——即生成的样本是不真实的或分布外的。
• 数值不稳定性： 该问题通常是过度确定且不一致的。学习到的速度场仅被约束在存在训练样本的区域。当 ODE 积分漂移到未观测区域时，会出现外推伪影，从而阻碍向真实目标分布的收敛。

现有的解决方案通常依赖于特定的架构修改或训练微调，这些方法难以调优，且无法保证收敛到目标分布。

2. 方法论

本文提出了一种迭代细化框架，用于校正轨迹漂移并提高生成样本的保真度。其核心理念是将生成过程视为一个导航问题：与其从头到尾遵循一个单一且可能存在缺陷的计划，不如让系统评估其当前位置并迭代地更新计划。

作者提出了两种具体的算法来实现这一目标：

A. 端路径校正（算法 3.1）

这种方法在完成一次完整的生成过程后对最终结果进行校正。

1. 初始生成： 训练一个标准的流匹配模型将 $x_0$ 映射到 $x_T$，产生中间分布 $\pi_1$（其中样本为 $x_1$）。
2. 校正步骤： 重复该过程，但此时 $x_1$ 作为新的源分布。学习一个新的速度场，将 $x_1$ 映射到原始目标 $x_T$。
3. 迭代： 该过程重复进行（$x_0 \to x_1 \to x_2 \dots$），每次迭代都学习一个从当前分布到目标的校正项。
4. 收敛： 从理论上讲，如果距离度量满足 $D(\hat{\pi}_{k+1}, \pi_T) \leq D(\hat{\pi}_k, \pi_T)$，则该过程会向目标分布收敛。
5. 停止准则： 当相似性度量（例如用于图像的 Fréchet Inception Distance (FID) 或用于点云的传输代价）低于容差阈值时，迭代停止。

B. 渐进式细化（算法 3.2）

这种方法通过将时间间隔 $[0, T]$ 分割为 $n$ 个段，在集成过程中校正轨迹。

1. 分段学习： 将路径划分为检查点 $0 < t_1 < t_2 < \dots < T$。
2. 局部集成： 对于第一个段 $[0, t_1]$，模型学习一个速度场并对 ODE 进行积分，以获得状态 $\hat{x}(t_1)$。
3. 路径校正： 不再继续沿理论上的线性路径前进，而是重新定义同伦（homotopy）。新的路径将连接实际集成的状态 $\hat{x}(t_1)$ 到目标 $x_T$，并在剩余的时间间隔内进行。
4. 递归应用： 针对每个后续段重复此校正和重集成的过程。
5. 优势： 这确保了速度场始终是在模型在推理期间实际遇到的数据分布上进行训练的，从而减少了外推误差。

3. 理论分析

论文基于三个假设为这些迭代方法的收敛性提供了理论依据：

• A1（改进）： 单个 FM 步骤会缩小与目标分布的距离（$D(\pi_1, \pi_T) < \gamma D(\pi_0, \pi_T)$，其中 $\gamma < 1$）。
• A2（速度量级）： 所需速度场的量级随分布之间的距离而缩放。随着分布变得越来越接近，所需的速度场变得越来越小且更加平滑（$O(c^p)$）。
• A3（可学习性）： 学习一个更小、更平滑的速度场比学习一个庞大、复杂的速度场更容易（需要更少的基函数或参数）。

利用 Talagrand 不等式 和 Wasserstein 距离 的性质，作者认为，随着迭代过程使当前分布更接近目标，速度场变得更容易近似，从而实现收敛。

4. 实验结果

作者在合成数据集和真实世界数据集上验证了其方法：

• 高斯混合模型（玩具示例）：

  • 在将 2 个高斯混合模型转换为 3 个高斯混合模型的 2D 问题中，标准 FM 产生的轨迹发生了显著漂移，导致产生了分布外样本（图 2 中的青色点）。
  • 端路径校正： 在仅经过一次校正步骤后，传输代价（TRcost）下降了两个数量级。到第 3 次迭代时，生成的分布与目标分布高度吻合。
  • 渐进式细化： 将路径分为 6 段也显著降低了距离，但作者指出，由于起始阶段的轨迹相交问题，在该特定设置下，它比端路径校正的鲁棒性略低。

• MNIST（潜在空间）：

  • 实验在 32 维潜在空间中进行，使用径向基函数（RBF）近似速度场（避免使用深度神经网络）。
  • 结果： 迭代细化显著提高了样本质量。编码点相似度（EPS）得分随每次迭代而提高，趋近于数据集的“内部自相似性”（即两个随机子集之间的基准相似性）。

• CIFAR-10：

  • 在潜在空间中使用 U-Net 架构，作者应用了 4 步渐进式细化。
  • 结果： Fréchet Inception Distance (FID) 得分随每次迭代而下降，收敛到与数据集内部 FID 相当的水平，表明生成了高质量的样本。

5. 重要性与主张

论文声称其贡献和意义如下：

• 幻觉诊断： 它明确指出流模型中“幻觉”的根源在于高维空间中插值伪影导致的积分轨迹偏离训练流形。
• 模型无关框架： 所提出的迭代过程并不绑定于特定架构。它可以集成到几乎任何生成技术（如 FM、扩散模型等）中，以增强鲁棒性。
• 权衡承认： 作者对计算成本持谦虚态度。他们承认，精度的提升是以增加计算复杂度为代价的（随细化迭代次数线性扩展）。他们将该方法定位为一种数值校正框架，用于解决长程集成误差，而非作为高度优化的生产级模型的直接替代品。
• 鲁棒性： 实验结果表明，对于测试的示例，端路径校正比渐进式细化更具鲁棒性，尽管两者都能有效减少分布外效应。

总之，本文认为，虽然单次执行的生成过程容易产生数值漂移，但通过迭代方法不断校正路径（无论是通过端点还是分段），可以显著提高样本的保真度和向真实目标分布的收敛性。