💻 computer science

Divergence-Suppressing Couplings for Rectified Flow

本文提出了一种针对整流流的离线校正方法，通过抑制所学速度场中的发散分量以拉直扭曲的轨迹，从而在不增加推理成本的情况下提升了合成数据与图像基准上的生成质量。

原作者： Yimeng Min, Carla P. Gomes

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yimeng Min, Carla P. Gomes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人画出一幅完美的图画，比如棋盘格或一张人脸，而起点是一张充满随机噪声的空白画布。

问题：“摇晃”的路径
这篇论文讨论了一种名为**整流流（Rectified Flow）**的技术。将其想象为机器人的 GPS 导航系统。目标是从“噪声”（起点）找到通往“图画”（终点）最笔直、最直接的道路。

在这种技术的标准版本中，机器人学习一张地图。但有时，这张地图有点混乱。地图上的道路扭曲、转弯并相互交叉，就像一团乱糟糟的耳机线。当机器人试图沿着这些扭曲的道路行进时，它会感到困惑。它可能会绕远路，错过目的地，或者最终到达错误的街区（例如，在应该画黑色方块的地方画了白色方块）。

作者发现，这些“扭曲”是由一种称为**散度（divergence）**的现象引起的。简单来说，想象机器人的路径是一条河流。

散度就像是河流突然变宽（扩张）或变窄（收缩）的河段。
当河流变宽时，水流扩散开来，机器人会在多余的空间中迷失方向。
当河流变窄时，水流被挤压，机器人会被推入一个它本不该去的角落。
这些扩张和收缩会导致机器人的路径弯曲和扭曲，使得最终生成的图画模糊或错误。

解决方案：“抑制散度”的过滤器
这篇论文介绍了一种名为DS-RectFlow的新方法。

将机器人的训练过程想象成一个学生学习画画。

旧方法： 学生通过沿着地图上那些混乱、扭曲的道路进行练习。他们学会了画画，但由于地图本身存在缺陷，他们总是犯同样的错误。
新方法（DS-RectFlow）： 在学生开始练习之前，一位老师（新算法）会查看地图。老师会看到河流过度变宽或变窄的部分。然后，老师会轻轻地将学生的起点向侧面推移一点点，使其进入河流中更平滑、更笔直的部分。

关键在于，老师并没有改变地图本身。地图（AI 模型）保持完全不变。老师只是改变了学生每次练习旅程的起点。通过在更笔直的路径上开始，学生能学会一条更清晰、更直接的路线。

魔法技巧：“免费”的速度
通常，如果你想让机器人移动得更快或更准确，你就必须给它更强大的引擎（更多的计算能力），或者让它在每一步都进行更深入的思考。

这篇论文声称有一个“魔法技巧”：

“推移”（检查扭曲并调整起点）仅在训练阶段发生一次，也就是在机器人学习的过程中。
一旦机器人训练完成，它就会忘记这种推移。
当你实际要求机器人画一幅图（推理）时，它的运行速度与旧版混乱版本完全相同。它不需要进行任何额外的数学计算，也不需要额外的步骤。

结果
作者在简单的二维形状（如棋盘格）和真实图像（如来自 CelebA 的人脸和来自 CIFAR-10 的汽车）上测试了这种方法。

质量更高： 生成的图画更加清晰、准确。
步骤更少： 机器人仅需一步（就像一次跳跃）即可生成高质量图像，而无需 20 个小步骤。
无额外成本： 由于“修复”仅应用于训练阶段，最终产品的使用速度与原版一样快，但效果要好得多。

简而言之
这篇论文指出：“当前 AI 图像生成器有时速度慢或图像模糊，是因为它们内部的‘道路’过于曲折。我们找到了一种方法，可以在 AI学习过程中将这些道路抚平，这样当它完成学习后，就能笔直、快速地行驶，而无需任何额外的燃料。”

技术摘要：用于整流流的散度抑制耦合

问题陈述

整流流（Rectified Flow，简称 RectFlow）旨在通过学习具有直轨迹的速度场来加速生成建模，从而以极少甚至单个数值积分步数（NFE）实现高质量样本生成。该方法依赖于一种迭代的“重流”（reflow）过程：一个使用独立耦合训练的基础模型生成新的源 - 目标对，随后利用这些对重新训练一个具有更直速度场的模型。

然而，该论文指出了一个根本性的瓶颈：耦合失真。在实践中，由基础模型生成的轨迹往往会弯曲并相互缠绕。这种失真通常与学习到的速度场中非零散度的区域相关。在这些区域，局部的膨胀或收缩会导致轨迹发散或压缩，从而将粒子引离其理想的终点。因此，重新训练的模型会继承这些误差，而额外的整流轮次带来的收益递减，因为模型实际上是在对已经弯曲的输运进行“重流”。限制 RectFlow 有效性的因素并非训练损失或模型容量，而是用于生成耦合对的前向积分器的质量。

方法论：DS-RectFlow

作者提出了DS-RectFlow（散度抑制整流流），这是一种离线校正方法，旨在重流过程中生成更干净的耦合对，而无需改变训练目标、模型架构或推理过程。

核心机制

该方法基于以下观察：轨迹弯曲（耦合失真）是由速度场的可压缩分量驱动的。利用亥姆霍兹分解，速度场 $v$ 被分解为无散度的输运部分 $u$ 和携带场所有可压缩性的偶极部分 $\nabla \phi$ 。论文认为，抑制散度 $|\nabla \cdot v|$ 的幅度可以保持轨迹笔直。

散度抑制积分器

在耦合对的离线生成（即“重流”步骤）期间，DS-RectFlow 用散度抑制欧拉积分器替代了标准的欧拉积分器：

状态校正：在每一步积分中，算法不直接从当前状态 $x_t$ 推进，而是搜索一个邻近状态 $x^*_t$ ，使得估计的散度 $|\hat{\nabla} \cdot v_\theta(x^*_t, t)|$ 最小化。
Hutchinson 估计：为了避免在高维空间中精确计算散度的高昂成本，该方法使用 Hutchinson 迹估计器来近似 $\nabla \cdot v$ 。它在当前状态周围生成 $m$ 个高斯扰动，并选择能最小化估计散度幅度的候选状态。
积分：随后，使用原始未修改的速度场从该校正状态 $x^*_t$ 计算欧拉步： $x_{t+\Delta t} = x^*_t + v_\theta(x^*_t, t) \cdot \Delta t$ 。

实现细节

仅限离线：校正仅应用于为重训练生成耦合数据集的过程中。
推理：最终训练好的模型在部署时使用普通欧拉积分，无额外计算开销。推理时不存在散度抑制逻辑。
预算控制：校正仅应用至时间 $t_{stop}$ （通常为 0.5），并由搜索半径参数 $\delta$ 控制。

主要贡献

RectFlow 局限性的诊断：论文指出，由基础模型生成的耦合质量，特别是导致轨迹压缩/膨胀的非零散度的存在，是阻碍 RectFlow 实现其单步生成理论潜力的主要瓶颈。
离线校正策略：它引入了一种新颖的离线校正方法，在校正生成过程中衰减速度场的发散分量。与推理时的优化（如高阶求解器或引导）不同，该方法将校正成本完全转移到了训练数据生成阶段。
零推理开销：该方法生成的模型在部署期间的运行时间成本与标准 RectFlow 完全相同，因为推理路径仍保持为简单的欧拉步。
恢复复合效应：通过提供更干净的耦合对，DS-RectFlow 恢复了整流所承诺的“复合”收益，即每一轮重流都能显著提高场的直度，而这一现象在标准 RectFlow 中常因累积失真而丢失。

实验结果

作者在 2D 合成基准测试和图像生成任务（CIFAR-10、CelebA-64）上评估了 DS-RectFlow。

2D 基准测试（棋盘格与高斯混合模型 GMM）：
- 在棋盘格基准测试中，与原始 RectFlow 相比，DS-RectFlow 显著降低了切片 Wasserstein 距离（SWD）。在 $NFE=1$ 时，其 SWD 达到 0.102（原始 RectFlow 为 0.165），实际上在单步内匹配了 20 步流匹配（Flow Matching）基线的性能。
- 在 GMM 交叉基准测试中，DS-RectFlow 在低 NFE 时最初显示出较高的误差（因为更忠实地捕捉了复杂的模式分配决策），但迅速收敛至更优的性能。到第二轮重流（ $k=2$ ）时，与原始 RectFlow 相比，其在 $NFE=1$ 时的 SWD 提高了 3 倍。
- 可视化结果证实，DS-RectFlow 产生了更清晰、分离度更高的模式，且进入禁止区域的“泄漏”样本更少。
图像生成（CIFAR-10 与 CelebA-64）：
- CIFAR-10：DS-RectFlow 在所有 NFE 预算下均持续实现更低的 Fréchet 初始距离（FID）。使用 Euler-20 离线求解器时，该方法在 $NFE=1$ 时将 FID 从 17.41 降低至 12.03（相对提升 31%）。值得注意的是，$NFE=1$ 的 DS-RectFlow 模型在扫描中的所有 NFE 步数上均优于原始模型。
- CelebA-64：观察到了类似的趋势。在 $NFE=2$ 时，DS-RectFlow 实现了 4.90 的 FID，优于原始模型在所有 NFE 下的最佳表现（即 $NFE=20$ 时的 5.64）。
- 结果表明，离线校正直接转化为能够进行高质量单步生成的模型。

意义与主张

论文声称，耦合质量而非训练容量或推理预算，是 RectFlow 的主要瓶颈。通过离线解决由散度引起的失真，DS-RectFlow 实现了整流所承诺但实践中鲜少交付的复合改进。

作者强调，这种方法具有实际优势：它在保持标准 RectFlow零延迟推理特征的同时，提供了散度校正积分器的益处（更直的轨迹、更好的模式对齐）。校正是数据生成阶段的一次性成本，并在整个训练过程中被摊销。论文指出，这种机制可能适用于其他基于流的方法，如随机插值和最优输运流匹配，只要其中发散的漂移分量会降低样本质量。