🤖 machine learning

Midpoint Generative Models

本文介绍了中点生成模型（MGM），这是一个基于流匹配在中点处对称性的原则性框架，通过定义一种新的差异度量，使得通过可处理的变分目标来训练具有竞争力的单步生成模型成为可能。

原作者： Daniil Shlenskii, Nikita Gushchin, Lev Novitskiy, Dmitry V. Dylov, Alexander Korotin

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniil Shlenskii, Nikita Gushchin, Lev Novitskiy, Dmitry V. Dylov, Alexander Korotin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比对论文《中点生成模型》的解释。

宏观图景：迈向单步生成的竞赛

想象你正在教一个机器人画一只猫的图画。目前，最先进的机器人（称为扩散模型）就像一位雕塑家，在一块大理石上不断凿刻。它们从一个巨大的、充满噪点的尘埃云开始，然后一步一步地凿去噪点，最终显现出猫的形象。

问题在于：这非常耗时。机器人必须经过 20 步、50 步，甚至 100 步微小的步骤才能把图画对。这篇论文的作者希望教会机器人一步到位地画出这只猫。他们将这种新方法称为中点生成模型（Midpoint Generative Models, MGM）。

核心理念：“中点”的秘密

要理解他们的技巧，想象两个人，爱丽丝（Alice）和鲍勃（Bob），分别站在一条长走廊的两端。

爱丽丝代表“真实数据”（真实的猫的照片）。
鲍勃代表“生成数据”（机器人当前尝试画的猫）。

在传统方法中，我们试图通过观察他们走完全程来推断如何将鲍勃移动到爱丽丝的位置。但作者发现了走廊中间存在一种特殊的对称性。

“中点”规则：
如果爱丽丝和鲍勃实际上站在完全相同的位置（意味着机器人已经完美），而你让他们在走廊中间会面，他们就会原地不动。他们不需要移动。移动他们所需的“力”或“速度”为零。

然而，如果爱丽丝和鲍勃处于不同的位置，而你让他们在中间会面，他们就不得不移动。他们为了在中间会面所需的移动方向和速度，精确地告诉了你他们之间的差异有多大。

作者意识到：如果机器人在过程的精确中点处的“移动”为零，那么机器人就是完美的。如果它不为零，那么机器人就是错误的。

问题：“单行道”偏差

作者发现，如果仅仅观察中点，就会存在缺陷。如果你在走廊 10% 的位置观察，很容易猜出爱丽丝从哪里开始（因为她就在那里），但很难猜出鲍勃从哪里开始。这产生了一种偏差，就像一条单行道。机器人会感到困惑，因为根据你在走廊的哪一侧观察，线索看起来是不同的。

解决方案：“魔法翻转”
为了解决这个问题，作者引入了一种“魔法翻转”。想象一下抛硬币：

正面：我们正常观察走廊。
反面：我们将走廊上下颠倒（时间反转）。

通过随机翻转视角，机器人无法分辨哪一端是“起点”，哪一端是“终点”。这使得走廊变得完全对称。现在，如果机器人是完美的，无论何时观察，所需的“移动”都为零。如果机器人不完美，所需的“移动”就不为零。

新工具：“中点散度”

作者将这一观察转化为一个数学工具，称为中点散度（Midpoint Divergence）。

你可以把它想象成一个**“困惑度计”**。
如果机器人是完美的，该仪表读数为0。
如果机器人表现糟糕，该仪表读数很高。

他们在数学上证明了该仪表是可靠的：只有当机器人实际上完美时，它才读数为零。它是一位严格的法官，不允许机器人作弊。

他们如何训练机器人

他们不是教机器人一步一步地走完整个走廊，而是利用这个“困惑度计”来训练它直接跳到终点。

设置：他们在过程的中途混合一张真实的猫的照片（爱丽丝）和机器人的一张假猫照片（鲍勃）。
翻转：他们随机翻转视角，这样机器人就无法通过猜测方向来作弊。
评判者：他们使用第二个 AI（一个“评判者”）来猜测机器人需要朝哪个方向移动才能修正这种混合。
游戏：
- 评判者试图非常擅长发现差异（即“移动”）。
- **机器人（生成器）**试图通过使“移动”为零来愚弄评判者。
- 他们反复进行这个游戏。机器人学会了在一步之内生成完美的图像，因为它正试图让“困惑度计”读数为零。

为什么这很重要

速度：因为机器人学会了直接跳到答案，它不需要走 50 步。它可以一步完成。
无需教师：许多快速方法需要一个缓慢且完美的教师来指导机器人如何移动。这种方法直接从数据中教导机器人，不需要预先训练好的教师。
更好的质量：通过使用“魔法翻转”并观察整个路径（而不仅仅是中点），机器人比之前的单步方法更好地学习了细微的细节。

总结

作者建立了一种名为中点生成模型的新训练方法。他们发现，如果在生成过程的精确中点观察，所需的“移动”为零，仅当起点和终点完全相同时才成立。通过添加随机的“翻转”以消除偏差，他们创建了一个严格的数学测试（中点散度），使他们能够训练机器人在单步内生成高质量图像，而无需缓慢的教师来指导。

技术摘要：中点生成模型（MGM）

问题陈述

扩散模型和流模型已成为生成式人工智能的核心，推动了图像、视频和音频合成应用的发展。然而，实际部署的主要瓶颈在于推理速度；标准扩散模型需要数百甚至数千次函数评估（NFE）才能生成高质量样本。尽管已有多种加速生成的方法——例如开发更优的数值求解器、将预训练模型蒸馏为单步生成器，或利用扩散的结构特性从头训练单步模型——但仍缺乏一种原则性且有效的方法，能够不依赖预训练的“教师”模型，直接从数据中训练单步生成器。

方法论

本文提出了中点生成模型（Midpoint Generative Models, MGM），这是一个基于线性插值流匹配（Flow Matching）特定对称性质的单步生成模型训练框架。

核心洞察：中点对称性

作者观察到，在流匹配中，当使用线性路径 $X_t = (1-t)X_0 + tX_1$ 对两个相同的端点分布（ $p_0 = p_1$ ）进行插值时，速度场 $v_t(x)$ 恰好在中间时间点 $t=1/2$ 处消失。具体而言， $v_{1/2}(x) = \mathbb{E}[X_1 - X_0 | X_{1/2} = x] = 0$ 。反之，若 $p_0 \neq p_1$ ，该场通常非零。这一性质使得中点处的速度场范数可作为分布间差异的度量。

中点散度

为了形式化这一概念，作者定义了中点散度（Midpoint Divergence）：
$D_{\text{mid}}(p_0, p_1) := \mathbb{E}_{X_{1/2}} \left[ \| \mathbb{E}_{X_0, X_1}[X_1 - X_0 | X_{1/2}] \|_2^2 \right]$
他们证明了该散度具有确定性（definite）：它非负，且当且仅当 $p_0 = p_1$ 时等于零。

超越中点的扩展

将这一概念朴素地扩展到所有时间步 $t \in [0, 1]$ 会失败，因为即使 $p_0 = p_1$ ，由于固有的方向偏差（重构“过去”端点比重构“未来”端点更容易），非中点时刻的速度场依然非零。为解决此问题，MGM 引入了随机翻转插值：

一个伯努利变量 $B \sim \text{Bernoulli}(1/2)$ 决定插值是向前进行（ $X_t$ ）还是向后进行（ $X_{1-t}$ ）。
观测值为翻转后的变量 $\tilde{X}_t$ ，但翻转操作 $B$ 未被观测。
这种对称化确保了对于任意 $t$ ，若 $p_0 = p_1$ ，则条件位移场 $\tilde{v}_t(x) = \mathbb{E}[X_1 - X_0 | \tilde{X}_t = x]$ 消失。

由此导出了时间积分中点散度，定义为在 $t \in [0, 1/2]$ 上对该对称化位移场的平方范数进行积分。

推广至随机插值

该框架进一步推广至形式为 $X_t = I_t(X_0, X_1) + \sigma_t \epsilon$ 的对称随机插值，其中插值函数 $I_t$ 和噪声调度 $\sigma_t$ 满足对称条件（ $I_t(x_0, x_1) = I_{1-t}(x_1, x_0)$ 且 $\sigma_t = \sigma_{1-t}$ ）。这产生了一个广义中点散度，它仍然是一个有效的差异度量。

变分训练目标

直接最小化该散度是不可行的，因为真实的条件位移场未知。作者推导出了一个变分公式：
$D(p_\theta, p_{\text{data}}) = \max_{f} \int_0^{1/2} \mathbb{E} \left[ 2\langle f(\tilde{X}_t), X_1 - X_0 \rangle - \|f(\tilde{X}_t)\|_2^2 \right] dt$
其中 $f$ 是一个可学习的向量值函数（即“位移场”或判别器）。这导出了一个极小极大目标：

更新 $f_\psi$ （判别器）： 回归 $f_\psi$ 以逼近对称化位移场 $X_1 - X_0$ 。
更新 $G_\theta$ （生成器）： 使用固定的 $f_\psi$ 最小化变分目标。

生成器 $G_\theta$ 将潜在先验 $z$ 映射到 $X_0$ ，然后将其与真实数据 $X_1$ 配对以计算损失。

主要贡献

中点散度： 提出了一种源自线性插值流匹配中点对称性的新分布差异度量。作者证明了其确定性（当且仅当分布相等时消失）。
通过时间翻转进行对称化： 通过随机时间翻转将散度扩展到所有时间步，消除了方向偏差并实现了时间积分目标。
广义中点散度： 将该概念推广至对称随机插值，为各种噪声调度提供了灵活的框架。
MGM 算法： 一个用于单步生成器的实用训练框架，其特点包括：
- 直接从数据训练，无需预训练的扩散/流模型作为教师。
- 利用学习到的位移场来近似散度。
- 在性能上与现有的单步方法具有竞争力。

实验结果

作者在无条件 CIFAR-10（32x32）生成任务上评估了 MGM，报告了 1-NFE 采样的弗雷歇初始距离（FID）。

性能： MGM 实现了 2.27 的 FID，这是在不使用教师模型训练信号（即从头训练而非蒸馏预训练模型）的方法中最好的结果。它优于其他无教师方法，如 DiffRatio-DiJS（2.39）和 iCT-deep（2.51）。
消融研究：
- 时间积分： 仅使用中点（ $t=1/2$ ）会产生有效但噪声较大的样本（在判别器噪声下 FID 约为 13.55），而随时间积分显著提高了质量（FID 为 2.27）。
- 随机翻转： 朴素的未翻转时间积分目标因方向偏差而失败（FID > 100），证实了随机翻转的必要性。
- 随机性： 插值中包含少量噪声（ $\sigma > 0$ ）对于稳定训练至关重要；确定性桥接表现不佳。
- 判别器随机性： 解耦生成器和判别器的噪声水平（仅对判别器使用噪声）可获得最佳结果。

意义与主张

本文主张 MGM 提供了一种有效且具有理论依据的生成建模方法。其意义在于：

理论基础： 它将对称随机插值不仅重新框架化为生成路径，更作为通过确定性散度比较端点分布的基础。
训练范式： 它提供了一种原则性的方法，直接从数据训练单步生成器，避免了蒸馏预训练模型的复杂性和潜在局限性。
竞争力： 它证明了基于这种特定对称性的方法可以在无教师单步生成器中实现最先进（SOTA）的结果，挑战了蒸馏对于高质量、快速生成严格必要的观念。

作者承认了局限性，指出极小极大训练可能会引入类似于 GAN 的优化不稳定性，且性能取决于噪声调度和插值类型等设计选择。他们并未声称能超越所有基于教师的蒸馏方法（例如 CTM 实现了 1.87 的 FID），而是将 MGM 定位为从头训练的首选替代方案。