💻 computer science

The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL

本文提出了一种判别器引导的强化学习（Discriminator-Guided RL, DRL）方法，该方法利用在预训练表示空间中训练的判别器来提供最优奖励信号，以修正流匹配模型，从而在不依赖昂贵的人类偏好数据的情况下，显著提高图像保真度和语义连贯性。

原作者： Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, Adriana Romero-Soriano, Michal Drozdzal

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, Adriana Romero-Soriano, Michal Drozdzal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人艺术家如何绘画。你向它展示了上百万张真实的风景、动物和物体的照片。机器人试图通过模仿这些照片中像素的“流动”来学习，尝试预测一张图像是如何转化为另一张图像的。这是现代 AI 图像生成器的标准训练方式。

然而，这篇论文的作者注意到一个奇怪的问题：即使在看了数百万张照片之后，机器人的画作看起来仍然“不对劲”。手部可能有太多手指，脸部可能模糊不清，或者物体看起来像是融化了一样。这些缺陷在训练照片中明明清晰可见，但机器人却未能完美地习得它们。

为了解决这个问题，研究人员通常会求助于强化学习 (Reinforcement Learning, RL)。你可以把它想象成雇佣一名人类艺术评论家。机器人画出一幅画，评论家说：“我喜欢这一幅，但那一幅太亮了，”然后机器人据此进行调整。问题在于，雇佣人类评论家既昂贵又缓慢，而且他们的意见具有主观性（他们可能仅仅因为心情好而喜欢明亮的色彩，而不是因为图像很真实）。

作者提出了一个大胆的问题：既然机器人已经看到了数百万张真实照片，为什么我们还需要一个人类评论家来教它什么是“真实感”呢？

他们认为，机器人的初始训练方法（称为“流匹配”，Flow Matching）就像是试图仅通过看地图来学习开车。你知道交通规则，但你并没有实际感受过车辆的漂移或道路的弯曲。数学理论在纸面上运行得非常完美，但在现实世界中，微小的误差会不断累积，导致机器人最终驶离道路。

解决方案：“判别器”教练

作者提出了一种名为判别器引导的强化学习 (Discriminator-Guided RL, DRL) 的新方法。他们没有雇佣人类，而是给了机器人一个“教练”，这个教练擅长识破真实照片与伪造照片之间的差异，但有一个转折：这个教练并不直接观察像素。它观察的是图像的含义。

以下是其运作方式，使用一个简单的类比：

“含义”眼镜： 想象机器人和教练都戴着一副特殊的眼镜（称为“预训练表示空间”，例如 DINOv2）。这些眼镜看不见颜色或像素；它们看到的是概念。它们看到的是“一只狗”、“一辆车”、“一张脸”。它们忽略掉诸如某个像素是否稍微偏红或偏蓝之类的微小细节。
教练的任务： 教练通过这些眼镜观察一张真实的照片和一张机器人生成的照片。它会问：“这看起来像是一只真实的狗，还是看起来像机器人对狗的猜测？”它不在乎人类的偏好（比如“这只狗是否可爱？”）；它只在乎“这是否是一只真实的狗？”
奖励： 如果机器人的照片通过眼镜看起来像一只真实的狗，教练就会给它高分。如果看起来很奇怪，分数就会很低。
学习： 机器人利用这个分数来调整其绘画风格。它学习如何让自己的图像在“概念”的世界里，而非仅仅在“像素”的世界里，去匹配真实数据的“形状”。

为什么这很重要

论文表明，这种方法效果极佳，甚至不需要任何一个人类说出“我喜欢这个”。

它修复了“漂移”： 就像一个通过向老师学习错误而非仅仅通过抄袭教科书来学习的学生一样，机器人通过将自己的输出与真实数据的“理想”分布进行比较，学会了纠正自己的错误。
它更便宜、更快： 你不需要支付人类来评价数百万张图像。这个“教练”只是一个基于数据本身训练出来的数学工具。
它让图像更清晰： 在实验中，经过这种训练后，机器人生成的图像明显更加真实。手部更直了，脸部更清晰了，物体也不再看起来像融化了一样。
它奠定了更好的基础： 如果你以后想要加入人类偏好（比如“让这只狗看起来很开心”），从这个经过“DRL”训练的机器人开始，会让第二步变得更加容易且有效。机器人已经掌握了现实的基础，人类评论家只需要对其进行性格上的微调。

核心结论

该论文声称，创造更好图像的“奖励”一直就隐藏在数据之中。初始的训练方法只是太笨拙了，无法找到它。通过使用一个理解现实“结构”（通过特殊的眼镜）而非仅仅理解“像素”的“教练”，机器人可以教会自己成为一名更好的艺术家，而无需依赖昂贵的人类反馈来告诉它什么是“真实”。

关键启示： 如果你给机器人一个能够从数学上区分真实猫与假猫的工具，你就不需要人类来告诉它一只真实的猫是什么样子。这篇论文证明了，这样做能让机器人的艺术水平显著提升。

技术摘要：用于流匹配的判别器引导强化学习 (Discriminator-Guided RL for Flow Matching)

问题陈述

基于流（Flow-based）和分数匹配（Score-matching）的模型因其具有无仿真（simulation-free）且基于回归的训练目标，已成为生成模型的主流范式。然而，这些模型通常采用多阶段流水线进行训练：首先，使用流匹配或分数匹配（FSM）将基础模型拟合到数据分布 $q$ ；其次，应用强化学习（RL）将模型向由奖励 $r(x)$ 定义的有望区域进行偏移。

本文指出该范式中存在结构性失配。虽然 FSM 损失最小化了在训练时边缘分布下的速度场或分数场的 $\ell_2$ 回归误差，但它们往往无法恢复数据分布的内在属性——例如视觉真实感、连贯的对象结构或物理上正确的运动——而这些属性在理论上是存在于数据中的。因此，从业者依赖于基于偏好的强化学习（Preference-based RL）来恢复这些属性。这种方法存在两个问题：

结构性失效： 令人生疑的是，模型为何无法通过匹配损失直接从数据中学习这些属性，却需要通过 RL 来恢复它们。
成本与混淆： 训练奖励通常需要昂贵的人类偏好数据，这会将客观的数据真实性与主观的标注者倾向相混淆。

作者认为，匹配目标无法捕捉这些属性的原因在于“训练-测试失配”（即误差在模型的展开分布而非训练边缘分布上累积）以及“几何失配”（即速度空间中的微小误差可能导致样本质量/奖励空间中的巨大误差）。

方法论：判别器引导的强化学习 (DRL)

本文提出了判别器引导的强化学习 (DRL)，这是一种无需依赖人类偏好数据即可修正流匹配模型的方法。其核心洞察在于：使基础模型 $p_{base}$ 与目标分布 $q$ 对齐的最优奖励是对数密度比 $\log(q(x)/p_{base}(x))$ 。由于该比例难以直接计算，DRL 使用判别器来估计它。

DRL 的流水线包含两个阶段：

第一阶段：表示空间中的奖励估计

DRL 并非直接在像素空间训练判别器（因为这在统计上很困难且语义不可靠），而是在预训练的自监督学习 (SSL) 表示空间中训练判别器。

一个冻结的编码器 $\phi$ （例如 DINOv2）将图像映射到特征空间 $Z$ 。
训练判别器 $D$ 来区分来自真实数据样本 $x \sim q$ 和基础模型样本 $x_{fake} \sim p_{base}$ 的编码表示 $\phi(x)$ 。
奖励函数定义为该判别器的 Logit 值： $\hat{r}(x) = \log(D(\phi(x)) / (1 - D(\phi(x))))$ 。
理论依据： 通过将奖励限制在 SSL 空间内，DRL 解决了一个约束优化问题：寻找在 KL 散度意义下最接近 $p_{base}$ 的分布 $p$ ，使得 $p$ 通过 $\phi$ 的前推分布与 $q$ 通过 $\phi$ 的前推分布相匹配。这确保了修正过程沿着编码器可见的有意义语义轴进行。

第二阶段：通过伴随匹配进行的 KL 正则化 RL

估计的奖励 $\hat{r}$ 被用于通过 KL 正则化 RL 对基础模型进行微调。

目标是在最小化微调模型与基础模型之间轨迹分布的 KL 散度的同时，最大化期望奖励。
作者利用了 伴随匹配 (Adjoint Matching)，这是一种用于流模型的先进算法，它通过在采样过程中进行梯度传播来优化轨迹级目标。
为了确保在无记忆 SDE（用于无偏端点倾斜）下的训练稳定性，作者引入了一个 局部线性积分器 (Local Linear Integrator)。该积分器比带有偏移量的标准 Euler-Maruyama 离散化能更有效地处理 $t=0$ 附近的数值刚性（此时漂移和扩散系数会发散）。

核心贡献

匹配局限性的理论分析： 本文提供了形式化分析，表明由于训练-测试分布偏移以及速度空间几何与样本空间奖励几何之间的不一致，流/分数匹配损失无法保证对奖励差距（感兴趣的属性）的控制。
判别器引导的强化学习 (DRL)： 一个新颖的框架，利用在冻结的 SSL 表示空间中训练的判别器来生成奖励信号。这使得模型能够在没有人类偏好标签的情况下恢复数据属性。
局部线性积分器： 一种用于 RL 训练中使用的无记忆 SDE 的新型数值积分器，它防止了早期时刻的范数爆炸，并提高了采样质量和训练稳定性。
实证验证： 证明了 DRL 在多种架构（SiT, JiT, REPA, RAE）和特征空间（DINOv2, DINOv3, SigLIP, Inception）下显著改善了分布对齐和图像质量。

结果

作者在四个 ImageNet 预训练的流模型上评估了 DRL。主要发现包括：

分布对齐： DRL 显著降低了 Fréchet 距离 (FD)。例如，在 SiT 上，在 DINOv3 空间中的无引导 FD 从 88.2 降至 19.3。在所有模型和特征空间中，DRL 都在未使用 CFG 的情况下持续提升了对齐度。
无需偏好数据的图像质量： 尽管从未在这些模型上进行过训练，DRL 仍提升了持留人类偏好奖励模型（ImageReward, HPSv2, PickScore, Aesthetics）的分数。这表明 DRL 成功恢复了标准匹配损失所缺失的“真实感”属性。
为偏好对齐奠定更好的基础： 当将 DRL 作为后续偏好强化学习 (PRL) 的起点时，它在奖励与图像保真度之间产生了更优的帕累托前沿（Pareto frontier）。DRL 吸收了可以从数据中恢复的结构性修正，从而使 PRL 能够专注于真正的、主观的偏好，而非修复低级伪影（如过度饱和、亮度过高）。
蒸馏差距： 实验表明，即使在看过 5000 万个样本后，通过标准流匹配在 DRL 教师生成的样本上训练的学生模型也无法复制教师的性能。这证实了要恢复这些属性，RL 目标本身（而非仅仅是样本）是必要的。

意义与主张

本文声称，对于流式模型的 RL 后训练不应仅被视为优化外部偏好的工具，而应被视为一种补充机制，用于恢复标准匹配目标无法完美捕捉的数据中的结构。

通过在预训练表示空间中使用判别器，DRL 提供了一个满足以下条件的奖励信号：

与数据属性对齐： 它直接针对数据分布，而非主观的人类偏好。
几何上合理： 它通过直接在奖励景观（reward landscape）上进行优化，绕过了速度空间几何带来的障碍。
高效： 它所需的计算量显著低于预训练，并避免了收集偏好数据的成本。

作者总结道，匹配目标与 RL 并非具有冲突目标的两种方法，而是最大限度发挥训练数据效用的两种互补工具。这项工作表明，“高质量生成的奖励”往往“一直存在于数据之中”，但需要一种在策略（on-policy）的、由奖励引导的机制才能将其充分实现。