Reinforcing Few-step Generators via Reward-Tilted Distribution Matching
本文提出了奖励倾斜分布匹配蒸馏（RTDMD），这是一个两阶段框架，通过将分布匹配与奖励引导的强化学习相结合，在优化分布对齐和人类偏好指标的同时，实现了最先进的少步图像生成。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位主厨（教师），他能烹制出完美而复杂的菜肴，但这需要花费 50 个小时。你希望教导一名副厨（学生）在短短 4 小时内制作出同样的菜肴。
问题有两个方面：
- 速度与质量：如果你只是告诉学生“模仿主厨”，他们可能会因为匆忙而搞砸，因为他们没有时间去思考每一步。
- 口味：主厨制作的菜肴可能在技术上完美，但未必符合人类的实际偏好（也许太咸或质地怪异）。你希望学生既能学习主厨的技艺，又能学会制作人类喜爱的食物。
这篇论文，RTDMD，提出了一种新的训练方法来解决正是这个问题。它教导学生如何在仅 4 步内烹制出高质量的菜肴，同时确保食物符合人类的口味。
以下是其工作原理，分解为简单的概念：
1. “倾斜的菜单”（奖励倾斜分布）
通常，当你教导学生模仿主厨时，你会说：“完全匹配主厨的输出。”但主厨可能会以相同的频率产出一些“糟糕”的菜肴（低奖励）和一些“出色”的菜肴（高奖励）。
作者提出了一个巧妙的技巧：倾斜菜单。
想象你拿起主厨的食谱书，将其物理倾斜，使“出色菜肴”滑向顶部，而“糟糕菜肴”滑向底部。现在，当学生尝试模仿主厨时，他们自然是在模仿一个已经偏好优质内容的版本的主厨。
- 数学原理：他们将主厨的分布与一个“奖励函数”（衡量图像好坏的评分）相结合。这创造了一个新的目标，既保留了主厨的风格，又极大地向人类喜欢的内容倾斜。
2. 两阶段训练营
该论文使用两步流程来训练学生。
第一阶段：“稳健之手”热身（AC-DMD）
在第一阶段，学生正在学习基础。
- 问题：在一个 4 步的过程中，学生在中途处理的是“有噪声”的原料。这就像有人在摇晃桌子时试图作画。学生的“虚假评分”（一种帮助他们猜测最终图像应是什么样子的工具）会感到困惑，因为目标一直在移动。
- 解决方案（环境一致性）：作者引入了一个一致性正则化项。将其视为一种“现实检查”。
- 如果学生预测第 2 步的一个模糊斑点会在第 4 步变成一只猫，一致性规则会说：“等等，如果你将这个模糊斑点向前推进一步，它看起来是否仍然像是在走向一只猫？”
- 这迫使学生的内部逻辑在有噪声的步骤中保持一致，防止他们在尝试学习时陷入混乱。
第二阶段：“口味测试”强化（混合策略梯度）
既然学生已经能够快速烹饪，他们现在需要学习如何烹饪得美味。这就是强化学习（RL）发挥作用的地方。
- 问题：烹饪过程是两种事物的混合：
- 随机（Stochastic）步骤：前 3 步涉及添加随机噪声（就像把食材抛向空中混合）。
- 确定性（Deterministic）步骤：最后一步是精确且经过计算的（就像完美地摆盘）。
- 错误：旧方法只关注随机步骤或只关注最后一步。这就像只根据厨师如何抛沙拉来评判他，或者只根据他如何摆盘甜点来评判他，却忽略了整道菜。
- 解决方案（混合策略梯度）：作者创造了一种新的计算“评分”的方法，同时考察两者：
- 对于随机步骤，他们使用了一种称为SubGRPO的技术。想象你有 24 名学生在做同一道菜。与其让他们全部使用完全不同的随机食材（这使得很难判断谁做得好），你让他们在大多数步骤中共享一些食材，但仅改变一个特定步骤的食材。这样可以隔离出为什么某道菜比其他菜更美味。
- 对于最后一步，他们简单地反向传播奖励。由于最后一步是一条直线（没有随机性），他们可以直接计算出改变那最后一步如何精确地改善口味，并立即更新学生。
3. 结果
作者在目前最先进的图像生成器（如 SD3、SD3.5 和 FLUX.2）上测试了这种方法。
- 主张：他们的方法（RTDMD）在4 步内生成的图像，比几乎任何其他方法看起来更好，也更符合人类偏好。
- 惊叹之处：他们的 4 步模型（基于一个 40 亿参数的模型）在许多类别中实际上击败了原始 50 步版本的更大规模的 90 亿参数模型。他们成功地将慢速、庞大的超级计算机的质量压缩到了一个快速、小型的模型中。
总结类比
将 RTDMD 想象成自动驾驶汽车的驾驶学校：
- 第一阶段：你教导汽车即使在颠簸的道路上也能保持在车道内并保持稳定的速度（一致性正则化项）。
- 第二阶段：你通过模拟数千次行程，教导汽车安全且高效地驾驶。你不仅仅在结束时惩罚汽车的撞车行为；你会分析中间的随机变道以及最终的刹车动作，结合起来提供最佳的反馈（混合策略梯度）。
结果呢？一辆行驶迅速（4 步）的汽车，比那些行驶缓慢但优化不佳的汽车更安全、更舒适。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。