🤖 machine learning

ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control

本文提出了 ParetoSlider，一种基于扩散模型的多目标强化学习后训练框架，它通过利用连续变化的偏好权重作为条件信号，使单一模型能够逼近整个帕累托前沿，从而在推理阶段无需重新训练即可实现对多个冲突生成目标（如提示遵循与源保真度）的细粒度权衡控制。

原作者： Shelly Golan, Michael Finkelson, Ariel Bereslavsky, Yotam Nitzan, Or Patashnik

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shelly Golan, Michael Finkelson, Ariel Bereslavsky, Yotam Nitzan, Or Patashnik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 ParetoSlider 的新方法，它能让 AI 绘画和视频生成模型变得更加“听话”和“灵活”。

为了让你轻松理解，我们可以把生成 AI 想象成一位才华横溢但有点固执的厨师。

1. 以前的困境：只能选一道“固定套餐”

在以前，如果你想让这位厨师做菜，你只能给他一个固定的指令。

如果你说：“我要最逼真的照片风格。”厨师就只给你做超写实的菜。
如果你说：“我要素描风格。”厨师就只给你做素描。
如果你想要“一半逼真、一半素描”的混合风格，以前的厨师就懵了。

为什么？
因为以前的训练方法就像是在厨师脑子里刻下了一个固定的配方（比如：70% 逼真 + 30% 素描）。一旦训练结束，这个配方就锁死了。

如果你想微调一下，变成"60% 逼真 + 40% 素描”，你只能重新训练一位新厨师，或者同时雇佣好几个不同配方的厨师，这既费钱又费时间。
这就好比你想喝奶茶，以前只能买“全糖”或“无糖”的成品，没法在喝的时候自己调节甜度。

2. ParetoSlider 的解决方案：一个“万能滑动条”

ParetoSlider 的核心思想是：不要给厨师定死配方，而是给他一个“滑动条”遥控器。

训练时： 我们不再只教厨师做一种菜，而是让他练习所有可能的组合。我们给厨师一个“偏好向量”（就是那个滑动条），告诉他：“今天我们要 100% 逼真”，“明天我们要 50% 逼真 +50% 素描”，“后天我们要 100% 素描”。
结果： 厨师学会了整个“风味光谱”。他不再只记得一个固定味道，而是掌握了从“极致逼真”到“极致素描”之间所有平滑过渡的烹饪技巧。

3. 核心黑科技：如何做到“一鱼多吃”？

这里有两个关键的技术点，我们可以用比喻来理解：

A. “偏好滑动条” (The Preference Slider)

想象一下，你手里有一个调光开关。

以前：开关只有“开”和“关”两个档位。
现在：开关可以无限滑动。
ParetoSlider 在训练时，就不断地滑动这个开关，让模型学会：“哦，原来当开关滑到中间时，我应该这样画；滑到左边时，我应该那样画。”
好处： 你只需要一个模型，在生成图片时，通过滑动这个开关，就能实时控制风格，完全不需要重新训练，也不需要存好几个模型文件。

B. “晚点混合” (Late Scalarization) —— 防止“大嗓门”抢戏

这是论文里解决的一个大难题。
假设我们要平衡两个目标：

像照片一样真（分数范围 0-100）
像素描一样像（分数范围 0-10）

如果直接把这两个分数加起来（比如 $1 \times \text{照片分} + 1 \times \text{素描分}$ ），那个“照片分”因为数值大，会霸占整个决策过程，导致模型根本听不进“素描”的要求。这就好比两个人吵架，一个声音大（数值大），一个声音小，声音小的那个意见就被淹没了。

ParetoSlider 的做法是“晚点混合”：

先分别给“照片分”和“素描分”各自独立打分，并分别进行标准化处理（把大嗓门的声音调小，把小声的调大，让它们站在同一起跑线上）。
最后，再根据你设定的“滑动条”比例，把这两个处理过的分数结合起来。
效果： 无论哪个目标原本数值多大，都能公平地参与决策，确保模型能精准地按照你的意愿去平衡。

4. 实际效果：像调音台一样控制 AI

论文展示了三个场景，效果非常直观：

文生图 (Text-to-Image)：
- 输入：“一只狗”。
- 滑动条从“照片”滑到“素描”。
- 结果：狗的形象从超写实照片，平滑过渡到水彩画，再到动漫风格，最后变成线条素描。中间没有任何断层，就像在调音台上推推子一样自然。
图片编辑 (Image Editing)：
- 输入一张照片，指令：“把这个人变成战士”。
- 滑动条控制“保留原图”vs“听从指令”。
- 结果：你可以选择只加一点点盔甲（保留原图特征），或者彻底变身（完全听从指令），或者中间状态。以前很难做到这种精细的“度”的把握。
文生视频 (Text-to-Video)：
- 输入：“一只猫在跑”。
- 滑动条控制“真实”vs“动画”。
- 结果：视频可以从真实的摄像机画面，平滑过渡到皮克斯风格的 3D 动画。

总结

ParetoSlider 就像是给 AI 画家装上了一个智能调音台。

以前： 你只能买“成品”，要么全真，要么全假，或者为了换个口味得重新买一套设备。
现在： 你买了一个万能控制器。你可以随时在“真实”和“艺术”之间、在“保留原图”和“大胆修改”之间自由滑动，找到那个让你最满意的完美平衡点。

这不仅让 AI 生成的内容更可控，也让普通用户（不需要懂代码的人）能更直观地指挥 AI，创造出真正符合自己心意的作品。

ParetoSlider: 扩散模型后训练以实现连续奖励控制

1. 研究背景与问题定义

背景：
强化学习（RL）后训练已成为将生成模型（如扩散模型）与人类偏好对齐的标准方法。然而，现有的主流方法通常依赖于单一标量奖励（Single Scalar Reward）。

核心问题：
在实际应用场景中（如图像编辑、风格迁移），模型往往需要同时满足多个相互冲突的目标（例如：既要遵循编辑指令，又要保持源图像的结构完整性；既要追求照片级真实感，又要保持素描风格）。

早期标量化（Early Scalarization）的局限： 传统做法是将多个奖励在训练前合并为一个固定的加权和。这导致模型在训练时就被锁定在单一的权衡点上，无法在推理阶段根据用户需求动态调整不同目标之间的平衡。
现有 MORL（多目标强化学习）方法的不足：
- 部分方法仅在训练时使用 Pareto 选择，但推理时仍为静态策略。
- 部分方法通过插值多个独立训练的模型来实现控制，但这需要存储和训练多个检查点，成本随目标数量线性增加。
- 无训练（Training-free）的引导方法虽然灵活，但计算开销巨大（每步采样都需要优化）。

目标：
开发一种框架，能够训练单个扩散模型，使其能够近似整个Pareto 前沿（Pareto Front），从而允许用户在推理时通过滑动条连续控制不同奖励目标之间的权衡，而无需重新训练或维护多个模型。

2. 方法论：ParetoSlider

ParetoSlider 是一个基于多目标强化学习（MORL）的框架，旨在通过单一模型实现对扩散模型推理时连续奖励控制的支持。

2.1 核心机制

偏好条件化（Preference-Conditioned）：
- 引入一个偏好向量 $\omega = [\omega_1, ..., \omega_M]^T$ ，其中 $\omega$ 位于概率单纯形上（ $\sum \omega_m = 1, \omega_m \ge 0$ ），代表用户希望在不同奖励目标之间的权衡比例。
- 该向量 $\omega$ 作为条件信号输入到扩散模型中，即策略变为 $\pi_\theta(x_{t-1} | x_t, c, \omega)$ 。
- 通过在训练过程中让模型接触连续变化的 $\omega$ ，模型学习到整个 Pareto 前沿的映射，而非收敛到单一解。
晚期标量化策略（Late-Scalarization）：
- 问题： 如果直接对原始奖励进行加权求和（早期标量化），数值较大或方差较大的奖励会主导梯度更新，导致“奖励劫持”（Reward Hijacking），使得偏好向量 $\omega$ 失效。
- 解决方案： 采用晚期标量化。
  - 独立归一化： 对每个奖励目标 $m$ 分别计算优势（Advantage），并在组内（Group-wise）进行标准化（减去均值除以标准差），消除不同奖励量纲的影响。
  - 独立损失计算： 为每个奖励目标分别计算 DiffusionNFT 损失 $L_m$ 。
  - 最后聚合： 仅在损失聚合阶段，使用偏好向量 $\omega$ 对各个损失进行加权求和： $L_{NFT} = \sum \omega_m L_m$ 。
- 这种策略确保了优化景观严格由目标偏好 $\omega$ 定义，而非原始奖励的任意尺度。
基于 DiffusionNFT 的训练框架：
- 基于 DiffusionNFT [52] 进行扩展，利用前向过程（Forward Process）进行优化，避免了反向采样轨迹的长程依赖，提高了训练效率。
- 三阶段流程：
  1. 生成： 根据当前策略和采样到的 $\omega$ ，生成一组图像。
  2. 评分与优势估计： 使用多个奖励模型评分，计算每个目标的组内相对优势。
  3. 策略更新： 计算每个目标的损失，按 $\omega$ 加权后更新模型参数。

2.2 架构实现

为了将偏好向量 $\omega$ 注入到不同的扩散骨干网络中，作者设计了轻量级的条件模块（通常与 LoRA 结合训练）：

文本到图像 (SD3.5)： 通过时间步嵌入（Timestep Embedding）注入全局信号，并通过共享残差修正（Shared Residual Correction）调制图像流。
图像到图像 (FluxKontext)： 调制上下文流（Context Stream）的 AdaLN 参数（Scale 和 Shift）。
文本到视频 (LTX-2)： 采用与 SD3.5 类似的共享块残差机制，调制视频流。

3. 主要贡献

首个连续推理控制的 MORL 框架： 提出 ParetoSlider，利用单一模型覆盖整个 Pareto 前沿，实现了无需重新训练即可在推理时连续调整多目标权衡的能力。
晚期标量化策略： 提出了一种新的损失聚合方法，有效解决了多目标 RL 中奖励量纲不一致导致的优化偏差问题，显著提升了模型对偏好向量的遵循度。
广泛的基准验证： 在三个最先进的流匹配（Flow-Matching）骨干网络上进行了验证：
- SD3.5： 文本到图像生成（照片级真实感 vs. 素描风格）。
- FluxKontext： 基于指令的图像编辑（指令遵循 vs. 源图像保持）。
- LTX-2： 文本到视频生成（动画风格 vs. 照片级真实感）。
性能超越： 实验表明，单个偏好条件化模型的性能在各自的操作点上匹配甚至超过了为固定权重单独训练的多个基线模型，同时提供了细粒度的控制能力。

4. 实验结果

定性结果：
- 展示了平滑的过渡效果。例如，在“照片级真实感”到“素描”的滑动过程中，图像风格连续变化，没有突变或质量崩塌。
- 在图像编辑中，能够精细控制“编辑强度”与“身份保持”之间的平衡，从完全保留原图特征到完全遵循编辑指令。
定量结果：
- Pareto 前沿覆盖： 使用超体积（Hypervolume, HV）指标评估，ParetoSlider 生成的解集在所有测试中均主导（Dominate）了基线方法（如 Fixed-Weights, FlowMulti, Prompt Rewriting）。
- 对比基线：
  - Fixed-Weights： 需要为每个权衡点训练独立模型，且难以覆盖中间状态。
  - FlowMulti： 仅学习单一静态策略，无推理控制。
  - Prompt Rewriting： 仅能提供离散的、粗糙的控制点，无法实现平滑过渡。
消融实验：
- 证明了晚期标量化优于早期标量化和 Smooth Tchebycheff 方法，能产生更平滑的过渡。
- 验证了不同的条件注入架构（如 Shared vs. Token conditioning），其中共享残差调制在保持训练稳定性和控制平滑性方面表现最佳。

5. 意义与影响

范式转变： 将多目标对齐从“训练时固定权衡”转变为“推理时动态控制”，极大地提升了生成模型的灵活性和用户友好度。
资源效率： 仅需训练和存储一个模型即可覆盖所有可能的权衡组合，避免了为每个特定需求训练多个模型的高昂成本。
应用前景： 为非专家用户提供了直观的交互界面（如滑块），使其能够在复杂的生成任务中（如艺术风格创作、精准图像编辑）直观地导航和平衡相互冲突的目标。
通用性： 该方法不仅适用于扩散模型，其基于偏好条件化和晚期标量化的设计思路也为其他生成式 AI 模型的多目标优化提供了新的思路。

总结： ParetoSlider 通过创新的训练策略和架构设计，成功解决了扩散模型在多目标优化中的“权衡僵化”问题，实现了高效、灵活且连续的推理时控制，是视觉生成模型对齐领域的重要进展。