Diffusion Blend: Inference-Time Multi-Preference Alignment for Diffusion Models

该论文提出了名为 Diffusion Blend 的新方法，通过融合微调模型的逆向扩散过程，实现了无需额外微调即可在推理阶段根据用户指定灵活调整多目标奖励与 KL 正则化强度的扩散模型对齐。

要点

这篇论文介绍了一种名为 Diffusion Blend（扩散混合） 的新方法，旨在解决当前 AI 绘画模型（如 Stable Diffusion）在“听指挥”和“画得好”之间难以平衡的问题。

为了让你轻松理解，我们可以把 AI 绘画模型想象成一位才华横溢但有点固执的厨师。

1. 现状：厨师的困境

这位厨师（预训练的扩散模型）非常擅长做各种菜（生成图片），但他有自己的“老习惯”（预训练数据分布）。

• 问题一：口味单一。 以前，如果你想让他做一道“既符合你描述（文字对齐）又特别美味（审美高）”的菜，你必须专门为他重新培训一次，让他只学这一种口味。
• 问题二：难以兼顾。 如果你想让他做“稍微甜一点”的菜，或者“少放点盐”（调整不同的奖励权重），你就得重新培训他。
• 问题三：过度优化。 如果为了追求“极致美味”而过度训练，他可能会做出一些虽然好吃但完全不像你要求的菜（比如你让他画苹果，他画了一堆红色的球，因为红色球得分最高，但这叫“奖励黑客”）。

以前的方法就像：你想吃什么口味，就得专门给厨师开一个培训班，学完才能做。这太慢、太贵，而且不灵活。

2. 核心创意：像“调鸡尾酒”一样调模型

这篇论文提出的 Diffusion Blend 就像是一个超级调酒师。

• 基础准备（训练阶段）： 我们不需要为每一种口味都重新培训厨师。我们只需要先培训几个“基础版本”的厨师：

  • 厨师 A：专门擅长“文字描述准确”（Text-Image Alignment）。
  • 厨师 B：专门擅长“画面美观”（Aesthetics）。
  • 厨师 C：专门擅长“符合人类喜好”（Human Preference）。
  • 还有一个“原版厨师”（预训练模型），保持原汁原味。

• 关键时刻（推理/生成阶段）： 当你想要一张图时，你不需要重新培训任何人。你只需要告诉调酒师（Diffusion Blend 算法）你的配方：

  • “我要 30% 的厨师 A 的精准度，70% 的厨师 B 的美感。”
  • 或者，“我要 50% 的精准度，但要把‘偏离原版’的惩罚力度调低一点。”

Diffusion Blend 的魔法在于： 它不需要真的把厨师 A 和 B 融合成一个新的厨师，而是在生成图片的每一步（就像炒菜时的每一个动作），动态地混合 A 和 B 的“动作指令”。

• 这就好比你在炒菜时，左手拿着 A 厨师的菜谱，右手拿着 B 厨师的菜谱，根据你设定的比例，每翻一次锅，就混合着两人的建议来操作。
• 结果就是：你得到了一张既符合描述又美观的图，而且不需要任何额外的训练时间，就像点了一杯现调的鸡尾酒一样快。

3. 三个主要功能（三种调酒方式）

论文提出了三种具体的“调酒”算法：

1. DB-MPA（多口味混合）：

   • 场景： 你想在“文字准确”和“画面好看”之间自由切换。
   • 比喻： 就像你可以随意调节鸡尾酒中“伏特加”和“果汁”的比例。你可以今天想要“更甜一点”（更重审美），明天想要“更烈一点”（更重文字描述），系统瞬间就能生成对应的图片。

2. DB-KLA（控制“偏离度”）：

   • 场景： 有时候你希望 AI 完全听你的（大胆创新），有时候你希望它别跑题太远（保持原模型风格）。
   • 比喻： 这就像调节“缰绳”的松紧。
     • 拉紧缰绳（高正则化）：厨师必须严格遵循原版习惯，不敢乱发挥。
     • 松开缰绳（低正则化）：厨师可以大胆创新，甚至有点“放飞自我”。
   • 以前的方法需要为每种“缰绳松紧度”重新培训厨师，而 Diffusion Blend 可以在推理时直接调节这个“松紧度”。

3. DB-MPA-LS（极速版）：

   • 痛点： 上面的混合方法虽然好，但如果要同时混合 10 种口味，电脑就要同时运行 10 个厨师，速度会变慢。
   • 比喻： 这是一个“随机采样”的聪明办法。它不需要同时叫 10 个厨师，而是随机在每一步叫其中一个厨师来指挥，但叫谁的概率由你设定的比例决定。
   • 效果： 就像你让一个厨师在“听 A 的”和“听 B 的”之间随机切换，但长期来看，效果几乎和同时听两个人一样好，而且速度没有变慢，和原版厨师一样快。

4. 实验结果：真的好用吗？

论文做了大量测试（用 Stable Diffusion 模型）：

• 效果： 生成的图片质量非常高，几乎达到了“为每种口味专门培训一个厨师”的效果（这是理论上的最佳水平）。
• 对比： 比现有的其他方法（如简单的参数平均、梯度引导等）都要好，尤其是在处理“既要又要”的复杂需求时。
• 速度： 尤其是那个“极速版”（DB-MPA-LS），在保持高质量的同时，没有增加额外的等待时间。

总结

Diffusion Blend 就像是给 AI 绘画模型装上了一个智能混音台。
以前，你想换一种风格，就得给模型“换脑子”（重新训练）；现在，你只需要在混音台上推几个推杆（调整权重），就能实时生成符合你所有复杂要求的图片。这让 AI 绘画变得更加灵活、个性化，而且成本更低。

一句话概括： 不需要重新训练，只需像调鸡尾酒一样混合不同的“技能包”，就能让 AI 瞬间学会你想要的任何风格。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为 《Diffusion Blend: Inference-Time Multi-Preference Alignment for Diffusion Models》（扩散融合：扩散模型的推理时多偏好对齐）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：
扩散模型（如 Stable Diffusion, DALL-E）在图像生成方面表现卓越，但通常未针对下游目标（如美学质量、文本 - 图像一致性、用户偏好）进行优化。目前主流方法是通过强化学习（RL）微调模型，在最大化奖励函数的同时，利用 KL 散度正则化（KL Regularization）防止模型偏离预训练分布（避免奖励黑客/过优化）。

核心痛点：
现有的 RL 微调方法存在严重的灵活性缺失：

1. 固定目标： 微调后的模型通常针对固定的奖励函数组合和固定的 KL 正则化权重。一旦训练完成，权衡（Trade-off）即被锁定，无法在推理阶段调整。
2. 多目标冲突： 实际应用中，用户需要在多个冲突目标（如“高美学”与“高文本一致性”）之间动态调整权重，且不同用户、不同提示词（Prompt）的偏好不同。
3. 计算成本高昂： 为了适应不同的偏好组合，传统方法需要为每种配置单独训练模型，或者在推理时进行昂贵的网格搜索和多次采样，这在实时和资源受限的场景下不可行。

研究问题：
给定一组基础奖励函数 $\{r_i\}$ 和基础 KL 正则化强度 $\alpha$，能否设计一种微调流程，使得在推理阶段（Inference-time），仅通过用户指定的线性组合权重 $w$ 和正则化调节因子 $\lambda$，就能生成符合任意组合奖励 $r(w) = \sum w_i r_i$ 和任意正则化强度 $\alpha(\lambda) = \alpha/\lambda$ 的图像，而无需额外的微调或昂贵的计算？

2. 方法论 (Methodology)

作者提出了 Diffusion Blend 框架，包含三个核心算法：DB-MPA、DB-KLA 和 DB-MPA-LS。其核心理论基础在于对扩散模型反向过程的数学分析。

2.1 理论基础

• 反向 SDE 的分解： 论文证明了，针对奖励 $r$ 和正则化 $\alpha$ 微调后的扩散模型，其反向随机微分方程（SDE）的漂移项（Drift term）$f^{(r, \alpha)}$ 可以表示为预训练模型漂移项 $f^{pre}$ 加上一个控制项 $u^{(r, \alpha)}$。
• Jensen 间隙近似： 为了处理控制项中的非线性期望，作者利用 Jensen 不等式思想，将控制项近似为奖励函数的线性期望。
• 线性组合性质（Lemma 2）：
  • 多奖励对齐 (DB-MPA)： 针对任意奖励组合 $r(w) = \sum w_i r_i$，其对应的漂移项可以近似为各基础奖励微调模型漂移项的线性加权和：
    $$f^{(r(w), \alpha)} \approx \sum_{i=1}^m w_i f^{(r_i, \alpha)}$$
  • KL 正则化控制 (DB-KLA)： 针对任意正则化强度 $\alpha(\lambda) = \alpha/\lambda$，其漂移项可以表示为预训练模型和单奖励微调模型的线性插值：
    $$f^{(r, \alpha(\lambda))} \approx (1-\lambda)f^{pre} + \lambda f^{(r, \alpha)}$$

2.2 核心算法

1. DB-MPA (Diffusion Blend - Multi-Preference Alignment):

   • 训练阶段： 针对每个基础奖励函数 $r_i$，独立微调预训练模型，得到 $m$ 个微调模型。
   • 推理阶段： 用户指定权重 $w$。在去噪的每一步，直接计算 $m$ 个微调模型预测的分数（Score）或漂移项的加权和，作为当前步的生成方向。
   • 缺点： 需要同时运行 $m$ 个模型，推理成本是预训练模型的 $m$ 倍。

2. DB-KLA (Diffusion Blend - KL Alignment):

   • 训练阶段： 针对单一奖励 $r$ 和固定 $\alpha$ 微调一个模型。
   • 推理阶段： 用户指定调节因子 $\lambda$。在去噪步中，线性混合预训练模型的漂移项和微调模型的漂移项，从而动态控制模型偏离预训练分布的程度。

3. DB-MPA-LS (Diffusion Blend - Multi-Preference Alignment - LoRA Sampling):

   • 动机： 解决 DB-MPA 推理成本过高的问题。
   • 原理： 基于命题 2（Proposition 2），证明了对于 Lipschitz 连续的函数，确定性混合漂移项（$a f_1 + (1-a)f_2$）与随机采样混合漂移项（以概率 $a$ 选 $f_1$，概率 $1-a$ 选 $f_2$）在边际分布上是等价的。
   • 实现： 在每一步去噪时，根据权重 $w_i$ 随机采样一个微调模型（通常使用 LoRA 适配器）进行计算，而不是同时运行所有模型。
   • 优势： 将推理成本降低到与原始预训练模型相当的水平，同时保持性能。

3. 主要贡献 (Key Contributions)

1. 理论突破： 首次从理论上证明了扩散模型的反向过程可以通过基础微调模型的漂移项进行线性组合（或随机采样）来近似，从而实现了推理时的多偏好对齐，无需重新训练。
2. 算法创新： 提出了 DB-MPA、DB-KLA 和 DB-MPA-LS 三种算法，分别解决了多奖励组合、KL 正则化强度控制以及推理效率问题。
3. 高效性： DB-MPA-LS 消除了传统推理时对齐方法中随奖励数量线性增长的推理延迟，实现了真正的实时多偏好控制。
4. 广泛验证： 在 Stable Diffusion v1.5 和 SDXL 上，使用多个奖励模型（ImageReward, VILA, PickScore, JPEG 压缩性）和基准数据集（DrawBench, GenEval）进行了验证。

4. 实验结果 (Results)

• 性能表现：

  • Pareto 前沿： 在文本 - 图像一致性（Text-to-Image Alignment）和美学质量（Aesthetics）的权衡上，DB-MPA 和 DB-MPA-LS 的表现显著优于现有的基线方法（如 Rewarded Soup, CoDe, RGG），并非常接近“神谕”基线（MORL，即为每个权重单独训练模型的理论上限）。
  • 多奖励扩展： 随着奖励数量从 2 增加到 4，DB-MPA 和 DB-MPA-LS 的性能保持稳定，而 Rewarded Soup (RS) 的性能显著下降。
  • 冲突目标： 即使在对抗性目标（如 JPEG 压缩性 vs. 美学质量）下，DB-MPA 也能有效平衡，而基于梯度的方法（RGG）因不可微而无法应用或效果不佳。

• 推理效率：

  • DB-MPA-LS 的推理速度几乎与原始 Stable Diffusion 相同，而 DB-MPA 虽然需要 $m$ 倍时间，但仍远快于需要多粒子采样的 CoDe 或需要梯度计算的 RGG。

• 可视化效果：

  • 实验显示，DB-MPA 能够平滑地控制生成图像的风格，从完全符合提示词到完全符合美学，过渡自然。
  • DB-KLA 能够平滑地控制模型对预训练分布的偏离程度，修正过拟合或欠拟合问题。

5. 意义与影响 (Significance)

• 用户驱动的个性化： 该框架使得扩散模型能够在推理阶段根据用户的实时反馈（如“更偏向美学”或“更严格遵循提示”）动态调整生成策略，无需重新训练模型。
• 降低部署成本： 通过 DB-MPA-LS，只需维护少量基础微调模型（LoRA），即可覆盖无限多的偏好组合，极大地降低了存储和计算成本。
• 理论指导实践： 为扩散模型的对齐问题提供了新的数学视角，即通过漂移项的线性组合来近似复杂的目标分布，为未来的可控生成研究开辟了新路径。
• 通用性： 该方法不仅适用于多奖励对齐，也适用于 KL 正则化强度的动态调整，具有广泛的适用性。

总结：
Diffusion Blend 提出了一种优雅且高效的解决方案，解决了扩散模型在推理阶段难以灵活适应多目标偏好和正则化强度的问题。它通过理论推导将复杂的优化问题转化为简单的模型融合问题，并在保持高性能的同时显著降低了计算开销，是扩散模型对齐领域的重要进展。