📊 statistics

Towards More General Control of Diffusion Models Using Jeffrey Guidance

本文引入了 Jeffrey 指导（Jeffrey guidance），这是一个利用 Jeffrey 规则将扩散模型的控制能力从标准条件采样扩展开来的原则性框架，通过将边缘分布向预设目标更新，同时最大限度地减少对联合分布的扰动，从而实现更高的图像质量和公平性。

原作者： Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Jes Frellsen, Pierre-Alexandre Mattei

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Jes Frellsen, Pierre-Alexandre Mattei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位极具天赋的艺术家（一个扩散模型），他能从无到有地画出精美的画作。这位艺术家很棒，但有时你只想微调他的作品，而不想重新雇佣一位新艺术家，也不想让他从头开始重新学习。你只是想说：“嘿，把天空变得更蓝一点，”或者“确保人群中男女比例相等。”

通常，艺术家有一种简单的实现方式：你给出一个特定的标签，比如“猫”，然后他尝试画一只猫。这被称为分类器引导（Classifier Guidance）。但如果你不想使用特定的标签呢？如果你想改变绘画的整体氛围，比如让色彩风格匹配某本相册，或者确保人群不会偏向某一性别。标准的指令在处理这些模糊的、“大局观”式的目标时显得力不从心。

这篇论文介绍了一种新方法，叫做 Jeffrey 引导（Jeffrey Guidance）。你可以把它想象成一个控制艺术家想象力的“万能遥控器”。

核心思想：“Jeffrey 规则”

要理解其中的奥妙，想象你有一本食谱指南（联合分布），它告诉你如何根据现有的食材（属性，如性别或年龄）来制作一道菜（图像）。

旧方法（贝叶斯/标准引导）： 如果你想要特定的菜肴，你会说：“我要做‘意大利面’的食谱。”艺术家会查找“意大利面”并开始烹饪。这是僵化的。
新方法（Jeffrey 引导）： 想象你并不在乎具体的食谱，但你希望最终餐点的“风味特征”符合某个特定目标（比如“我希望人群中是 50% 的男性和 50% 的女性”）。Jeffrey 规则是一个数学技巧，它说：“保持烹饪方法完全不变，但通过更换食材来匹配你想要的新风味特征。”

它更新了“边缘分布”（食材的整体混合比例）以匹配你的目标，同时保持了“条件分布”（艺术家如何绘制细节）完好无损。这是实现目标所能做出的最微小的改变。

类比 1：DJ 与播放列表（嵌入引导）

想象艺术家是一位 DJ。这里的“嵌入（embedding）”就像是他们正在播放的音乐流派。

问题： DJ 播放的混音效果通常与原始热门歌曲（训练数据）略有不同。“FID”得分就像是一个音乐评论家，用来评价 DJ 的混音与原始热门歌曲的接近程度。
Jeffrey 的修复方案： 作者使用 Jeffrey 引导来告诉 DJ：“不要只随便放首歌；要让整个播放列表听起来完全像原始的 Top 40 热单一样。”
结果： DJ 并没有改变他们的混音风格（神经网络没有被重新训练）。他们只是在表演过程中调整了某些曲目的音量。结果如何？播放列表听起来比原来更像那些热门单曲了（FID 得分显著下降），尽管单曲本身听起来仍然保留了 DJ 的风格。

类比 2：座位表（公平性与去相关性）

想象艺术家正在举办一场派对，并正在生成一份宾客名单。

问题： 在原始的宾客名单中，艺术家不小心邀请了过多的“年轻女性”，而几乎没有“老年男性”。此外，“年轻”和“男性”之间存在奇怪的关联（也许艺术家只把年轻男性联想为“运动员”，而把年轻女性联想为“舞者”）。
目标： 主办方希望举办一场公平的派对。他们希望：
1. 性别平等： 正好 50% 的男性和 50% 的女性。
2. 去相关性： “年轻”不应该自动意味着你是“男性”或“女性”。它们应该是相互独立的。
Jeffrey 的修复方案： 作者并没有告诉艺术家“画一个男人”或“画一个女人”，而是使用 Jeffrey 引导来说：“调整宾客名单，使得男女性别的整体比例为 50/50，并打破年龄与性别之间的联系。”
结果：
- 平等性： 派对变得完美平衡（50/50），且没有破坏邀请函的质量（图像看起来依然很好）。
- 去相关性： “年轻”与“男性”之间的奇怪联系被打破了。艺术家开始以一种自然且独立的方式邀请年轻男性、年轻女性、老年男性和老年女性，而不是遵循某种隐藏的偏见。

为什么这很重要？

即插即用： 你不需要重新训练艺术家。你只需要在艺术家工作时添加一个小的“修正项”。
灵活性高： 你不局限于像“猫”或“狗”这样简单的标签。你可以瞄准复杂的目标，例如“匹配特定数据集的统计分布”或“消除两个特定特征之间的偏差”。
有理有据： 这不仅仅是一个随机的猜测或临时补丁。它是基于一个坚实的数学规则（Jeffrey 规则），该规则保证了你在实现新目标时，是对原始模型做出了最小程度的改变。

潜在的局限

论文指出，虽然这种方法在“统计数据”（数字层面）上表现出色，但有时人类肉眼并不会注意到图像本身的巨大变化。这就像调收音机：信号（统计特性）非常完美，但对于普通听众来说，歌曲（图像）本身听起来可能基本没变。然而，对于处理公平性或匹配特定数据分布等任务，这种“隐形微调”恰恰是所需要的。

简而言之，Jeffrey 引导为我们提供了一种精确的数学方法，可以引导 AI 艺术生成器朝着特定的统计目标（如公平性或匹配数据集）前进，而无需从头构建引擎。

技术摘要：利用 Jeffrey 指导实现更通用的扩散模型控制

1. 问题陈述

扩散模型在生成任务中提供了显著的灵活性，允许在采样阶段通过指导机制实现输出控制，而无需重新训练底层神经网络。虽然标准的指导技术（例如分类器指导）能有效处理针对特定类别的条件采样，但它们往往无法应对更复杂的任务，即目标分布是隐式的或仅通过启发式方法定义的任务。

目前用于公平性、概念控制和组合生成的各种方法，通常依赖于对采样动力学的启发式修改。这些方法虽然可以改变原始分布的倾向，但缺乏明确定义的靶向分布，使得实际的目标难以刻画或解释。因此，需要一个原则性的框架，能够在保持模型条件结构的同时，将边缘分布更新为预设的目标分布，从而实现对复杂统计属性（如属性独立性或嵌入分布匹配）的控制，而这些属性是标准条件化无法表达的。

2. 方法论：Jeffrey 指导

本文提出了 Jeffrey 指导，这是一个利用 Jeffrey 条件化规则 来更新扩散模型的框架。与基于贝叶斯、针对特定事件进行条件的做法（标准条件化）不同，Jeffrey 规则允许对复杂的谓词进行条件化，例如匹配特定的边缘分布。

理论基础

给定联合模型 $p(x, y)$ ，其中 $x$ 代表图像空间， $y$ 代表属性/特征，目标是在保持条件结构 $p(x|y)$ 的同时，将边缘分布 $p(y)$ 更新为目标分布 $p^\star(y)$ 。根据 Jeffrey 规则，更新后的联合分布定义为：
$p^\star(x, y) = p(x|y)p^\star(y)$
这种更新过程在满足边缘约束的同时，最小化了对原始联合分布的扰动（信息投影）。

本文推导出了关于 $x$ 的边缘分布重加权公式：
$p^\star(x) = p(x) \int p(y|x)\rho(y) dy$
其中 $\rho(y) = p^\star(y)/p(y)$ 是密度比。在特征由图像确定性导出（即 $y = u(x)$ ）的情况下，该公式简化为：
$p^\star(x) = p(x)\rho(u(x))$

在扩散模型中的实现

为了将其应用于基于评分（score-based）的扩散模型，作者推导了一个受引导的评分函数。标准评分 $\nabla_{x_t} \log p_t(x_t)$ 被一个基于密度比修正项的项所增强：
$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \int p(y|\hat{x}_0(x_t, t))\rho(y) dy$
其中 $\hat{x}_0(x_t, t)$ 是通过 Tweedie 公式获得的洁净样本估计值。

对于确定性特征映射（例如嵌入空间），指导公式简化为：
$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \rho(u(\hat{x}_0(x_t, t)))$

该框架引入了一个超参数 $\lambda$ 来缩放修正项，用以控制样本质量与对目标分布忠实度之间的权衡。密度比 $\rho$ 使用一个经过训练的二分类器来估计，该分类器用于区分来自目标分布的样本与来自当前模型的样本。

3. 主要贡献

本文做出了三个主要贡献：

Jeffrey 指导框架： 一种新型的、即插即用的指导方法，它泛化了标准的分类器指导。它利用 Jeffrey 规则将生成的输出分布与任意目标分布进行匹配，从而实现了标准指导无法实现的控制目标。
嵌入分布匹配： 一个概念验证，展示了将模型输出分布匹配到目标分布（具体为 Inception 嵌入空间）的能力。这一应用在无需重新训练的情况下显著降低了 Fréchet Inception Distance (FID)。
用于公平性的属性分布控制： 展示了通过控制图像属性分布来实现公平性目标。该方法成功实现了性别平等的强制执行（分布匹配），并解除了属性（如“男性”和“年轻”）之间的相关性，而后者是标准分类器指导无法直接解决的任务。

4. 实验结果

作者在 CIFAR-10、FFHQ 和 CelebA-HQ 数据集上评估了 Jeffrey 指导。

嵌入指导（FID 降低）

设置： 该方法针对训练数据的 Inception 嵌入分布进行目标设定。
结果： 在 CIFAR-10 上，FID 从 $\approx 5.88$ 提升至 $\approx 2.55$ （训练集），从 $\approx 9.76$ 提升至 $\approx 6.71$ （测试集）。在 FFHQ 上，FID 从 $\approx 20.13$ 降至 $\approx 12.91$ 。
观察： 作者指出，虽然 FID 大幅下降，但生成图像的视觉变化极小，这表明 FID 作为纯粹感知指标存在局限性。最好的结果是通过仅在最后去噪步骤（ $\delta=10$ ）应用指导获得的。

公平性应用

性别平等（分布匹配）： 在 CelebA-HQ 上，该方法调整了“男性”属性的比例，从 $\approx 0.296$ 调整至 $\approx 0.522$ （目标为 0.5），将公平性差异 (FD) 从 $0.288 $降低到$ 0.032$。这是在 FID 损失极小的情况下实现的（$21.61 $对比基线$ 22.30$）。
属性解相关： 该方法成功解除了“男性”和“年轻”属性之间的相关性，在 $\lambda=3.0$ 时将皮尔逊相关系数从 $-0.541 $降至接近零（$ 0.005$）。这是通过减少主要的联合模态（年轻女性样本）实现的，同时保持边缘分布相对稳定，且 FID 仅轻微上升约一个点。
对比： 与结合了标准指导的祖先采样（ancestral sampling）基线相比，Jeffrey 指导在实现相似公平性指标的同时，具有更低的 FID 代价，并且修改的样本更少，因为它在整个采样轨迹上连续地平衡类别方向，而不是将样本完全推向单一类别。

5. 重要性与主张

本文将 Jeffrey 指导定位为扩散模型控制的一种原则性扩展。其重要性在于：

泛化性： 它将标准分类器指导重新定位于 Jeffrey 条件化的一个特例，从而在更广泛的理论框架下统一了这些方法。
表达能力： 它能够为复杂的客观目标（如属性独立性）指定明确的目标分布，而这些目标此前只能通过启发式或隐式方法实现。
实用性： 该方法不需要重新训练扩散模型，仅需在采样期间添加一个修正项并训练一个轻量级的密度比估计器。

作者保持了谦逊的语气，将这项工作定位为“概念验证”。他们承认目前的实现依赖于分类器来估计密度比，这与早期分类器指导的工作方式类似，并表示希望未来的工作能向无分类器版本演进。他们还指出，虽然该方法为有益的应用（公平性、缓解记忆效应）提供了新的表达能力，但也带来了赋能恶意行为者生成有害输出的风险。