📊 statistics

Variance-Tilted Diffusion Models for Diverse Sampling

本文介绍了一种利用 Doob $h$ -变换的方差倾斜扩散采样方法，该方法通过显式地排斥后验去噪均值并引导粒子向高特征方差区域移动，从而生成多样化的候选集。

原作者： Iskander Azangulov, Leo Zhang, Kianoosh Ashouritaklimi

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Iskander Azangulov, Leo Zhang, Kianoosh Ashouritaklimi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位神奇的艺术家（一个“扩散模型”），他非常擅长根据描述来画画，比如“一只玻璃做的鸭子”。通常情况下，如果你要求这位艺术家画100只鸭子，他只会画出100个极其相似的、完美的鸭子版本。它们看起来都非常接近，姿势相同，光影也一致。

如果只是想要一张好的图片，这很棒。但如果你需要为一款游戏制作一整套鸭子，并且需要它们彼此完全不同呢？也许一个是游泳的，一个是飞行的，还有一个是绿色玻璃做的，另一个是蓝色玻璃做的。

通常向艺术家提要求的常规方式往往会失败。这就像是要求一位厨师做100个不同的蛋糕，但他却只做了100个一模一样的巧克力蛋糕，因为那是他的最爱食谱。

问题：“群体思维”艺术家

该论文指出，目前的AI模型过于具有“群体思维”。它们被训练去寻找最可能、最稳妥的答案。当你要求生成一批样本时，它们只会一遍又一遍地重复同一个安全且平庸的答案。

解决方案：“方差倾斜”法

作者提出了一种新的与艺术家沟通的方式。与其仅仅说“画一只鸭子”，不如加上一条特殊的规则：“画100只鸭子，但要确保当你把它们放在一起观察时，它们尽可能地分散开。”

他们称之为**“方差倾斜扩散”（Variance-Tilted Diffusion）**。

以下是它的工作原理，使用一个简单的类比：

1. 特征映射（“测量尺”）

首先，你需要一种衡量“差异”的方法。作者使用了一个叫做线性算子 (A) 的工具。你可以把它想象成一把特殊的测量尺。

它可以测量鸭子的形状。
它可以测量颜色。
它可以测量背景。
它甚至可以只测量左边的翅膀。

这个工具将复杂的鸭子图像转化为一组简单的数字（特征），代表了使那只鸭子变得独特的要素。

2. 方差目标（“分散开”的规则）

目标是最大化方差（Variance）。在日常用语中，方差只是“分布”的一个高级说法。

如果100只鸭子排成一条直线，方差就很低（它们挤在一起）。
如果鸭子们散布在整个房间里，方差就会很高。

论文创建了一个数学规则，该规则规定：“我们希望最终的一批鸭子，根据我们的测量尺，具有最高的分布跨度。”

3. Doob H-变换（“幽灵向导”）

这是最难的数学部分，但这里有一个简单的版本。
通常，AI是独立地逐一生成图像的。为了让图像具有多样性，作者改变了游戏规则。他们设想AI不仅仅是在画一只鸭子，而是在同时绘制一整组鸭子，而且这一组鸭子之间是在“交流”的。

他们使用了一个被称为 Doob h-transform 的数学技巧。你可以把它想象成给艺术家提供了一个幽灵向导，在他们画画时在耳边低语。

低语： “嘿，你正在画的那只鸭子看起来和你5秒钟前画的那只太像了。把它挪动一下！让它单腿站立，而不是两腿站立！”
排斥力： 向导会将新生成的鸭子从其他鸭子身边推开（就像同极磁铁一样）。
曲率： 向导还会将它们推向“分布”自然更高的区域，确保它们不会仅仅聚集在一个奇怪的角落。

两股力量的博弈

论文将这个“幽灵向导”分解为两种简单的力量：

“别学我”的力量： 这股力量将鸭子们推开。如果AI试图画一只看起来太像群体平均水平的鸭子，这股力量就会将其推开。它确保鸭子们不会都看起来像同一只“平均水平”的鸭子。
“探索边缘”的力量： 这股力量将鸭子推向可能世界的边缘。它鼓励AI尝试一些稍微不寻常或罕见的事物，而不是死守在无聊、安全的中心点。

结果

当作者在图像（如“玻璃鸭子”或“带着球的柯基犬”）上进行测试时，结果令人瞩目：

标准AI (CFG)： 生成了一组看起来非常相似的鸭子。
他们的方法 (Variance-Tilted)： 生成了一组姿势、背景和风格都截然不同的鸭子。有的在游泳，有的在飞行，有的在雨中，有的在阳光下。

为什么这很重要（根据论文所述）

论文声称这种方法优于以往的方法，因为：

它是精确的： 他们不仅仅是猜测一个让事物多样化的规则。他们从目标（最大化分布）出发，并从数学上推导出了实现目标的精确步骤。
它是透明的： 你可以清楚地看到“幽灵向导”在做什么。它不是一个黑箱，而是个体鸭子与群体之间清晰的推拉过程。

简而言之： 论文教会了AI停止做一个复读机，转而成为一名创意总监，确保当你要求生成一批创意时，你得到的是一个丰富多样的收藏，而不是100个一模一样的复制品。

技术摘要：用于多样化采样的方差倾斜扩散模型

问题陈述
扩散模型已成为从高分辨率图像合成到科学发现（如蛋白质折叠和分子对接）等领域生成建模的标准范式。然而，标准的采样范式依赖于抽取独立同分布（i.i.d.）的样本。这种方法对于需要一组能够覆盖数据流形中不同区域的候选集合的任务而言往往是次优的，例如在药物设计中生成结构多样化的配体，或在机器人运动规划中提出鲁棒的轨迹建议。

现有的增强多样性的方法（如粒子引导）通过在采样动力学中引入排斥势能来实现。虽然有效，但这些方法以启发式的方式修改漂移项，导致其隐式目标分布在计算上难以精确评估或控制。

方法论
作者提出了一个“目标优先”的公式化方案，即在推导精确采样器之前，先明确定义批次目标分布。其核心创新在于一种方差加权批次分布，该分布倾向于在经过预设线性特征映射后具有较大经验离散度的样本集合。

对于一组包含 $n$ 个样本的批次 $\mathbf{x} = (x^{(1)}, \dots, x^{(n)})$ ，目标分布 $\pi^A_0(\mathbf{x})$ 定义为：
$\pi^A_0(\mathbf{x}) \propto \text{Var}^A_n(\mathbf{x}) \prod_{i=1}^n p_0(x^{(i)})$
其中 $p_0$ 是原始数据分布， $A: \mathbb{R}^d \to \mathbb{R}^k$ 是将样本映射到特定任务特征空间的线性算子， $\text{Var}^A_n(\mathbf{x})$ 是特征 $A(x^{(i)})$ 的经验方差。

为了从该分布中采样，作者推导了独立扩散动力学的精确 Doob $h$ -变换。这涉及计算给定噪声状态 $t$ 时，批次方差的条件期望：
$h^A_t(\mathbf{x}_t) := \mathbb{E}[\text{Var}^A_n(\mathbf{X}_0) \mid \mathbf{X}_t = \mathbf{x}_t]$

利用 Tweedie 等价式和偏差-方差分解，作者推导出了得分修正项 $\nabla_{\mathbf{x}_t} \log h^A_t(\mathbf{x}_t)$ 的闭式表达式。该修正项由两个截然不同的项组成：

交互项（排斥）： 一个使粒子的后验去噪均值（ $\mu_t$ ）在特征空间中相互排斥的项。该项通过去噪器中的向量-雅可比乘积（VJP）进行高效计算。
曲率项： 一个使粒子向高特征方差区域移动的项，涉及得分函数的散度（具体为 $\text{div}(A^\top A \nabla s_t)$ ）。该项通过有限差分或随机迹估计器（如 Hutchinson 估计器）进行估计。

最终得到的采样器是一个相互作用的粒子过程，其中每个粒子的得分是标准得分与推导出的 Doob 修正项之和。

核心贡献

目标优先公式化： 本文将多样化生成框架化为一个从显式批次目标分布中进行精确采样的问题，避免了启发式方法中不可控的排斥力。
闭式 Doob 修正： 作者为通用的线性算子 $A$ 提供了得分修正的解析推导，将其分解为后验均值的排斥项和特征方差的曲率项。
可计算的采样算法： 引入了一种离散化的相互作用粒子采样器。其主要的交互项利用高效的 VJP 计算，而曲率项则通过数值估计处理，使得该方法对于现有的扩散模型具有实用性。

结果
作者在使用了各种提示词的 Stable Diffusion v1.5 (512x512) 上评估了该方法在图像生成中的表现。他们对比了三种配置：

标准分类器自由引导（CFG）。
不含散度项的方差倾斜（VT）。
方差倾斜 + 散度（VT + Divergence）。

定性结果（图 1–5）表明，与标准 CFG 相比，所提方法能产生更具多样性的样本集。生成的图像涵盖了更广泛的姿态、背景和视觉风格，而非仅仅产生高概率模态的微小变体。引入散度项进一步优化了多样性，尽管作者指出全量方法可能会略微降低图像质量并增加由于散度估计带来的计算成本。

意义与主张
本文声称提供了一种针对启发式粒子排斥的概率替代方案。通过推导针对方差加权目标的精确采样器，该方法提供了一个透明的概率目标，而非隐式目标。作者将其定位为一种既能保持实际实现路径，又能实现多样化采样的严谨方法。

作者对局限性保持谦逊，承认虽然该方法在定性上改善了多样性，但可能会略微降低图像质量，并因二阶导数（散度）的估计而增加计算成本。他们建议未来的工作可以专注于对 Doob 修正进行退火处理以缓解质量问题，并开发更高效的曲率项估计器。