🤖 machine learning

Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting

本文介绍了一种名为方差修正时间偏移（variance-corrective time shifting）的免训练方法，该方法通过在不增加方差的情况下平滑主导模态，使扩散模型能够进行有效的温度采样，从而在增强多样性的同时，在保持高质量和条件忠实度的前提下，提升各种架构下的样本多样性。

原作者： Peizhuo Li, Emre Aksan, Alexandru-Eugen Ichim, Thabo Beeler, Olga Sorkine-Hornung

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Peizhuo Li, Emre Aksan, Alexandru-Eugen Ichim, Thabo Beeler, Olga Sorkine-Hornung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人艺术家，它花费多年时间研究了一个庞大的图片库。这个机器人非常擅长画出它见得最多的东西——比如一百万只坐在椅子上的猫。但如果你要求它画一些稀有的东西，比如一只戴着微型宇航员头盔在月球上的猫，它可能会感到吃力，或者只是给你画另一只普通的猫。这个机器人太擅长模仿那些“流行”的东西了，以至于它忘记了图书馆里隐藏的那些奇特、美妙且罕见的创意。

这篇论文介绍了一个巧妙的技巧，可以搅动机器人的记忆，让它去探索那些罕见的创意，而无需重新训练它或教它新的课程。

问题所在：“太锐利” vs. “太模糊” 的陷阱

作者们首先尝试了一个简单的想法：告诉机器人“放松”它的记忆。想象机器人的记忆是一个拥挤的房间，最流行的想法（如“椅子上的猫”）在大声叫喊，而罕见的想法（如“宇航员猫”）则在低声细语。为了听到这些细语，你可能会想：“咱们把那些大声叫喊者的音量调低一点吧！”

在数学术语中，这被称为温度采样（temperature sampling）。这就像是调高数据的“温度”。当事物变热时，不同响度之间的差异会变得平滑，使得罕见的创意更有可能出现。

然而，论文表明，这种天真的做法是一场灾难。这就像试图通过把音响的电源旋钮拧到最大来调低音量一样。结果呢？机器人不仅听到了细语，它还开始产生幻觉。图像变得模糊、混乱且充满了噪点。作者解释说，这是因为仅仅缩放机器人的“得分”（它对下一步要画什么的猜测）会产生过大的方差（variance）。这就像机器人对新的可能性感到过于兴奋，以至于开始无法控制地剧烈抖动，从而毁掉了整幅画。

解决方案：“时空穿越”式的修正

论文的核心发现是一个被称为**方差修正时间偏移（variance-corrective time shifting）**的巧妙变通方法。

作者并没有只是简单地告诉机器人去“放松”它的记忆，而是告诉它去在稍微不同的时间观察这张图片。

这里有一个类比：想象你正在试图猜一个藏在雾气弥漫的盒子里的物体的形状。

标准方式： 你问机器人：“盒子里有什么？”它看着雾气腾腾的盒子并给出一个答案。
天真的“加热”方式： 你告诉机器人：“想象雾气更厚了，物体也更模糊了！”机器人试图去猜，但因为雾气太厚，它开始随机猜测形状，结果变成了一团糟。
论文的做法： 作者说：“好吧，让我们假装这个雾气其实比实际情况要薄一些，但我们仍然想要那种‘放松’的感觉。”他们通过要求机器人观察一个更清晰时刻（一个“偏移的时间步”）的盒子，来欺骗机器人。然后，他们在那个更清晰的视角上应用“放松”规则。

通过观察噪声中那个“更早、更清晰”的版本，机器人可以在不被额外的模糊感搞混的情况下，实现多样性的提升。这就像戴上一副特殊的眼镜，让你能清晰地看到那些罕见的创意，而不会让整个画面变得模糊。作者展示了这种技巧如何抵消掉那些不想要的“抖动”（方差），同时保留探索新创意的益处。

论文排除了什么

作者们非常明确地说明了哪些做法是行不通的。他们明确反对：

仅仅缩放得分： 仅仅将机器人的猜测乘以一个数字（天真的方法）会破坏整个过程。这会产生模糊、无法使用的图像。
其他方法： 他们测试了其他技巧，比如 CADS（改变提示词信号）和 Feynman-Kac（使用大量粒子来修正路径）。他们发现 CADS 经常让机器人忽略提示词（例如，你要求画猫，它却画了一只狗），而 Feynman-Kac 则变得过于嘈杂，无法生成高质量的图像。

他们有多确定？

论文对其结果非常有信心，但他们是用证据而非猜测来支撑结论的。

模拟与测试： 他们在一个简单的数学模型（一个拥有 10,000 个样本的“玩具示例”）上进行了测试，证明了其完美运行。
真实模型： 他们将此方法应用于真实的强大图像生成器，如 Stable Diffusion 1.5、Stable Diffusion XL、Stable Diffusion 3.5 和 DiT。
数据指标： 他们使用特定的分数来衡量结果。例如，在 DiT 模型上，他们的方法实现了 13.86 的 Vendi 分数（衡量多样性的指标），而基准值为 13.45，同时保持了 0.859 的高 保真度（Fidelity）。在 Stable Diffusion 3.5 上，他们得到了 12.43 的 Vendi 分数和 0.897 的保真度。
“早期” vs. “后期”的技巧： 他们还发现，何时应用这个技巧非常重要。如果应用在过程的早期（当图像还只是一个模糊的云团时），你会得到完全不同的构图（例如，猫 vs. 狗）。如果应用在后期（当图像快要完成时），你只会得到细节上的微小变化（例如，蓝眼睛的猫 vs. 绿眼睛的猫）。

核心总结

这篇论文并不声称已经解决了 AI 艺术的所有问题。作者承认机器人仍然存在局限性（如果它从未见过一只五条腿的马，它就画不出来）。他们还指出存在一种权衡：让机器人变得更多样化有时意味着它在遵循你的精确指令方面会稍逊一筹。

但是，他们已经证明了，通过这种方差修正时间偏移，你可以将一个标准的 AI 模型变成一个更具冒险精神的艺术家。你可以让它去探索其训练数据中那些罕见、奇特且美妙的角落，而无需重新训练它，也不需要牺牲最终图像的质量。这是一个免费的升级，它将“温度旋钮”从一个损坏的开关变成了一个精准的创意工具。

技术摘要：通过温度采样与方差修正时间偏移实现多样化扩散

问题陈述

扩散模型能够忠实地重现其训练分布，但本质上继承了数据不平衡性，使得稀有或代表性不足的模态（modes）在采样过程中难以被触达。虽然在推理阶段采用高温度目标分布 $p^{(\gamma)}_0(x) \propto p_0(x)^\gamma$ （其中 $0 < \gamma < 1$ ）来平滑主导模态并提升稀有模态是一种自然的补救手段，但这种概念在实践中的直接应用却以失败告终。

直接缩放学习到的得分函数（即使用 $\gamma \nabla_x \log p_t(x)$ ）虽然实现了重加权模态的宏观目标，却诱发了微观层面的方差扩张（variance expansion）。这种过剩的方差破坏了带噪温度边缘分布的得分与逆向扩散过程之间的严格对应关系，导致生成的样本偏离流形、模糊且质量低下。现有的增强多样性的方法通常需要重新训练、辅助分类器或并行的粒子滤波，这限制了它们的适用性或保真度。

方法论：方差修正时间偏移

作者提出了方差修正时间偏移（variance-corrective time shifting），这是一种无需训练的机制，它将模态重加权与方差膨胀解耦。其核心洞察在于：虽然无法通过简单缩放原始得分来获得温度分布的得分 $\nabla_x \log p^{(\gamma)}_t(x)$ ，但可以通过在偏移时间步 $\tilde{t}$ 查询网络来精确近似该得分。

理论推导

失配（The Mismatch）： 直接对噪声边缘分布 $p_t(x)^\gamma$ 进行温度处理，与对温度化后的数据进行噪声处理得到的 $p^{(\gamma)}_t(x)$ 是不同的。在假设模态高度分离的条件下，直接进行温度处理实际上是将高斯分量的方差缩放了 $1/\gamma$ ，而真实的温度化边缘分布则保持原有的方差调度。
修正（The Correction）： 为了在不引起方差膨胀的情况下恢复所需的温度化边缘分布，该方法在偏移时间 $\tilde{t}$ 查询预训练网络，使得噪声水平满足 $\sigma^2_{\tilde{t}} = \gamma \sigma^2_t$ 。
得分估计器（The Score Estimator）： 温度化分布的得分可近似为：
$\nabla_x \log p^{(\gamma)}_t(x) \approx \gamma \left( -\frac{\epsilon_\theta(x, \tilde{t})}{\sigma^2_{\tilde{t}}} \right)$
这有效地抵消了方差扩张，同时保留了模态重加权的效果。

从粗到精的控制

该方法允许在逆向扩散过程的不同阶段应用一个调度方案 $\gamma(t)$ ：

早期阶段（高噪声）： 在此阶段应用 $\gamma(t) < 1$ 会驱动组合多样性（compositional diversity），引导采样粒子向不同的吸引子（模态）移动。
中期/后期阶段（低噪声）： 在此阶段应用 $\gamma(t) < 1$ 会驱动局部外观变化（local appearance variation），同时保持全局组合和模态的一致性。

核心贡献

识别方差扩张： 本文指出，由于非预期的方差膨胀，在扩散模型中直接进行得分缩放会破坏逆向扩散过程，从而降低样本质量。
方差修正时间偏移： 一种零成本、无需训练的修正方法，通过在偏移时间步查询网络来恢复所需的温度化边缘分布，从而实现有效的温度采样。
实用的多样性旋钮： 该方法将温度采样转化为一种实用的工具，用于在无需重新训练的情况下，增强预训练扩散模型和流匹配（flow-matching）骨干网络的多样性。
阶段性控制： 作者证明了温度干预的时机可以实现从粗到精的控制，区分组合多样性（早期）与局部变化（后期）。

实验结果

该方法在多种架构（DiT, Stable Diffusion 1.5/3.5/XL, Motion Diffusion Models）和多种模态（图像、运动）上进行了评估。

多样性 vs. 保真度： 该方法在保持极低代价的同时，持续提升了多样性（通过 Vendi 分数衡量），且对样本质量和条件保真度（通过 VQA 分数或分类器准确率衡量）的影响极小。
对比分析：
- 对比 CADS： 本方法保持了更好的提示词保真度，而 CADS 通常会降低与条件的对齐度。
- 对比 Feynman-Kac (FK)： 在作者的实验中，FK 在高温度（ $\gamma < 1$ ）下表现挣扎，往往产生无法使用的样本，而本文提出的方法保持了稳定性。
- 对比直接温度处理/TSR： 在没有时间偏移的情况下，低 $\gamma$ 值会引入过多的噪声。带有时间偏移修正的方法在实现相同多样性增益的同时，维持了高样本质量。
定量性能： 在 DiT、SD1.5、SDXL 和 SD3.5 上，该方法在保持高保真度的同时，在 CMMD（感知质量）和 Vendi（多样性）方面均取得了最好或次好的得分。

意义与主张

本文声称，方差修正时间偏移解决了将温度采样应用于扩散模型时的根本局限性。通过修正由于朴素得分缩放导致的固有方差膨胀，该方法使用户能够探索数据分布的“长尾”——生成稀有或多样化的模态——而不牺牲扩散模型所擅长的质量或条件遵循能力。

作者将其定位为实现灵活推理阶段控制的重要一步，提供了一个无需重新训练即可为不同模型家族（包括流匹配模型）提供多样性的“旋钮”。他们承认该方法受限于底层模型的容量，且保真度与多样性之间的权衡需要针对每个模型进行微调，但强调所提出的时间偏移机制使这种权衡变得可控且有效。