🤖 machine learning

The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis

本文通过推导揭示误差修正与误差放大之间权衡关系的 KL 散度上界，分析了基于分数的扩散采样中随机性的影响，证明了最优随机性剖面取决于模型分数误差的时间局部性。

原作者： Bernardo P. Schaeffer, Ricardo M. S. Rosa, Glauco Valle

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Bernardo P. Schaeffer, Ricardo M. S. Rosa, Glauco Valle

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人画出一张完美的猫咪图。你不仅仅是递给它一张照片并说“照着画”。相反，你从一张布满纯粹、混乱的静态噪声的画布开始——就像电视调到了死掉的频道。机器人的任务是缓慢地、一步步地移除这些噪声，从而揭示隐藏在下方的猫。这就是**扩散模型（diffusion models）**的神奇之处，这是一种已经成为现代图像生成领域超级明星的人工智能技术，它创造了从逼真的照片到全新的药物设计的一切。

为了完成这项任务，机器人使用了一个被称为“得分函数（score function）”的数学地图。你可以把这个得分想象成一个指南针，它总是指向远离噪声、趋向于猫的方向。如果机器人能完美地遵循这个指南针，它最终将画出一只完美的猫。但棘手的地方在于：机器人的指南针并不完美。它是一个基于数百万张图片训练出来的“猜测”，有时会指向稍微错误的方向。为了修正这些错误，机器人有两个选择来决定下一步的动作。它可以沿着一条笔直的、确定性的直线移动（就像在轨道上的火车），或者可以为它的移动添加一点随机的“抖动”或震颤（就像一个在雾中蹒跚前进的徒步旅行者，但偶尔会找到一条捷径）。科学家们一直提出的核心问题是：添加这种随机抖动有助于机器人更快、更好地找到那只猫，还是只会让机器人被自己的脚步绊倒？

这篇由研究员 Bernardo Schaeffer、Ricardo Rosa 和 Glauco Valle 撰写的论文深入探讨了这个问题。他们没有仅仅靠猜测；他们使用先进的数学方法来追踪机器人在从噪声向图像移动的过程中，其“错误水平”是如何变化的。他们使用一种叫做 KL 散度（KL Divergence） 的工具来衡量这一点，这是一种高级方法，用来表示“机器人的画作与真实的猫之间有多大的差异”。作者发现，答案并不是简单的“是”或“否”。相反，这完全取决于机器人何时犯错。

如果机器人的指南针是完美的（这是一个理论上的理想状态），那么添加随机抖动会产生一种收缩效应（contractive effect），这意味着随着过程的推进，它在数学上减少了机器人的画作与真实猫咪之间的差异。它就像一块神奇的橡皮擦，抹平了初始的误差，帮助机器人更快地收敛到完美的图像。这就像摇晃一盒拼图碎片：通过摇晃，它们能更好地落入正确的位置。

然而，在现实世界中，机器人的指南针永远是不完美的。它存在误差。作者发现，添加随机抖动会创造一场高风险的“拉锯战”。一方面，抖动有助于修正机器人之前步骤中犯下的错误（累积误差）；另一方面，抖动会放大机器人当前的错误（即此时此刻指南针指错了方向）。

论文揭示了一个关键规则：随机性（Stochasticity，即随机抖动）只有在机器人的当前指南针误差小于它之前已经积累的错误总量时，才是有效的。 如果机器人现在正在犯巨大的错误（例如，因为它处于绘图过程的最末端，细节变得难以捕捉），那么添加抖动是危险的——它会放大这些误差并毁掉整幅画。但如果机器人处于过程的早期阶段，或者如果它的当前误差较小，那么抖动可以扫除旧的、累积的错误，并拯救局面。

研究人员在简单的玩具示例和真实世界的数据集（如手写数字 MNIST 和彩色小图 CIFAR-10）上测试了这一点。他们发现，“最佳”的抖动量并不是一个恒定的设置。相反，最优策略通常涉及在过程的中期或接近尾声时加入一波抖动，同时要对起始阶段保持警惕。他们的实验表明，对于特定的模型，仅在采样开始时使用随机性是有害的，因为这会放大早期的误差，而此时还没有足够的累积误差需要去修正。反之，在过程最后阶段添加抖动也可能有害，如果模型的最终误差过大。理想的“甜点位（sweet spot）”通常位于一个特定的窗口期：在这个窗口期内，累积误差足够显著，足以从中受益于修正；同时当前的误差又足够小，不会被放大。这就像开车：你不想在汇入高速公路时剧烈摇晃方向盘（太危险），也不想在寻找停车位时剧烈摇晃方向盘（太精细），但在开阔的公路上稍微摇晃一下方向盘，或许能帮你保持行驶中心。

论文还提供了一个可以通过完美计算一切的完全解析示例。在这个受控的世界里，他们证明了最佳策略通常是一种“砰-砰（bang-bang）”控制法：即在特定时刻，在“无抖动”和“最大抖动”之间进行剧烈的切换，而不是使用一种温和、持续的轻微摇晃。这表明，提升 AI 艺术水平的秘密不仅在于拥有更好的指南针，还在于知道何时该引入混沌，以及何时该保持路径笔直。

简而言之，这篇论文表明，随机性在 AI 生成中是一把双刃剑。它可以是修正过去错误的强大工具，但前提是你必须小心，不要让它放大当前的错误。通过理解这些误差的时机，我们可以优化 AI 模型，使其更加精准，从而创造出更好的图像和更可靠的科学模拟。

技术摘要：基于分数的扩散采样中随机性的影响

问题陈述
基于分数的扩散模型通过求解由随机性函数 $\gamma(t)$ 参数化的反向时间随机微分方程（SDE）来生成样本。当 $\gamma(t) \equiv 0$ 时，得到的是概率流 ODE；而当 $\gamma(t) > 0$ 时，则引入了随机性。经验证据表明，随机性能否提高或降低生成性能取决于具体的模型和数据集，然而目前仍缺乏统一的理论理解来解释这种权衡。具体而言，尚不清楚累积采样误差与当前分数近似误差之间的相互作用如何影响生成分布相对于目标分布的演化。

方法论
作者通过追踪生成分布 $\tilde{p}$ 与目标分布 $\bar{p}$ 之间的 Kullback-Leibler (KL) 散度 $H(\tilde{p}_\tau | \bar{p}_\tau)$ 和 $H(\bar{p}_\tau | \tilde{p}_\tau)$ 的演化过程来分析生成过程（其中 $\tau$ 为反向时间）。该分析分为两个主要的理论阶段：

精确分数函数： 作者首先将误差源隔离到初始先验分布（对 $p_T$ 的近似）。利用对数索伯列夫不等式（LSI），他们推导出了 KL 散度演化的微分方程。他们证明了对于精确分数，任何正向的随机性 $\gamma(\tau)$ 都会产生一种收缩效应，导致 KL 散度呈指数级衰减。
近似分数函数： 随后，作者引入了更符合实际的情景，即分数函数由神经网络 $s_\theta$ $s_{θ}$ 近似，从而引入了一个误差项 $\epsilon$ $ϵ$ 。他们推导出了一个关于 KL 散度时间导数的通用公式，该公式揭示了一个基本的权衡：随机项既可以作为纠正累积误差的机制，同时也会放大当前的评分误差 $\epsilon$ $ϵ$ 。
- 他们建立了依赖于分数误差的时间剖面（time-profile）和随机性函数的 KL 散度上界。
- 他们提出了一个关于何时随机性是有益的条件：当累积误差（由 $\nabla \log(\tilde{p}/\bar{p})$ 表示）的量级超过当前分数误差 $\epsilon$ 时，随机性能降低散度。

核心贡献

通用 KL 散度界限： 本文为任意前向过程和随机性函数 $\gamma(t)$ 下的两种方向的 KL 散度（ $H(\tilde{p}|\bar{p})$ 和 $H(\bar{p}|\tilde{p})$ ）提供了通用的界限。这扩展了以往文献的研究，以往研究通常侧重于特定的 $\gamma$ 选择或仅关注单向散度。
误差权衡分析： 一种新颖的分析识别出随机性的影响取决于分数误差的“时间局部性”。当误差集中在采样过程的早期或中期时（允许纠正累积误差），随机性是有益的；而当误差集中在采样过程接近结束时（此时放大效应占主导），随机性则是负面的。
解析示例与最优控制： 作者提出了一个使用高斯分布线性扰动的完整解析示例。在此设定下，他们显式地求解了反向时间 SDE，并将 $\gamma(t)$ 的选择表述为一个最优控制问题。他们证明了最优策略是“砰-砰”（bang-bang）控制（在 $\gamma=0$ 和 $\gamma=\gamma_{max}$ 之间切换），在 1D 情况下一至多发生一次切换，在 $N$ 维情况下至多发生 $N$ 次切换。
数值验证： 在玩具数据集（高斯混合/均匀分布）和基准测试（MNIST, CIFAR-10, 3D 多孔介质）上的广泛实验验证了理论界限以及误差剖面与随机性性能之间的关系。

结果

精确分数： 当分数为精确时，增加 $\gamma$ 会单调地降低 KL 散度，证实了随机性对于纠正先验误差是严格有益的。然而，作者指出较大的 $\gamma$ 值会引入数值刚性，需要更细的离散化步长。
近似分数： 对于学习到的分数， $\gamma$ $γ$ 的影响是非单调的，并取决于模型的误差剖面。
- 在过程早期具有较大分数误差（或较大先验误差）的模型受益于随机性，因为随机性能帮助纠正累积偏差。
- 在采样轨迹接近结束时分数误差迅速增加的模型，会受到随机性的负面影响，因为随机性会放大这些最终阶段的误差。
- 实验表明，对于某些模型，随机性可以改善一个 KL 散度（例如样本质量），同时降低另一个 KL 散度（例如模式覆盖率），这凸显了零强制（zero-forcing）和零回避（zero-avoiding）指标之间的不同行为。
可变随机性： 通过在区间 $[S_{min}, S_{max}]$ 上进行网格搜索（其中 $\gamma(t)$ 被设为正常数）发现，最优策略通常涉及仅在采样结束前的特定窗口内应用随机性（而非在最后时刻），而不是在整个过程中使用恒定的 $\gamma$ 。

意义与主张
本文声称提供了一个理论框架，用以解释关于随机采样效能变化的实验证据。通过将分数误差的时间剖面与 KL 散度演化联系起来，作者提出了一个判断随机性是否有利的准则。他们认为，其分析弥合了渐近结果与非渐近、实际应用场景之间的鸿沟。

作者谦逊地将他们在关于最优区间的发现描述为一种“定量概念验证”，而非普适的度量标准，并承认最优随机性剖面可能取决于特定的训练超参数和数据集。他们总结道，虽然寻找高效的离散化方案很重要，但深入理解在连续设定下随机性是否具有优势，是此类发展的重要前提。这项工作表明，“最佳”的 $\gamma$ 选择并非一个固定常数，而是取决于已训练模型的特定误差动力学。

类似论文