🤖 machine learning

The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges

本文确立了去噪分数匹配中不可约训练损失的下界恰好是条件端点族 Fisher–Rao 度量的积分迹，该结论是通过施罗德桥（Schrödinger bridge）变分原理推导而出的，从而揭示了信息几何是扩散模型训练的一个内在组成部分，并解释了为什么原始损失值可能无法在不同噪声调度下一致地对模型进行排序。

原作者： Avinash Raju, Kai Zhang

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Avinash Raju, Kai Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在过去的几年里，一种新型的人工智能出现了，它能够通过简单的文本描述创建出令人惊叹的逼真图像、视频和声音。这些被称为扩散模型（diffusion models）的系统，其工作原理是学习逆转一个逐渐破坏的过程。想象一下，将一张清晰的照片慢慢加入静态噪声，直到图像变成一片模糊、无法辨认的杂乱状态。扩散模型学习的是逆过程：从纯粹的噪声开始，学习如何逐步移除这些静态噪声，直到清晰的图像重新出现。为了实现这一点，模型被训练去预测如何将带有噪声的图像推向清晰。这种训练过程依赖于一个被称为“得分”（score）的数学目标，它本质上是指向清晰数据所在方向的矢量。多年来，研究人员一直使用一种标准方法来教授模型这项技能，假设如果模型学会了平均而言正确预测方向，它最终就能掌握生成新图像的任务。

然而，一项新的研究揭示了这种标准的训练方法包含了一个被忽视的、隐藏的且不可避免的代价。研究人员发现，模型试图学习的目标并不是一个单一、固定的方向，而是一个随机变量，每次模型观察带噪声的图像时都会发生变化。由于模型被迫去猜测这个不断变化的靶点，训练过程总是会包含一个基础性的误差，无论多么改进学习方法或使用多么强大的硬件都无法消除这一误差。这种误差并非模型设计的缺陷，而是用于教导它的数学逻辑中固有的属性。该研究将这种不可避免的误差识别为数据中 Fisher–Rao 度量的迹（trace），它衡量了随着噪声的加入，关于原始图像的信息丢失了多少。通过分离出这一隐藏成本，研究人员表明，比较不同模型的原始训练得分可能会产生误导，因为得分在很大程度上取决于噪声是如何添加的，而非仅仅取决于模型本身的好坏。

这一发现的核心在于理解模型“需要知道什么”与它“实际上被要求学习什么”之间的区别。模型的理想目标是学习指向所有可能产生特定噪声状态的清晰图像的平均方向。这个平均方向就是数据的真实“得分”。但在实践中，计算这种平均值是不可能的。相反，训练过程要求模型基于用于创建噪声的单个随机清晰图像来猜测方向。虽然这种猜测在多次尝试中平均而言是正确的，但任何单次猜测都是带有噪声且具有不确定性的。研究证明，使用这些随机猜测引入的额外误差，恰好等于条件端点族（conditional endpoint family）的 Fisher–Rao 度量的迹。用通俗的话说，这是衡量带噪声的图像在多大程度上能告诉我们关于其来源的特定清晰图像的信息。随着噪声的增加，这种信息逐渐消退，研究表明，总训练误差的累积速率恰好等于这种信息的丢失速率。

这一发现改变了我们看待这些强大人工智能系统训练方式的角度。研究人员证明，报告的训练总误差实际上由两个截然不同的部分组成：一部分是模型可以通过更好地学习来解决的误差，另一部分是由于训练目标的随机性而产生的不可还原误差。他们将这部分不可还原的误差称为“损失底限”（loss floor），它完全取决于数据和训练过程中使用的噪声方案，而不是取决于模型本身。因此，如果两个模型的训练使用了不同的噪声方案或不同的噪声范围，它们的原始训练得分是不能直接比较的。一个使用更宽噪声范围训练的模型，可能仅仅因为必须承担更大的“底限”成本，而在表现上显得误差更高，即便它实际上是一个更好的模型。研究提供了一种减去这一隐藏成本的方法，从而揭示模型的真实性能。在测试中，通过移除这个底限，研究人员纠正了模型的排名，显示出原本更好的模型确实更好，而这一事实此前一直被训练过程中的数学噪声所掩盖。

研究还把这种训练误差与数据的基本几何结构联系起来。研究表明，不可还原的误差与数据所处的空间的形状有关。例如，如果数据是由高维空间中的低维曲面上的图像组成的，那么误差随噪声增加而增长的速率就会揭示该曲面的维度。这意味着训练过程本身包含了一个关于数据复杂性的内置测量。此外，研究澄清了我们安排噪声的方式——即我们添加噪声的速度以及我们在不同阶段赋予的权重——并不会改变这种不可还原误差的总量。它只是改变了误差在路径上的分布位置。这表明，虽然我们可以重新调整训练过程以提高效率，但我们无法消除从噪声数据中学习的根本成本。

这项工作的其中一个最实际的意义在于提供了一种评估和比较不同 AI 模型的新方法。作者展示了通过计算并减去这个隐藏的底限，研究人员可以获得衡量模型学习能力的真实指标。他们在已知模型质量的合成数据上进行了测试。当观察原始训练数值时，模型的排名有时会发生倒置，使得一个较差的模型仅仅因为使用了特定的噪声方案，看起来比一个好的模型还要好。一旦减去了底限，正确的排名便得以恢复。这表明目前报告训练进展的标准是不完整的，未来的比较应当考虑到这种几何成本。该研究并非提出一种新的训练算法或新的图像生成方法，而是对现有方法提供了更清晰的理解。它揭示了训练过程中一直存在、等待被测量的隐藏层。

研究人员还探讨了这一概念如何应用于其他类型的数据，例如文本，其中的过程涉及遮蔽单词而非添加高斯噪声。他们发现那里也存在类似的隐藏成本，这种成本与数据的熵（即不确定性）相关。这表明该原理在不同的生成模型中是通用的。研究结论指出，数据的几何结构、信息的流动以及训练目标，都是对同一底层现实的不同描述。“损失底限”不是一个待修复的漏洞，而是信息宇宙中的一个特征，必须予以承认。通过将模型的学习能力与训练方法中不可避免的成本相分离，我们能够对这些人工智能系统究竟能达到什么样的成就，获得一个更诚实、更准确的认识。

技术摘要：去噪分数匹配的损失下界

问题陈述
去噪分数匹配（Denoising Score Matching, DSM）是扩散模型标准的训练目标。虽然生成动力学需要边缘分数 $s(x, t) = \nabla_x \log P_t(x)$ ，但该量是难以计算的。DSM 通过回归到条件分数 $s_{\text{cond}}(x, t; y) = \nabla_x \log q(x, t | y)$ 来规避这一问题，其中 $y$ 是清洁样本， $q$ 是加噪核。尽管条件分数是边缘分数的无偏估计量——确保两者共享相同的总体极小值点——但在固定的噪声状态 $x$ 下，条件目标仍然是一个随机变量。这引入了一个任何模型都无法降低的不可约额外项。本文旨在探讨一个基本问题：这种不可约额外项的本质究竟是什么，它取决于哪些因素？

方法论
作者通过**薛定谔桥变分原理（Schrödinger bridge variational principle）**推导了训练目标及其额外项。其方法论通过以下三个主要的理论步骤展开：

变分起源： 本文将反向扩散动力学框架化为参考路径测度在端点约束下的相对熵投影。最优动力学由 Doob $h$ -变换给出。该泛函的一阶变分产生了理想的边缘分数目标（ $\Delta S_{\text{ideal}}$ ）。
几何分解： 本文分析了桥接泛函（bridge functional）的二阶变分。研究发现，条件分数围绕其后验均值的波动，对应于条件端点族 $p(y | x, t)$ 的分数。这种波动的二阶矩根据定义即为该族的 Fisher–Rao 度量。
信息论评估： 通过将加噪过程视为一个扩散过程，作者将该 Fisher 度量的迹（trace）与清洁数据与噪声状态之间的互信息损失率联系起来。这建立了几何额外项与信息流之间的联系。

核心贡献与结果

精确的条件方差分解： 本文建立了一个去噪目标的精确正交分解：
$\Delta S_{\text{DSM}} = \Delta S_{\text{ideal}} + \frac{1}{2} \int_0^T \gamma(t) \mathbb{E}_{x \sim P_t} [\text{tr } g(x, t)] \, dt$
其中 $\Delta S_{\text{ideal}}$ 是理想的边缘分数损失，而第二项是损失下界（loss floor）。项 $g(x, t)$ 是条件端点族的 Fisher–Rao 度量张量。至关重要的是，该下界仅取决于数据分布和加噪方案，而与模型参数无关。
几何解释： 本文指出，近期在扩散潜在空间中观察到的 Fisher 几何（具体为对数密度的 Hessian）并非一种人为强加的结构，而是 DSM 中回归目标的内在方差。对于仿射高斯加噪，该度量形式为：
$g_{ij}(x, t) = \frac{1}{\sigma_t^2} \delta_{ij} + \partial_i \partial_j \log P_t(x)$
这证实了在潜在空间中看到的“几何”仅仅是条件目标的方差。
信息流因子化： 研究表明，损失下界与噪声状态关于清洁数据的互信息损失速率成正比。对于一般的加噪扩散过程 $dx_t = f(x_t, t)dt + \sqrt{D(t)}dW_t$ ：
$\mathbb{E}_{P_t}[\text{tr } g(x, t)] = -\frac{2}{D(t)} \frac{d}{dt} I(y; x_t)$
因此，总下界可以分解为一个与数据相关的信息流和一个与方案相关的权重。如果损失权重与扩散系数相匹配，则下界积分结果为端点之间的互信息（或高斯情况下的微分熵）之差。
高信噪比（High-SNR）渐近特性与信息维度： 在高 SNR 极限下，损失下界的发散速率受数据 Rényi 信息维度 $d(y)$ 控制。具体而言，当 $\Lambda$ 为最大 SNR 时，损失下界以 $\frac{d(y)}{2} \log \Lambda$ 的速度增长。这解释了为什么损失在靠近数据流形时会发散，并将下界的大小与数据的内在维度联系起来。
实际意义：
- 原始损失不可比性： 由于加性下界随 SNR 范围、方案和损失权重的变化而变化，不同配置下的原始训练损失无法直接比较。本文展示了通过减去计算出的下界，可以恢复一致的模型排序，从而纠正了原始损失暗示模型质量发生逆转的情况。
- 方案设计的限制： 分解表明，方案无法改变总下界（该值由 SNR 范围的端点所固定）；它只能重新分配估计误差在路径上的分布位置。
- 采样与训练： 训练目标仅探测条件端点律的二阶累积量（方差）。相比之下，数值采样误差取决于三阶累床量（偏度）。本文指出，虽然 Fisher 度量（二阶）是单调的，但其变化率会定位对称性破缺的转换点，这表明在接近模态分离（mode separation）进行采样时，三阶几何效应会变得显著。

重要性与主张
本文声称揭示了一个已隐含在标准 DSM 目标中但此前从未被量化的精确分解。其重要性在于：

统一视角： 它将扩散动力学的变分起源（薛定谔桥）、潜在空间的信息几何（Fisher–Rao 度量）以及去噪的信息论结构（互信息损失）联系在一起。
澄清损失景观： 它将“损失下界”重新定义为一种基本的几何量，代表了条件目标的不可约方差，而非一种干扰项或超参数人工产物。
实用价值： 它提供了一种具体的、用于修正因方案依赖导致的偏差进行损失报告的方法，从而确保在不同噪声方案训练的模型之间进行公平比较。

作者强调，这项工作并非提出一种新的目标函数或调度算法，而是提供了一个严谨的理论框架来理解现有的扩散训练组成部分。其结果是通过解析推导并在低维示例上经过数值验证得出的，旨在建立恒等式而非提出新的性能基准。

技术摘要：去噪分数匹配的损失下界

类似论文