技术摘要：扩散模型中的 Sobolev 正则化得分差异估计

1. 问题陈述

本文解决了估计两个 Stein 得分函数（Stein's score functions）之差的基本问题，即 $\nabla \log q(\cdot) - \nabla \log p(\cdot)$，其中 $q$ 是目标分布，$p$ 是源分布。该量代表了将样本从 $p$ 传输到 $q$ 所需的驱动力。

这种得分差异的估计在现代生成模型中具有两个主要的上下文意义：

1. 迁移学习（Transfer Learning）： 将预训练的生成模型适配到新的目标分布，其中目标分布的样本量显著少于源分布。
2. 扩散模型后训练（Diffusion Model Post-Training）： 使预训练模型与人类偏好、结构约束或下游任务对齐（例如通过判别器引导或条件生成）。

现有的方法，特别是流行的“先分类后微分”（classify-then-differentiate）流程（通过二分类估计对数密度比，然后进行微分），存在缺乏统计一致性和可扩展性的问题。正如本文所述，标准分类器往往会过拟合数据中的高频、低振幅噪声。虽然这可能导致对数密度比的估计误差很小，但随后的微分步骤会放大这些误差，导致估计的梯度（得分差异）出现灾难性的振荡。

2. 方法论

作者提出了一种用于得分差异的 Sobolev 正则化估计器。其核心思想是直接估计对数密度比 $f^\star(x) = \log(q(x)/p(x))$，同时对梯度的平滑性施加约束，以防止对噪声的过拟合。

公式化表达

该方法将对数密度比的估计重新表述为一个二分类问题。给定来自 $p$（标签为 0）和 $q$（标签为 1）的样本，对数密度比对应于 Bayes logit。作者定义了一个结合了交叉熵损失（$L_{CE}$）和 Sobolev 惩罚项（$R$）的总体风险泛函：
$$J_\lambda(f) := L_{CE}(f) + \lambda R(f)$$
其中 $R(f) = \|\nabla f\|_{L^2(\mu)}^2$ 是梯度的平方 $L^2$ 范数，$\lambda > 0$ 是正则化参数。

假设类

为了确保稳定性和易处理性，优化是在具有有界梯度的 剪切稀疏神经网络（clipped sparse neural networks） 类上进行的。具体而言，作者使用了具有 $\text{ReLU}^3$ 激活函数的网络（支持样条型逼近），并应用截断映射 $T_M$ 来限制函数值和梯度。这确保了估计器保持在有界的 Sobolev 子集 $H_M$ 内。

估计程序

1. 经验风险最小化： 通过在神经网络类 $\mathcal{F}$ 上最小化经验能量泛函 $\hat{J}_{\lambda, \mathcal{D}}(f)$ 来获得估计器 $\hat{f}_{\lambda, \mathcal{F}}$，该类既包括经验交叉熵损失，也包括经验 Sobolev 惩罚项（通过训练样本上的梯度计算）。
2. 得分差异提取： 最终的得分差异估计器通过取所学函数的梯度获得：$\nabla \hat{f}_{\lambda, \mathcal{F}}$。

向扩散模型的扩展

该框架被扩展到了涉及时间相关密度和无界定义域的扩散模型。作者：

• 在增广的时空域 $[t_0, T] \times \mathbb{R}^d$ 上构建问题。
• 通过 截断与重缩放（truncation and rescaling） 参数来解决空间域无界的问题。他们将样本投影到一个有界球体上，在重缩放后的定义域上训练网络，并使用平滑的截断函数将解扩展到全局。
• 证明了扩散过程的亚高斯尾部衰减（sub-Gaussian tail decay）使得“尾部误差”（截断半径之外的误差）是可以控制的。

3. 核心贡献与理论结果

收敛速率

论文建立了所提估计器关于样本量 $n$、维度 $d$ 以及底层密度平滑度 $s$ 的统计收敛速率。

• 上界： 作者证明了在 $H^1(\mu)$ 范数下的估计误差以如下速率收敛：
  $$\tilde{O}\left(n^{-\frac{s-1}{d+2s-2}}\right)$$
  通过平衡神经网络筛分（sieve）的逼近误差与由 Sobolev 正则化控制的统计误差，实现了这一速率。
• 极小极大下界（Minimax Lower Bound）： 使用局部 Fano 方法导出了一个 $\tilde{\Omega}(n^{-\frac{2(s-1)}{d+2s}})$ 的极小极大下界。
• 最优性差距： 作者承认上界与下界之间存在差距。他们将此归因于单步 Tikhonov 型正则化固有的“饱和现象”，即正则化参数 $\lambda$ 必须足够大以确保强凸性和稳定性，从而限制了偏差衰减的速率。他们指出，虽然迭代正则化在理论上可以弥合这一差距，但在处理如扩散模型等大规模应用时，其计算成本过高。

理论保证

• 强凸性： 论文证明了惩罚风险 $J_\lambda$ 在有界函数类 $H_M$ 上是强凸的，这确保了总体最小化子的唯一性和优化的稳定性。
• 偏差-方差权衡： 分析量化了正则化引起的偏差，表明其随 $\lambda$ 缩放，而方差则由神经网络类的局部 Rademacher 复杂度控制。
• 与前人工作的比较： 虽然先前的工作（如 [23]）曾为 Wasserstein 梯度流（WGF）方法提出过一致的得分差异估计器，但作者指出，此类方法通常面临可扩展性挑战（例如局部核方法）或缺乏广泛环境下的理论保证。相比之下，这项工作为一种可扩展的、基于分类的框架提供了收敛保证，该框架在保持计算效率的同时确保了统计一致性和稳定性，特别是在现有方法可能失效的小样本情形下。

4. 实验结果

论文在合成数据集和真实世界数据集上验证了该方法，证明了其在稳定性方面的显著提升，特别是在小样本情形下。

合成实验

在二维分布的模拟实验中，Sobolev 正则化估计器（“Cls w sob”）在估计对数密度比梯度方面始终优于未正则化的分类基准（“Cls w/o sob”）。

• 小样本性能： 相对改进在有限数据（例如 $N=20$）时最为显著，正则化方法相比未正则化基准将误差降低了 50% 以上。
• 稳定性： 正则化有效地过滤掉了导致未正则化方法梯度估计出现振荡的高频噪声。

真实世界应用

1. 用于领域适配的 Wasserstein 梯度流 (WGF)：

   • 任务： 使用 Office-Caltech-10 数据集将源分类器适配到目标域。
   • 结果： Sobolev 正则化估计器使基于 WGF 的适配实现了最高的分类准确率，优于测试的源域模型及未正则化的分类方法。
   • 效率： 与需要每次迭代都重新训练的核方法不同，基于分类的估计器实现了计算的摊销，提供了显著的加速（梯度计算耗时 0.0004s 对比 2.06s）。

2. 扩散模型迁移学习 (ECG 生成)：

   • 任务： 使用预训练于源数据集（PTB-XL）且目标样本有限的模型，生成目标数据集（ICBEB2018）的心电图（ECG）信号。
   • 结果： 所提方法（TGDP-SoB）显著优于 vanilla 扩散模型、微调后的生成器以及非正则化的 TGDP 基准。
   • 指标： TGDP-SoB 取得了最高的 Macro-averaged AUC (0.915)、F$\beta$-score 和 G$\beta$-score，证明了正则化的得分差异估计能提高数据匮乏场景下的下游分类性能。

5. 重要性与主张

本文主张，Sobolev 正则化是确保得分差异估计的统计一致性和稳定性的关键机制，特别是在标准方法因过拟合而失效的小样本情形下。

• 可扩展性： 该方法保留了基于分类框架的计算效率（单次前向/反向传播），同时提供了类似于核方法或 RKHS 方法的鲁棒性，使其适用于扩散模型等高维任务。
• 理论基础： 它为迁移学习和扩散模型后训练中的得分差异估计提供了理论收敛保证，在平滑性假设下建立了近乎最优的速率，并解决了先前一致估计器在可扩展性和数值稳定性方面的局限性。
• 实际影响： 实验结果表明，即使在目标数据极其匮乏的情况下，这种方法也能实现有效的生成模型迁移学习，这从 ECG 生成和领域适配任务的性能提升中得到了证实。

作者将他们的工作定位为扩散模型引导的方法论发展与非参数估计统计理论之间的桥梁，为生成模型中一个持久存在的挑战提供了一个实用且具有理论依据的解决方案。