Finite-Particle Convergence Rates for Conservative and Non-Conservative Drifting Models

技术摘要：保守与非保守漂移模型的有限粒子收敛速率

问题陈述
Deng 等人（2026）提出的漂移模型（Drifting models）为一步生成建模提供了一种范式，其模型分布通过基于位移的速度场在训练期间向数据分布移动，而非依赖推理阶段的长迭代采样器。标准位移速度定义为 $u^{\text{disp}}_{\nu,\mu,h}(z) = m_{\nu,h}(z) - m_{\mu,h}(z)$，即数据（$\nu$）与模型（$\mu$）的核均值漂移向量之差。

Franz 等人（2026）指出的一个关键理论局限是，由于均值漂移向量中存在依赖于位置的归一化，这种基于位移的场通常是非保守的（即不是梯度场）。这种非保守性使得收敛性和稳定性的分析变得复杂。虽然高斯核是一个特例，其场保持保守，但该性质在其他核（如拉普拉斯核）中并不成立。本文旨在解决对保守和非保守漂移方法进行严格有限粒子收敛速率的需求。

方法论
本文分析了连续时间下两种不同的漂移动力学方法，重点关注 $N$ 个相互作用粒子的行为。

1. 保守漂移方法：
   作者提出用保守速度替代位移速度，该速度定义为核平滑分数的差：
   $$b_{\nu,\mu,h}(z) := s_{\nu,h}(z) - s_{\mu,h}(z) = \nabla \log \rho_{\nu,h}(z) - \nabla \log \rho_{\mu,h}(z)$$
   其中 $\rho_{\alpha,h}$ 是测度 $\alpha$ 的核密度估计（KDE）。该场明确是一个梯度场。分析追踪粒子系统相对于平滑目标密度乘积的联合相对熵 $H_N(t)$。关键量包括经验 Stein 漂移、平滑 Fisher 差异以及平方中心速度。

2. 非保守漂移方法（拉普拉斯核）：
   本文分析了专门针对拉普拉斯核的原始基于位移的方法。由于该场不是梯度场，作者采用了受 Franz 等人（2026）启发的锐利伴随核（sharp-companion kernel）分解。他们定义了一个锐利核 $L_h$，使得 $\nabla L_h(z-y) = (y-z)K_h(z-y)$。这使得拉普拉斯速度可以分解为：
   $$u_x(z) = a_{x,h}(z) b^\#_x(z) + e_x(z)$$
   其中 $b^\#_x$ 是“锐利分数”失配，$a_{x,h}$ 是局部正尺度因子，$e_x$ 是尺度失配残差，代表数据与模型之间局部拉普拉斯加权半径的差异。分析利用了“留一法”（自掩蔽）粒子动力学，以避免熵计算中的自相互作用奇点。

主要贡献与结果

• 连续时间有限粒子熵恒等式：
  本文推导了两种方法的联合熵恒等式。

  • 对于保守方法，熵导数包含一个“互逆 KDE 自相互作用”项（$\Delta K(0) E[R_N]$），这是由于粒子 $i$ 处的速度依赖于包含粒子 $i$ 本身的 KDE 分母。
  • 对于非保守拉普拉斯方法，使用留一法动力学从熵恒等式中移除了自相互作用项，但引入了与留一法场相关的近似误差。

• 保守漂移的收敛速率：
  在正则性假设和互逆 KDE 控制条件（确保粒子在局部分布良好，使得 $q_x(x_i)$ 远离零）下，本文建立了时间平均平方残差速度的界限：
  $$\frac{1}{T} \int_0^T E[V_N(X(t))] dt \leq \frac{H_N(0)}{NT} + \frac{a_h \Lambda_T}{N} + \frac{1}{2}\{B_{A,T}(h) + B_{V,T}(h)\}m_2(K_h)$$

  • 带宽依赖性： 速率关键取决于求积常数 $B(h)$ 随带宽 $h$ 的增长。
    • 如果 $B(h) = O(1)$（$h$ 均匀正则性），则根残差速率为 $O(N^{-1/(d+4)})$。
    • 如果 $B(h) = O(h^{-\beta})$ 且 $0 \leq \beta < 2$，则优化后的根速率为 $O(N^{-(2-\beta)/(2(d+4-\beta))})$。
    • 如果 $\beta \geq 2$，则通过缩小 $h$ 无法消除求积误差。

• 非保守拉普拉斯漂移的收敛速率：
  对于拉普拉斯核，收敛界限包含一个不可避免的残差项 $\Delta_h^2$，用于衡量尺度失配：
  $$\frac{1}{T} \int_0^T E[V^{\text{Lap}}_N(X(t))] dt \leq \frac{H^\#_N(0)}{\gamma_h NT} + \frac{\beta_h}{\gamma_h}\Delta_h^2 + \text{近似误差}$$
  项 $\Delta_h$ 仅当数据和模型的局部拉普拉斯加权半径对齐时才消失。因此，除非满足额外的对齐条件，否则该方法收敛到一个由该尺度失配决定的残差邻域，而非收敛到零。

• 占据条件：
  本文提供了确定性条件和高概率条件（通过局部邻居计数），在这些条件下互逆 KDE 项受到控制，从而确保保守动力学的稳定性。

意义与主张
本文声称提供了保守漂移动力学的第一个有限粒子熵速率分析，将 Banerjee 等人（2025）针对 SVGD 的联合熵框架扩展到了漂移模型。其主要贡献包括：

1. 解决非保守性问题： 通过提出 KDE 梯度速度，作者提供了一种保留梯度结构的保守替代方案，促进了严格的收敛分析。
2. 显式速率表征： 工作明确追踪了收敛速率对带宽 $h$ 和维度 $d$ 的依赖关系，确定了标准带宽缩小能产生消失残差的区域以及不能产生消失残差的区域。
3. 非保守误差分解： 对于原始的基于拉普拉斯的漂移方法，本文通过锐利伴随核分解隔离了不收敛的具体来源（尺度失配残差），阐明了收敛到零残差极限需要数据与模型之间局部几何尺度的对齐。
4. 一步生成保证： 连续时间界限被转化为一步生成的保证，表明当前模型与单次漂移细化步骤之间的平方 Wasserstein 距离受时间平均残差速度的限制。

作者保持谦逊的立场，指出推导出的速率是非渐近不等式，依赖于特定的正则性和占据条件，并且除非做出进一步的结构假设，否则非保守方法的收敛性本质上受限于尺度对齐残差。