技术摘要：核梯度漂移模型

问题陈述

生成建模通常依赖于将简单先验映射到复杂数据分布的基于传输的方法。尽管经验表现强劲，但标准方法（例如扩散模型、流匹配）通常需要通过对许多顺序更新求解随机微分方程（SDE）或常微分方程（ODE）来实现，这使得采样计算成本高昂。这激发了人们对一步或少数步生成的兴趣，通常通过蒸馏预训练模型或直接通过流映射或一致性目标训练生成器来实现。

漂移模型代表了一种直接的一步生成方法。它们通过使模型样本沿核诱导的吸引和排斥场移动来训练生成器，将细化过程从采样时间转移到训练时间。然而，目前对漂移的理论理解仅限于高斯核。在高斯情况下，核加权的欧几里得位移与平滑的分数匹配方向一致，从而确保了可识别性（即漂移消失意味着模型分布与数据分布匹配）。

对于非高斯核（例如拉普拉斯核），它们在经验上通常表现更好，但标准公式将核加权函数与固定的欧几里得位移向量（$y-x$）相结合。本文认为，对于非高斯核，该位移方向不一定与相似度增加最陡的方向（即核梯度）对齐。因此，漂移场会偏向远处的邻居，破坏可识别性属性并模糊优化目标。此外，标准公式与欧几里得几何绑定，使得不清楚如何将漂移应用于黎曼流形上的数据或离散数据空间。

方法论：核梯度漂移

作者提出了核梯度漂移，这是一种重新表述，其中核本身通过其梯度定义运动方向，而不是依赖固定的欧几里得位移。

1. 漂移场

与其使用原始位移场 $V_{p,q_\theta}(x) = \mathbb{E}[k(x,y)(y-x)]$ 相比，所提出的方法使用核梯度定义漂移：
$$V^\nabla_{p,q_\theta}(x) = \frac{\mathbb{E}_{y \sim p}[\nabla_x k(x, y)]}{\mathbb{E}_{y \sim p}[k(x, y)]} - \frac{\mathbb{E}_{x' \sim q_\theta}[\nabla_x k(x, x')]}{\mathbb{E}_{x' \sim q_\theta}[k(x, x')]}$$
该场代表了核梯度吸引（朝向数据）与核梯度排斥（模型样本的自排斥）之间的差异。

2. 理论性质

• 得分比率解释：在标准正则性假设下，核梯度漂移恰好是核平滑密度对数比率的梯度：
  $$V^\nabla_{p,q_\theta}(x) = \nabla_x \log \frac{\hat{p}_k(x)}{\hat{q}_{\theta,k}(x)}$$
  这恢复了对任意可微核的基于得分的解释，而不仅限于高斯核。
• 可识别性：如果核 $k$ 是特征核（平滑映射是单射的），那么漂移消失（$V^\nabla = 0$）意味着平滑密度相等，进而意味着原始分布相等（$p = q_\theta$）。这恢复了对非高斯核的可识别性理论保证。
• 平滑 KL 下降：动力学对应于平滑分布之间 Kullback-Leibler (KL) 散度的 Wasserstein 梯度流，为训练目标提供了变分解释。

3. 扩展到流形和离散数据

由于核梯度是内在切向量，该框架自然地扩展到欧几里得空间之外：

• 黎曼流形：漂移使用黎曼梯度 $\nabla_M$ 定义。样本通过指数映射（$\text{Exp}_x$）传输，尊重数据支撑的内在几何结构（例如球面）。
• 离散数据：通过将分类分布视为赋予Fisher-Rao 度量的概率单纯形上的点，该方法将问题映射到超球面的正象限。这使得离散数据（例如 DNA 序列、分子）的一步生成成为可能，而无需蒸馏。

主要贡献

1. 重新表述：引入了核梯度漂移，用核诱导的梯度方向替换固定的欧几里得位移。
2. 理论统一：证明了漂移是任何可微核的平滑得分匹配过程，将高斯漂移作为特例恢复。
3. 可识别性证明：证明了可识别性对任何特征核都成立，解决了非高斯情况的理论差距。
4. 几何泛化：通过 Fisher-Rao 几何将框架扩展到黎曼流形和离散数据，实现了球面上和分类变量的一步生成。

实验结果

作者在三个设置中评估了该方法：

1. 合成实验：

   • 在球面（$S^2$）和双曲（$H^2$）流形上的棋盘和瑞士卷目标上，梯度公式在切片 Wasserstein 距离和瓦片准确率方面始终优于基础（基于位移的）公式。
   • 对 Matérn 核的消融研究表明，虽然高斯核（$\nu \to \infty$）对两种公式的表现相似，但梯度方向对于非高斯核（例如拉普拉斯核，$\nu=0.5$）至关重要。

2. 地理空间数据（地球事件）：

   • 在 $S^2$ 上评估了火山、地震、火灾和洪水的真实世界分布。
   • 球面拉普拉斯梯度和谱变体在所有四个数据集上取得了最佳的最大均值差异（MMD）分数，优于普通的欧几里得拉普拉斯基线和其他梯度变体。

3. 离散数据生成：

   • 启动子 DNA：生成了长度为 1024 的序列。球面高斯梯度模型实现了 0.90 的 6-mer 相关性，缩小了与流蒸馏基线（达到 0.96）的差距，同时保持无教师。
   • 分子生成（QM9）：生成了 SMILES 字符串。球面拉普拉斯梯度模型实现了 38.9% 的有效性和 44.1% 的唯一性，大幅优于欧几里得拉普拉斯基线（22.0% 有效），并接近蒸馏流模型的性能（例如 PairFlow 为 44.3% 有效），尽管它是一步且无教师的方法。

意义与主张

本文声称，核梯度漂移提供了漂移模型超越高斯欧几里得情况的原则性扩展。通过将漂移方向与核梯度对齐，该方法：

• 恢复了对非高斯核的理论保证（可识别性）。
• 为一般核提供了连贯的基于得分的解释。
• 自然地泛化到非欧几里得域（流形）和离散数据，而无需复杂的蒸馏过程。

作者将其定位为通往高质量一步生成的灵活、无教师途径。他们承认局限性，指出该方法目前对超参数选择（特别是核带宽和平滑度）敏感，并且主要关注 Matérn 核。他们建议未来的工作应探索更广泛的核类，并进行系统的训练稳定性分析，以进一步缩小与最先进蒸馏模型的差距。