A Unified View of Drifting and Score-Based Models

本文通过利用 Tweedie 公式,精确揭示了漂移模型(Drifting)与基于分数的扩散模型之间的内在联系,证明了高斯核漂移等价于在平滑分布上进行分数匹配,并进一步推导了通用径向核的分解形式及拉普拉斯核在低温和高维情形下的误差界,从而为理解漂移模型与分布匹配蒸馏(DMD)提供了统一的理论视角。

Chieh-Hsin Lai, Bac Nguyen, Naoki Murata, Yuhta Takida, Toshimitsu Uesaka, Yuki Mitsufuji, Stefano Ermon, Molei Tao

发布于 2026-03-10
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇文章就像是在给 AI 生成图像(比如画猫、画风景)的两种不同“流派”做一次深度联姻。它证明了这两种看似不同的方法,其实底层逻辑是相通的。

为了让你轻松理解,我们把 AI 生成数据的过程想象成**“在迷雾中找路”**。

1. 背景:两种“找路”的流派

想象你被蒙上眼睛,站在一片大雾(数据分布)中,你的目标是走到人群最密集的地方(生成真实的数据,比如真实的猫)。

  • 流派 A:扩散模型(Diffusion Models / Score-Based)

    • 怎么走路? 这是一个“老派”但稳健的方法。它像是一个有经验的向导。向导手里有一张地图(神经网络),告诉你:“往左走一点,再往右走一点……"它需要走很多小步(很多步迭代),每一步都根据当前的位置微调方向,慢慢从迷雾走到人群中心。
    • 缺点: 太慢了!因为要一步步走,生成一张图可能要算几百次。
  • 流派 B:漂移模型(Drifting Models)

    • 怎么走路? 这是一个“新派”且激进的方法。它不想一步步走,它想一步到位。它的策略是:“别管地图了,直接看周围!如果周围有很多猫(数据),我就往那边挪;如果周围是空的,我就远离。”它通过计算周围邻居的平均位置,直接把自己“漂移”过去。
    • 优点: 极快!通常一步就能搞定。
    • 疑问: 这种“看邻居”的直觉方法,真的靠谱吗?它和那个慢吞吞但精准的“向导”(扩散模型)有关系吗?

2. 核心发现:它们其实是“一家人”

这篇论文的核心贡献就是揭开了谜底:漂移模型(Drifting)和扩散模型(Score-based)在数学上其实是同一种东西的不同表现形式

作者用了两个精彩的比喻来解释这种关系:

比喻一: Gaussian 核(高斯核)= 完美的“平滑滤镜”

想象你在看一张模糊的照片。

  • 扩散模型是在计算照片上每个像素点的“梯度”(也就是哪里变亮了,哪里变暗了),以此判断该往哪走。
  • 漂移模型则是直接看周围邻居的平均位置。

论文证明:如果你用高斯核(一种平滑的滤镜)来看待这个问题,“看邻居的平均位置”竟然完全等同于“计算梯度”

  • 结论: 在高斯核下,漂移模型就是扩散模型的“一步速成版”。它们指的方向完全一致,就像是用两种不同的语言说了同一句话。

比喻二: Laplace 核(拉普拉斯核)= 有点“脾气”的邻居

现实中,为了更快,大家常用一种叫拉普拉斯核的方法(它比高斯核更尖锐,对距离更敏感)。

  • 这时候,漂移模型和扩散模型就不完全一样了。漂移模型多了一些“杂音”(论文里叫残差项),就像是你听邻居说话时,除了核心意思,还听到了一些背景噪音。
  • 但是! 论文发现,在两个极端情况下,这些噪音可以忽略不计:
    1. 当“温度”很低时(看得很近): 就像你只盯着脚边的一小块地看,邻居的分布很均匀,噪音消失,漂移方向又和扩散模型一致了。
    2. 当“维度”很高时(数据很复杂): 就像在一个巨大的城市里(高维空间),虽然邻居很多,但大家的分布规律会让那些“杂音”互相抵消。结果就是,漂移模型依然能精准地指向目标。

3. 为什么这很重要?(通俗总结)

这篇论文就像是在说:

“嘿,大家别觉得‘一步到位’的漂移模型是乱来的野路子。它其实和那些‘步步为营’的扩散模型是亲兄弟

  • 如果你用高斯核,它们就是双胞胎,完全一样。
  • 如果你用拉普拉斯核(现在的默认设置),它们虽然长得有点像,但在高维世界或特定条件下,它们走的路几乎重合

这意味着什么?

  1. 理论自信: 我们终于知道为什么“漂移模型”这么快还能画得好,因为它底层就是强大的“扩散模型”原理。
  2. 未来方向: 既然知道了它们的关系,我们就可以利用这种关系,设计出既快(像漂移模型)又好(像扩散模型) 的新一代 AI 生成器。不用在“快”和“好”之间做选择了。

一句话总结

这篇论文证明了:那个想“一步登天”的漂移模型,其实心里住着一个“步步为营”的扩散模型灵魂。 只要选对方法(或者在数据足够复杂时),它们就能用最快的速度,画出最真实的画。