📊 statistics

Sticky Jump Diffusions: A Unifying View of Masked, Continuous, and Hybrid Diffusion

本文引入了粘性跳跃扩散（Sticky Jump Diffusions, SJDs），这是一个统一的连续时间马尔可夫框架，它将掩码、连续和混合扩散模型作为极限进行恢复，并通过去噪危险匹配（Denoising Hazard Matching）实现无模拟训练，同时提供了一个灵活的设计空间用于构建损坏核，从而提升了在 CIFAR-10、Text8 和 Sudoku 等任务上的性能。

原作者： Pascal Jutras-Dubé, Patrick Pynadath, Jeremy Lu, Yuan Gao, Ruqi Zhang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pascal Jutras-Dubé, Patrick Pynadath, Jeremy Lu, Yuan Gao, Ruqi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图重建一幅破碎的马赛克画，但你拥有的不仅仅是破碎的碎片；你还有一个神奇的、具有粘性的地板，它能固定住其中的一些碎片，而另一些碎片则在迷雾般的云团中漂浮。这就是**粘性跳跃扩散（Sticky Jump Diffusions, SJDs）**的世界——这是一种教导计算机创造图像、文本甚至数独谜题的新方法。

核心理念：粘性地板与迷雾房间

要理解这一点，让我们看看计算机通常是如何尝试“修复”破碎事物的。

旧的方法：

掩码法（The Masked Approach）： 想象你有一个句子，你用黑框遮住了其中的一些单词（掩码）。计算机去猜测黑框下的内容。但问题在于，一旦一个单词被遮住，计算机就会将其视为一张白纸。它并不知道真实的单词曾经离猜测结果有多近。这就像是在玩“猜词游戏”（Hangman）时，计算机忘记了它之前见过哪些字母一样。
连续法（The Continuous Approach）： 想象计算机将每个单词转化为巨大且平滑的三维空间中的一个浮点。它不断微调这些点，直到它们看起来正确为止。但当过程结束时，这些点仍然悬浮在半空中，而不是落在实际的单词上。计算机必须在最后做一个笨拙的额外步骤，把它们“吸附”回最近的单词。这就像烤好蛋糕后，还得手动把掉落的糖霜重新粘回去。
混合法（The Hybrid Approach）： 这种方法试图结合两者：既保留一些被遮盖的单词，又让另一些单词漂浮。但通常情况下，关于何时将一个单词“吸附”回原位的规则是由程序员凭直觉猜测或手动指定的。

新方案 (SJD)：
来自普渡大学的研究团队表示：“我们不再靠猜测规则。我们要让规则源于过程本身的物理特性。”

他们创建了一个系统，数据最初以固定的“锚点”（如真实的单词或像素值）形式存在。在正向过程（“破碎”阶段）中，这些锚点会以特定的速率释放质量，并漂移进入一个连续的、迷雾状的空间。

在反向过程（“修复”阶段）中，奇迹发生了。计算机不仅仅是在猜测；它使用了一个被称为**通量平衡（flux balance）**的数学定律。想象一下一个繁忙的火车站：如果你确切知道有多少人离开了车站以及他们去了哪里，你就能精确计算出需要多少人到达以及他们应该去哪里，从而保持车站的平衡。

在 SJD 中，计算机会自动计算“危险率”（hazard rate，即一个碎片被吸附回原位的可能性）和“目的地”（它应该变成哪个单词）。这并非一个人工指定的计划，而是数据破碎过程产生的自然结果。

秘密武器：一个大脑，两个任务

通常，为了解决这类问题，你可能需要一个大脑来预测得分（如何移动迷雾），以及另一个大脑来预测跳跃（何时吸附回原位）。

作者发现了一个被称为**去噪危险匹配（Denoising Hazard Matching）**的聪明技巧。他们证明了单个神经网络（一个大脑）可以同时胜任这两项工作。通过使用标准的“交叉熵”（cross-entropy）游戏进行训练，网络可以同时学会这两个问题的答案。这就像教一个学生解数学题，然后发现这个学生仅通过再次观察题目，就能准确判断出解题需要多长时间。

“粘性”转折：融合邻居

这是论文中最具创意的地方。在旧的混合模型中，当一段数据被破坏时，它是仅基于自身来进行破坏的。如果你在修复图像中的一个像素，计算机只看这一个像素。

作者引入了一个融合矩阵（blending matrix）。想象你正在修复一个句子。与其只看你正在修复的那个单词，不如看看它周围的单词。如果你在修复数独谜题中的一个格子，你会观察同一行、同一列以及同一个 3x3 方格内的数字。

计算机通过将数据与其邻居进行融合来破坏数据。

对于图像 (CIFAR-10)： 它将一个像素与其邻居进行模糊处理。这有助于计算机理解相邻的像素通常属于同一类。
对于文本 (Text8)： 它将一个字符与其周围的字符进行融合，从而帮助它理解“q”通常后面会跟着“u”。
对于数独 (Sudoku)： 它将一个单元格与同行、同列及 3x3 方格内的单元格进行融合，直接通过破坏过程教授计算机游戏的规则。

数据说明了什么

团队在三种不同类型的谜题上进行了测试：

图像 (CIFAR-10)： 他们使用一个称为 FID 的分数来衡量质量（分数越低越好）。新方法得到了 14.57 的分数，击败了之前的最佳混合模型 CADD（得分为 15.88）以及掩码扩散模型 MDLM（得分为 18.11）。
文本 (Text8)： 他们统计了计算机能生成的有效单词数量。当融合带宽为 1.5 时，新方法生成的长度为 5 或 6 的有效单词数量超过了之前的最佳模型，尤其是在给予更多思考时间（更高的 NFE 预算）的情况下。
数独 (Sudoku)： 这是大考。之前的混合模型 CADD 非常不稳定；在某些训练运行中，它完全失败了（准确率降至接近随机水平）。而新方法 (SJD) 从未崩溃。它能以 95.65% 的准确率完成完整的棋盘，相比之下，CADD 的准确率为 47.12%。此外，它解决棋盘的速度更快，在 50,000 个训练步长时就开始见效，而 CADD 则需要 203,000 步。

他们明确排除了什么

作者非常明确地指出了哪些做法是无效或不必要的：

无手工调优计划： 他们反对认为需要手动设计一个关于何时“承诺”（吸附回）一个 Token 的计划。在他们的系统中，该计划是由数学自动计算出来的。
无需第二个网络： 他们证明了不需要第二个专门的部分来计算“危险率”（jump rate）。单个网络就足够了。
学习危险率： 他们尝试让计算机从头开始学习“危险率”（事物破碎的速度）。他们发现这实际上让结果变得更差了。最好的结果来自于保持危险率固定且简单，让“融合”（邻居交互）承担主要的重任。

他们有多确定？

作者对数学逻辑非常有信心。他们通过严谨的定理（定理 2.6 和定理 3.2）证明了他们的方法是正向过程的精确时间反转。他们不仅仅是建议这可能有效，而是展示了使其生效的等式。

然而，性能数据（如 FID 分数和数独准确率）是基于模拟和实验的。他们在特定的数据集（CIFAR-10, Text8, Sudoku）上运行了模型并测量了结果。他们发现新方法在这些特定测试中一致优于旧方法。他们并不声称这适用于宇宙中的所有事物，但对于他们测试的任务，证据是充分的。

总结

粘性跳跃扩散就像是给了计算机一张试图重建地形的地图。它不再盲目地猜测要把碎片放在哪里，也不再需要手动告诉它何时停止，而是利用“破碎”过程的物理特性，来推导出完美的“修复”过程。通过让碎片在破碎阶段能“感知”到它们的邻居，计算机能比以前更好地理解世界的结构——无论是数独棋盘的网格还是句子的流动。

技术摘要：粘性跳跃扩散 (Sticky Jump Diffusions, SJDs)

问题陈述

基于扩散的生成模型已成功从连续数据扩展到离散序列（如文本），但现有方法在统一离散与连续动力学方面面临根本性的局限。目前存在两个主要的家族：

掩码扩散 (Masked Diffusion)： 在离散 Token 空间内运行，通过构造确保输出有效的 Token。然而，它将每个位置映射到单个吸收 Token，从而抹除了关于损坏状态与候选 Token 之间接近程度的梯度信息。
连续扩散 (Continuous Diffusion)： 在 Token 嵌入上运行标准的基于得分的学习。其终止状态位于离散支撑集之外，需要一个外部投影步骤（例如解码器或量化）来恢复离散 Token，而这并非学习到的动力学的一部分。
混合扩散 (Hybrid Diffusion)： 将掩码链与连续潜变量配对。虽然有效，但这些模型通常是手动组装逆向采样器，将承诺率 (commitment rates)、目的地 (destinations) 和漂移 (drifts) 视为独立的决策，而非从统一的前向过程推导而来。

核心挑战在于定义一种连续时间马尔可夫过程，能够自然地桥接这些机制，使得逆向动力学（向离散 Token 的承诺和连续扩散）是通过通量平衡 (flux balance) 从前向过程数学化地推导出来的，而不是通过启发式设计。

方法论：粘性跳跃扩散 (SJDs)

作者引入了 粘性跳跃扩散 (SJDs)，这是一类在 $\mathbb{R}^d$ 上的连续时间马尔可夫过程，具有一组有限或可数个的锚点 (anchors) $A$ （与 Token 嵌入对应）。

1. 前向动力学 (脱粘/Unsticking)

在前向时间内，数据始于一个锚点 $a \in A$ 。该过程演化如下：

粘性阶段 (Sticking Phase)： 粒子在锚点 $a$ 处停留，其持续时间由危险率 (hazard rate) $\vec{\lambda}_t$ 控制。
脱粘 (Unsticking)： 在发生危险事件时，粒子“脱离”锚点，跳转到一个新的状态 $Y$ ，该状态从支持在连续区域 $X_A = \mathbb{R}^d \setminus A$ 上的核函数 $R_t(\cdot | a)$ 中采样。
扩散 (Diffusion)： 一旦进入 $X_A$ ，轨迹根据标准随机微分方程 (SDE) 进行扩散： $d\vec{X}_t = \vec{b}_t(\vec{X}_t)dt + g_t d\vec{W}_t$ 。
质量分裂 (Mass Split)： 边缘分布 $p_t$ 分裂为 $X_A$ 上的绝对连续密度和锚点 $A$ 上的原子质量。

关键创新（跨位置混合/Cross-Position Blending）： 不同于脱粘核仅依赖于局部锚点的标准混合模型，SJD 允许核函数通过一个混合矩阵 (blending matrix) $W$ 依赖于整个序列。位置 $i$ 处的脱粘分布均值是其邻居嵌入的加权混合： $\mu_i(\vec{X}_0) = (W E(\vec{X}_0))_i$ 。这直接将结构化归纳偏置（如空间局部性或约束图）编码进了破坏过程之中。

2. 逆向动力学 (粘附/Sticking)

SJD 的时间反转产生了一个具有两个耦合机制的生成过程：

得分驱动的 SDE： 在连续区域 $X_A$ 上，过程遵循由得分函数 $\nabla \log p_t(x)$ 驱动的逆向 SDE。
粘性跳跃核 (Sticky Jump Kernel)： 过程从连续区域跳回锚点。逆向危险率（何时跳跃）和跳跃目的地（跳向何处）由通量平衡方程（前向流与逆向流之间的细致平衡）唯一确定。
- 至关重要的是，承诺率和目的地不是人工设计的调度，而是由前向法则固定的。

3. 学习：去噪危险匹配 (Denoising Hazard Matching, DHM)

为了使逆向过程可训练，作者提出了 去噪危险匹配 (DHM)，这是去噪得分匹配的危险率类比。

单一分类器： 一个单一的去噪分类器 $P_\theta(a | y, t)$ 通过在 SJD 破坏后的对 $(\vec{X}_0, \vec{X}_t)$ 上使用标准交叉熵进行训练。
解析重加权 (Analytic Reweighting)： 逆向危险率和分配概率可以通过解析方式从 $P_\theta$ $P_{θ}$ 中恢复，而无需第二个网络头。
- 逆向危险率 $\vec{\lambda}^\star_t(y)$ 被估计为在前向已知的目标（DHM 目标）在 SJD 破坏下的条件期望。
- 分配概率 $\pi^\star_t(a|y)$ 通过使用 DHM 目标对分类器的 Logits 进行重加权来推导。
无模拟训练 (Simulation-Free Training)： 在标准条件下（闭式生存函数、高斯卷积闭合），训练不需要模拟 SJD 路径。目标所需的混合密度通过闭式求积进行评估，使得训练流水线是无模拟且高效的。

核心贡献

SJD 过程类： 一个统一的跳跃扩散框架，其前向边缘分布分裂为连续密度和离散原子。它将经典的粘性边界扩散推广到了高维锚点集。
基于单一分类器的逆向动力学： 作者证明了得分和每个锚点的逆向强度都可以通过 DHM 从单一的去噪分类器中估计出来。这消除了对单独危险率头的需求，并依赖于对分类器输出的 Rao–Blackwellized 重加权。
统一视角下的扩散家族： SJD 将现有模型作为特定的极限进行恢复：
- 掩码扩散 (Masked Diffusion)： 当脱粘核坍缩为一个吸收点时出现。掩码扩散中的“信息真空”在结构上得到了解释：脱粘核是与锚点无关的，因此被破坏的状态不携带任何关于源 Token 的证据。
- 连续扩散 (Continuous Diffusion)： 当跳跃率为零时出现。由于前向边缘分布中缺乏原子，导致没有逆向跳跃，这解释了为何必须进行终端投影。
- 混合扩散 (Hybrid Diffusion)： 当脱粘核与前向扰动核匹配时出现。研究表明，承诺率、目的地和漂移是自然遵循通量平衡，而非单独设计的。
跳跃核作为设计空间： 通过改变混合矩阵 $W$ ，作者引入了一个新的设计空间。跨位置混合将每个位置的破坏过程转向其邻居的洁净值之混合，从而将依赖结构（空间、序列或约束）转化为破坏过程本身的归纳偏置。

实验结果

作者在三个已知具有结构依赖性的数据集上验证了跨位置混合轴：

CIFAR-10 (图像生成)： 使用值空间模糊核来编码空间局部性，在 256 NFE 下，使用非局部核 ( $\sigma_B = 2.5$ ) 的 SJD 达到了比恒等核混合模型 (CADD, 15.88) 和其他基准 (MDLM, Bit Diffusion) 更低的 FID (14.57)。
Text8 (文本生成)： 使用 1D 高斯卷积来编码局部序列相关性，当 $\sigma_W \ge 1.0$ 时，SJD 在有效单词生成计数上超过了 CANDI 和 MDLM，特别是在较高的序列长度 ( $\ge 6$ ) 和各种 NFE 预算下。
Sudoku (约束满足)： 使用约束图核来编码行/列/宫的依赖关系，SJD 显著优于恒等核混合模型 (CADD)。CADD 表现出双峰特性（通常会坍缩到接近随机水平），而 SJD 能稳定解决棋盘问题，达到 95.65% 的准确率，并在训练步数上快了 4 倍。

意义与主张

论文声称，粘性跳跃扩散提供了一个过程级解释，统一了掩码、连续和混合扩散。

理论统一： 它证明了生成模型中的离散和连续坐标并不是需要手动耦合的两个独立实体，而是通过通量平衡固定的单一逆向状态中的承诺率和目的地。
设计空间扩展： 通过将脱粘核视为显式的设计空间，SJD 允许研究人员将结构化先验（如空间局部性或逻辑约束）直接编码进前向破坏动力学中。这在不改变逆向采样器基本架构的情况下，提高了生成的质量和逻辑一致性。
实际效率： 该框架在训练和采样成本上与现有的混合模型持平，因为 SJD 特有的结构仅通过解析重加权和闭式求积进入流程，不需要额外的网络参数或模拟开销。

作者总结道，这种统一的视角使得扩展扩散模型变得更加容易：新的破坏方式、调度方案和承诺规则可以作为前向动力学进行指定，并通过时间反转定理免费获得其逆向过程。