📊 statistics

Discrete diffusion samplers and bridges: Off-policy algorithms and applications in latent spaces

本文介绍了针对离散扩散采样器的离线策略训练技术以及一种新颖的数据到能量薛定谔桥框架，证明了它们在提升合成基准测试采样性能方面的有效性，并实现了图像生成模型离散潜在空间内的无数据后验采样。

原作者： Arran Carter, Sanghyeok Choi, Kirill Tamogashev, Víctor Elvira, Nikolay Malkin

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Arran Carter, Sanghyeok Choi, Kirill Tamogashev, Víctor Elvira, Nikolay Malkin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图在一个巨大、黑暗的剧院（即“目标分布”）中找到最佳座位。你知道剧院的布局以及好座位的位置（即“能量函数”），但你不知道座位的总数，而且由于灯光熄灭，你无法直接走进去挑选座位。你需要一位向导来引领你找到好座位。

多年来，科学家们为连续空间（如平滑的地面）拥有了出色的向导，但在离散空间（如由特定、独立座位组成的网格）中，向导往往笨拙不堪。它们会困在剧院的某个区域，或者错过整排的好座位。

本文介绍了一种利用离散扩散采样器（Discrete Diffusion Samplers）训练这些向导的新颖且更智能的方法。以下是其三大核心创新的简要解析：

1. “回放缓冲区”与“侦察兵”（离线策略训练）

问题：想象一位导游只通过行走当前路径来学习。如果它被困死胡同，它就永远无法了解隔壁房间的好座位。它是“在线策略”（on-policy）的，意味着它只从自己当下的错误中学习。

解决方案：作者教导导游使用离线策略（Off-Policy）技术。

回放缓冲区（Replay Buffer）：将其想象为一个记忆库。导游保存它曾经走过的每一条有趣路径，即使那是几周前的事。在训练时，导游不再仅仅行走当前路径，而是回顾这些旧路径以从中学习。
侦察兵（MCMC）：有时，导游需要一点推动力来打破僵局。作者加入了一位“侦察兵”（一种马尔可夫链蒙特卡洛算法）。这位侦察兵是一个局部探索者，可以在附近的座位间跳跃以寻找更好的位置，并将这些信息反馈给主导游。

结果：通过使用这个记忆库和侦察兵，导游学习得更快，并且关键的是，它能找到剧院中所有的好座位（模式），而不仅仅是它最初偶然发现的那些。在论文的测试中，这种方法防止了导游被困在房间的某个角落。

2. “桥梁构建者”（数据到能量的薛定谔桥）

问题：通常，你想从点 A（一个简单、已知的分布）到达点 B（你的复杂目标）。但如果点 B 不是一份你能看到的座位清单呢？如果点 B 只是一套描述座位“有多好”的规则（能量函数），而没有向你展示座位本身呢？

解决方案：作者在两个世界之间构建了一座桥梁。

想象你拥有一张城市地图（点 A）和一份仅由声誉评分定义的“最佳社区”列表（点 B）。
本文构建了一座“薛定谔桥”，将已知地图连接到声誉列表。它学习了从已知城市走向基于声誉的社区的路径，即使你在到达之前无法看到目的地。
他们首次在“离散”世界（座位是离散的块，而非平滑的街道）中实现了这一点。

结果：他们成功构建了一条从简单起点到复杂、基于规则的目的地的路径，在论文中可视化为从三个高斯分布的混合体移动到两个高斯分布的混合体，并表示为二进制代码。

3. 图像生成器的“翻译官”（外包采样）

问题：现代 AI 图像生成器（如那些生成猫或数字图片的模型）通常在“潜在空间”中工作。将其想象为 AI 用来理解图像的加密代码语言。有时，你想强制 AI 生成特定类型的图像（例如，“仅生成奇数”），但你无法直接告诉 AI 如何做到这一点。

解决方案：作者利用他们的新向导直接在这种加密代码语言中进行采样。

他们不再试图逐像素地修正图像，而是训练他们的向导在预训练图像模型（VQ-VAE）的离散潜在空间（加密代码）中进行导航。
他们告诉向导：“找到那些解码后看起来像数字'5'或'7'的代码。”

结果：向导成功学会了导航加密代码，以生成特定数字（如 1、5、7）和类别（奇数与偶数）的图像，而无需在训练过程中看到最终图像。它有效地将寻找正确图像的艰巨工作“外包”给了在代码空间中工作的向导。

总结

简而言之，本文将一种用于平滑、连续问题的强大采样技术进行了调整，使其适用于离散、块状的问题（如网格或代码）。

它通过让采样器记住过去的路径并使用局部探索者来避免陷入困境，从而使其变得更聪明。
它构建了一座桥梁，以到达仅由规则定义而非由示例定义的目标。
它证明了该方法适用于图像生成，允许 AI 通过导航其内部的“加密代码”语言来寻找特定图像。

论文声称，这些方法始终优于先前的技术，特别是在采样器倾向于陷入单一解决方案而非探索所有好方案的困难场景中。

技术摘要：离散扩散采样器与桥接

问题陈述

本文解决了在离散状态空间 $\mathcal{S} = \{1, \dots, C\}^d$ 上从分布 $p(x) \propto e^{-E(x)}$ 中采样的挑战，其中能量函数 $E$ 已知，但归一化常数 $Z$ 难以计算。虽然扩散采样器已成功利用随机最优控制和路径空间匹配适配于连续空间，但其在离散空间中的应用仍显不足。现有的离散扩散采样器往往未能利用在连续环境中标准的离线（off-policy）强化学习（RL）技术，导致在高度多模态分布中模式覆盖和采样质量次优。此外，离散空间中连接两个任意分布（即薛定谔桥）的问题主要局限于双方均可获取样本的“数据到数据”场景，而“数据到能量”场景（即其中一个分布仅由非归一化密度定义）尚未被探索。

方法论

作者提出了一种框架，将离线训练策略整合到离散扩散采样器中，并将这些方法推广至离散薛定谔桥。

1. 离散扩散采样器的离线训练

核心方法论涉及训练前向核 $\overrightarrow{p}_\theta$ 以匹配目标分布，通过最小化前向过程轨迹分布与后向（加噪）过程轨迹分布之间的散度来实现。所研究的目标函数为二阶矩散度，具体包括：

轨迹平衡（TB）： 将归一化常数视为可学习参数。
对数方差（LV）： 最小化前向概率与后向概率比值的对数方差。

为了改善探索和模式覆盖，作者引入了三种源自强化学习和生成流网络（GFlowNets）的离线策略：

回放缓冲区（Replay Buffer）： 存储采样状态 $X_N$ ，并通过采样后向轨迹 $\overleftarrow{p}^{\otimes N}$ 进行重用以用于训练。
重要性加权缓冲区（Importance-Weighted Buffer）： 根据生成缓冲区元素的轨迹的重要性权重分配采样概率，优先处理当前采样器可能遗漏的高概率区域。
MCMC 探索： 在用于训练之前，利用马尔可夫链蒙特卡洛（MCMC）步骤（如 Swendsen-Wang 或 Metropolis-Hastings）细化来自回放缓冲区的样本。这直接利用能量函数引导采样器趋向高密度区域，而无需模型 rollout。

2. 离散数据到能量薛定谔桥

本文将采样问题推广为寻找两个任意分布 $p_0$ 和 $p_N$ 之间的薛定谔桥（SB）。与假设两个端点均有样本的以往离散 SB 工作不同，本文解决了数据到能量场景，其中 $p_N$ 仅由能量函数定义。

该方法采用迭代比例拟合（IPF）过程。
它在拟合后向核（通过对 $p_0$ 的样本进行最大似然估计）和拟合前向核（通过对能量定义的 $p_N$ 的样本进行对数方差损失优化）之间交替进行。
离线技术（缓冲区和 MCMC）被整合到 IPF 循环中，以促进对能量定义分布的探索。

3. 潜在空间的应用

作者将这些采样器应用于“外包”后验采样。他们在预训练的矢量量化变分自编码器（VQ-VAE）的离散潜在空间中训练扩散采样器。目标是在不观察无偏条件样本的情况下，从后验分布 $p(z|y) \propto p_{latent}(z)p(y|f(z))$ 中采样，从而通过在潜在空间中学习采样来有效地对生成模型进行条件控制。

主要贡献

离散采样器的离线算法： 将离线强化学习技术（回放缓冲区、重要性加权和 MCMC 探索）引入离散扩散采样器的训练。论文表明，这些技术显著优于在线（on-policy）基线。
数据到能量薛定谔桥： 首次将离散扩散采样器推广至数据到能量的薛定谔桥问题，使得构建基于样本的分布与基于能量定义的分布之间的传输映射成为可能。
潜在空间后验采样： 展示了离散扩散采样器用于图像生成模型离散潜在空间中的后验推断，表明能够在不重新训练生成模型的情况下对类别标签（例如奇数/偶数数字）进行条件控制。

实验结果

作者在合成基准测试和现实世界应用中评估了其方法：

伊辛（Ising）和 Potts 模型： 在 $16 \times 16$ 格点上，离线方法（特别是结合缓冲区与 MCMC 的 TB）始终优于在线方法和基线掩码扩散神经采样器（MDNS）。它们实现了更低的 Sinkhorn 距离和磁化/相关误差，特别是在模式崩溃普遍存在的低温（高 $\beta$ ）条件下。
离散化合成密度： 在通过格雷码离散化的具有挑战性的多模态分布（40GMM 和 ManyWell）上，离线方法成功发现了所有模式，而在线方法和 MDNS 往往无法覆盖完整分布。
薛定谔桥： 在简单分布与多模态分布之间的桥接任务中，离线方法有效地扩展到复杂目标，而在线采样器则发生崩溃。
外包采样： 从潜在空间生成的 MNIST 数字可视化显示，在线和离线采样器均能成功生成所需类别的数字（例如奇数与偶数），验证了该方法用于条件生成的实用性。

意义与主张

本文主张，整合离线训练技术是离散扩散采样器向前迈出的关键一步，解决了模式崩溃问题并提高了高维多模态离散空间中的采样效率。通过弥合离散扩散与离线强化学习之间的差距，作者表明这些采样器比先前方法能更有效地处理复杂的统计物理问题（伊辛/Potts）和组合优化任务。

此外，这项工作将薛定谔桥的理论范围扩展到了离散域中的数据到能量场景，为在其中一个分布由能量函数定义时的分布间传输提供了新工具。最后，在潜在空间中的应用展示了一条实用途径，用于对预训练生成模型进行条件控制，而无需访问完整数据分布或重新训练生成模型本身。

作者承认了局限性，包括需要固定加噪核以及轨迹存储的计算成本，但建议通过更粗时间尺度的训练（如连续时间理论扩展所支持）可能缓解部分成本。他们指出了未来的方向，例如从数据中学习能量函数，以及将这些方法扩展到更大的图像生成模型。