📊 statistics

Stop the Sampler! Classifier-Based Adaptive Stopping for Sampling Kernels

本文提出了一种将非循环 GFlowNets 与可学习神经分类器相结合的新型框架，以实现 MCMC 采样中自适应且依赖状态的轨迹终止，从而在提高模式覆盖率和混合效率的同时，显著降低了计算成本。

原作者： Kirill Korolev, Nikita Morozov, Stepan Pavlenko, Esmeralda S. Whitammer, Sergey Samsonov

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Kirill Korolev, Nikita Morozov, Stepan Pavlenko, Esmeralda S. Whitammer, Sergey Samsonov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在广袤、多雾的景观中寻找最珍贵的宝藏。在计算机科学和统计学的世界里，这个景观是一个“概率分布”，而宝藏则是最可能出现的结果（高密度区域）。你的目标是在这场大雾中进行一场“随机游走”以寻找这些宝藏，这个过程被称为采样（sampling）。

传统上，计算机使用一种叫做 MCMC（马尔可夫链蒙特卡洛） 的方法。你可以把它想象成派出一名徒步旅行者进入迷雾，并给他一个固定的规则：“走整整 1,000 步，然后停下来记录你所在的位置。”问题在于，如果是在复杂的区域，1,000 步可能太少了，无法找到宝藏；或者如果徒步旅行者在 10 步之后就找到了宝藏，那么这 1,000 步就是一个巨大的时间浪费。徒步旅行者会一直漫无目的地行走，白白消耗能量。

这篇题为 《停止采样！》（Stop the Sampler!） 的论文提出了一种更聪明的方法。他们不再使用固定规则，而是给了徒步旅行者一个智能、可学习的指南针（神经网络分类器），这个指南针可以观察四周并说：“啊！我正站在一个宝藏箱的正上方。我现在就该停下来！”

以下是他们想法的详细拆解，使用了简单的类比：

1. 问题所在：“固定步数”的徒步旅行者

在标准方法中，计算机不知道何时找到了一个好的位置。它只是按照预设的时间运行。

类比： 想象一位在巨大的博物馆里的游客，被告知：“走整整 30 分钟，然后停下来拍照。”如果他们在第 5 分钟就发现了《蒙娜丽莎》，他们仍不得不漫无目的地游荡剩下的 25 分钟。如果博物馆非常巨大，而他们只走了 5 分钟，他们可能会完全错过艺术品。
结果： 这浪费了时间（计算成本），并且往往导致结果不佳，因为徒步旅行者会困在一个房间（一个“模态”）里，无法探索博物馆的其他部分。

2. 解决方案：“智能停止”分类器

作者将“停止”的决策视为一种计算机可以学习的东西，就像学习驾驶或下棋一样。

类比： 他们训练了一个聪明的向导（分类器）来观察徒步旅行者的当前位置。如果向导看到徒步旅行者处于“高密度”区域（一个有很多宝藏的地方），它会说：“停！你完成了！”如果该区域看起来空旷或多雾，它会说：“继续走，你还没找到好东西呢。”
神奇之处： 这使得计算机可以在发现好点时进行短促、高效的旅行，而仅在需要探索新领域时才进行长途旅行。

3. 核心秘诀：“流网络”（GFlowNets）

为了让这种学习工作起来，作者使用了一个名为 GFlowNets 的数学框架。

类比： 想象一个河流系统。水（概率）从源头（起点）流向汇集处（终点）。河流的规则确保了流向任何区域的水量与流出的水量相匹配。
论文表明，如果“智能停止”向导完美地遵循这些河流规则，徒步旅行者访问宝藏点的频率将恰好符合预期的比例。它在数学上将“停止”决策与“宝藏地图”（目标分布）联系了起来。

4. “多层级”升级

对于非常复杂、高维度的景观（例如生成逼真的面部图像），单一的向导可能会感到困惑。

类比： 作者引入了一个多层级系统。想象徒步旅行者从一个非常多雾、模糊的版本博物馆开始（第 1 层）。一旦他们适应了，他们就会移动到稍微清晰一点的版本（第 2 层），以此类推，直到到达一个晶莹剔透的最终博物馆（第 5 层）。
在每一层， “智能停止”向导都会学习如何导航该特定层级。这有助于徒步旅行者在迷雾中探索整个博物馆而不至于被困住。

他们发现了什么？

作者在几个困难的“多雾景观”（具有许多峰值和谷值的数学函数）上进行了测试。

更短的行程： 与传统的“固定步数”方法相比，他们的方法平均需要更少的步数就能找到好的样本。
更好的探索： 徒步旅行者不会困在一个角落里；他们成功地访问了不同的“宝藏室”（模态），而其他方法则错过了这些地方。
更智能的修正： 通过同时教导徒步旅行者“如何走”（调整路径），而不只是“何时停”，他们得到了更好的结果。

总结

简而言之，这篇论文用一种习得的直觉取代了僵化的“走 1,000 步”规则，这种直觉能告诉计算机它何时找到了一个好的答案。通过将这种“停止”决策与先进的数学流规则相结合，他们创造了一个更快、更高效且更擅长在复杂数据中寻找所有隐藏宝藏的采样器。

技术摘要：停止采样器！基于分类器的采样核自适应停止技术

问题陈述
从复杂的非归一化概率密度 $\pi(x) = r(x)/Z$ 中进行采样是贝叶斯推理和概率建模中的一个基本挑战。虽然马尔可夫链蒙特卡罗（MCMC）方法提供了渐近保证，但在高维空间中，它们经常面临混合缓慢和计算成本高昂的问题。标准 MCMC 的一个关键局限在于依赖于固定或人工调优的轨迹长度。现有的确定停止时间的方法通常依赖于从生成的样本中计算出的在线诊断（例如 Gelman–Rubin、Geweke），这些诊断并不总是能提供肯定的停止准则，并可能导致过早终止或产生有偏估计。相反，摊销方法（例如归一化流、扩散采样器、GFlowNets）虽然将计算负担转移到了训练阶段，但往往绕过了 MCMC 的精确采样保证。

方法论
作者提出了一种全新的框架，将轨迹终止视为采样动力学中可学习的组成部分，从而架起了 MCMC 与摊销采样之间的桥梁。其核心方法论包括：

非无环 GFlowNet 公式化：作者将具有自适应停止功能的 MCMC 纳入非无环生成流网络（GFlowNet）理论框架中。他们定义了一个结构化状态空间 $\bar{S} = \{s_0\} \cup S \cup \{s_f\}$ ，其中 $S = \mathbb{R}^d$ 代表连续状态空间， $s_0$ 是源状态， $s_f$ 是吸收汇状态。与标准的无环 GFlowNet 不同，这种设置允许 $S$ 内部存在循环。
基于分类器的停止：该方法不运行固定步数的马尔可夫链，而是利用状态相关的神经分类器 $d_F(s)$ $d_{F} (s)$ 和 $d_B(s)$ $d_{B} (s)$ 来决定何时应终止轨迹。
- 前向分类器 $d_F(s)$ 决定直接转移到汇状态 $s_f$ （停止）的概率。
- 后向分类器 $d_B(s)$ 控制移动到源状态 $s_0$ 的概率。
- 前向转移密度定义为 $p_F(s'|s) = (1 - d_F(s))q_F(s'|s)$ 用于连续转移，而 $p_F(s_f|s) = d_F(s)$ 用于终止。
理论联系：论文通过详细平衡条件建立了学习到的停止策略与目标密度 $\pi$ 之间的严谨联系。从理论上讲，最优前向分类器被证明满足 $d_F(s) = r(s)/f(s)$ ，其中 $f(s)$ 是流测度。这表明停止决策与注入质量与目标分布之间的累积差异有关。
训练算法：作者利用前缀轨迹平衡（TB）目标，这在非无环环境中计算效率很高。训练过程包括：
- 在禁用分类器的情况下采样固定最大长度 $N_{max}$ 的部分轨迹以鼓励探索。
- 使用终止转移扩展前缀，以形成完整的轨迹。
- 最小化一个结合了前缀轨迹平衡损失与流正则化项的损失函数。该正则化项通过惩罚总流来鼓励更短的轨迹，从而有效地最小化期望轨迹长度。
多层泛化：为了处理复杂的几何结构，该框架扩展到了多层方案。状态空间通过增加层变量 $\ell \in \{1, \dots, L\}$ 进行增强，允许模型在不同机制之间切换。中间奖励 $r(s, \ell)$ 被定义为在初始分布与目标之间进行插值，类似于退火重要性采样，从而稳定训练和探索。

核心贡献

理论框架：作者证明了在 $\mathbb{R}^d$ 中具有停止可能性的采样动力学可以被视为非无环 GFlowNet 环境。他们推导了最优分类器与目标密度之间的关系，并使用了流和详细平衡条件。
实用算法：他们引入了结合学习到的前向核修正与自适应停止的实用算法。其中包括旨在提高复杂几何结构下训练稳定性与探索能力的层级扩展。
实证评估：该方法在各种基准密度（GMM9、Funnel、ManyWell 以及高维 Digits 任务）上进行了评估。结果表明，与标准 MCMC 基线（如 ULA）相比，该方法显著减少了平均轨迹长度，同时提高了模式覆盖率和混合性能。

实验结果

轨迹长度：与固定步数的 ULA 以及带有标准收敛诊断（Gelman–Rubin、Geweke）的 ULA 相比，基于分类器的方法大幅减少了平均轨迹长度（ $E[n_\tau]$ ）。例如，在 GMM9 ( $d=2$ ) 任务上，学习到的分类器将轨迹长度从约 104 步（ULA）减少到了约 15 步。
样本质量：虽然分类器本身减少了轨迹长度，但完整的模型（包括学习到的前向核修正）显著提升了近似质量。这体现在更低的 Sinkhorn 距离（SD）、更低的最大均差（MMD）以及更紧致的证据下界/上界（ELBO/EUBO）。
模式覆盖：可视化和定量指标显示，所提方法能够有效地在遥远的高密度区域和模式之间进行转换，而标准 ULA 则往往受困于局部区域。
多层性能：多层扩展（ $L=5$ ）始终优于单层模型，并在高维任务（如 $d=196$ 的 Digits）上达到了与成熟的扩散采样方法（PIS、DDS）相竞争的水平。

意义与主张
本文声称提供了一个统一的框架，在该框架下，采样轨迹可以在高密度区域动态缩短，而在其他区域保持探索性。通过将停止视为一个可学习的组件，该方法解决了固定长度 MCMC 轨迹效率低下的问题，且没有牺牲与基于流的采样相关的理论保证。作者指出，尽管该方法引入了额外的优化复杂性（需要平衡探索与正则化），但它提供了一种原则性的方法来消除固定核（如 ULA）的偏差，并适应复杂目标分布的几何特性。这项工作表明，未来的研究方向包括改进连续非无环 GFlowNet 的训练目标，并将该框架扩展到更具表达力的动力学，如哈密顿蒙特卡罗（HMC）。

1. 问题所在：“固定步数”的徒步旅行者

2. 解决方案：“智能停止”分类器

3. 核心秘诀：“流网络”（GFlowNets）

4. “多层级”升级

他们发现了什么？

总结

类似论文