📊 statistics

Reinforced sequential Monte Carlo for amortised sampling

本文介绍了强化顺序蒙特卡洛（Reinforced Sequential Monte Carlo），这是一个新颖的框架，它通过将经由最大熵强化学习训练的摊销神经采样器与顺序蒙特卡洛方法相结合，以在合成目标和分子目标上均实现稳定的离策训练并提高非归一化分布的采样精度。

原作者： Sanghyeok Choi, Sarthak Mittal, Víctor Elvira, Jinkyoo Park, Esmeralda S. Whitammer

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sanghyeok Choi, Sarthak Mittal, Víctor Elvira, Jinkyoo Park, Esmeralda S. Whitammer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广袤、黑暗且雾气弥漫的山脉中寻找最佳的露营地点。这些“最佳地点”是空气最浓厚的山谷（高概率区域），但你手中的地图并不完整，你也无法一次看清整个地貌。这就是科学家在化学或统计学等领域处理复杂数学分布时所面临的问题。

这篇论文提出了一种解决该问题的新方法，它结合了两种截然不同的策略：一位聪明的、受过训练的向导，以及一群带着手电筒的探险者。

两种旧方法（以及它们为何挣扎）

“醉汉徒步者”（蒙特卡洛方法/Monte Carlo Methods）：
想象你派出一名徒步者，他进行随机步进。如果他跌入了一个山谷，他会在那里停留一段时间。经过许多年的努力，他最终会访问每一个山谷。
- 问题在于： 这需要花费极长的时间。如果这座山有很多深邃且彼此分离的山谷（模态/modes），徒步者可能会困在一个山谷中，永远无法发现其他的山谷。
“受训向导”（摊销采样/Amortised Sampling）：
想象你利用一张巨大的地图训练了一位向导，让他学会精确识别山谷的位置。一旦训练完成，这位向导可以瞬间为你指出一个好地方。
- 问题在于： 向导的表现取决于训练数据的质量。如果向导感到困惑或产生“幻觉”，他可能只知道一个山谷而忽略了其他所有山谷。他无法轻易地“环顾四周”去寻找他在训练期间错过的区域。

新的解决方案：团队协作

作者创建了一个系统，让受训向导和醉汉徒步者在一个循环中互相帮助。他们称之为强化序贯蒙特卡洛（Reinforced Sequential Monte Carlo）。

以下是这个类比的工作原理：

1. 向导从探险者那里学习（离策训练/Off-Policy Training）

通常，向导仅通过观察自己走过的路径来进行训练。但在这种新系统中，向导还会观察一支探险队（使用一种称为序贯蒙特卡洛/Sequential Monte Carlo的方法的“醉汉徒步者”）。

这些探险者擅长四处游荡并寻找广泛的区域，能够发现向导在训练期间尚未见过的山谷。
向导观察这些探险者，从他们的发现中学习，并更新自己的地图。这防止了向导仅仅困在一个地方。

2. 探险者利用向导的地图（更好的提议/Better Proposals）

反过来，探险者不再只是盲目地游荡。他们利用向导当前的知识来决定下一步该往哪里走。

探险者不再是盲目地跌撞，而是利用向导提供的“提议”（proposal）更智能地向有希望的区域移动。
这使得探索过程更加快速且高效。

3. “回放缓冲区”（记忆库/The Replay Buffer）

为了让效果更好，团队保留了一个回放缓冲区。你可以把它想象成一本记录了探险者过去发现的所有好地方的巨大剪贴簿。

当向导进行训练时，他不仅看当前的探险者，还会翻阅这本剪贴簿。
转折点在于： 论文引入了一种巧妙的方法来为这些记忆加权。如果一段记忆（一个样本）非常罕见或难以寻找，它就会获得一颗“金星”（更高的权重）参与训练过程。这确保了向导会格外关注那些容易被忽视的、稀有的、难以找到的山谷。

4. 自适应退火（“软化”过滤器/Adaptive Tempering）

有时，探险者的权重会变得过于极端（例如，一个人认为他找到了唯一的山谷，而其他人则认为那是死路一条）。这会导致训练变得不稳定。

作者使用了一种名为自适应退火的技术。想象一个过滤器，它能温柔地平滑掉极端的观点。如果团队意见过于分歧，过滤器会适度地软化这些差异，使团队保持协作，然后随着向导变得越来越聪明，再逐渐收紧过滤程度。

结果：他们发现了什么？

团队在两种类型的挑战上测试了这个系统：

连续空间： 类似于在一个平滑、起伏的景观中寻找最佳位置（由数学上的“漏斗”和“井”模拟）。
离散空间： 类似于寻找组成单词的最佳字母组合（用于设计分子和 DNA 序列）。

结果：

更好的覆盖率： 新方法找到了更多的山谷（模态）比旧方法。单独的“醉汉徒步者”遗漏了很多，而单独的“受训向导”则容易陷入停滞。两者结合，几乎找出了所有的隐藏区域。
稳定性： 与之前的方法相比，其训练不太容易崩溃或失控。
现实世界测试： 他们甚至将其应用于 丙氨酸二肽（Alanine Dipeptide），这是一种用于研究蛋白质折叠的分子。他们的这种方法比以往的尝试更好地模拟了该分子可能的各种形状。

简而言之

这篇论文关于如何通过让机器学习模型向一群随机游荡者学习，同时帮助这些游荡者更快找到方向，从而教给机器如何成为一名更好的探险家。通过将传统数学中的“随机性”与神经网络中的“智能”相结合，并保留对过去发现的聪明记忆，他们创造了一个比以往更快速、更稳定且能发现复杂数据景观中更多隐藏宝藏的采样器。

技术摘要：用于摊销采样的强化顺序蒙特卡洛法

问题陈述

本文解决了从高维、未归一化概率分布 $\pi(x) = R(x)/Z$ 中采样的挑战，其中归一化常数 $Z$ 是未知的。这一问题在贝叶斯推理和计算化学（例如分子构象采样）中至关重要。经典的近似方法如马尔可夫链蒙特卡洛（MCMC）和顺序蒙特卡洛（SMC）虽然稳健，但通常需要许多步骤才能收敛。相反，摊销方法（例如扩散模型、GFlowNets）通过学习参数化采样器在有限时间内生成样本，但往往面临模式崩塌（mode collapse）、对多峰景观探索不足或在使用在策略（on-policy）目标训练时出现不稳定的问题。作者寻求一种协同作用，将基于粒子的方法的探索能力与摊销采样的效率结合起来。

方法论

提出的框架——强化顺序蒙特卡洛（Reinforced SMC）——统一了层次变分推理（HVI）、最大熵强化学习（MaxEnt RL）以及 SMC/退火重要性采样（AIS）。

1. 理论统一

作者建立了这三个领域之间的数学联系：

HVI 与 MaxEnt RL： 从目标分布中采样被建模为一个确定性马尔可夫决策过程（MDP），其状态为 $(n, x_n)$ ，动作是转移 $x_{n+1}$ 。目标是学习一个策略 $\vec{p}_\theta$ ，以最大化期望奖励（对数概率）和熵。这等价于最小化联合轨迹分布与目标分布之间的反向 Kullback-Leibler (KL) 散度。
SMC 联系： SMC 中的重要性权重对应于 GFlowNets 中使用的轨迹平衡（TB）和子轨迹平衡（SubTB）目标中的项。具体而言，如果 SubTB 损失被最小化为零，则提议核（proposal kernels）将满足与中间目标的细致平衡，从而使重要性权重变为均匀分布。

2. 核心算法：使用 SMC 进行离策略训练

核心创新在于使用 SMC 作为行为策略来对摊销采样器进行离策略（off-policy）训练。

互利关系： 摊销采样器（策略 $\vec{p}_\theta$ 和流函数 $F^\phi_n$ ）提供提议核和中间目标。作为回报，SMC 生成的样本能更好地探索目标分布（包括当前采样器可能错过的概率较高的区域）。这些 SMC 样本被用于更新摊销采样器。
训练目标：
- 使用 轨迹平衡（TB） 损失来更新策略参数 $\theta$ 。
- 使用 子轨迹平衡（SubTB） 损失来更新流（中间目标）参数 $\phi$ 。
- 作者通过实验发现，使用 TB 更新 $\theta$ 且使用 SubTB 更新 $\phi$ 能产生最稳定的训练效果。

3. 关键技术组件

重要性加权经验回放（IW-Buf）： 为了利用历史数据，作者引入了一个回放缓冲区，其中样本的优先级并非基于时间差分误差（如标准 RL 中那样），而是基于其重要性权重。这使得缓冲区能够维持一个目标分布 $\pi(x)$ 的粒子近似，并实现弱收敛。
自适应权重调温（Adaptive Weight Tempering）： 为了缓解重要性权重带来的高方差（这会导致训练不稳定），引入了一个自适应逆温度参数 $\lambda$ 。 $\lambda$ 会动态调整，以确保有效样本量（ESS）保持在用户定义的阈值之上，从而在不引入过度偏差的情况下平滑权重。
自适应重采样： SMC 循环中的重采样仅在 ESS 低于阈值时执行，从而平衡计算成本与权重退化问题。
流学习（Flow Learning）： 并非使用固定的几何退火方案，而是学习中间目标 $F^\phi_n$ 。作者提出了一种结合可学习退火方案 $\beta^\phi_n$ 与可学习修正项 $\tilde{F}^\phi_n$ 的参数化方法，使模型能够更接近地逼近真实的中间目标。

核心贡献

统一框架： 本文提供了第一个关于 HVI、MaxEnt RL 和 SMC/AIS 的统一处理方法，证明了 MaxEnt RL 中的最优策略对应于 SMC 中的最优提议。
离策略训练方案： 引入了一种使用由 SMC 生成的离策略样本来训练摊销采样器的方法，创造了一个反馈循环：采样器改进 SMC 的提议，而 SMC 改进采样器的探索能力。
稳定化技术： 推导出了重要性加权经验回放缓冲区和自适应调温方案，以降低梯度方差并提高训练稳定性。
学习中间目标： 提供了一种学习 SMC 中间分布（流）的原则性方法，超越了固定的退火方案。

实验结果

该方法在连续和离散空间的合成多峰目标以及丙氨酸二肽（alanine dipeptide）构象的玻尔兹曼分布上进行了评估。

连续空间（扩散采样器）：
- 无梯度设置： 在 GMM40、Funnel 和 ManyWell 等基准测试中，所提出的方法（TB/SubTB + SMC + IW-Buf）在 EUBO 和 Sinkhorn 距离方面显著优于在策略基线（DDS, LV, TB），表明其具有更优的模式覆盖能力并减少了模式崩塌。
- 基于梯度设置： 与先进的基线（如 SCLC 和 CMCD）相比，该方法在复杂的机器人（Robot4）和 GMM40 等目标上提升了性能，特别是在存在尖锐且分离的模式的情景下。
离散空间（序列生成）：
- 应用于生化序列设计（QM9, sEH, TFbind8, L14-RNA1），IW-Buf 方法在模式覆盖（更低的 EUBO）和与目标奖励的 Pearson 相关性方面，始终优于标准的在策略训练和其他缓冲区优先级方案。
分子构象（丙氨酸二肽）：
- 该方法成功逼近了玻尔兹曼分布，表现优于未能收敛的基线。引入 SMC 和经验回放对于在复杂能量景观中导航至关重要。

重要性与主张

本文声称通过弥合摊销采样与蒙特卡洛方法之间的鸿沟，推动了机器学习领域的发展。

协同作用： 它证明了可以结合 MC 方法（探索性、稳健性）和摊销方法（速度、泛化性）的长处。MC 方法受益于学习到的摊销核，而摊销采样器则受益于 MC 的离策略探索。
通用性： 该框架不假设特定的训练损失形式（例如，它适用于通用的离策略目标），并且适用于连续和离散空间。
稳定性： 所提出的技术（自适应调温、学习流）解决了训练神经采样器时的常见不稳定问题，特别是在高维、多模态的设置下。

作者指出，尽管其方法相比在策略训练有实质性改进，但未来的工作可以探索更好的 SMC 目标分布、学习中间目标的替代目标，以及在高维贝叶斯后验和离散生物发现问题中的应用。