Mode Collapse in Nested Sampling

技术摘要：嵌套采样中的模式崩塌（Mode Collapse）

问题陈述
嵌套采样是一种广泛用于贝叶斯模型比较和后验推断的蒙特卡洛算法，因其在处理多峰后验分布方面的鲁棒性而备受重视。该算法维持着一个由 $K$ 个从先验分布中抽取的“活跃点”（live points）组成的种群。在每次迭代中，具有最低似然值的点会被丢弃，并由一个根据先验分布生成的、且似然值高于被丢弃点的新样本进行替换。

虽然该算法旨在自然地消除被数据排除的模式，但本文识别出一种特定的失效模式：意外模式消亡（或称模式崩塌）。当点集的补充过程具有随机性时，即使某个有效的模式仍受数据支持，也可能发生这种现象，导致该模式被无意中放弃。在处理高维、多峰设置时，由于用于替换样本的马尔可夫链（例如切片采样、撞击与运行采样）难以遍历不连通的模式，这一风险尤为突出。如果一个模式失去了所有的活跃点，采样器将无法重新发现它，从而导致后验分布偏差和证据估计错误。

方法论
作者开发了一个概率模型来量化这种意外崩塌的可能性，其灵感来源于群体遗传学中的中性莫兰过程（neutral Moran process）。

1. 假设与状态模型：

   • 系统被建模为具有两个模式（0 和 1），其约束先验质量分别为 $p$ 和 $1-p$。
   • 种群由 $K$ 个活跃点组成。状态由模式 1 中的活跃点数量 $i$ 来定义。
   • 分析假设似然限制先验采样器（LRPS）是忠实的（即按剩余质量比例进行采样），并且一旦某个模式为空，重新发现该模式的可能性可以忽略不计。
   • 为了提供保守的估计，模型假设两个模式具有相等的似然梯度。这简化了移除概率，使其与当前占用率（$i/K$）成正比，从而忽略了更陡峭的梯度实际上可能会保护模式免受移除这一事实。

2. 转移动力学：

   • 在每次迭代中，一个点被移除，并基于从当前 $K$ 个活跃点中均匀抽取的种子生成一个替换点。
   • 在等梯度假设下，状态 $i$ 变为 $i+1$、$i-1$ 或保持 $i$ 的概率遵循在集合 $\{0, 1, \dots, K\}$ 上的对称随机游走。
   • 状态 $0$和$K$ 是吸收态（一旦一个模式变为空或被完全占据，它就会保持该状态）。

3. 数值评估：

   • 通过将初始二项分布（公式 1）与由随机游走概率（公式 2–4）定义的转移矩阵相乘，计算状态随时间变化的概率分布。
   • “演化崩塌概率” $P_{evol}(t)$ 被计算为：在给定初始时两个模式均有分布的情况下，在第 $t$ 次迭代时达到吸收态的条件概率。

关键结果
数值评估显示，当以迭代次数为自变量绘制时，模式崩塌的概率分布呈现出 S 型曲线（sigmoidal curve）。至关重要的是，当迭代次数通过因子 $K^2 \times \min(p, 1-p)$ 进行归一化时，不同 $K$ 值和 $p$ 值的曲线会趋于一致。

• 定标律（Scaling Law）： 只要迭代次数 $t$ 满足 $t \lesssim K^2 \times \min(p, 1-p)$，演化模式崩塌的概率就保持在 50% 以下。
• 启发式规则： 由于从先验更新到后验所需的总迭代次数近似为 $K \times H$（其中 $H$ 是信息增益或 KL 散度），本文推导出了一个关于使意外崩塌变得不太可能的最小活跃点数 $K$ 的经验法则：
  $$K \gtrsim \frac{H}{\min(p, 1-p)}$$
  为了使崩塌概率远低于 50%，$K$ 应显著超过这个下界数倍。

意义与主张
本文声称提供了一个理解嵌套采样中模式崩塌风险的通用且与维度无关的框架。其主要贡献在于推导出了一个简单的启发式公式（公式 10），将必要的种群规模 $K$ 与信息增益 $H$ 以及最小模式的分数质量 $p$ 联系起来。

作者指出，对于典型的信息增益（$H \sim 10\text{--}1000$ nats）和适中的最小模式比例（$p=0.1$），该规则建议的 $K$ 值范围在 100 到 10,000 之间。然而，本文谦虚地总结道，在文献中常用的配置下，意外的模式消亡是“极其罕见”的。该分析可作为一种诊断工具：在初始运行之后，可以使用公式 10 来估计发生非故意模式消亡的可能性。

本文还将研究结果与现有的动态预防方法（例如 MultiNest 的聚类法或 UltraNest 的反应式嵌套采样）进行了对比，指出虽然这些方法依赖于检测模式来分配资源，但所推导的定标律提供了一个基本的基准，用于在无需显式聚类的情况下设定 $K$ 以确保模式保留。