Mode Collapse in Nested Sampling

技術要約：ネステッドサンプリングにおけるモード崩壊

問題提起
ネステッドサンプリング（Nested Sampling）は、ベイズモデル比較や事後分布推論に広く用いられるモンテカルロアルゴリズムであり、特にマルチモーダルな事後分布に対する堅牢性において高く評価されている。このアルゴリズムは、$K$ 個の「ライブポイント」からなる集団を事前分布から維持する。各イテレーションにおいて、最も尤度が低い点が破棄され、破棄された点よりも高い尤度を持つように事前分布から制約付きで新たに生成されたサンプルによって置き換えられる。

本論文は、アルゴリズムは本来、データによって否定されたモードを自然に排除するように設計されている一方で、特定の失敗モードである**「偶発的なモード消失（accidental mode die-out）」**（またはモード崩壊）を特定している。これは、点の補充における確率的な性質により、たとえデータがそのモードを支持していても、正当なモードが意図せず放棄されてしまう現象である。このリスクは、高次元かつマルチモーダルな設定において、置換に使用されるマルコフ連鎖（例：スライスサンプリング、ヒット・アンド・ラン）が断絶したモードを横断することに苦慮する場合に、特に深刻となる。もしあるモードのライブポイントがすべて失われると、サンプラーはそのモードを再発見することができなくなり、結果として偏った事後分布と誤ったエビデンス推定を招く。

手法
著者は、集団遺伝学における**中立モラ・プロセス（neutral Moran process）**との類推を用い、この偶発的な崩壊の可能性を定量化するための確率モデルを開発した。

1. 仮定と状態モデル：

   • システムは、制約付き事前質量が $p$ と $1-p$ である2つのモード（0と1）を持つものとしてモデル化される。
   • 集団は $K$ 個のライブポイントで構成される。状態は、モード1におけるライブポイントの数 $i$ によって定義される。
   • 尤度制限付き事前分布サンプラー（LRPS）は忠実（残存質量に比例してサンプリングする）であり、一度空になったモードの再発見は無視できると仮定する。
   • 保守的な推定を行うため、モデルは両方のモードにおいて尤度の勾配が等しいと仮定する。これにより、除去の確率は現在の占有率（$i/K$）に比例すると簡略化される。これは、急峻な勾配がモードの除去から保護する可能性があるという事実を無視している。

2. 遷移ダイナミクス：

   • 各イテレーションにおいて、点は1つ除去され、現在の $K$ 個のライブポイントから一様に選ばれたシードに基づいて補充が行われる。
   • 等勾配の仮定の下では、状態 $i$ が $i+1$、$i-1$、または $i$ のままとなる確率は、集合 $\{0, 1, \dots, K\}$ 上の対称ランダムウォークに従う。
   • 状態 $0$および$K$ は吸収状態である（一度モードが空になるか、あるいは完全に占有されると、その状態が維持される）。

3. 数値評価：

   • 状態の確率分布は、初期の二項分布（式1）を、ランダムウォークの確率（式2–4）によって定義される遷移行列と反復的に乗算することによって算出される。
   • 「進化した崩壊確率」$P_{evol}(t)$ は、両方のモードが初期に存在していたという条件下で、イテレーション $t$ までに吸収状態に到達する条件付き確率として計算される。

主要な結果
数値評価の結果、モード崩壊の確率は、イテレーション数に対してプロットした際にシグモイド曲線を描くことが明らかになった。極めて重要なことに、異なる $K$ および $p$ の値に対する曲線は、イテレーション数を因子 $K^2 \times \min(p, 1-p)$ で正規化した際に一致する。

• スケーリング則： 進化したモード崩壊の確率は、イテレーション数 $t$ が $t \lesssim K^2 \times \min(p, 1-p)$ を満たす限り、50%を下回る。
• ヒューリスティックな規則： 事前分布から事後分布へ更新するために必要な総イテレーション数は近似的に $K \times H$（ここで $H$ は情報利得またはKLダイバージェンス）であるため、本論文は、偶発的な崩壊を発生しにくくするために必要な最小限のライブポイント数に関する経験則を導出している：
  $$K \gtrsim \frac{H}{\min(p, 1-p)}$$
  崩壊確率を50%を十分に下回るレベルにするには、$K$ はこの下限値を数倍上回る必要がある。

意義と主張
本論文は、ネステッドサンプリングにおけるモード崩壊のリスクを理解するための、次元に依存しない一般的なフレームワークを提供すると主張している。その主な貢献は、必要な集団サイズ $K$ を、情報利得 $H$ と最小モードの分数質量 $p$ に結びつける単純なヒューリスティック（式10）を導出したことにある。

著者は、典型的な情報利得（$H \sim 10\text{--}1000$ nats）および控えめな最小モードの割合（$p=0.1$）の場合、この規則は $K$ の値を100から10,000の範囲で示唆していると述べている。しかし、本論文は、文献で一般的に使用されている構成の下では、偶発的なモード消失は「極めて稀」であると控えめに結論付けている。この分析は診断ツールとして機能する。すなわち、初期の実行後に、式10を用いることで、意図しないモード消失が発生した確率を推定することができる。

また、本論文は、既存の動的な防止手法（例：MultiNestのクラスタリングやUltraNestのリアクティブ・ネステッドサンプリング）との比較も行っている。それらの手法がリソース配分のためにモードの検出に依存しているのに対し、導出されたスケーリング則は、明示的なクラスタリングなしに、保持を保証するための $K$ を設定するための基礎的な基準を提供するものである。