論文「Nested Sampling with Slice-within-Gibbs: Efficient Evidence Calculation for Hierarchical Bayesian Models」の技術的サマリー

この論文は、階層的ベイズモデル（Hierarchical Bayesian Models）のような、尤度関数が因数分解可能な高次元モデルにおける、ベイズ証拠（Evidence）の推定と事後分布のサンプリングを効率的に行うための新しいアルゴリズム**「NS-SwiG（Nested Sampling with Slice-within-Gibbs）」**を提案しています。

以下に、問題設定、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題設定

階層的モデルの課題:
現代の天体物理学や宇宙論などでは、多数の観測対象（グループ）から得られるデータを、共有するハイパーパラメータ $\psi$ と局所的なパラメータ $\theta_j$ を持つ階層モデルで記述することが一般的です。尤度関数は通常、各グループの尤度の積（対数尤度の和）として因数分解されます：
$$\ell(\psi, \{\theta_j\}) = \sum_{j=1}^J \ell_j(\theta_j, \psi)$$

Nested Sampling のボトルネック:
Nested Sampling はモデル比較に不可欠な「ベイズ証拠（周辺尤度）」を直接推定できる強力な手法ですが、高次元問題における制約付き事前分布からのサンプリングが計算コストのボトルネックとなります。
従来の実装では、MCMC による提案を受け入れるかどうかを判断するために、全グループの尤度を再計算して制約条件 $\ell > \ell^*$ をチェックする必要がありました。

• $J$ 個のグループがあり、各ブロックを更新する際、全尤度を計算すると $O(J)$ のコストがかかります。
• 1 回のスウィープ（全パラメータ更新）で $O(J)$ 回の更新を行うため、1 回の置換あたりのコストは $O(J^2)$ となり、全体として $O(J^3)$ の複雑さになります。
• 高次元（$J$ が数千規模）ではこの計算量が実用的でなくなります。

勾配ベース手法の限界:
Hamiltonian Monte Carlo (HMC) や NUTS などの勾配ベース手法はスケーラビリティに優れますが、尤度の制約条件（カットオフ）がある場合のサンプリングは困難であり、特に複雑な幾何構造（例：Funnel 構造）を持つモデルでは収束に失敗したり、再パラメータ化が必要になったりする問題があります。

---

2. 提案手法：NS-SwiG

NS-SwiG は、Nested Sampling の外ループと、Slice-within-Gibbs を内ループに組み合わせたアルゴリズムです。

2.1 尤度予算の分解（Likelihood-Budget Decomposition）

本手法の核心は、グローバルな制約条件を「グループごとの予算（Budget）」に分解することです。
現在の全対数尤度 $S = \sum \ell_j$ と、現在の尤度閾値 $\ell^*$ が与えられたとき、グループ $k$ のパラメータ $\theta_k$ を更新する際、グローバル制約 $\sum \ell_j > \ell^*$ は以下のように書き換えられます。

$$\ell_k(\theta'_k, \psi) > B_k$$
$$B_k \equiv \ell^* - (S - \ell_k)$$

ここで $B_k$ は「グループ $k$ が満たすべき最小尤度（予算）」です。

• キャッシュ戦略: 各グループの尤度 $\ell_j$ とその合計 $S$ をキャッシュしておきます。
• 定数時間チェック: 新しい提案 $\theta'_k$ に対しては、全尤度を計算せず、変更された $\ell'_k$ とキャッシュされた残りの和 $(S - \ell_k)$ を用いて $B_k$ を計算し、$\ell'_k > B_k$ を $O(1)$ でチェックできます。
• これにより、1 回のスウィープのコストを $O(J^2)$ から $O(J)$ に削減します。

2.2 制約付き Slice-within-Gibbs カーネル

サンプリングは以下の 2 つのブロック更新を交互に行うことで実行されます。

1. ハイパーパラメータ更新 ($\psi$): 全グループの尤度と事前分布を考慮し、Slice Sampling で更新。
2. 局所パラメータ更新 ($\theta_j$): 各グループ $j$ について、上記で計算された予算 $B_j$ を制約条件として Slice Sampling で更新。

このアプローチは、モデルの因数分解構造を明示的に利用し、勾配情報に依存せずに効率的にサンプリングを行います。

---

3. 主要な貢献

1. 尤度予算の分解とキャッシング:
   Nested Sampling の制約条件を、各ブロックで $O(1)$ でチェック可能な「予算」に分解する手法を確立しました。これは独立した観測だけでなく、マルコフ構造を持つ潜在変数（隣接するグループに依存する場合）にも拡張可能です。
2. 制約付き Slice-within-Gibbs カーネルの構築:
   結合された制約付き事前分布をターゲットとした MCMC カーネルを構築し、1 スウィープあたりの計算コストを $O(J^2)$ から $O(J)$ に削減しました。これにより、数千次元の問題へのスケーリングが可能になりました。
3. 実装と検証:
   JAX および BlackJAX フレームワークを用いたベクトル化された実装を提供し、4 つのベンチマーク（階層ガウスモデル、Funnel 分布、ラドン回帰、確率的ボラティリティモデル）において、NUTS や従来の Nested Sampling と比較して、事後分布の回復精度と証拠推定の正確性を検証しました。

---

4. 実験結果と評価

実験は Apple M1 Studio Max CPU 上で実施され、以下の結果が得られました。

• スケーラビリティ:
  • 階層ガウスモデルにおいて、グループ数 $J$ を 10 から 1000 まで増やした際、NS-SwiG は尤度評価の回数が $O(J)$ に比例して増加し、実行時間も $O(J^2)$ のスケーリングを示しました。
  • 従来の Joint-space Nested Sampling (NSS) は $O(J^3)$ に近いコストとなり、$J=250$ 程度で実行時間が実用的でなくなりました。
• 証拠推定の精度:
  • 高次元（$J=1000$）でも、解析解と一致する正確な証拠（Log Evidence）の推定が可能でした。
  • 内部推定される誤差 $\hat{\sigma}$ とシード間のばらつきが一致しており、信頼性の高い推定が行えていることを示しました。
• 複雑な幾何構造への頑健性:
  • Funnel 分布: 中心化パラメータ化（Centered parameterization）において、NUTS は発散（divergent transitions）を起こし失敗しましたが、NS-SwiG は Funnel 構造を正しく探索し、正確な証拠を推定しました。
  • ラドンモデル（Contextual Effects）: 中心化パラメータ化でも NUTS が困難な場合、NS-SwiG は安定した事後分布と証拠を提供しました。
  • 確率的ボラティリティモデル: 時系列データ（マルコフ構造）を持つモデルでも、隣接ブロックへの予算分解を拡張することで、NUTS より少ない計算量で高精度な結果を得ました。

---

5. 意義と結論

技術的意義:
NS-SwiG は、勾配情報に依存せず、モデルの因数分解構造を最大限に活用することで、Nested Sampling のスケーラビリティの壁を突破しました。これにより、高次元かつ複雑な幾何構造を持つ階層モデルにおいて、「事後分布のサンプリング」と「モデル比較に必要な証拠の推定」を同時に、かつ効率的に行うことが可能になりました。

応用分野:
特に天体物理学（重力波源の解析、銀河サーベイなど）において、数百万個の観測対象を含む大規模階層モデルの解析が急務となっています。NS-SwiG は、これらの大規模データセットに対する厳密なベイズ推論とモデル選択を現実的な計算コストで実現する可能性を開きます。

限界と将来展望:

• 尤度の因数分解構造が必須であるため、完全に結合されたパラメータ空間が必要な問題（例：分子構造のサンプリングなど）には直接適用できません。
• 高次元では、必要な粒子数 $m$ が増加し、メモリや計算コストのボトルネックとなる可能性があります。
• 将来的には、擬似周辺（Pseudo-marginal）法や、変分推論とのハイブリッド化、あるいは低次元構造の自動発見との組み合わせなどが検討課題です。

総じて、NS-SwiG は、勾配ベースの手法が苦手とする領域において、ベイズ推論の堅牢性とスケーラビリティを両立させる画期的なアプローチとして位置づけられます。