Overinflation and overconcentration: why Cauchy perturbation kernels are the right choice for ABC-SMC

技術要約：ABC-SMCにおける過剰膨張と過剰集中

問題提起
近似ベイズ計算逐次モンテカルロ（ABC-SMC）アルゴリズムは、減少する許容誤差閾値のシーケンスを通じて、摂動カーネルを用いて新しいパラメータ値を提案しながら、重み付けされた粒子を伝播させる。パラメータ次元数（$d$）が約5を超えると、標準的な正規摂動カーネルが急速に劣化する現象が広く観察されている。具体的には、受理率が崩壊し、アルゴリズムが停滞し、結果として得られる事後分布が真のターゲットに集中できなくなる。この失敗は一般に「次元の呪い」に起因するとされているが、著者らは、次元そのものが主要な原因ではないと主張している。むしろ、この劣化は2つの異なるメカニズム、すなわち**共分散の過剰膨張（covariance overinflation）と摂動の過剰集中（perturbation overconcentration）**の相互作用から生じるものである。本論文は、標準的な正規カーネルが失敗するのは、これら2つの要因が同時に作用する場合であり、不十分な要約統計量を用いる高次元の問題においてこの条件が頻繁に満たされることを示唆している。

手法および理論的枠組み
著者らは、5つのテスト問題（ガウス、Neal's Funnel、Banana、Shell、および階層的な遺伝子発現モデル）を用い、$d=3$ および $d=12$ の次元において、解析的な導出と実証的な検証を通じて、これら2つの失敗モードを切り分けている。

1. 共分散の過剰膨張: ABC-SMCにおいて、カーネル共分散は通常、粒子の雲の重み付き経験共分散の2倍として推定される。著者らは、カーネルのスケール行列の平均固有値を、真の事後共分散に対するオーバースケーリング比 $\bar{R}$ と定義した。彼らは、$\bar{R}$ が要約統計量の質によって決定されることを示している。十分統計量を持つモデルでは、$\bar{R}$ は次元に関わらずベースラインの係数である2に収束する。しかし、不十分な統計量を持つ場合（ABCでは一般的）、ABCの事後分布は許容誤差が厳しくなるにつれて真の事後分布よりも広いままとなるため、$\bar{R}$ が爆発する（例：$\bar{R} \approx 10^3$）。この過剰膨張は構造的なものであり、粒子数を増やしても解消されない。
2. 摂動の過剰集中: 共分散 $k\Sigma$ を持つ正規摂動において、二乗マハラノビス距離のステップサイズは $\chi^2(d)$ 分布に従う。次元 $d$ が増加するにつれ、正規化されたステップサイズ $\chi^2(d)/d$ は標準偏差 $\sqrt{2/d}$ を伴って1の周囲に集中する。その結果、すべての提案は薄い超球面シェル上に着地することになる。もしカーネルが過剰膨張している場合（$k \gg 1$）、このシェル全体が受理領域の外側に位置することになり、アルゴリズムが停滞する。
3. コーシー解: 著者らは、正規カーネルを多変量コーシーカーネル（自由度1の多変量 $t$ 分布）に置き換えることを提案している。コーシー摂動は、ランダムな因子 $1/\sqrt{V}$（ここで $V \sim \chi^2(1)$）によってスケールされた正規摂動と見なすことができる。決定的なのは、$V$ の変動性は $d$ が大きくなっても消失しないことである。これにより、たとえカーネル共分散が深刻に過剰膨張していても、一部の提案は（大きな $V$ によって）十分に小さなステップを持ち、受理領域内に着地することが保証される。

主な貢献

• 次元と要約統計量の分離: 本論文は、高次元性がABC-SMCの失敗の直接的な原因ではないことを確立した。代わりに、失敗には不十分な要約統計量（過剰膨張を引き起こす）と十分に高い次元数（ステップサイズの集中を引き起こす）の組み合わせが必要である。不十分な統計量を持つ低次元問題や、十分な統計量を持つ高次元問題は、必ずしも正規カーネルで失敗するわけではない。
• オーバースケーリングの解析的導出: 著者らは、十分統計量を持つガウスモデルにおけるオーバースケーリング比 $\bar{R}$ の閉形式の式を導出し、それが控えめであり次元に依存しないことを示した。彼らは、実測される極端な値は次元ではなく、情報の損失（サマリーによる情報喪失）の兆候であることを証明した。
• コーシーカーネルの堅牢性: 著者らは、メトロポリス・ヘイスティングス・フレームワークにおける、両方のカーネル（正規およびコーシー）の受理率の閉形式を導出した。正規の受理率は、任意の過剰膨張の下で $d \to \infty$ となるにつれて指数関数的にゼロへと減衰するが、コーシーの受理率は厳密に正の値を維持することを証明した。
• 重みの退化とPSIS: 著者らは、コーシーカーネルのヘビーテイル（厚い裾）が、ステップサイズの集中を防ぐ一方で、重みの退化（有効サンプルサイズの低下）を招くというトレードオフを分析している。彼らは、パレート平滑化重要サンプリング（PSIS）がコーシーカーネルにおける重みの退化を効果的に緩和することを実証した。一方で、正規カーネルにPSISを適用することは、ターゲット付近に到達したわずかな粒子さえも平滑化して消し去ってしまうため、有害となり得る。

結果
$d=12$ における5つの問題を用いた計算実験は、以下の理論的予測を裏付けている：

• 性能差: 深刻な過剰膨張が発生する問題（例：FunnelおよびBananaモデル）において、コーシーカーネルは、正規カーネルと比較して参照事後分布へのスライス・ワッサースタイン距離（SWD）を最大50倍改善した。例えば、Banana問題では、正規カーネルは完全に失敗したが（SWD $\approx 0.90$）、コーシーカーネルはほぼ完璧な回復を実現した（SWD $\approx 0.018$）。
• 好循環: コーシーカーネルは高い受理率を維持するため、アルゴリズムがより厳しい許容誤差へと進行することを可能にする。これにより、後続の反復における過剰膨張比 $\bar{R}$ が減少するという、自己修正的なサイクルが生まれる。
• 次元のスケーリング: 階層的な遺伝子発現モデルにおいて、正規カーネルは $d=15$ で失敗したが、コーシーカーネルはPSISと組み合わせることで $d=20$ まで有効であった。
• 効率のトレードオフ: 提案が正しくスケールされている場合（過剰膨張がない場合）、正規カーネルは期待二乗ジャンプ距離（ESJD）の観点から約1.87倍効率的である。しかし、ABCに特有の構造的な過剰膨張下では、コーシーカーネルの堅牢性がこのペナルティを上回る。

意義と主張
本論文は、高次元においてはコーシー摂動カーネルをABC-SMCのデフォルトの選択肢とすべきであると主張している。著者らは、この推奨が単なる「高次元」のためのヒューリスティックではなく、ABCで使用される要約統計量に内在する情報の損失から生じる構造的な必然性であることを強調している。ABCを必要とするような扱いにくい尤度モデルにおいて、十分統計量は滅多に存在しないため、共分散の過剰膨張は本手法の避けられない特徴である。コーシーカーネルは、複雑なチューニングやより優れた要約統計量を必要とせずに、過剰膨張と過剰集中の致命的な組み合わせを中和するための、堅牢なメカニズムとして提示されている。結論として、要約統計量を改善することが理想ではあるが、コーシーカーネルはABC-SMCフレームワークの構造的な限界に対する不可欠なセーフガードを提供するものである。