Constrained Weighted Bayesian Bootstrap

技術要約：制約付き重み付きベイズ・ブートストラップ (Constrained Weighted Bayesian Bootstrap)

問題の定義
統計的学習タスクでは、制約（例：スパース性、順序制約、形状制約、または物理的な境界）の下で適合度の尺度を最大化することが多くあります。古典的な最適化理論は、そのような制約下での点推定値を得るための効率的なアルゴリズムを提供していますが、有効な不確実性の定量化（例：信頼区間）を構築することは依然として困難です。標準的な漸近理論は、制約がアクティブな場合には、しばしば失敗するか、複雑なポストセレクション推論の手続きを必要とします。

ベイズ法は、事後分布を通じて不確実性を定量化するための自然な枠組みを提供します。しかし、制約付き集合 $\tilde{\Theta} \subset \Theta$ に支持域が制限された事後分布からのサンプリングは、計算的に困難です。一般的なハンミルトン・モンテカルロ法（HMC）のようなサンプラーは、非平滑な制約に苦戦します。また、事後的な棄却サンプリング（rejection sampling）は、制約付き集合が制約なしの事後分布の下で低い確率質量を持つ場合、非効率的になることがよくあります。既存の制約付きサンプリング手法（制約緩和法によるペナルティ項の追加や、射影ベースの手法など）は、トレードオフに悩まされます。緩和法は、制約集合の外側にサンプルを出してしまう可能性があったり、正しい漸近共分散を捉えられなかったりすることがあります。一方で、射影法は事後分布の幾何学的構造を無視したり、高価な近接写像（proximal mappings）を必要としたりすることがあります。

手法
著者らは、重み付き尤度ブートストラップ（Newton and Rity, 1994）および重み付きベイズ・ブートストラップ（Newton et al., 2021）の適応版である**制約付き重み付きベイズ・ブートストラップ（CWBB）**を提案しています。核心となるアイデアは、制約付き事後分布からのサンプリングという問題を、一連の制約付き最適化問題へと変換することです。

データ $x$ が $f_\theta$ から生成され、事前分布 $\pi(\theta)$ が与えられているとき、制約付き事後分布は $\tilde{\pi}(\theta | x) \propto f_\theta(x)\pi(\theta) \mathbb{1}(\theta \in \tilde{\Theta})$ となります。CWBBは、以下の手順で $\theta^{(t)}$ を生成します：

1. ランダムな重み $w_n \sim n \times \text{Dirichlet}(1, \dots, 1)$ を描画する。
2. 次の制約付き最適化問題を解く：
   $$\theta^{(t)} = \arg \max_{\theta \in \Theta} \sum_{i=1}^n w_{n,i} \ell(x_i | \theta) + \log \pi(\theta) \quad \text{subject to} \quad h(\theta) = 0$$
   ここで、$h(\theta) = 0$ は制約集合 $\tilde{\Theta}$ を定義します。

このアプローチは、制約を扱うための高速で既成の凸最適化ソルバー（例：OSQP、座標降下法）を活用します。目的関数にペナルティパラメータ $\rho$ を用いて修正を加える緩和法とは異なり、CWBBは最適化ステップにおける等式制約を通じて制約を直接強制します。

理論的貢献
論文では、標準的な正則条件（識別性、対数尤度と制約の平滑性、および真のパラメータ $\theta_0$ における制約のヤコビ行列のフルランク性を含む）の下で、主に2つの理論的結果を確立しています。

1. 一致性 (Theorem 1): CWBBのサンプルは、真のパラメータ $\theta_0$ に対して条件付きで一致しています。サンプルサイズ $n \to \infty$ のとき、CWBBの解が $\theta_0$ の $\delta$ 近傍内に存在する確率は、ほとんど確実に1に収束します。
2. 漸近分布 (Theorem 2): スケールされたCWBBサンプル $\sqrt{n}(\check{\theta}_n - \hat{\theta}_n)$ の漸近分布は、制限付き最大尤度推定量（RMLE） $\hat{\theta}_n$ を中心とする多変量正規分布に収束します。漸近共分散行列は以下の通りです：
   $$\Sigma_{CWBB} = J(\theta_0)^{-1} \{ I - U(\theta_0) \}$$
   ここで、$J(\theta_0)$ はフィッシャー情報量であり、$U(\theta_0)$ は制約のヤコビ行列から導出される射影行列です。この共分散は効率的なRMLEの共分散と一致しており、これはCWBBが有効な頻度論的信頼区間を提供し、制約による分散の減少を正しく捉えていることを意味します。

著者らは、制約緩和法（例：$\pi_\rho(\theta) \propto \exp(\sum \log f - \rho q(\theta))$）と対比させています。彼らは（Proposition 1において）、固定されたペナルティ $\rho$ を用いる緩和法は、$n \to \infty$ において正しい制約付き漸近共分散を達成できない可能性があり、制限なしの状態で極限に達してしまうことを示しています。

実証結果
本手法は、3つの異なる制約付きベイズ問題において評価されています。

1. 非負の順序制約付き回帰: 係数が非負かつ非減少でなければならない設定において、CWBBは（制約を無視した）アンコンストレインド・ギブス・サンプラーと同等の被覆確率を示しながら、制約を遵守した上で大幅にタイトな区間を実現しています。決定的なことに、CWBBは、混合に苦戦したり広範なチューニングを必要としたりするProxMCMCや制約緩和法などの競合手法よりも、数桁速い実行速度でこれを達成しています。
2. スパース精密行列推定: ベイズ・グラフィカル・ラッソ（およびSCAD/MCPペナルティのバリアント）へのCWBBの適用において、CWBBから得られたフル事後分布を用いて非ゼロ成分を分類（信頼区間を介して）することで、点推定値よりも優れた分類性能（F1スコア、適合率、再現率）が得られることを示しています。本手法は、特注のベイズ・サンプラー（例：BDGraph, ssgraph）に対して競争力があり、ハイパーパラメータを少なく抑え、複雑なバーンイン・チューニングを回避できます。
3. オプション価格形成曲面: 凸性、単調性、およびビッド・アスク・スプレッドの制約を満たす必要があるヨーロピアン・スタイルのコール・オプションのケーススタディです。標準的なサンプリング手法は、複雑な制約の幾何学的構造のために、実行可能なサンプルを生成できなかったり、混合が悪くなったりします。CWBBは、10分足らずで1,000個の独立した実行可能なサンプルを正常に生成し、市場制約を遵守したオプション価格曲面の有効な不確実性推定を提供します。

意義と主張
本論文は、CWBBが「単純かつ効果的な」、制約付き最適化の計算上の利便性とベイズ推論の不確実性定量化との間の架け橋を提供すると主張しています。その意義は以下の点にあります：

• 汎用性: 特殊な近接写像や多様体HMCのような専用のサンプリング機構を必要とせず、広範なクラスの制約（等式および不等式）に適用可能です。
• 効率性: 高速な凸最適化ツールを活用しており、既存の制約付きサンプリング手法よりも大幅に速い実行速度を実現しています。
• 理論的妥当性: 効率的なRMLEと一致する漸近分布を提供するため、制約によって得られる情報を正しく反映した有効な不確実性定量化を保証します。
• 実用的有用性: 他の手法が実行可能なサンプルを生成できなかったり、計算時間が膨大になったりするような、困難な現実世界の課題（オプション価格形成など）を解決します。

著者らは、現在の理論が等式制約と一次漸近展開に焦点を当てているものの、本手法の実装の容易さは、あらゆる統計的タスクを制約付き最適化問題として定式化できる実用的なプラグイン・ソリューションであることを示唆しています。彼らは、より広い設定や高次の近似へと理論を拡張することを今後の課題として挙げています。