Gibbs Sampling using Anti-correlation Gaussian Data Augmentation, with Applications to L1-ball-type Models

技術的サマリー：反相関ガウスデータ拡張を用いたギブスサンプリング

問題提起
本論文は、L1-ボール型事前分布を採用するモデルにおけるベイズ推論の計算上の課題に取り組む。これらの事前分布は、連続的な先行分布（例えば、ガウス分布またはガウス過程）を L1-ボールの境界 onto 変換することで「スパイク・アンド・スラブ」モデルを一般化し、正の確率で正確なゼロを誘起する。この枠組みは、ゼロの発生が依存し得る（例：時間的または空間的グループ）構造化スパース性をサポートし、非ゼロ要素が相関を示す（例：滑らかさ）ことを可能にする。

このようなモデルに対する既存のアルゴリズムは、以下の重大な障壁に直面している：

1. 共役性の欠如: 標準的なギブス・サンプリングは、ソフトしきい値変換が共役性を破るため、また潜在的なガウス分散がしばしば固定されていないため、困難を伴う。
2. 混合の遅延: 相関が存在する中でパラメータを要素ごとに更新すると、マルコフ連鎖の混合が遅くなる。
3. 計算コスト: ハミルトニアン・モンテカルロ（HMC）や No-U-Turn サンプラー（NUTS）などの勾配ベースの手法は、ソフトしきい値関数の非微分性を処理できるが、複数の勾配評価に起因する反復ごとの高い計算コストに苦しむ。

手法
著者は、「反相関ガウス」と呼ばれる新たなデータ拡張技術を利用したブロック・ギブス・サンプリングを提案する。

1. 中核メカニズム: この手法は、事後密度の指数部における二次相関項（$\theta'M\theta$ および $\beta'H\beta$）を相殺するように設計されたガウス分布から抽出される潜在変数 $r$ と $t$ を導入する。

   • 具体的には、$M$ が $\theta$ の精度行列である場合、潜在変数 $r$ は $N((dI - M)\theta, dI - M)$ からサンプリングされる。ここで $d > \lambda_p(M)$ である。
   • この変換により、パラメータ $(\beta, \theta)$ の条件付き事後分布は、潜在変数が与えられた場合、次元間で条件付き独立となる。

2. サンプリング・スキーム:

   • ブロック更新: 一度に 1 つの要素を更新するのではなく、アルゴリズムはベクトル $\beta$（およびそれに伴う $\theta$）全体を単一のブロックとして更新する。
   • 混合構造: 各要素 $\beta_j$ の条件付き事後分布は、3 成分混合（$\theta_j > 0$、$\theta_j = 0$、または $\theta_j < 0$ に対応）となる。アルゴリズムは離散的なインジケータ $b_j$ をサンプリングし、その後、対応する切断ガウス分布から $\beta_j$ をサンプリングする。
   • 潜在変数の効率的サンプリング: 共分散が $X'\Omega X$ の積を含む回帰設定において、著者は反相関ガウスをサンプリングするための非反復アルゴリズムを導出した。この手法は $X$ の事前計算された特異値分解（SVD）を利用し、MCMC 反復中に $O(p^3)$ の行列分解を回避することで、ステップあたりの $O(\max(n, p))$ の複雑さを達成する。

3. 拡張: この枠組みは、一般的な潜在ガウスモデル（例：非ガウス尤度を持つもの）および分離可能な制約を持つ切断多変量ガウスからのサンプリングに拡張される。

主要な貢献

• 新たなデータ拡張: 二次相互作用項を相殺してブロック更新を可能にする「反相関ガウス」潜在変数の導入。
• アルゴリズム的効率性: 回帰文脈における潜在変数用の高速な非反復サンプリング手順の開発。各ステップでの高価な行列逆行列計算を回避する。
• 理論的保証: 線形モデルにおける提案されたサンプリングの幾何学的エルゴード性の証明。これによりマルコフ連鎖の急速な収束が保証される。
• 広範な適用性: この手法が L1-ボール型事前分布を超えて、一般的な潜在ガウスモデルや切断ガウスにも適用可能であることを実証。

結果
著者は数値実験を通じて手法を検証した：

• 線形回帰: 高次元予測変数（$p$ が最大 5000）および相関設計を伴うシミュレーションにおいて、反相関ブロック・ギブス・サンプリングは、単位時間あたりの**有効サンプルサイズ（ESS/time）**の点で、NUTS、成分ごとのスライス・サンプリング、および経験的主成分に基づくスライス・サンプリングを大幅に上回った。NUTS は反復ごとの混合が速いものの、反復ごとの高い計算コストにより、全体的な効率は低かった。
• 変数選択: この手法は、NUTS と比較して競争力のある偽陽性率（FPR）および偽陰性率（FNR）を達成した。特に、他のサンプリング手法が収束しないか混合が不良となる高相関設定において顕著であった。
• ソフトしきい値ガウス過程（画像平滑化）: fMRI データに適用した際、提案されたサンプリングは約 270 分で 10,000 反復を完了し、高い時間あたりの ESS を達成した。対照的に、NUTS の Stan 実装は、同じ反復数に対して68 時間を要し、時間あたりの ESS は著しく低かった。得られた事後推定値は滑らかでスパースであったのに対し、生データの直接ソフトしきい値処理は、ノイズが多く滑らかでない結果を生み出した。

意義と主張
本論文は、提案された手法が構造化スパース性モデルにおける事後推定において計算効率の大幅な改善を提供すると主張する。データ拡張を活用して条件付き独立性を達成することにより、著者は反復ごとの計算コストを劇的に削減しつつ、急速な混合を維持するブロック更新を可能にする。

著者は、この研究を、（混合は速いが反復ごとのコストが遅い）マージナル・サンプリングと、（反復ごとのコストは速いが混合が遅い可能性がある）データ拡張・サンプリングの間のトレードオフに対する解決策として位置づけている。彼らは、特定の拡張が最良のバランスを達成し、特に高次元設定やガウス過程のような複雑な潜在構造を扱う際に、NUTS などの勾配ベースの手法に対する低コストかつ高効率な代替手段を提供すると論じている。幾何学的エルゴード性の保証は、さらに線形モデルにおけるサンプリングの信頼性に対する理論的基盤を提供する。