技術的概要：連続的ギャップ縮小による射影事前分布の緩和

問題提起

現代の統計的推論では、パラメータが完全なユークリッド空間ではなく、構造化された低次元集合（例えば、スパースなベクトル、低ランク行列、または輸送計画）内に存在することを要求されることが多い。射影事前分布は、連続的な潜在変数 $\beta$ を射影演算子 $T(\beta)$ によって制約集合 $C$ に写像することで、そのような構造を原理的に強制する手段を提供するが、重大な計算上の課題に直面している。

主要な課題は、射影 $T(\beta)$ の計算が、マルコフ連鎖モンテカルロ（MCMC）サンプリャーの各ステップにおいて、反復最適化問題（例えば、交互射影法や Dykstra 法）を解くことを必要とすることである。MCMC 内部に最適化がネストされるこの構造は、複雑な制約に対して事後分布の計算を高価かつ計算的に実行不可能なものとする。さらに、これらの反復的射影の数値微分（アンロール微分による）も高コストである。これは、歴史的にベイズ変数選択において、正確な離散事前分布（スパイク・アンド・スラブ）と計算的に効率的な連続的縮小事前分布との間で存在してきたトレードオフを反映している。

手法：ギャップ縮小事前分布

著者らは、射影事前分布の連続的緩和を提案し、これをギャップ縮小事前分布と称する。硬い制約 $\theta = T(\beta)$ を強制する代わりに、この手法は双対損失と双対目的関数の間の双対ギャップをゼロに向かって縮小させる確率的な事前分布を導入する。

中核的枠組み

1. 双対定式化:
   射影を、双対損失 $f(z; \beta) = \min_{z \in C} f(z; \beta)$ の最小化として定義する。凸双対性を用いて、著者らは双対関数 $d(u; \beta)$ を定義し、双対ギャップ $G(z, u; \beta) = f(z; \beta) - d(u; \beta)$ が非負であり、かつ $z$ が正確な射影であり $u$ が最適双対変数である場合にのみゼロとなるようにする。

2. 事前分布の指定:
   ギャップ縮小事前分布は、拡張空間 $(\theta, u, \beta)$ 上で以下のように定義される：
   $$\Pi_0(\theta, u, \beta) \propto \exp\left[ -\alpha \{ f(\theta; \beta) - d(u; \beta) \} \right] \pi_0^\beta(\beta)$$
   ここで、$\alpha > 0$ は縮小の強さを制御するハイパーパラメータである。

   • メカニズム: $\alpha \to \infty$ となるとき、事前分布の質量はギャップがゼロとなる集合に集中し、正確な射影事前分布を回復する。有限の $\alpha$ に対しては、射影に近い点に高い密度を割り当て、硬い制約を実質的に緩和する。
   • 計算可能性: 重要なことに、双対関数 $d(u; \beta)$ はしばしば閉形式の式（例えば、Fenchel 共役を通じて）を許容するため、反復最適化なしにギャップを計算できる。

3. 近傍写像への一般化:
   この枠組みは、ユークリッド射影を超えて一般的な近傍写像（$f(z; \beta) = \frac{1}{2}\|\beta - z\|^2 + g(z)$ の最小化）へ拡張される。

   • Fenchel-Young ギャップ: ギャップは $g^*(u) + g(\theta) - u^\top \theta$ と表され、ここで $g^*$ は Fenchel 共役である。
   • 変分ギャップ: 共役が計算不可能な複雑な設定（正則化項の和や核ノルムなど）に対して、著者らは tight な上界として機能する変分ギャップ関数 $\tilde{G}$ を導入する。これにより、補助変数（例えば、低ランク制約のための行列分解）を介した計算可能性が可能となる。

4. 事後分布の計算:
   得られる事後分布は、ユークリッド空間上の連続密度である。著者らは、ハミルトニアンモンテカルロ（HMC）ではなく、ブロック・ギブス・サンプリャー（またはギブス内メトロポリス）を推奨する。これは、$\theta$ と $u$ の間の準決定論的関係（大きな $\alpha$ によって誘起される）が、ほぼ特異なヘッシアンを生成し、特殊な前処理なしには標準的な HMC の軌道が非効率になるためである。

主要な貢献

• 計算効率: この手法は、各 MCMC 反復内で反復最適化サブルーチンを解く必要性を排除し、閉形式または単純な変分更新に置き換える。
• 理論的保証:
  • 一致性: 著者らは、正確な射影事前分布が一致性を持つ場合、ベース事前分布が真の値の近くに十分な質量を割り当てていれば、ギャップ縮小事前分布もまた一致性を持つことを証明する。
  • 収束率: 緩和された事後分布が、正確な射影事前分布と同じ収束率を達成するための条件を確立する。これには、縮小パラメータ $\alpha_n$ がサンプルサイズ $n$ に応じて適切にスケーリングされる必要がある（具体的には、規則的なパラメトリックモデルにおいて $\alpha_n + \kappa_n \gtrsim n$ であり、これにより双対ギャップが正しい速度で消滅することを保証する）。
• グローバル・ローカル縮小との関連: この枠組みは、双対変数が局所スケールパラメータとして機能し、データが強く支持するときに係数が制約から逃れることを可能にするグローバル・ローカル縮小事前分布（ベイズ・ラッソなど）の一般化であることが示される。

実証結果

本論文は、シミュレーション研究と実データ応用を通じて手法を検証している：

1. スパース回帰 ($n=200, p=500$):

   • ギャップ縮小事前分布は、スパースなサポートを正常に特定し、質量を真の値の近くに集中させ、正確な $\ell_1$-ボール射影事前分布の性能と一致した。
   • 効率性: ギャップ縮小ギブス・サンプリャーは、1 秒あたりの中央値有効サンプルサイズ（ESS）が約 82 であり、反復射影を用いた NUTS でフィットされた正確な射影事前分布（1 秒あたり約 2 ESS）を大幅に上回った。

2. 低ランクおよびスパース行列平滑化:

   • 同時的な低ランクおよびスパース制約を持つ行列ノイズ除去問題に適用された。
   • この手法は、真のランクとスパース構造を正しく回復した。
   • 効率性: ギャップ縮小ギブス・サンプリャーは、6,000 反復を 29 秒で完了したが、射影に ADMM を使用した正確な射影事前分布は、同じ反復数に 4 時間を要した。

3. マーケティングデータ応用（ニールセン・コンシューマー・パネル）:

   • タスク: 係数行列に対する分類ベースの平滑化事前分布を用いた、多変量二値の食料品購入意思決定のモデリング。
   • 発見: モデルは、製品部門内では平滑化が強く、部門間では無視できる（部門間重み $\approx 0$）ことを学習することに成功した。
   • 性能: ギャップ縮小モデルは、予測精度（AUC）と解釈可能性の点で、ベイズ・フュージョン・ラッソ事前分布および独立ガウス事前分布を上回った。これは、フュージョン・ラッソの過剰平滑化およびガウス事前分布の高い分散を回避した結果である。

意義と主張

本論文は、ギャップ縮小事前分布が、構造化された解釈可能な境界に質量を集中させるという正確な射影の統計的望ましさと、計算可能性との間の実用的な妥協点を提供すると主張している。

• 損失なしの緩和: 双対ギャップを縮小させることで、この手法はスパース性や低ランク構造の誘起など、射影事前分布の解釈性を保持しつつ、反復的射影の計算ボトルネックを回避する。
• 理論的堅牢性: 著者らは、縮小の強さが適切に調整されていれば、この緩和が漸近的な一致性や収束率を損なわないことを実証する。
• 広範な適用性: この枠組みは一般的であり、凸集合または近傍写像によって定義される任意の射影、グループ・スパース性、低ランク行列、輸送計画などの複雑な制約を含む、あらゆる射影に適用可能である。

著者らは、この研究を構造化ベイズ推論と連続的縮小モデルの間の架け橋として位置づけ、「正確な」制約は、制約を直接強制するのではなく、最適性からの逸脱（ギャップ）にペナルティを課す連続的事前分布によって効果的に近似され得ると示唆している。