技術的サマリー：座標昇降変分推論のワッサーシュタイン収縮

問題定義

本論文は、座標昇降変分推論（CAVI）アルゴリズムの理論的収束保証を取り扱っている。CAVI は、扱いにくい目標分布 $\pi$（ベイズ統計における通常は事後分布）を、扱いやすく因子分解された分布族（例：$\mu \otimes \nu$）上でカルバック・ライブラー（KL）ダイバージェンスを最小化することによって近似するための基本的な手法である。CAVI は計算効率の高さから広く利用されているが、厳密な収束保証は歴史的に限られていた。既存の文献は、多くの実用的なモデル（例：混合モデル、ロジスティック回帰）を除外する、目標分布のグローバルな強対数凹性といった強い仮定に依存することが多い。これらのモデルでは、目標分布が強対数凹性を持たないか、空間が離散的または非滑らかな成分を含む。

著者らは、グローバルな強対数凹性よりも弱く、より検証可能な条件の下で、CAVI の反復列 $(\mu_k, \nu_k)$ がワッサーシュタイン距離において固定点へ局所的に指数関数的に収束することを確立することを目的としている。

手法

著者らは、確率測度に対して作用する演算子の列として CAVI の更新を分析する。目標を $\pi = e^{-f} \in \mathcal{P}(Z \times B)$ とする。CAVI の更新は最適写像を通じて定義される：
$$\mu_k = \mu^\star[\nu_{k-1}], \quad \nu_k = \nu^\star[\mu_k]$$
ここで、$\mu^\star[\nu] \propto \exp(-\mathbb{E}_\nu f(\cdot, \beta))$ かつ $\nu^\star[\mu] \propto \exp(-\mathbb{E}_\mu f(Z, \cdot))$ である。

収束解析は、ワッサーシュタイン-$p$ 距離（$W_p$）を備えた確率測度の空間上で定義される 2 つの主要な条件に依存する：

1. フィッシャー滑らか性（交差滑らか性）： 最適写像 $\mu^\star[\cdot]$ および $\nu^\star[\cdot]$ は、固定点の周囲で「フィッシャー滑らか」であることが要求される。演算子 $\gamma^\star[\cdot]$ が定数 $L$ をもってフィッシャー滑らかであるとは、次が成り立つことをいう：
   $$I(\gamma^\star[\varrho] \| \gamma^\star[\varrho']) \leq L^2 W_p^2(\varrho, \varrho')$$
   ここで $I$ は相対フィッシャー情報量である。この条件は、ポテンシャルの勾配が他の座標に対してどの程度変化するかを本質的に制限する（$f = f_1 + f_2 + \omega$ における相互作用項 $\omega$ の交差滑らか性）。

2. 輸送情報（TI）不等式： 固定点分布 $\mu^\star$ および $\nu^\star$ は、定数 $\lambda_1, \lambda_2$ をもって TI 不等式を満たさなければならない：
   $$\lambda^2 W_p^2(\varrho, \gamma) \leq I(\varrho \| \gamma)$$
   これは固定点における曲率条件である。これは対数ソボレフ不等式や強対数凹性よりも弱く、テンソル積構造を持つため、高次元設定に適している。

著者らはまた、この枠組みをデータ拡張設定（ここで $Z$ は補助変数を表す）に拡張する。この場合、補助固定点 $\mu^\star$ に対する曲率条件を必要とすることなく、合成写像 $\nu^\star[\mu^\star[\cdot]]$ の滑らかさと $\nu^\star$ の TI 不等式のみに基づいて、パラメータ周辺 $\nu_k$ の収束を確立できることを示す。これは $Z$ が離散的または非滑らかな場合に重要である。

主要な貢献

1. 一般収束定理（定理 1）

本論文は、交差滑らか性定数（$L_{1|2}, L_{2|1}$）および TI 定数（$\lambda_{1|2}, \lambda_{2|1}$）が条件 $L_{1|2}L_{2|1} < \lambda_{1|2}\lambda_{2|1}$ を満たすならば、CAVI 反復列がワッサーシュタイン距離において固定点へ指数関数的に速く収束し、そのレートが $\frac{L_{1|2}L_{2|1}}{\lambda_{1|2}\lambda_{2|1}}$ であることを証明する。

• 一般性： この結果は一般的な滑らかなリーマン多様体に対して成り立ち、データ拡張拡張を通じて非滑らかな空間も許容する。
• 局所対グローバル： この定理は局所収束保証を提供する。条件がグローバルに成り立てばグローバル収束も可能であるが、著者らは、複数の固定点が存在する多くの実用的なシナリオでは局所保証で十分であると強調している。
• 鋭さ： ガウス目標分布の場合、導出されたレートは相関行列のスペクトルノルムと一致し、この境界の鋭さを示している。

2. データ拡張枠組み（定理 4）

重要な貢献として、データ拡張問題に対する仮定の緩和が挙げられる。著者らは、関心があるのがパラメータ $\beta$（周辺 $\nu$）のみである場合、補助固定点 $\mu^\star$ が TI 不等式を満たすことを要求せずに収束を証明できることを示す。これにより、補助空間が非滑らかな離散潜在変数を持つモデル（例：ガウス混合モデル）に対して CAVI 収束理論を適用可能となる。

3. 特定のベイズモデルへの適用

著者らは、理論的枠組みを 3 つの特定のモデルに適用し、明示的な収束レートと条件を導出した：

• 不均衡ガウス混合モデル（GMM）：

  • 収束は事後相転移によって支配される。
  • レートは事後モードの分離に依存する。モードが十分に分離されている場合、アルゴリズムは局所的かつ指数関数的に速く収束する。
  • 均衡の場合（$p=0.5$）、グローバル収束には特定の信号対雑音比条件（$r < 1$）が必要である。これが満たされない場合、事後分布は多峰性となり、CAVI は初期化に依存して異なるモードへ収束する。
  • 結果は、不均衡な混合（非対称な $p$）がラベルの曖昧さを減らすことでより速い収束を促進することを示している。

• ベイズプロビット回帰：

  • 著者らは、データ拡張（Albert and Chib, 1993）を用いたプロビット回帰の CAVI 更新を分析する。
  • ベイズ欠損情報分数：$\lambda_{\max}((Q_0 + X^\top X)^{-1}X^\top X)$ によって決定されるレートで、グローバルな指数収束を証明する。
  • 高次元設定（$n, p \to \infty$）において、適切な事前分布のスケーリング（例：$g$-prior または直接スケーリング）の下では、レートが 1 から離れて有界に保たれることを示し、次元が増大しても安定性が保たれることを保証する。

• ベイズロジスティック回帰（Jaakkola-Jordan アルゴリズム）：

  • 本論文は、ポリア・ガンマ拡張を用いたアルゴリズムを分析する。
  • ロジスティックリンク関数の微分と事後分布の曲率に依存する局所収束レート $r_\varepsilon$ を導出する。
  • 決定的なことに、ポリア・ガンマ拡張の性質および相互作用項の特定の形式により、同等の条件下でロジスティック回帰の収束レートはプロビット回帰よりも厳密に優れている（小さい）ことを確立する。これは Jaakkola-Jordan アルゴリズムに対する最初の収束レート結果である。

意義と主張

本論文は、グローバルな強対数凹性ではなく関数不等式に依存する、CAVI 収束の鋭く、直接的で、短い証明を提供すると主張している。

• 仮定の緩和： 輸送情報不等式およびフィッシャー滑らか性を利用することで、著者らは目標分布 $\pi$ が強対数凹性である必要を回避する。これは、混合モデルやロジスティック回帰といった標準的なモデルが強対数凹性を満たさないという点から、重要な緩和である。
• 非滑らかな空間の処理： データ拡張拡張により、離散潜在変数を伴う設定における収束解析が可能となり、これは混合モデルの一般的な特徴であり、以前は滑らかな多様体仮定の下では解析が困難であった。
• 精度と収束の双対性： 本論文は、高速な収束を保証する条件（曲率に対する相互作用項が小さいこと）が、変分近似の質が高いこと（低い KL ダイバージェンス）も意味することを指摘している。これはアルゴリズムの速度と近似の精度の間の双対性を確立する。
• 実用性： 高次元回帰（プロビットおよびロジスティック）に対して導出されたレートは、事前分布が正しくスケーリングされていれば、次元 $p$ およびサンプルサイズ $n$ が成長しても CAVI が安定かつ効率的であることを示している。

著者らは、現在の解析が 2 ブロック（$m=2$）設定に限定されており、マルチブロックダイナミクスへの拡張は将来の課題であると明記している。また、結果は局所的であるが、複雑な非凸ランドスケープにおける CAVI の経験的挙動と整合し、それを説明するものであるとも述べている。