A Generalized Tangent Approximation based Variational Inference Framework for Strongly Super-Gaussian Likelihoods

技術要約：強超ガウス型尤度に基づく汎用的な接近似ベースの変分推論フレームワーク

問題提起
変分推論（VI）は、スケーラブルなベイズ計算における礎石となっており、マルコフ連鎖モンテカルロ（MCMC）サンプリングに代わる決定論的な選択肢を提供している。しかし、既存のアプローチには二極化が見られる。平均場変分推論（MFVI）のような構造化された手法は、モデル固有の厳格な定式化に依存することが多く、不確実性を過小評価する傾向がある。一方で、「ブラックボックス」VI（BBVI）手法は柔軟ではあるものの、確率的勾配推定器やモンテカルロ近似への依存により、計算効率を犠牲にすることが頻繁にある。さらに、BBVIの収束性と統計的最適性に関する理論的保証は限定的であることが多い。本研究が取り組む具体的な課題は、強超ガウス（SSG）尤度（例：重い裾を持つ誤差分布（Student's-t分布、ラプラス分布など）や離散応答モデル（負の二項分布、ロジスティック分布など））を特徴とする広範な確率モデルに対して、原理的、スケーラブル、かつ理論的に裏付けられたVIフレームワークを開発することである。これらは頑健な回帰や生物統計学において一般的であるが、標準的な共役VI技術では扱うことが困難なモデルである。

手法：TAVIE-SSG
著者らは、SSG尤度の幾何学的特性を利用して、本来は計算困難な設定において共役性を誘発するフレームワークであるTAVIE-SSG（Strongly Super-Gaussian LikelihoodsのためのTangent Approximation based Variational InferencE）を提案する。この手法は、以下の3つのコアコンポーネントで構成される。

1. 凸双対性による接マイノレイタント（接下限関数）の構成:
   本フレームワークは、SSG尤度を定義する関数 $h$ の凸性を利用する。凸双対性を適用することで、著者らはSSG尤度の接マイノレイタント（指数二次近似サロゲート）を構築する。このマイノレイタントは、変分パラメータ $\xi$ によって決定される特定の点において、真の尤度に接する。単純なガウス近似とは異なり、このサロゲートは変分パラメータに基づいてその曲率を適応させるため、重い裾を持つモデルの頑健性やカウントデータの離散的な性質を局所的に保持しつつ、グローバルな最適化を扱いやすいものにする。

2. $\alpha$-分数型尤度定式化:
   本手法は、元の尤度を $\alpha \in (0, 1]$ の累乗で高めた $\alpha$-分数型尤度設定内で動作する。このテンパリングは、分数型事後分布に関する文献と整合している。接マイノレイタントはこのテンパリングされた尤度に適用され、共役事前分布（Type I SSGの場合はNormal-Gamma、Type II SSGの場合はGaussian）と組み合わせることで、閉形式の$\alpha$-分数型変分事後分布をもたらす。

3. 変分期待値最大化（EM）アルゴリズム:
   変分パラメータの最適化は、モデルパラメータを潜在変数として扱う最大尤度推定問題として定式化される。これにより、効率的なEMアルゴリズムが導かれる：

   • Eステップ: 変分事後分布のハイパーパラメータ（平均および共分散）を閉形式で更新する。
   • Mステップ: 変分パラメータ $\xi$ を座標ごとの最大化によって更新する。極めて重要な点として、多変量最適化は $n$ 個の独立した単変量更新へと分解され、閉形式の解を持つ。
     この分解により、アルゴリズムはサンプルサイズ $n$ に対して線形にスケールし、並列化が極めて容易（embarrassingly parallelizable）となる。1イテレーションあたりの計算複雑度は $O(np^2 + p^3)$ である。

主な貢献

• 接近似の一般化: 本論文は、ロジスティック回帰を超えて、重い裾を持つ線形回帰や離散カウントモデルを含む広範なSSG尤度への接近似の有用性を拡張した。
• アルゴリズムの収束保証: 多くのブラックボックスVI手法とは異なり、著者らはTAVIE-SSGアルゴリズムに対して厳密な収束保証を確立した。Kurdyka–Łojasiewicz（KŁ）特性を活用することで、変分目的関数が非凸であるにもかかわらず、任意の初期値から反復列が不動点（目的関数の臨界点）に収束することを証明した。さらに、KŁ指数の違いに応じた局所収束率（線形または劣線形）を導出した。
• 統計的リスク境界: 著者らは、積分変分リスクに対するニア・ミニマックス最適境界を導出した。これらの境界は、$\alpha$-レニー・ダイバージェンス（分数型尤度に対して）およびHellinger距離（標準的な尤度に対して）の両方において確立されており、変分プロキシが対数因子を除いて最適なベイズ推定器と同等の統計的精度を達成することを示している。
• $\alpha$ の較正: 点推定の精度と頻度論的な信頼区間の被覆率のバランスを取るための、テンパリングパラメータ $\alpha$ の実践的な較正戦略を提示しており、これは変分法における一般的な問題である過小被覆に対処するものである。

実証結果
TAVIE-SSGの性能は、シミュレーションデータおよび米国2000年国勢調査（ベイズ分位回帰）やSTARmap空間トランスクリプトミクスデータを含む実世界のデータセットを用いて評価された。

• スケーラビリティ: TAVきTAVIE-SSGは、ADVI（平均場およびフルランク）、決定論的ADVI（DADVI）、およびMCMCサンプラー（NUTS）を含む最先端の競合手法と比較して、優れた計算効率を示した。大規模なシナリオ（例：$n=10^6$）において、TAVIE-SSGはBBVI手法よりも数桁速く、かつ安定性を維持した。
• 精度: パラメータ推定の平均二乗誤差（MSE）および事後分布近似の質（Sliced Wasserstein距離で測定）において、TAVIE-SSGはADVIの各バリアントを一貫して上回るか同等の性能を示し、特に重い裾を持つモデルにおける分散パラメータ（$\tau^2$）の推定においてDADVIを凌駕することが多かった。
• 頑健性: 本手法は、ブラックボックス手法であるADVIが正確な表現に収束できなかった空間的な遺伝子発現パターンのような、複雑な潜在データ構造を正常に捉えることに成功した。

意義と主張
著者らは、TAVIE-SSGを、硬直的な構造化VIと計算コストの高いブラックボックスVIとの間の、原理的な中間領域として位置づけている。本研究の意義は、確率的勾配に依存することなく、広範な非共役モデルに対して証明可能な収束保証と統計的最適性を提供できる点にある。接マイノレイタントを通じて共役性を誘発することにより、本フレームワークは平均場手法のスケール性を維持しながら、複雑で非ガウス的なデータ構造をモデル化する柔軟性を保持している。論文は、TAVIE-SSGが、特に外れ値への頑健性や離散的な応答が求められる現代の大規模データ適用において、理論的に健全でスケーラブルな、統一されたベイズ推論のアプローチを提供すると主張している。