Stability of Finite-Batch Particle Mean-Field Variational Inference Beyond Strong Convexity

技術要約：強凸性を超えた有限バッチ粒子平均場変分推論の安定性

問題設定
本論文は、粒子平均場変分推論（PAVI）における有限バッチ粒子アルゴリズムの安定性と非漸近的収束性を扱う。平均場変分推論（MFVI）は、積測度上の相対エントロピーを最小化することで、ターゲット密度 $p(x) \propto e^{-V(x)}$ を近似するが、実用的な実装では、粒子近似、射影されたドリフトの確率的バッチ評価、および時間離散化に依存している。

Duらによる既存の解析は、通常、ターゲットポテンシャル $V$ がグローバルに強凸であることを仮定している。この仮定はダイナミクスの収縮性を保証するものであるが、現代のアプリケーションにおいてはしばしば違反される。本論文は、$V$ がグローバルに滑らか（リプシッツ連続な勾配を持つ）ではあるが、必ずしも強凸ではない場合のPAVIの安定性を調査する。課題は、非凸領域によって生じる収縮性の喪失が、完全離散化された有限バッチ・アルゴリズムの誤差境界にどのように影響するかを定量化することにある。

手法とフレームワーク
著者らは、PAVIアルゴリズムを射影ワッサースタイン・ダイナミクスの完全離散化された確率近似としてモデル化している。核心となる手法上の革新は、非凸性を定量化するために**曲率欠損（curvature defect）**指標を導入したことである。

1. 曲率欠損: $\nabla^2 V \succeq \alpha I$ と仮定する代わりに、論文では以下の欠損関数を定義する：
   $$d_\alpha(x, y) = \left[ \alpha \|x - y\|^2 - \langle \nabla V(x) - \nabla V(y), x - y \rangle \right]_+$$
   これは、1ステップのオイラー収縮推定における加法的な損失を測定する。解析では、一様な欠損境界 $d_\alpha(x, y) \le \beta$ を仮定しており、これにより「負の曲率」が有界である限り、非凸性を許容できる。

2. 定常比較配列: 非漸近的境界を導出するために、著者らは定常比較プロセスを構築している。このプロセスは、行方向の周辺分布が真のMFVI極小値 $q^\star$ への最適結合となる粒子の配列で構成される。決定論的な積法則 $q^\star$ とは異なる、この定常配列の行の経験的測度の積が重要となる。解析では、このランダムな経験的法則において評価された射影ドリフトと、$q^\star$ におけるドリフトとの間の不一致を明示的に制御する。

3. 誤差の分解: 証明では、全誤差を以下の異なる成分に分離する1ステップ再帰を利用する：

   • 初期化誤差（過渡的な収縮）。
   • 積経験的近似誤差（有限粒子数 $N$）。
   • 有限バッチ・ドリフト誤差（サイズ $B$ の確率的サンプリング）。
   • 時間離散化誤差（ステップサイズ $h$）。
   • 結合された軌跡に沿った累積曲率欠損。

主要な貢献と結果

• 非漸近的安定性境界: 主要な結果（系 7.3）は、有限バッチ・スキームに対するワッサースタイン安定境界を提供する。一様な欠損境界 $d_\alpha \le \beta$ の下で、粒子イテレート $q_{X_n}$ と任意のMFVI極小値 $q^\star$ の間の二乗平均ワッサースタイン距離は以下を満たす：
  $$\left( \mathbb{E} W_2^2(q_{X_n}, q^\star) \right)^{1/2} \lesssim (1 - c\alpha h)^{n/2} \left( \mathbb{E} W_2^2(q_{X_0}, q^\star) \right)^{1/2} + \left(1 + \frac{\kappa}{\alpha}\right)\varepsilon_N(q^\star) + \sqrt{\frac{\beta}{\alpha}} + \sqrt{\frac{h\Gamma^\star}{\alpha B}} + \sqrt{\frac{L}{\alpha}\sqrt{h(h\Gamma^\star + m)}}$$
  ここで、$\varepsilon_N$ は経験的近似誤差であり、$\kappa$ は積法則への摂動に対する射影ドリフトの感度を測定し、$\Gamma^\star$ は $q^\star$ の下での勾配の二次モーメントである。

• パラメータの分離: 境界は、粒子数 $N$、バッチサイズ $B$、およびステップサイズ $h$ の影響を明示的に分離している。これは、バッチ誤差が粒子誤差および離散化誤差と同程度になるまで、$B$ を増やすことが有益であることを示している。

• 存在性とモーメント境界: 論文は、一様欠損条件の下でのMFVI極小値の存在を確立し、対数凹性を仮定せずに定常周辺分布の明示的なモーメント境界を導出している。著者らは、一様欠損がポテンシャルの二次的強圧性（quadratic coercivity）を意味することを証明している。また、存在は保証されるものの、一意性は必ずしも意味されないことを明記している。すなわち、$\beta > 0$ の場合、極小値の集合は複数の異なる要素を含む可能性がある。

• 次元に依存しない感度: 著者らは座標ごとの欠損推定を導入し、疎な相互作用構造の下では感度定数 $\kappa$ が次元に依存しないものとなり、誤差境界における次元の呪いを緩和できることを示している。

• 非凸ベンチマーク: 閉じた形式の唯一のMFVI極小値を持つ、新しい任意次元の滑らかな非凸ベンチマークを構築している。これにより、参照解の最適化の不確実性に汚染されることなく、アルゴリズム誤差を直接測定することが可能となる。

• ドリフト成長に関する制限: 論文は、たとえ強凸であっても、多項式成長を持つ超線形に増大する勾配を持つポテンシャルに対して、PAVIで使用される明示的オイラー・スキームが不安定であることを明確にしている。これには、標準的なテーミング（taming）が、証明に不可欠な有限バッチ推定量の不偏性を破壊してしまうため、テーミングされた、あるいは暗黙的なスキームが必要になると論じている。

意義と主張
本論文は、強凸性の仮定を緩和した有限バッチ粒子MFVIの非漸近的安定性解析を提供している。「曲率欠損」を定量化することで、本研究はリプシッツ連続性の数値的要求と、収縮の幾何学的メカニズムを分離している。この解析は、局所的収縮および非凸ランジュバン動力学に関する先行研究に基づき、それを拡張するものである。

著者らは、$\beta > 0$ の場合、特定の極小値への収束に関する結果は**控えめな（modest）**ものであることを強調している。そのような場合、アルゴリズムは単一の点へ収束するのではなく、極小値の集合の $O(\sqrt{\beta/\alpha})$ 近傍内で安定している。解析は、非凸設定におけるMFVI解の非一意性が、これと同じ欠損スケールによって定量的に制御されていることを浮き彫りにしている。

数値実験は、理論的なスケーリング則を検証しており、滑らかなベンチマークにおいてバッチ誤差は $B^{-1/2}$ に、粒子誤差は $N^{-1/2}$ に近いスケールで変化すること、そして最終誤差は曲率欠損の大きさに応じて単調に増加することを示している。論文は、曲率欠損の視点が、精度、計算コスト、およびターゲット・ポテンシャルの幾何学の間のトレードオフを理解するための厳密な枠組みを提供すると結論づけている。