Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry

技術要約：偶対称および楕円対称性を有する場合の変分推論に関する一般化された保証

問題提起
変分推論（VI）は、扱いやすい分布族 $\mathcal{Q}$ の中から、ターゲット密度 $p$ に最もよく一致する $q$ を見つけることで、$p$ を近似する。通常、これはダイバージェンス $D(p||q)$ を最小化することによって行われる（例：逆KLダイバージェンス、順方向KLダイバージェンス、$\alpha$-ダイバージェンス）。異なるダイバージェンス（例：逆KL、順方向KL、$\alpha$-ダイバージェンス）はしばしば異なる近似をもたらすが、どのような条件下でVIが平均や相関行列といった統計的性質の正確な推定を提供できるのかについては、依然として不明確である。先行研究では、ターゲット $p$ が対数凹（log-concave）であり、かつ偶対称または楕円対称性を示す場合、逆カルバック・ライブラー（KL）ダイバージェンスを最小化することで $p$ の平均と相関行列が回収されることを示した。しかし、これらの保証は特定のダイバージェンスに限定されており、実用的な場面で一般的な重い裾を持つ分布（ヘビーテイル分布）を除外してしまう、対数凹性という強い仮定を必要としていた。

手法
著者らは、これらの保証を広範な目的関数へと一般化し、ターゲット密度の正則性条件を緩和している。

1. 目的関数: 解析は、$D_f(p||q) = \int f(p(z)/q(z))q(z)dz$ で定義される広範な関数族である $f$-ダイバージェンスに焦点を当てている。これには、逆および順方向のKLダイバージェンス、$\alpha$-ダイバージェンス、および平滑化された全変動距離が含まれる。
2. 対称性の定義: 本論文では、偶対称（点 $\nu$ に関する対称性）、楕円対称（散布行列 $M$ によって定義される対称性）、および部分対称（座標のサブセット $\sigma$ に沿った対称性）を定式化している。
3. 変分家族: 近似家族 $\mathcal{Q}$ は、位置パラメータ $\nu$ に関して楕円対称であり、スケール行列 $S$ に比例する散布行列を持つ、楕円位置尺度家族であると仮定されている。
4. 理論的枠組み:
   • 同時対角化: 著者らは、合同変換（congruence）によって $p$ と $q$ の散布行列を同時に対角化する座標変換（補題1）を用いている。これにより、$f$-ダイバージェンスを変換された変数に関する形式に再定式化でき、停留点の解析が簡素化される。
   • 単峰性と対数凹性: $p$ に対して対数凹性を要求する代わりに、著者らは $p$ と $q$ が厳密に単峰であること（その径関数が厳密に減少していること）を仮定している。これにより、Student-$t$ 分布やコーシー分布のような重い裾を持つ分布を含めることが可能になる。
   • 部分対称性のための連鎖律: 部分対称性については、$f$-ダイバージェンスの連鎖律の性質（定義9）を利用して、ダイバージェンスを条件付き成分と周辺成分に分解し、対称性を持つ座標と持たない座標の解析を可能にしている。

主要な貢献
本論文は、従来の知見を一般化する3つの主要な定理を提示している。

• 定理1（偶対称性における平均の回収）: 任意の厳密に凸な $f$-ダイバージェンスについて、$p$ が楕円対称かつ厳密に単峰である場合、位置パラメータ $\nu$ に関するダイバージェンスの唯一の極小値は $p$ の真の平均（$\nu = \mu$）である。これは、$p$ が対数凹ではなく重い裾を持つ場合でも成立する。
• 定理2（楕円対称性における平均と散布行列の回収）: 定理1と同じ条件下に加え、$p$ の径関数が裾において径方向に減少するという要件を満たす場合、位置・スケールパラメータ $(\nu, S)$ に関するダイバージェンスの任意の停留点は、$\nu = \mu$ および $S = \gamma^2 M$（ある $\gamma > 0$ に対して）を満たす。したがって、VIは $p$ の相関行列を回収する。
• 定理3（部分対称性の保証）: $p$ が座標のサブセット $\sigma$ に沿ってのみ対称性を示し（条件付き分布 $p(z_\sigma | z_{\bar{\sigma}})$ が線形な条件付き平均と一定の散布行列を持つ楕円対称である場合）、変分近似は $\sigma$ に沿った条件付き平均と散布行列を回収する。条件付き平均が一定である場合、$\sigma$ に沿った周辺平均および相関も回収される。

結果

• 理論的: 証明は、対称性を一致させる解がすべての厳密に凸な $f$-ダイバージェンスにおいて停留点であることを示している。著者らは、単峰的なターゲットに対して、これらの停留点が平均およびスケールパラメータの唯一の極小値であることを示している。
• 数値実験: 著者らは、合成ターゲット（多変量Student-$t$分布、楕円状のファンネル、三日月型分布）およびベイズ階層モデル（教育データ、疾患モデリング、遺伝データ）を用いてVIを評価した。
  • 著者らは事後分布の非対称性を測定し、より対称的なターゲットほど、平均推定における絶対誤差が低くなることを発見した。
  • 部分対称性を持つモデル（例：楕円状のファンネル）において、VIは非対称な座標（$\tau$）の平均の回収には失敗したものの、対称な座標（$\theta$）に沿った平均と相関を正確に回収した。
  • 実験により、階層モデルにおける非対称性を減少させるパラメータ化戦略（例：非中心化パラメータ化や周辺化）が、VIの性能向上につながることが確認された。

意義と主張
本論文は、対称性を一致させる性質が広範な目的関数（$f$-ダイバージェンス）において頑健であり、制限的な対数凹性の仮定に依存しないことを示す統一的な理論的枠組みを提供すると主張している。著者らは、これらの結果が「実務家への処方箋」を提供していると強調しており、これは、部分対称性を活用するようにモデルを再パラメータ化すること（例：非中心化パラメータ化や、潰された事後分布の使用）によって、ベイズ階層モデルにおけるVIの性能を向上させられることを示唆している。本研究は、VIがいつ確実に正確であるかについての理解を、特定のダイバージェンスの選択を超えて、より広範な目的関数や、より現実的なターゲット分布（重い裾を持つものを含む）へと拡張するものである。著者らは、焦点は理論的保証にあるが、彼らの知見は既存の事後的診断や修正に関する研究を補完するものであるとも述べている。