技術要約：予測的変分推論 (Predictive Variational Inference, PVI)

1. 問題提起

従来のベイズ推論は、正確な事後分布 $p(\theta|y)$ を近似することを目的としている。これは、尤度と事前分布が正しく指定されている場合にのみ、パラメータ推定および予測において最適となる。しかし、**モデルの誤指定（model misspecification）**の下では、正確なベイズ事後分布は意味のある予測を提供できないことが多い。具体的には以下の問題がある：

• 過剰適合（Overconfidence）: サンプルサイズ $n \to \infty$ において、標準的なベイズ推論（および変分推論、VI）は、たとえモデルが間違っていたとしても、最大尤度推定（MLE）の周囲の点質量へと収束する。この不確実性の消失は、確率的推論を損ない、誤指定された設定においては点推定と変わらないものにしてしまう。
• 劣悪な予測性能: 正確なベイズ予測分布は、モデルが正しいという仮定の下でのみ、事後平均化されたKLダイバージェンスを最小化する。現実的なシナリオにおいてモデルが誤指定されている場合、ベイズ予測は点推定に起因する予測よりも劣る可能性があったり、過剰に自信に満ちた推論を生み出したりすることがある。

アンサンブル手法（バギング、スタッキング）や一般化ベイズ（PAC-Bayes、ギブス事後分布）といった既存のアプローチは、離散的なモデル平均化や特定の損失関数に焦点を当てることが多い。これに対し、尤度が正確な設定と尤度フリーの設定の両方に適用可能であり、潜在的に欠陥のある事後分布を近似するのではなく、予測性能を直接最適化する一般的なフレームワークが求められている。

2. 手法：予測的変分推論 (PVI)

著者らは、結果として得られる事後予測分布が、真のデータ生成過程 $p_{\text{true}}(\tilde{y})$ に可能な限り近くなるような変分事後分布 $q_\phi(\theta)$ を探索する手法、予測的変分推論 (PVI) を提案している。

コアとなる目的関数

標準的なVIが $q(\theta)$ と正確な事後分布 $p(\theta|y)$ との間のKLダイバージェスを最小化するのに対し、PVIは予測分布と真のデータプロセスとの間のダイバージェンス $D$ を最適化する。目的関数は以下のように定式化される：
$$\max_{\phi \in \Phi} \left( \sum_{i=1}^n S\left( \int_\Theta p(\cdot|\theta)q_\phi(\theta)d\theta, y_i \right) - \lambda r(\phi) \right)$$
ここで：

• $S(\cdot, \cdot)$ は適切なスコアリング・ルール（例：対数スコア、二次/ブライア・スコア、区間スコア、CRPS）である。
• 項 $\int_\Theta p(\cdot|\theta)q_\phi(\theta)d\theta$ は事後予測分布を表す。
• $r(\phi)$ は、識別性を確保し事前知識を取り入れるための正則化項（事前分布または標準的な事後分布への正則化）である。
• $\lambda$ は正則化の強さを制御する。

主要な技術的構成要素

1. スコアリング・ルール: PVIは特定のスコアリング・ルールに依存しないため、ユーザーはタスク（較正、分位点精度など）に合わせて予測の最適性を調整できる。
   • 対数スコア (Logarithmic Score): KLダイバージェンスの最小化に対応する。著者らは、扱いにくい対数積分を処理するために、拒絶サンプリングを用いた新しい不偏勾配推定器を導出し、バッチサイズが小さい場合でも収束を保証している。
   • 二次（ブライア）スコア (Quadratic/Brier Score): カテゴリカルな結果に対して有用である。
   • 区間スコアおよびCRPS: 区間の較正性と鋭敏さを測定する。CRPSは、尤度密度を評価することなくシミュレーションを通じて計算できるため、尤度フリー推論において特に価値がある。
2. 勾配推定: 本論文では、4つのスコアリング・ルールに対する確率的勾配アルゴリズムを提供している。重要な貢献は、拒絶サンプリングを用いて対数スコアの不偏勾配を導出したことであり、これにより、標準的な再パラメータ化勾配で見られる、バッチサイズが小さい時の深刻なバイアスを修正している。
3. 正則化: PVIは、純粋な予測最適化（$\lambda=0$）と完全なベイズ推論（$\lambda \to \infty$）の間を、事前分布または標準的な事後分布への正則化によって補完することを可能にする。

理論的特性

• 漸近的一致性: 正則性の条件下で、PVIの解は真のデータプロセスへのダイバージェンスを最小化するパラメータ分布に収束する。
• 後方互換性: モデルが正しく指定されている場合、PVIは真のパラメータに集中する（標準的なベイズと一致する）。
• 誤指定への対応: モデルが誤指定されている場合（例：パラメータが集団内で変動する場合）、PVIは点質量へと崩壊しない。代わりに、真のパラメータの集団分布へと収束し、消失しない不確実性を維持する。これは暗黙的な階層的拡張として解釈される。

3. 主な貢献

1. 汎用フレームワーク: 正確な事後分布を近似するのではなく、任意の適切なスコアリング・ルールを介して予測性能を直接最適化する、一般的な推論フレームワークとしてのPVIを導入した。
2. 尤度フリー能力: CRPSのようなスコアリング・ルールを利用することで、PVIは尤度が扱いにくいモデルにおける効率的なシミュレーションベース推論（SBI）を可能にする。これは、標準的なVIがモデルの誤指定に苦慮しやすい領域である。
3. 診断ツール: PVIと標準的なベイズの間の乖離は、モデルの誤指定を示す診断指標として機能する。具体的には、非消失なPVI事後分布の分散は、パラメータが集団間で変動している（異質性がある）可能性を示唆し、モデルの拡張を導く。
4. アルゴリズムの進展: 拒絶サンプリングを用いた対数スコアの新しい不偏推定器を含む、複数のスコアリング・ルールに対する実用的な確率的勾配推定器を提供する。

4. 実験結果

本論文では、3つの異なるアプリケーションにおいてPVIの実証を行っている：

• ゴルフのパッティング（モデル誤指定の検出）: ゴルフのパッティング成功率に関するロジスティック回帰モデルにおいて、標準的なベイズはモデルの誤指定により、狭く不正確な予測を行った。一方、予測スコアを最適化するPVIは、より広い事後分布を生成してデータにうまく適合させ、モデルの不適切さを効果的にフラグ立てした。
• 米国選挙分析（異質性の検出）: 有挙率に関するマルチレベル回帰において、PVIは一定の係数という仮定が違反されている特定の州を特定した（高い事後分散によって示された）。これにより、モデルを拡張して状態ごとに変化する係数を含めることが可能となり、標準的なVIと比較して予測性能が向上した。
• クライオ電子顕微鏡（CryoEM）推論（尤度フリー）: 尤度が扱いにくいタンパク質構造推論（クライオ電子顕微鏡画像）に適用。CRPSを用いたPVIは、分子結合角の真の集団分布を正常に復元した。対照的に、標準的なベイズは過剰に自信に満ちた点推定へと崩壊し、データに内在する分子の異質性を捉えることに失敗した。

5. 意義と主張

本論文は、PVIが「事後分布を近似する」ことから「予測的に最適な事後分布を学習する」ことへの転換を象徴していると主張している。

• 暗黙的な階層的拡張: PVIは、個々のデータポイントに対して明示的に個別のパラメータをモデル化する計算コストをかけることなく、集団の異質性に自動的に適応する、暗黙的な階層的拡張として解釈される。
• 堅牢性: PVIはモデルの誤指定に対して堅牢であり、モデルが間違っている場合に標準的なベイズ手法が見せる過剰な自信を回避する。
• 統一されたフレームワーク: 尤度が正確な推論と尤度フリーの推論を単一の目的関数の下で統合し、厳密な予測保証を持つシミュレーションベースの手法の使用を可能にする。
• トレードオフ: 著者らは、モデルが正しい場合にはPVIは標準的なパラメトリックな収束速度よりも遅くなる可能性があること、また、確率空間における最適化は有限次元のパラメータ学習よりも計算量が多くなる可能性があることを認めている。

本研究は、PVIを単なる近似手法としてではなく、理論的に正しい（可能性がある）事後分布への忠実度よりも、予測分布の質を優先する、明確に異なる推論パラダイムとして位置づけている。