An Old Look at Empirical Bayes

技術的サマリー：経験的ベイズへの古き視点

問題提起
本論文は、デニス・リンダリーが経験的ベイズ（EB）を「同じデータを二度使用する」ため統計的に非整合であると批判した点を再考する。すなわち、まず周辺分布からハイパーパラメータ（または事前分布）を推定し、次にその事前分布が固定・既知であるかのように事後分布を計算するという手法である。著者らは、特にデビッド・ブレイの 2026 年 IMS メダリオン・レクチャー・プログラムに代表される EB の現代的拡張が、確率的対称性、シミュレーションに基づく推論、較正研究といった計算上の革新と、「ベイズ的経験的ベイズ」や「集団事後分布」といった用語の転換を通じて、この問題を解決しようとしていると論じる。核心的な問題は、これらの計算上および概念的な拡張が、事前分布やハイパーパラメータにおける不確実性の伝達失敗という EB の根本的な非整合性を解決するものなのか、それとも単にそれを曖昧にしているに過ぎないのかという点である。著者らは、完全な階層的厳密性を維持するための計算コストが十分に低下しており、EB という「近道」が効率性向上によって正当化されることはもはやないと主張する。

方法論と理論的枠組み
本論文は、新たな実験的シミュレーションではなく、理論的および比較分析を採用している。3 つの異なる推論アプローチを対比させる：

1. 完全階層ベイズ：ハイパーパラメータ $\eta$ に対して適切なハイパー事前分布 $\rho(\eta)$ を持つ結合確率モデルを指定し、整合的な事後分布 $p(\theta | x) = \int p(\theta | x, \eta)p(\eta | x)d\eta$ を導出する。
2. 古典的経験的ベイズ（タイプ II 最尤法）：周辺最尤法（またはモーメント法）を通じて $\eta$ を推定し $\hat{\eta}(x)$ を得た後、$p(\theta | x, \hat{\eta})$ を計算する。これは $\hat{\eta}$ の変動性を無視する。
3. ブレイの現代的プログラム：
   • ベイズ的経験的ベイズ（BEB）：交換性やシフト不変性などの確率的対称性とエルゴード分解を用いて誘導測度 $g$ を定義し、変分推論やニューラルネットワークを通じてこれを推定する。
   • 集団事後分布：実現されたデータ上の事後分布ではなく、反復データセット上の期待値である $q^*(\theta) = E_{X \sim F}[p(\theta | X)]$ を目標とする。
   • シミュレーションに基づく EB：暗黙の尤度と償却推論ネットワークを用いて集団事後分布を近似する。

著者らは、これらをツイーディの公式（$E[\theta|x] = x + \sigma^2 \nabla \log m(x)$）の観点から分析し、以下を区別する：

• f モデリング：周辺密度 $m(x)$ を直接平滑化する。著者らは、これにより得られる推定量が有効な事前分布から生じることを保証するものではなく、許容性や整合性を侵害する可能性があると論じる。
• g モデリング / NPMLE：混合分布 $\pi$ を推定する。これは整合的であるが、得られる事前分布は有限支持を持つ離散分布となり、スパースな信号回復に必要な重尾性を捉えられない可能性がある。
• ホースシュー階層ベイズ：スパースな正規平均問題において最小最大最適性を達成し、有効なツイーディの公式をもたらす連続的なグローバル・ローカル・シュリンケージ事前分布（半コーシー型ハイパー事前分布）である。

主要な貢献と論点
本論文は 4 つの主要な技術的論点を提示する：

1. 「ベイズ的経験的ベイズ」の区別：著者らは、ブレイの「ベイズ的経験的ベイズ（BEB）」が、ディリー・リンダリーの「ベイズ経験的ベイズ」と構造的に異なることを明確にする。ディリー・リンダリーは有限次元パラメータに対して適切なハイパー事前分布を置く。一方、ブレイの BEB は、ニューラルネットワークを最適化ツールとして用いて最大周辺尤度（MML）により無限次元の誘導測度を適合させるが、誘導測度に対して事後分布を置かない。その結果、BEB は古典的 EB のデータ依存性やカバレッジ不足の問題を引き継ぎ、単にプラグイン推定をより高い抽象度へとシフトさせたに過ぎない。

2. 「集団事後分布」の本質：本論文は、「集団事後分布（$q^*$）」は実現されたデータに条件付けられたベイズ的事後分布ではなく、仮想的な反復に対する期待値である頻度論的対象であると論じる。PAC ベイズ理論に関連する有効な予測的解釈を持つものの、これを「事後分布」として販売することは不確実性の定量化に関する混乱を招く。著者らは、その頻度論的平均化の性質を反映するため、これを「集団予測分布」と呼び直すことを提案する。

3. f モデリングとツイーディの公式への批判：著者らは、エフロンによる f モデリングに対するダッタ・ポルソンの批判を精緻化する。平滑化された周辺スコア関数が必ずしも有効な事前分布に対応するわけではないことを示す。したがって、得られる「事後平均」は真のベイズ則ではなく、適切な事前分布に伴う許容性や最小最大保証を持たない。対照的に、ホースシュー型ツイーディの公式は、適切な階層事前分布（半コーシー尺度混合）から導出され、スパースな信号に対する最適な尾部挙動を持つ真のベイズ則としてのシュリンケージ・プロファイルを保証する。

4. シミュレーションに基づく推論（SBI）と目標：本論文は、標準的な事後分布 $p(\theta|x)$ を目標とする SBI 手法（ニューラル事後推定、生成ベイズ計算など）と、集団事後分布を目標とするブレイの SBI-EB とを区別する。著者らは、現代の SBI ツールは完全な階層事後分布を直接計算する能力を備えているため、集団平均化された対象を近似するためにそれらを使用することは、計算上の必然性ではなく目標の選択であると論じる。

結果と知見

• 整合性と不確実性：本論文は、EB の近道（プラグイン推定量）が不確実性を体系的に過小評価し、特に小標本またはスパースな領域において信用区間のカバレッジ不足を招くことを確立する。完全階層ベイズはハイパーパラメータの不確実性を正しく伝達する。
• 最適性：スパースな正規平均問題において、ホースシュー階層ベイズ推定量は最小最大最適レートに達する。著者らは、NPMLE（整合的な EB 手法）が重尾挙動を捉えられない離散事前分布を生成し、尾部推論において最適性を欠くことを示す。
• 計算上のトレードオフ：著者らは、現代の変分推論、ニューラル償却、シミュレーションに基づく手法により、完全階層ベイズの計算コストが、EB の近道による推論コストと比較して現在は無視できるほど小さいと主張する。
• ケーススタディ：
  • 薬物警戒（デュムシュール）：成功した情報共有は、EB ステップが計算上の便宜であって基礎的な必要性ではない、真の階層（ガンマ・ポアソン）に依存することを示す。
  • 較正研究：実験データと観測データを較正を通じて結合するには、バイアスに対する階層モデルが必要である。バイアスパラメータの MLE 推定量を代入することは不確実性の伝達に失敗するが、バイアス尺度に対するホースシュー事前分布を持つ階層モデルは整合的な推論を提供する。

意義と推奨事項
本論文は、経験的ベイズの概念の「改名」（例、「ベイズ的経験的ベイズ」など）が、リンダリー、グッド、デュムシュールによって特定された根本的な統計的非整合性を解決しないとの結論に至る。この研究の意義は、変分推論、ニューラルネットワーク、SBI といった現代統計の印象的な計算機械を、適切な階層ベイズのために再配置し、その代わりとして用いるのではなく、そのために活用するよう呼びかける点にある。

著者らは以下を推奨する：

1. 整合的な不確実性の定量化と最小最大最適性を提供するとして、スパースな問題のデフォルトとしてグローバル・ローカル・シュリンケージ事前分布（特にホースシューとその変種）を採用すること。
2. 「集団事後分布」をベイズ的事後分布ではなく、頻度論的予測対象として扱うこと。
3. EB と完全階層ベイズの間の計算的ギャップが埋まったことを認識し、EB の近道に対する主要な正当化理由を除去すること。
4. 「経験的」手法のあらゆる使用が、階層モデルへの近似として明示的に枠組み付けられ、近似が失敗する条件（例：グループ数が少ない、高いスパース性）が明確に認識されることを確保すること。

本論文は、経験的ベイズが有用ではないと主張するものではなく、むしろその現代的計算拡張は、計算効率を達成しつつベイズ推論の厳密性を維持するために、完全階層事後分布を計算するためのツールとして捉えるべきであると論じる。