Bayesian inference for the learning rate in Generalised Bayesian inference

技術的サマリー：一般化ベイズ推論における学習率のベイズ推論

問題定義
一般化ベイズ推論（GBI）は、$\pi_s(\phi|x) \propto \exp(-\eta \ell_\beta(\phi; x))\pi(\phi)$ の形式のギブス事後分布を用いて信念を更新する。ここで、$\eta$ は学習率、$\beta$ は損失関数 $\ell_\beta$ のハイパーパラメータを表す。GBI はモデルの誤指定や異質なデータセットの統合に効果的であるが、推論ハイパーパラメータ $s = (\eta, \beta)$ は、単にそれらに事前分布を割り当てデータに条件付けることで、モデルパラメータ $\phi$ と同時に推定することはできない。そのように行うと、正規化定数 $c(\phi, s)$ のために $\phi$ の事後分布が歪められる。したがって、既存の手法はしばしばアドホックな選択や交差検証に依存している。本論文は、特に一部のモジュールが誤指定されている可能性のある複数のデータモジュールを扱う設定において、$s$ を推定し、それに関する不確実性を定量化するための整合的な枠組みの必要性に対処する。

手法
著者らは、保持された較正データ $y$ を用いた、推論ハイパーパラメータ $s$ に対するベイズ推論の枠組みを提案する。中核的なアイデアは、較正データの事後予測分布 $p_s(y|x)$ を $s$ に対する尤度のような量として扱うことである。$s$ に対する 2 つの異なる事後分布が、異なる損失関数に基づいて定義される：

1. プールド損失（Pooled Loss）: $l^{(1,J)}(s; y, x) = -\log p_s(y|x)$ と定義される。ここで、$p_s(y|x) = \int p(y|\phi)\pi_s(\phi|x)d\phi$ である。このアプローチは「疑似真のパラメータ」$\tilde{\phi}$（真のデータ生成過程とモデル間のカルバック・ライブラー発散を最小化するパラメータ）のカバレッジを目標とする。得られる事後分布 $\rho^{(1,J)}(s|y; x)$ は、較正データのサイズ $J \to \infty$ となっても集中せず、$\pi_s(\tilde{\phi}|x)\rho(s)$ に比例する拡散的な分布に収束する。
2. プロダクト損失（Product Loss）: $l^{(J,1)}(s; y, x) = -\sum_{j=1}^J \log p_s(y_j|x)$ と定義され、負の期待対数点ごとの予測密度（ELPPD）に対応する。このアプローチは予測リスクの最小化を目標とする。正則性条件下において、得られる事後分布 $\rho^{(J,1)}(s|y; x)$ は、最適ハイパーパラメータ $s^*$ に対して $J^{-1/2}$ の速度で集中し、漸近的に正規分布に従う。

本論文はこの枠組みを、いくつかのモジュールが誤指定されている可能性のある設定であるセミモジュラー推論（SMI）に拡張する。著者らは、SMI を逐次ギブス事後分布（Winter et al., 2023）の特定の事例として特定する。彼らは、疑わしいモジュールからの情報の流れ（$\eta$ 経由）と損失関数の頑健性（$\beta$ 経由）を同時に制御する新しい変種、$(\eta, \beta)$-SMI 事後分布を導入する。

主要な貢献

• ハイパーパラメータの同時推定: 本論文は、保持されたデータを用いて学習率 $\eta$ と損失ハイパーパラメータ（例えば $\beta$-損失における $\beta$）を同時に推定するための統合された枠組みを提供し、単一パラメータのチューニングを超えたものとする。
• 理論的特徴付け: 著者らは、プールド事後分布とプロダクト事後分布の両方について漸近的特性を確立する。彼らは、プロダクト事後分布が予測のための最適ハイパーパラメータに集中し、プールド事後分布が疑似真のパラメータを目標とすることを証明する。また、最適 $s$ がパラメータ空間の境界にある非正則なケース（例えば、カットモデルにおける $\eta=0$）に関する結果も提供し、ガンマ分布への収束を示す。
• SMI への統合: SMI を逐次ギブス事後分布として位置づけることで、著者らは既存の一貫性とバーンシュタイン・フォン・ミーゼス（BvM）定理をモジュラー設定に持ち込み、新しい $(\eta, \beta)$-SMI 更新の漸近的挙動を検証する。
• 推定量: 事後平均、損失最小化器（MAP）、調和平均、KL 発散最小化器など、$s$ に対するいくつかの推定量が提案され、比較される。

結果
提案された手法は、シミュレーション研究と実世界のテキスト分析アプリケーションを通じて評価された：

• 正規混合モデルと状態空間モデル: 誤指定されたモデルを用いた合成実験において、学習されたハイパーパラメータ（特にプロダクト損失を介したもの）は、テストデータにおける期待リスク比の点で、固定されたベイズ推論（$\eta=1$）やカットモデル（$\eta=0$）を一貫して上回った。$(\eta, \beta)$-SMI アプローチは、$\eta$-SMI と同等の性能を示しつつ、頑健な損失関数という追加の柔軟性を備え、標準的なベイズ更新やカット更新よりも低いリスクを達成することが多かった。
• テキスト分析（意味変化）: 1810 年から 2010 年までの英語テキストコーパス（EDiSC モデル）に適用され、単語の意味をクラスタリングするために使用された。学習された学習率 $\hat{\eta}$ は、$\eta=1$ や事後予測チェックを通じて選択された値と比較して、保持されたテストデータにおいて高い事後予測確率をもたらした。得られたクラスタは、標準的なベイズ推論と比較して意味的な一貫性（ブライアースコアで測定）が向上しており、モデルの誤指定と疎なデータを効果的に処理していた。
• 漸近的検証: シミュレーションは理論的予測を確認した。すなわち、プロダクト事後分布は $J$ の増加とともに最適値の周りに集中するのに対し、プールド事後分布は拡散的なままであり、予測対パラメータのカバレッジという異なる推論目標と一致していた。

意義と主張
本論文は、推論ハイパーパラメータを保持されたデータから導出された事後分布を持つ確率変数として扱うことが、一般化ベイズ推論における不確実性の定量化と最適選択のための整合的な経路を提供すると主張する。著者らは、プールド較正とプロダクト較正の間の選択は、疑似真のパラメータをカバレッジすること対予測密度を最大化することという異なる推論目標に対応しており、したがって、得られる最適ハイパーパラメータは一致する必要がないと強調している。

この研究は、誤指定されたモジュールと正しく指定されたモジュール間の情報流を、恣意的なチューニングに頼ることなく原則的にバランスさせる方法を提供する多モジュラー推論において特に重要である。著者らは、このアプローチが高次元のハイパーパラメータ空間では計算集約的であるが、低次元の場合（例えば $\eta$ と $\beta$）では実用的であり、誤指定された設定で信頼性が低い可能性のある WAIC などの手法に対する頑健な代替手段を提供すると指摘している。この枠組みは、異質なデータとモデルの誤指定を含む複雑な実世界の問題における一般化ベイズの使用を支援する。