When can a posterior predictive check identify the learning rate? Exact degeneracy in Gaussian models and implications for Generalised Bayesian Inerence

技術的要約：ガウスモデルにおける正確な退化性と一般化ベイズ推論への示唆

問題提起
一般化（またはギブス）ベイズ推論は、尤度関数 $p(y|\theta)$ を学習率 $\eta > 0$ でテンパリング（緩和）し、$p(y|\theta)^\eta$ に置き換えることで、モデルの誤設定に対処する。$\eta$ の選択はキャリブレーションにおいて極めて重要であるが、その選択は依然として困難である。Zafar and Nicholls (2024) は、$\eta$ を選択するための単純かつ探索的な手法として、対数尤度に基づく事後予測チェック（PPC）を提案した。具体的には、結果としてのPPC $p$ 値が棄却されない（すなわち $p(\eta) \ge \alpha$）最小の $\eta$ をグリッド上で選択する。この手法は、複雑で誤設定されたモデルにおいては有望な結果を示したが、標準的なカノニカル・モデルにおける挙動については厳密に検証されていなかった。本論文は、このPPCセレクターが、カノニカルなガウス線形モデルにおいて異なる学習率を識別できるかどうかを調査するものである。

方法論
著者は、ガウス線形モデル $y = X\beta + \varepsilon$ （ここで $\varepsilon \sim N(0, \sigma^2 I_n)$）における、PPC $p$ 値セレクターの正確な有限標本解析を行う。解析では、主に以下の2つのシナリオを検討する。

1. 分散既知の場合： $\sigma^2 = \sigma_0^2$ は既知であり、$\beta$ に対して平坦な事前分布を用いる。
2. 分散未知の場合： $\beta$ と $\sigma^2$ の両方が未知であり、標準的な参照事前分布 $\pi(\beta, \sigma^2) \propto \sigma^{-2}$ を用いる。

PPC $p$ 値は、$p(\eta) = P(T(y_{rep}, \theta) < T(y, \hat{\theta}_\eta))$ と定義される。ここで $T$ は対数尤度不一致度であり、$\hat{\theta}_\eta$ はテンパリングされた尤度に基づく事後平均、 $y_{rep}$ は非テンパリングされたモデルから描画されたデータである。著者は、この $p$ 値の分布が $\eta$、データ、およびデータ生成過程（DGP）にどのように依存するかを決定するために、閉形式の表現を導出する。

主要な貢献と結果

1. 既知の分散下における正確な退化性（定理1）：
   $\sigma^2$ が既知で平坦な事前分布が使用される場合、PPC $p$ 値は $\eta$ に関して不変である。任意の $\eta > 0$ に対して、$p$ 値は $P(\chi^2_n > \text{RSS}/\sigma_0^2)$ に等しい。

• 含意： このセレクターは学習率を区別できない。残留平方和（RSS）と想定される分散の比率のみに依存して、グリッド全体を受け入れるか（最小のグリッド値となる）、あるいはグリッド全体を棄却するかを決定する。
• 誤設定： セレクターは二面的な非識別性を有する。真の分散が想定される分散よりも大きい場合（過分散）、すべての $\eta$ に対して $p \to 0$ となる。真の分散が小さい場合（過小分散）、すべての $\eta$ に対して $p \to 1$ となる。いずれの場合も、セレクターは適合度を補正するために $\eta$ を利用することはない。

2. 未知の分散下におけるデータフリーの法則（定理2）：
   参照事前分布を用いた未知の分散 $\sigma^2$ の場合、$p$ 値は以下の閉形式の式を持つ：
   $$p(\eta) = P\left[ W + n \log\left(\frac{\eta n - d - 2}{V}\right) > \frac{\eta n - d - 2}{\eta} \right]$$
   ここで $W \sim \chi^2_n$ および $V \sim \chi^2_{\eta n - d}$ であり、これらは独立である。

• 決定的な発見： この式は、サンプルサイズ $n$、ランク $d$、および学習率 $\eta$ にのみ依存する。実現されたデータ $y$ やデータ生成過程には完全に独立している。
• 結果： 選択される $\eta$ は、データが観測される前に決定される。数値解析によれば、典型的なグリッドにおいて、$p_{n,d}(\eta)$ の曲線は棄却閾値（例：$\alpha=0.10$）を十分に上回る。その結果、セレクターは実際の適合度に関わらず、最小の許容可能なグリッド値（「グリッドフロア」）へと崩壊する。

3. キャリブレーションのコスト：
   このデータフリーの崩壊により、セレクターは最小の $\eta$（過剰なテンパリング）をデフォルトとして選択するため、予測区間が過度に広くなる。シミュレーションでは、PPCで選択された $\eta$ を用いて構築された90%予測区間は、被覆率が0.97–0.99（過剰被覆）となり、ホールドアウト選択や $\eta=1$ から導出された区間よりも1.5–1.9倍広いことが示されている。

4. 事前分布の役割：
   正確なデータ独立性は、参照事前分布（または既知の分散における平坦な事前分布）に特有のものである。論文では、情報的な事前分布（例：適切なリッジ事前分布）を導入することで、この正確な退化性が打破され、$p$ 値がデータに依存するようになることが述べられている。しかし、拡散事前分布の場合、その依存性は数値的に無視できる程度であり、セレクターは依然としてグリッドフロアへ崩壊する傾向がある。

意義と範囲
本論文は、これらの知見を、PPCベースの学習率選択に対する一般的な否定的な声明ではなく、「境界結果」として位置づけている。その意義は以下の点にある：

• カノニカルなクラスの特定： 不正確な（非識別的な）PPCセレクターとなる特定のモデルクラス（ガウス尺度・位置家族および参照事前分布）を明確にした。
• メカニズムの説明： 不一致統計量がピボタル量（pivotals）の関数であるという「ピボタリティ特性」に起因する失敗を説明している。これにより、統計量の比較確率が未知のパラメータから自由になり、未知の分散の場合にはデータからも自由になる。
• 実用的な診断ツール： 著者は、「安価でデータフリーな事前スクリーニング診断」を提案している。モデルを適合させる前に、$(n, d)$ の構成に対する理論的な $p$ 値曲線を計算できる。もしグリッド上の最小 $p$ 値が有意水準 $\alpha$ を超えている場合、そのPPCセレクターは事前にデータフリーであることが判明しており、グリッドフロアへ崩壊する可能性が高い。そのような状況では、ホールドアウト選択やELPPDなどのデータ駆動型の代替手法が推奨される。

結論として、Zafar and Nicholls (2024) の手法は、複雑で非共役な設定では機能する可能性があるものの、これらの正確な有限標本特性により、カノニカルなガウス設定においては根本的に失敗することを指摘しており、同様の構造的特性を持つモデルに適用する際の注意を促している。