The Well-Tempered Likelihood: Honest Confidence Intervals for Misspecified Models

技術要約：ウェル・テンパード・ライクリフッド（Well-Tempered Likelihood）

問題提起
高エネルギー物理学や物理科学において、尤度に基づく推論は、生成モデルが観測データに対して正確に記述しているという仮定に依存している。しかし、シミュレーションの不完全性、高次補正の欠落、あるいはモデル化されていない検出器効果により、モデルは頻繁に誤指定（misspecification）されている。モデルが誤指定されている場合、標準的な最大尤度推定（MLE）は、真の物理パラメータではなく、カルバック・ライブラー（KL）ダイバージェンスを最小化する「擬似真値」へと収束する。極めて重要な点として、ウィルクスの定理から導かれる標準的な信頼区間は、データサイズ $N$ の増加に伴い $O(1/\sqrt{N})$ で縮小する。モデルが誤指定されている場合、これは「過剰に自信に満ちた（over-confident）」制約へとつながる。すなわち、モデルの不適切さにもかかわらず、信頼区間が任意に狭まり、真の値を除外してしまう現象である。現在の慣習では、統計的な根拠のない系統誤差（SUnSO）を加えたり、アドホックに誤差を膨らませたりすることでこれを緩和しようとしているが、これには厳密な統計的基礎が欠けている。

手法
著者らは、モデルが誤指定されている場合に信頼区間が自己制限的に機能するように設計された、標準的な尤度比検定統計の修正版である**ウェル・テンパード・ライクリフッド（well-tempered likelihood）**を提案する。

コアとなる構成は、新しい検定統計量 $T(\theta)$ を以下のように定義する：
$$T(\theta) = \frac{\Lambda(\theta)}{\hat{\gamma}}$$
ここで：

• $\Lambda(\theta)$ は標準的な対数尤度比検定統計量である。
• $\hat{\gamma}$ は、最良適合点 $\hat{\theta}_{\text{MLE}}$ において評価された適合度（goodness-of-fit; GOF）統計量を、自由度で正規化したものである。

この手法は、$\hat{\gamma}$ のスケーリング挙動に基づいている：

1. 正しい指定（Correct Specification）: モデルが正しい場合、$\hat{\gamma} \to O(1)$ となる。統計量 $T(\theta)$ は標準的な尤度比の挙動を回復し、統計的検出力を維持する。
2. 誤指定（Misspecification）: モデルが誤っている場合、$\Lambda(\theta)$ と $\hat{\gamma}$ は共に $O(N)$ としてスケールする。その結果、それらの比である $T(\theta)$ は $O(1)$ のままである。これにより、信頼区間がゼロへと崩壊することを防ぐ。代わりに、区間はモデルの不備によって決定される底値（floor）で安定する。

論文では、$\hat{\gamma}$ に関する2つの具体的な定式化を提示している：

• ビン形式（Binned Case）: ピアソンの $\chi^2$ 統計量を用いる。ここでは、$\hat{\gamma} = \max(1, G_{\text{bin}}/ \text{dof})$ である。誤指定の下では、有効サンプルサイズ $N_{\text{eff}} = N/\hat{\gamma}$ は、ビニングの解像度と誤指定の深刻さによって決定される一定値に飽和する。
• 非ビン形式（Unbinned Case）: 分類器ベースの二標本検定を用いる。バイナリ分類器が、観測データと、適合されたモデルから生成された合成サンプルを識別する。GOF統計量 $G_{\text{cls}}$ は、帰無仮説（識別不能性）に対する偏差である。分類器における無分布の閉じた形式が存在しないことを扱うため、著者らは置換検定を通じて $G_{\text{cls}}$ の平均と標準偏差を校正し、統計量を $\hat{\gamma}$ のためのシフトされた $z$ スコアへと変換する。

主な貢献

1. 自己制限的な信頼区間: 主要な貢献は、モデルがデータに適合しない場合に、信頼区間が自然に広がる（あるいは縮小を停止する）メカニズムであり、ゼロへと縮小することを防ぐものである。これは、実効的なサンプルサイズ（$N_{\text{eff}}$）を、モデルの解像度に相応した値へと効果的に減少させる。
2. データ駆動型の不確実性: SUnSOが手動での誤差膨張を必要とするのに対し、ウェル・テンパード・アプローチは、GOF検定を介してデータとモデルの不一致から直接、必要なペナルティを導出する。
3. 二重の定式化: 論文は、解析的に扱いやすく、$F$ 分布に従うビン形式と、高次元・多変量データに適した機械学習分類器を用いた非ビン形式の両方を提供している。
4. 理論的保証: この手法は、忠実性（モデルが正しいときに標準的な推論を回復すること）と自己制限性（モデルが誤っているときに区間を安定させること）を保証する。

結果
著者らは、2つのケーススタディを通じてこの手法を検証している：

• ガウス型概念実証: 固定分散を持つ単変量ガウス分布の例において、分散が誤指定されている場合でも、標準的な区間は $1/\sqrt{N}$ で縮小し、過小被覆（undercoverage）を引き起こす。ウェル・テンパード区間は、小さな $N$ では標準的な結果を追跡するが、$N$ が増加するにつれて一定の幅に飽和し、モデルが真の分散を解像できないという限界を正しく反映する。$N_{\text{eff}}$ は、真の分散とモデルの分散の差の二乗に反比例する値にプラトーに達する。
• 強結合定数（$\alpha_s$）の推論: 合成 $e^+e^-$ 衝突データとジェット部分構造観測量を用い、尤度比のための深層ニューラルネットワーク（DCTR）と、GOF検定のための勾配ブースティング木を使用する。
  • 正しく指定されたシナリオでは、ウェル・テンパード区間と標準的な区間はほぼ同一である。
  • 誤指定されたシナリオ（シミュレーション内の摂動パラメータが推論モデルと異なる場合）では、標準的な区間は偽りの精密さを持ち、バイアスが生じる。ウェル・テンパード区間は自己制限的に機能し、真の値を含む幅を維持する一方で、$N_{\text{eff}}$ は緩やかに成長し飽和する（例：$N=25,000$ において $\approx 480$ 有効イベントに到達）。

意義と主張
本論文は、ウェル・テンパード・ライクリフッドが、モデルの誤指定が存在する場合における過剰に自信に満ちた制約に対する、原理的かつデータ駆動型の防護策を提供すると主張している。著者らは、「データセットが十分に小さければ、すべてのモデルは正しい」という直感を述べており、この手法は、モデルが適切であるところまでデータセットのサイズを実質的に減少させることで、その直感を定式化している。

著者らは、これはモデルの改善に代わるものではなく、モデルが不完全な近似であることが分かっている場合の推論パイプラインに対する必要な修正であると強調している。この手法は誤指定の源泉（パートンシャワー、検出器効果など）には依存せず、従来のビニングが困難な現代の高次元解析に特に適している。論文は、この手法が精度を犠牲にして誠実さを得る（結果として広い区間や過剰被覆をもたらす）ものであるが、この保守性は誤った物理的結論を防ぐための機能であると結論づけている。今後の課題として、GOF検定内で摂動パラメータをプロファイリングすることや、パラメータ推定タスクに特化したGOF検定の開発が示唆されている。