Testing the statistical compatibility of data sets with a common prior

技術要約：共通の事前分布を持つデータセット間の統計的適合性の検証

問題提起
基礎物理学において、一つの理論モデル内での複数のデータセットの適合性を検証することは、しばしば直面する統計的な課題である。Ref. [1] で最初に導入されたパラメータ適合度（Parameter Goodness-of-fit: PG）テストは、この目的のための頻度論的な枠組みを提供する。しかし、標準的なPGテストは、比較されるデータセットが統計的に独立であるという仮定に基づいている。

多くの実用的なシナリオでは、モデルパラメータが共通の「事前分布（prior）」（補助的なデータセットや外部知識）によって制約を受けるため、この独立性が損なわれる。この事前分布は、多くの場合、系統的な不確かさ（フラックスや断面積の正規化など）である核となるパラメータ（nuisance parameters）や、特定のモデルパラメータを制約する。共通の事前分布が課されると、事前分布の共有されたゆらぎを通じて、データセット間に統計的な相関が生じる。その結果、独立性を仮定した $\chi^2$ 分布に従う標準的なPGテスト統計量は、もはや妥当ではなくなる。本論文は、このような事前分布による制約を受けたシナリオに対処可能な、一般化されたテスト統計量の必要性に取り組んでいる。

手法および理論的枠組み
著者らは、共通の事前分布 ($P$) の下にある2つのデータセット ($A$ および $B$) の適合性を評価するために、$\text{PG}^*$ および $\text{PG}^+$ と表記される2つの修正テスト統計量を提案している。解析は、$\chi^2$ 関数を用いた頻度論的枠組みの中で行われ、$\chi^2$ 極小値付近でのガウス近似を仮定している。

1. 定義:

   • $\text{PG}^*$: 結合された $\chi^2$（事前分布を含む）の全域的最小値と、各データセットの最小値（事前分布を含む）の総和との差として定義される。標準的なPGとは異なり、この量は厳密には正ではなく、負の値を取り得る。
   • $\text{PG}^+$: 各データセットの最良適合値に対する $\Delta\chi^2$ 値の総和として定義される。この構成により、統計量は厳密に非負となる。

2. 分布の導出:
   著者らは、ガウス近似の下でこれらの統計量の解析的な分布を導出した。彼らは、これらが単純な $\chi^2$ 分布に従うのではなく、特定の係数を持つ独立な $\chi^2$ 変数の線形結合である一般化 $\chi^2$ 分布に従うことを示している。

   • $\text{PG}^*$ については、二次形式の理論を用いて分布が導出される。モデルパラメータが1つ ($p=1$)、核となるパラメータが1つ ($q=1$) の場合、この統計量は $X_0 + \rho_{AB}(X_1 - X_2)$ として分布する。ここで、$X_i$ は独立な $\chi^2_1$ 変数であり、$\rho_{AB}$ はデータ分散に対する事前分布の分散によって決定される相関パラメータである。
   • $\text{PG}^+$ についても同様に、不一致の相関ベクトルから構成される行列の固有値を用いて分布が導出される。
   • 著者らは、$p$ 値を算出するために、特性関数を用いて数値的な確率密度関数 (PDF) および累積分布関数 (CDF) を計算できる手法を提供している。

3. 極限ケース:

   • 強い事前分布の極限: 事前分布による制約がデータによる制約よりもはるかに強い場合 ($s_P \to 0$)、両方の統計量は、標準的な $\chi^2_p$ 分布に従う制約なしのモデルパラメータの標準的なPGテストに収束する。
   • 弱い事前分布の極限: 事前分布が非常に弱い場合 ($s_P \to \infty$)、挙動は異なる。$\text{PG}^*$ は標準的な $\chi^2$ には収束せず、一般化された分布のままとなる。対照的に、$\text{PG}^+$ は制約なしのデータセットに対する標準的なPGテスト（$\chi^2_{p+q}$ として分布）に収束する。

主要な貢献

• PGテストの一般化: 本論文は、標準的な手法では相関によって失敗する、共通の事前分布が存在するシナリオへとPGテストを拡張した。
• 2つのバリアント: $\text{PG}^*$ と $\text{PG}^+$ の導入は柔軟性を提供する。$\text{PG}^+$ は厳密に正であり、強・弱両方の事前分布のレジームにおいて標準的な極限に収束するが、$\text{PG}^*$ は事前分布項に対して異なる重み付けを行う。
• 解析解: 一般化 $\chi^2$ 分布とそれらの特性関数の導出により、新しいデータセット構成ごとに計算コストの高いモンテカルロシミュレーションを行うことなく、正確な $p$ 値の計算が可能となる。
• 診断ツール: $\text{PG}^*$ と $\text{PG}^+$ の $p$ 値を比較することで、テンション（不一致）の起源を診断できることを著者らは示している。$\text{PG}^+$ は事前分布項により多くの重みを置くため、両者の $p$ 値の間に顕著な差がある場合、それはテンションが主に事前分布とデータの不一致から生じているのか、あるいはデータ間の不一致から生じているのかを示唆する。

数値的結果および検証
理論的な導出は、ニュートリノ振動の消失測定に着想を得たトイ・モンテカルロ・シミュレーションを用いて検証された。

• 帰無仮説: シミュレーションにより、$\text{PG}^*$ および $\text{PG}^+$ の数値的な分布が、導出された解析的な一般化 $\chi^2$ 分布と非常によく一致することが確認された。
• 対立仮説: データセットおよび／または事前分布が、互いに矛盾する真のパラメータ値を持つように生成されたシナリオをテストした。これらのテストはテンションを検出することに成功し、両方の統計量における中央値の感度（検定力）が定量化された。
• 比較: 帰無仮説の下では、$\text{PG}^+$ の方が $\text{PG}^*$ よりも大きな $p$ 値を得る可能性が高い。これは、$\text{PG}^+$ の構成が、事前分布項と比較して個々のデータセットの統計的ゆらぎに対して感度が低くなるためである。

意義および主張
本論文は、共通の事前分布が存在する場合のデータセットの適合性を評価するための、堅牢で解析的に扱いやすい手法を提供すると主張している。その意義は以下の通りである：

1. 統計的な欠陥の修正: 相関のあるデータセットに対して標準的なPGテストを適用した場合に生じる、誤った $p$ 値の問題を解決する。
2. 実用性: 共分散行列に基づいて分布を計算するためのPythonスクリプト (Ref. [12]) を提供することで、ガウス近似における $p$ 値を計算するための簡便な手順を実務者に提示している。
3. 診断能力: $\text{PG}^*$ と $\text{PG}^+$ の $p$ 値の比較を通じて、テンションの源泉（事前分布かデータか）を区別できる能力は、モデル検証のための貴重な診断ツールとして提示されている。

著者らは、自らの結果がガウス近似および線形パラメータ依存性を前提としていることを認め、その範囲について謙虚な姿勢を保っている。非線形性や境界条件が重要となる現実世界のニュートリノデータを用いた詳細な研究は、今後の課題（Ref. [19]）であると認めている。本論文は新しい実験設定を提案するものではなく、ニュートリノ物理学や宇宙論などの分野における既存または将来の解析に適用可能な統計的枠組みを提供するものである。