技術的要約：多重検定におけるラベルなしのキャリブレーション

問題提起

大規模な仮説検定は、経験ベイズ法を通じて局所偽発見率（lfdr）を推定するなど、個々の仮説に関する確率的な主張を提供することを目的としていることが多い。しかし、これらのスコアを解釈する上で決定的な欠落が存在する。報告されたスコア $g(p)$ が意味を持つためには、それが**キャリブレーション（較正）**されている必要がある。つまり、スコア $g(p)$ が割り当てられたテストの中で、帰無仮説が真である確率が正確に $g(p)$ であることを意味する。

標準的な教師あり学習では、キャリブレーションは正解ラベルを用いて評価される。しかし、多重検定においては「ラベル」（帰無仮説が真か偽か）は観測されない。その結果、標準的なキャリブレーション診断を直接適用することはできない。経験ベイズの伝統は、検定統計量の分布が構造的な情報を含んでいることを認識しているが、正解ラベルが存在しない状況において、特にモデルの誤設定下でのキャリブレーションを形式的に評価または強制するための研究は限られてきた。

手法

著者らは、多重検定を確率的に教師ありの二値分類問題として再定義している。彼らは $p$ 値を共変量とし、観測されない帰無仮説の真偽を二値ラベル $Y_i \in \{0, 1\}$ として扱う。目標は、回帰関数 $lfdr(p) = P(Y=1|p)$ を推定することである。

1. 疑似ラベルの構築

欠落したラベルによって生じる溝を埋めるため、著者らは順序統計量の間隔（spacing）から導出される疑似ラベルを構築する。$p_{(1)} \le \dots \le p_{(m)}$ を順序付けられた $p$ 値とし、$\hat{\pi}_{null}$ を真の帰無仮説の割合の推定値とする。$i$ 番目の観測値に対する疑似ラベルは次のように定義される：
$$\tilde{Y}_i := m \hat{\pi}_{null} (p_{(R_i)} - p_{(R_{i-1})})$$
ここで $R_i$ は $p_i$ のランクである。

理論的正当性は、順序統計量の間隔の漸近的性質（Pyke, 1965）に基づいている。$m \to \infty$ のとき、これらの疑似ラベルは、乗法的指数誤差を伴う回帰モデル $\tilde{Y}_i | p_i \approx lfdr(p_i) E_i$ （ただし $E_i \sim \text{Exp}(1)$）を満たす。極めて重要な点は、期待値 $E[\tilde{Y}_i | p_i]$ が真の $lfdr(p_i)$ を近似することであり、これにより疑似ラベルが標準的なキャリブレーション・ツールにおける正解ラベルの代用として機能することを可能にしている。

2. アイソトニック（単調）キャリブレーションと等価性

著者らは、アイソトニック回帰を用いて疑似ラベルに対して単調性を強制することを提案している（より小さい $p$ 値は、より小さい誤差確率を持つべきである）。彼らは、以下の3つの異なる手法が全く同一の推定量を導き出すことを示している：

1. アイソトニック回帰： 予測量と疑似ラベルの間の二乗誤差を最小化する（隣接違反者除去アルゴリズム：PAVA）。
2. 最尤推定： 指数誤差モデルから導出された負の擬似対数尤度を最小化する（Itakura–Saito距離の最小化と等価）。
3. 非パラメトリック経験ベイズ： グレナンダ（Grenander）推定量（非増加密度に対するMLE）を用いて $p$ 値の周辺密度を推定し、ベイズ則を適用する。

得られる推定量 $\widehat{lfdr}^\uparrow$ は、局所偽発見割合（FDP）の推定値が単調となるように隣接する $p$ 値をプールしたステップ関数となる。

3. 評価と診断

このフレームワークにより、教師あり学習のキャリブレーション診断を多重検定に適応させることが可能になる：

• 信頼性図（Reliability Diagrams）： 疑似ラベルをビン分割することで、平均的な予測スコアを「真の帰無仮説」の経験的頻度（疑似ラベルを通じて推定）に対してプロットすることができる。
• ブライア・リグレット（Brier Regret）： 著者らは、彼らのアイソトニック推定量のブライア・リグレット（最良の単調な予測量に対する超過ブライア・スコア）に関する有限標本境界を定義している。

主な貢献

1. 疑似ラベルの構築： $lfdr$を条件付き期待値として持つ$p$ 値の間隔から回帰ターゲットを生成する方法を導入した。これにより、正解ラベルがない状態でも、標準的なキャリブレーション・ツールキット（信頼性図、アイソトニック・キャリブレーションなど）をフル活用することが可能となった。
2. 理論的統一： 疑似ラベルに対するアイソトニック・キャリブレーション、指数誤差モデルの下での最尤推定、およびグレナンダ推定量を用いた非パラメトリック経験ベイズ推定が、数学的に等価であることを証明した。
3. 有限標本の保証： アイソトニック推定量のブライア・リグレットに関する有限標本境界を確立した。経験累積分布関数が一様に収束する場合、真の $lfdr$が単調でない（形状制約に反する場合）であっても、この境界は$m \to \infty$で消失する。この結果は、推定量が真の$lfdr$の単調関数クラスへの$L_2$射影である「単調化された$lfdr$」をターゲットとしているため、単調性の仮定が厳密に真であるかどうかにかかわらず成立する。
4. 誤校正（Miscalibration）の実証的証拠： シミュレーションと実データ分析を通じて、標準的な誤差尺度、特に $q$ 値が著しく誤校正されており、時には生の $p$ 値よりも性能が悪くなる可能性があることを示した。

結果

シミュレーション研究

著者らは、3つの予測器（生の $p$ 値、Storeyの $q$ 値、および提案するアイソトニック推定量 $\widehat{lfdr}^\uparrow$）のブライア・リグレットを比較した。

• 収束性： $\widehat{lfdr}^\uparrow$ のリグレットは、テスト数 $m$ とともに着実に減少し、多項式的な速度で収束した。
• 停滞： $p$ 値のリグレットは（恒等関数であるため）横ばいであり、$q$ 値のリグメントはほとんどのシナリオにおいてアイソトニック推定器よりも有意に高いままであった。
• 頑健性： 真の $lfdr$が非単調である（形状制約に違反している）シナリオにおいても、アイソトニック推定器は単調化された$lfdr$ に収束し、最良の単調な予測量に対するリグレットを消失させた。

実データへの適用

本手法は、認知神経科学および実験心理学の文献（Szucs and Ioannidis, 2017）から得られた約27,000個の $t$ 統計量のデータセットに適用された。

• キャリブレーションの確認： 信頼性図により、生の $p$ 値と $q$ 値の両方が著しく誤校正されている（点が対角線 $y=x$ から大きく逸脱している）ことが示された。
• 性能： アイソトニック推定量 $\widehat{lfdr}^\uparrow$ は、対角線に近いスコアを生成した。これは、校正されたスコアが個々の研究に対する有効な局所確率表明として解釈できることを示唆している。

意義と主張

本論文は、キャリブレーションは単なる多重性補正とは異なる、大規模な仮説検定における主要な推論目標であるべきだと主張している。多重検定を隠れたラベルを持つ分類問題として扱うことで、正解ラベルがない場合でも、意味のある誤差確率を確立できることを示している。

本研究の意義は以下の点にある：

• 解釈可能性： モデルの誤設定下であっても、スコア自体がキャリブレーションの特性を持つため、スコアを校正された確率として解釈する経路を提供している。
• 方法論的架け橋： 確率的予測および教師あり学習（特にアイソトニック・キャリブレーションと信頼性図）のツールを、多重検定の領域へと見事に導入した。
• 批判的な洞察： $q$ 値のような一般的な尺度が、個別の仮説の評価において本質的に信頼できるという仮定を覆すほど、不適切に校正されている可能性があるという実証的な知見を示した。

著者らは、理論が $p$ 値が帰無仮説の下で一様分布であることを前提としている点に触れ、限界について謙虚な姿勢を保っている。非一様分布の帰無分布（例：$z$ スコアや高次元統計量）に対する同様の疑似ラベル構築の構築を、将来の研究における未解決の課題として挙げている。