Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference

技術的サマリー：コンフォーマル推論における偽発見割合の全域有効な上限

問題定義
コンフォーマル推論の現代的应用、例えばアウトライヤー検出や創薬における候補選定では、コンフォーマル$p$値が特定の閾値を下回るかどうかに基づいてテストサンプルを選択することが多く行われる。これらの選択の信頼性は、偽発見割合（FDP）によって定量化される。FDP は、選択された単位全体に占める誤った選択の割合として定義される。

既存の手法、例えばベンジャミン・ホッヒバーグ（BH）法は、主に偽発見率（FDR）を制御する。FDR は、反復的なデータ実現における FDP の期待値である。本論文は、現在の最先端技術に 2 つの決定的な限界を特定している：

1. 実現保証の欠如: 期待 FDP を制御しても、特定のデータセットにおける FDP が小さいことを保証するものではない。実現 FDP は期待値を大幅に上回る可能性があり、実務者に対するインスタンス単位の保護を提供しない。
2. 事後選択への柔軟性の欠如: 既存の保証は、有意水準$\alpha$を事前に固定することを要求する。実務者がデータを検査し、閾値を調整した場合（例えば、発見数を増やすため）、FDR 制御は無効となる。

著者らは、すべての可能な棄却閾値$t \in [0, 1]$に対して同時に成立する、有限標本・分布フリーの FDP 上限を確立することを目的としている。これにより、厳密な統計的保証を維持しつつ、閾値の任意の事後選択が可能となる。

手法
提案フレームワークの中核は、交換性仮定によって誘導される「ヌル」コンフォーマル$p$値の扱いやすい結合分布にある。

1. コンフォーマル一様変数: 著者らは、コンフォーマル一様変数$u_j$を、較正セットに対するテストスコアの正規化順位として定義する。交換性のもとで、これらの変数のベクトルは、データ生成メカニズムに依存しない既知の結合分布$P_{n,m}$を持つ。
2. サンプリングによるエンベロープ構築: 集中不等式（Dvoretzky–Kiefer–Wolfowitz など）に依存して保守的な線形上限を得るのではなく、著者らは結合分布$P_{n,m}$からサンプリングを行うことで、ヌル$p$値の実験的累積分布関数（CDF）に対する高確率エンベロープを構築することを提案する。
   • 彼らは、実験的 CDF に適用される要約統計量$T(F)$（例えば、コルモゴロフ・スミルノフ統計量、ハイヤー・クリティシズム、または Berk-Jones 統計量）を定義する。
   • $P_{n,m}$から$B$個のモンテカルロ標本を生成し、統計量の$(1-\delta)$分位点を計算してカットオフ$\hat{T}$を決定する。
   • このカットオフを逆変換してエンベロープ関数$G(t)$を生成し、$P(\hat{F}_{n,m}(t) \leq G(t), \forall t) \geq 1-\delta$となるようにする。
3. アウトライヤー検出のための改良戦略: 真のヌル（インライヤー）の数が未知であるアウトライヤー検出においては、著者らは 2 つの絞り込み技術を統合する。
   • 自己改良: [HSG19] からの技術を適応させ、選択集合の単調性を利用することで、偽発見数の上限を反復的に改善する。
   • ヌル割合絞り込み: 真のヌルの数（$m_0$）の上限を推定し、$P_{n,m}$ではなく$P_{n,m_0}$に基づく分布でエンベロープを構築することで、保守性を大幅に低減する。
4. コンフォーマル選定への適用: コンフォーマル選定（例えば創薬）においては、著者らは（未知の真の結果に依存する）「オラクル」コンフォーマル$p$値を用いて偽発見数を上限付ける。特定の単調スコア関数（例えば、クリップされたスコア）のもとでは、偽発見数がこれらのオラクル変数の実験的 CDF によって上限付けられ、同時エンベロープ法を直接適用可能であることを証明する。

主要な貢献

1. 実験的 CDF に対する新規上限: 本論文は、コンフォーマル一様変数の実験的 CDF に対する新しい高確率上限を確立する。実証的に、この上限は特に実験的 CDF の異方性（$t$に応じて変化する）に適応することで、DKW 型の不等式に基づく既存の上限よりもtight（厳密）である。
2. アウトライヤー検出のための同時 FDP 上限: 著者らは、すべての閾値にわたってアウトライヤー検出の FDP を同時に上限付ける手法を開発した。これは、改良された CDF 上限と自己改良およびヌル割合絞り込み技術を組み合わせたものである。
3. コンフォーマル選定における初の有限標本 FDP 上限: 本論文は、コンフォーマル選定問題において、すべての棄却閾値に対して一様に成立する初の有限標本 FDP 上限を提供する。
4. 一般フレームワーク: この研究は、ヌル$p$値の結合分布からサンプリングすることで確率変数関数に対する高確率上限を導出する一般フレームワークを導入し、集中不等式に基づくアプローチよりも鋭い上限を提供しつつ、有限標本での妥当性を維持する。

結果
著者らは、合成データおよび実データ実験を通じてフレームワークを検証した。

• 合成アウトライヤー検出: ガウス混合モデルを用いた実験は、提案された FDP 上限（特に切断されたハイヤー・クリティシズム統計量を使用）が、100 回の反復にわたり有効なカバレッジ（目標とする 90% 信頼度を超える）を維持することを示した。上限は、特に小さな棄却閾値において、基準となる線形上限よりも大幅に保守的ではないことが示された。自己改良とヌル割合絞り込みの組み合わせが、最も鋭い上限をもたらした。
• 実世界の創薬: 創薬ターゲット相互作用予測のための DAVIS データセットを用い、有望な薬剤候補を選定する際に本手法を適用した。結果は、同時上限が独立した実行の 92% において、すべての選択閾値にわたって真の FDP 上に常に位置することを示した。
• 事後適応性: 本論文は、実務者が選択閾値を適応的に変化させること（例えば、より多くの候補を見つけるために$\alpha$を増加させる）が可能でありながら、提案された上限が有効であることを実証している。対照的に、BH レベルの標準的な事後調整は、実現 FDP を上限付けることに失敗する。

意義と主張
本論文は、「実現 FDP」問題に対する解決策を提供し、実務者に対して平均ケースの保証ではなく、インスタンス単位の保証を提供すると主張している。閾値の任意の事後選択を可能にすることで、このフレームワークは統計的厳密性を犠牲にすることなく、柔軟でデータ駆動型の探索を支援する。著者らは、既存の手法と比較して「大幅に保守的ではない」上限をもたらすことを強調しており、追跡コストが高い科学的発見や医療スクリーニングなどの高リスク応用において、コンフォーマル推論をより実用的なものとしている。この研究は、ヌル$p$値の結合分布をシミュレートできる任意の問題に適用可能な統合戦略として提示されており、アウトライヤー検出やコンフォーマル選定という特定の例を超えて拡張される。