技術的概要：完全なデータ効率を備えた統合されたコンフォーマル多重検定

1. 問題定義

コンフォーマル多重検定は、関心のある未観測ラベルを持つテストサンプルを特定する際（例：外れ値検出、サンプル選択）、偽陽性率（FDR）を制御するためのモデルフリーな枠組みを提供する。標準的な手順では、非適合スコアを構築し、これをヌル（負）サンプルのセットに対して較正してコンフォーマル p 値を生成し、多重検定ルール（例：Benjamini-Hochberg）を適用する。

既存の手法は、データ利用に関して 2 つの主要な限界に直面している：

1. 部分的なデータ利用：多くのアプローチは利用可能なヌルデータ（$D_0$）を訓練セットと較正セットに分割し、貴重な情報を破棄している。また、他の手法はスコア構築中に利用可能な非ヌル（正）ラベル付きデータ（$D_1$）またはラベルなしテストデータ（$D_u$）を活用できていない。
2. 断片化された枠組み：異なる手法（例：スプリット・コンフォーマル、統合的コンフォーマル、局所化コンフォーマル）は、特定の設定とデータ利用スキームの下で開発されている。これらすべての手法を包含するか、利用可能なすべてのデータ（$D_0, D_1, D_u$）を完全に活用しつつ FDR を厳密に制御する新しい手法を設計するための体系的な原理を提供する統合された理論的枠組みは存在しない。

中心的な課題は、有限サンプルにおける FDR 制御に必要な交換可能性の仮定を侵害することなく、スコア構築と較正の両方に利用可能なすべてのデータを使用することで統計的検出力を最大化する統合されたアプローチを開発することである。

2. 手法：ECOT 枠組み

著者は、完全な置換戦略に基づく統合枠組み「Enhanced COnformal Testing（ECOT）」を提案する。核心的な洞察は、テストサンプル $j$ の p 値を、データのすべての可能な置換から得られるスコアと比較して計算する置換検定のレンズを通じて、コンフォーマル化された多重検定を捉えることである。

2.1 中核的構成要素

ECOT 手順は 3 つのステップからなる：

1. スコア構築：各テストサンプル $j \in U$ に対して、利用可能なすべてのデータ（$D_0, D_1, D_u$）を用いて個別化されたスコア関数 $S^{(j)}$ を構築する。高いスコアは、ヌル仮説に対するより強い証拠を示す。
2. p 値計算：完全な置換を通じてコンフォーマル p 値を計算する：
   $$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$$
   ここで、$\Omega_j$ は較正セット $C \subseteq L_0$ とテストサンプル $j$ の置換の集合であり、このセット以外のインデックスは固定される。$S^{(j)}_\sigma$ は置換されたデータセット上で構築されたスコア関数を表す。
3. 検定手順：データの再利用と個別化されたスコアによって引き起こされる p 値間の依存性を処理するため、ECOT は（Fithian と Lei, 2022 に着想を得た）条件付き較正ステップを採用する。これには、スコアの置換不変な要約（例：中央値）を用いて修正された p 値 $\tilde{p}^{(j)}_\ell$ を定義し、有限サンプルにおける FDR 制御を保証する棄却手順を適用することが含まれる。

2.2 計算の簡略化

完全な置換は計算集約的である（$O((|C|+1)!)$）。この枠組みは、手順が大幅に簡略化される 2 つの対称性条件を特定している：

• 較正対称スコア：$S^{(j)}$ が較正セットと $j$ の置換に対して不変である場合、p 値は $C \cup \{j\}$ 上の単純なランクベースの計算に帰着し、モデルの再訓練の繰り返しを不要にする。
• 結合対称スコア：すべてのサンプルに対して単一のスコア関数 $S$ が使用され、すべてのヌルおよびテストサンプルに対して対称である場合、条件付き較正ステップは不要となり、簡略化された p 値に適用される標準的な Benjamini-Hochberg（BH）手順で十分である。

2.3 強化されたアプローチ

統合枠組みを活用し、著者は 2 つの特定の強化手法を提案する：

• ECOT-bi（二値分類）：$D_0, D_1$、および $D_u$ を共同で利用して二値分類器を訓練する。この分類器は、非ヌルサンプル（$D_1$）とプールされたヌル/ラベルなしサンプル（$D_0 \cup D_u$）を区別する。これにより、$D_0$ を分割することなく最適な密度比を近似する。
• ECOT-oc（ワンクラス分類）：二値分類器が非効率的なシナリオ（例：分散の違い）向けに設計されている。これは、ヌル用には $D_0 \cup D_u$ に、代替仮説用には $D_1$ にワンクラス分類器を訓練し、これらを統合してスコアを形成する。

2.4 適応的選択

この枠組みは**適応的アプローチ選択（ECOT-as）**を可能にする。単一の手法を固定するのではなく、アルゴリズムは複数の候補アプローチ（例：ECOT-bi、ECOT-oc、FullND）を評価し、各サンプルに対して最も高い検出力（棄却数）をもたらすものを選択する。重要なのは、選択ステップが完全な置換戦略を介してスコア構築に埋め込まれていることである。これにより、選択をスコア生成の一部として扱い、交換可能性を維持し、事後推論において通常 FDR を過大評価させる「二重の浸透（double dipping）」の問題を回避する。

3. 主要な貢献

1. 統合枠組み：本論文は、既存のコンフォーマル多重検定手法（例：スプリット・コンフォーマル、統合的、局所化）を特定の対称構造における特殊ケースとして包含する一般枠組み ECOT を導入する。
2. 完全なデータ効率：この枠組みは、スコア構築に利用可能なすべてのデータ（$D_0, D_1, D_u$）を使用しつつ、較正のためにヌルセット全体を保持するための原理的な設計戦略を提供する。これは、スコアの質を高め較正セットのサイズを最大化することで統計的検出力を向上させることが示されている。
3. FDR 制御を伴う適応的選択：著者は、候補セットから最適なコンフォーマル検定手法を自動的に選択するデータ駆動型の戦略を開発した。選択を置換ベースのスコア構築に統合することで、追加のデータ分割を必要とせずに有限サンプルにおける FDR 制御を達成する。
4. 理論的保証：本論文は、標準的なデータ交換可能性の仮定の下で、使用されるスコア関数の複雑さに関わらず、ECOT 手順が有限サンプルにおいて所望のレベル $\alpha$ で FDR を制御することを証明している。

4. 実験結果

合成データおよび実世界の外れ値検出データセット（Credit Card, Satellite, Shuttle, CovType, Mammography）において、広範な数値実験が行われた。

• 検出力の向上：二値分類が最適であるシナリオにおいて、ECOT-biおよびECOT-asは、FDR 制御を維持しながら高い検出力を達成することで、既存のベースライン（例：AdaDetect, CP-bi, Integ）を一貫して上回った。これは、$D_1$ の完全な活用とデータ分割の回避に起因する。
• シナリオへの頑健性：ワンクラス分類が優位である設定（例：分散のシフト）において、ECOT-ocはスコア構築に $D_u$ を活用することで、統合的手法を大幅に上回った。
• 適応的選択：ECOT-asは、多様なシナリオにわたって最良のパフォーマンスを発揮する手法を成功裏に追跡し、多くの場合、理論的なオラクルに近い検出力を達成した。
• 実データのパフォーマンス：実データセットにおいて、ECOT 手法（特に ECOT-bi と ECOT-as）は、限られたラベル付きデータや不適切なスコア構築に起因して検出力が低いことが多かったベースラインと比較して、優れた検出力を示した。
• 計算コスト：完全な置換アプローチはスプリット手法よりも計算負荷が高いが、調整された適応的選択（アルゴリズム 3）と対称性の削減により、実行時間は実用的な範囲内（中程度のサンプルサイズで約 1 分）に抑えられ、OptCS などの競合枠組みの完全なコンフォーマル実装よりも大幅に高速である。

5. 意義と主張

本論文は、ECOT が断片化されたコンフォーマル多重検定の風景を統合することで重要な進歩を表すと主張している。その主な意義は以下の点にある：

• 体系的な設計：データ効率を最大化する新しいコンフォーマル手順を設計するための明確で原理的な道筋を提供する。
• 自動適応：FDR 制御を犠牲にすることなく最適な検定戦略を選択する問題を解決する。これは事後推論における一般的な落とし穴である。
• 実用的な効率性：完全なデータ活用が、多様な実世界および合成シナリオにおいて検出力の目に見える向上をもたらすことを実証し、外れ値検出やサンプル選択などのアプリケーションにおいてコンフォーマル検定をより効果的にする。

著者は、この枠組みがデータの交換可能性に依存しており、完全な置換は計算集約的である可能性を認めており、仮定の緩和（例：非交換可能なデータ）および置換ベースの推論の高速化に関する将来の作業を提案している。