技術的概要：コンフォーマル化された閉検定を用いた集団的外れ値検出と列挙

1. 問題定義

本論文は、スパース性、弱いシグナル、または捉えにくさにより個々の外れ値を特定することが困難な状況における集団的外れ値の検出と列挙という課題に取り組んでいる。従来のコンフォーマル推論は、個々のデータポイントに対する偽発見率（FDR）の制御に焦点を当てた個々の外れ値の同定に主眼を置いてきたが、このアプローチは、外れ値が単独では顕著な逸脱を示さない場合、検出力が不足しがちである。

著者らは、イン라이어（正常データ）の参照セット $Z_1, \dots, Z_m$ に対するテストセット $Z_{m+1}, \dots, Z_{m+n}$ に対して、以下の 2 つの主要タスクを定義する：

1. 外れ値検出：テストデータのサブセットに外れ値が含まれていないというグローバルな帰無仮説を検定する。
2. 外れ値列挙：各外れ値の正確な正体を特定する必要はないが、サブセット内の外れ値の数を推定するために、同時信頼区間の下限を提供する。

核心的な難しさは、標準的な個々のレベルの検定（例えば、コンフォーマル p 値に適用された Benjamini-Hochberg 法）は、シグナルが弱いかスパースな場合、グローバルな帰無仮説を棄却したり、有益な境界値を提供したりすることに失敗する可能性がある点にある。さらに、最適な機械学習分類器と統計的検定手順を a priori（事前に）選択することは困難であり、データに基づいて「 cherry-picking（都合の良いものだけを選ぶ）」を行うことは、選択バイアスと無効な推論をもたらす。

2. 手法：ACODE

著者らは、コンフォーマル推論、閉検定、適応的順位検定を統合した、柔軟で分布フリーのフレームワークであるACODE（Automatic Conformal Outlier Detection and Enumeration）を提案する。

2.1 コンフォーマルスコアリングと分割

この手法は、外れ値とインライアを区別するように訓練された機械学習分類器を用いてコンフォーマルスコアを生成することから始まる。

• 分類器：このフレームワークは、インライアのみで訓練されたワンクラス分類器と、ポジティブ・アンラベルド学習を通じて訓練されたバイナリ分類器の両方をサポートする。
• スコア生成：関数 $\hat{s}$ がデータポイントをスカラースコアにマッピングする。妥当性を確保するため、この手法はサンプル分割を採用する。チューニングセットを用いて最良の分類器と検定手順を選択し、別途用意されたキャリブレーションセットを用いてテストセットに対するコンフォーマル p 値を生成する。この分離により、選択された手順に条件付けたインライアスコアの交換性が保たれ、選択バイアスが防止される。

2.2 局所検定手順

ACODE は、コンフォーマルスコアを集約して局所仮説 $H_S$（サブセット $S$ に外れ値が含まれていないという仮説）を検定する。本論文は、異なるシグナル構造に適した局所検定の「ツールボックス」を評価する：

• Simes 検定：稀で強いシグナルに対して有効。
• Fisher の結合：密で弱いシグナルに対して有効。
• Wilcoxon-Mann-Whitney (WMW)：特定の Lehmann 対立仮説（外れ値が 2 つのインライアの最大値の分布に従う場合）の下で局所最強力順位検定（LMPR）であることが示された順位検定。
• Shiraishi の LMPR 検定：任意の外れ値分布に対する WMW の一般化。
• 適応的順位検定：Shiraishi の検定のデータ駆動型拡張であり、未知の外れ値密度 $g$ をノンパラメトリックに推定する。理論的結果（定理 2）は、この適応的検定が既知の $g$ を持つオラクル検定と同じ局所漸近検出力を達成することを示している。

2.3 列挙のための閉検定

局所検定からグローバルな列挙へ移行するために、ACODE は閉検定の原理（Marcus ら、1976）を採用する。

• メカニズム：この手法は、部分集合 $J \subseteq [n]$ に対するすべての交差仮説 $H_J$ を検定する。多重性調整後に帰無仮説を棄却できない最大の部分集合 $K \subseteq S$ を見つけることで、任意のサブセット $S$ における外れ値の数に対する下限信頼区間 $d(S)$ を導出する。
• 妥当性：命題 1 は、局所検定が妥当であれば、得られる下限が同時カバレッジを満たすことを保証する：$P(d(S) \le |I_1 \cap S| \text{ for all } S) \ge 1-\alpha$。
• 計算効率：閉検定は一般的に指数関数的であるが、本論文は Simes、WMW、Fisher 検定に対して多項式時間のショートカット（Goeman ら、2019; Tian ら、2023）を利用しており、この手法を大規模データセットにスケーラブルにしている。

2.4 データ駆動型適応性

重要な革新は、分類器と局所検定の選択を自動化するアルゴリズム 3である。

• プロセス：このアルゴリズムは、チューニングセット上で分類器と検定の複数の組み合わせを評価し、列挙の場合は下限を最大化し、検出の場合は p 値を最小化するようにする。
• バイアス制御：別途のチューニングセットを使用し、その後、選択された組み合わせを完全なキャリブレーション/テスト分割上で再評価することで、この手法は、単純な「 cherry-picking」に関連する過大評価された第一種過誤率を回避する。

3. 主要な貢献

本論文は、以下の 3 つの主要な方法論的貢献を行う：

1. ACODE フレームワーク：最適な機械学習分類器と 2 標本検定手順を自動的に選択する、原理的かつデータ駆動型の外れ値列挙手法を導入する。閉検定とコンフォーマル推論を統合し、外れ値の数に対する厳密な同時下限を提供する。
2. 理論的拡張：交換可能（厳密な i.i.d. ではなく）なコンフォーマルスコアの下での、Shiraishi の局所最強力順位検定およびその適応的バージョンの帰無分布に対する漸近近似を提供する。この拡張は、分割コンフォーマル設定における妥当性にとって決定的である。
3. 適応的順位検定：外れ値分布をノンパラメトリックに推定する適応的順位検定が、外れ値分布を完全に知っているオラクル検定と同じ局所漸近検出力を達成することを示す（定理 2）。

4. 実証結果

この手法は、合成データと実世界の高能率物理学データ（LHCO 2020）で評価された。

• 合成データ：

  • ACODE は、グローバルな帰無仮説の検出と有益な下限の提供における検出力の点で、コンフォーマル p 値に適用された Benjamini-Hochberg 法などの個々のレベルの同定手法を一貫して上回った。
  • 適応的選択メカニズムは、特定のデータ領域に対して最良の分類器（ワンクラス対バイナリ）と検定（WMW 対 Fisher 対 Simes）を正常に特定し、最適な組み合わせを知るオラクルのパフォーマンスを近似した。
  • 「敵対的」な外れ値（個々のスコアが過分散しており検出が困難な場合）のシナリオにおいて、Shiraishi の検定のデータ駆動型近似は、標準的な手法を大幅に上回った。

• LHCO 高能率物理学データ：

  • 110 万個の粒子衝突事象に適用され、ACODE はシミュレーションされた事象の背景に対して「シグナル」事象（外れ値）を正常に検出し、列挙した。
  • この手法は、外れ値の数に対する tight な 90% 下限信頼区間を提供し、情報の豊富さの点で BH 手順を大幅に上回った。
  • 決定的なことに、ACODE の適応的バージョンは、選択バイアスを被ることなく、ほぼオラクルのパフォーマンスを達成したが、単純な「 cherry-picking」アプローチは過大評価された第一種過誤をもたらした。

5. 意義と主張

本論文は、個々の検出が失敗する集団的異常検出に対して、ACODE が堅牢な解決策を提供すると主張している。その意義は以下の点にある：

• ギャップの橋渡し：弱いシグナルとスパースなシグナルを処理するために、コンフォーマル推論を古典的な多重検定および順位検定理論と接続する。
• 原理的適応性：機械学習モデルと統計的検定の選択に内在する「選択バイアス」の問題を解決し、最良の手順がデータに基づいて選択された場合でも、妥当な推論を提供する。
• 情報の豊富さ：特定の外れ値のみを同定する手法とは異なり、ACODE は外れ値の数に対する統計的に保証された下限を提供し、データの異常構造をより包括的に捉える。

著者らは、この手法は強力であるが、クリーンなインライア参照セットの利用可能性に依存し、交換可能性を仮定していること note している。今後の研究としては、クロスバリデーションフレームワークの探求、汚染されたキャリブレーションデータの処理、および適応的 Shiraishi 検定のためのより高速な計算ショートカットの開発が考えられる。