Detection coherence of tests

技術的要約：検定の検出コヒーレンス（Detection Coherence）

問題提起
本論文は、広く用いられているいくつかのノンパラメトリック検定の較正（キャリブレーション）における根本的な欠陥を指摘している。具体的には、これらの検定の統計量が持つ漸近的挙動によって示唆される分布の集合よりも、特定の検定が較正されている帰無仮説（$\mathcal{H}_0$）が厳密に狭いという問題を特定している。この不一致は、「ブラインドスポット（盲点）」($\mathcal{SP}$) を生み出す。これは、帰無仮説が真であるかのように統計量（検出関数がその帰無値に等しい状態）が振る舞うが、実際にはそれらの分布は $\mathcal{H}_0$ に含まれていないような、対立仮説の分布集合である。

検定が空でないブラインドスポットを持つ場合、その検定は**検出不整合（detection incoherent）**であると定義される。この不整合の結果は深刻であり、サンプルサイズに関わらず永続的に発生する：

1. 発見の漏れ： 検定が棄却されないとき、その結果はブラインドスポット内の分布に起因している可能性があり、これは対立仮説に対する偽陰性（false negative）となる。
2. 偽の発見： 検定が棄却されるとき、その結果はブラインドスポット内の分布に起因している可能性があり、これはブラインドスポットに対しては真陽性であるが、意図された帰無仮説に対しては偽の発見（spurious discovery）となる。

著者は、標準的なノンパラメトリック理論において、帰無仮説と検出帰無集合（detection-null set）が同一ではないにもかかわらず、両者を等価なものとして扱っているというギャップが見過ごされていると主張している。

手法およびフレームワーク
本論文は、以下の新しい定義に基づいた、**検出コヒーレンス（detection coherence）**を評価するための形式的なフレームワークを導入する：

• 検出器 ($\hat{D}_n$)： 較正統計量 ($T_n$) のうち、検出関数 ($\theta(P)$) に確率収束する成分。検出器の抽出には、統計量の漸近展開からスケーリング列、分散正規化、および摂動項（nuisance estimators）を取り除く作業が含まれる。
• 検出関数 ($\theta(P)$)： 検出器の確率極限。
• 検出帰無集合 ($\mathcal{D}_0$)： 検出関数が帰無値 ($\theta^*$) と等しくなるすべての分布 $P$ の集合。
• ブラインドスポット ($\mathcal{SP}$)： 集合の差 $\mathcal{D}_0 \setminus \mathcal{H}_0$。
• 検出コヒーレンス： ある領域 $\mathcal{R}$ において、その検定のブラインドスポットが空集合である（$\mathcal{SP} \cap \mathcal{R} = \emptyset$）とき、その検定はその領域に対して検出コヒーレントであるという。これは、対立仮説 ($\mathcal{H}_0^c$) が領域 $\mathcal{R}$ において検出集合 ($\mathcal{D}$) と一致することと同義である。

本論文は、コヒーレンスを評価するための体系的な手順（Procedure 1）を提案している：検出器と関数を特定し、検出帰無値を決定し、検出帰無集合を構築し、それが関心領域における帰無仮説と一致するかどうかを検証する。

主要な結果
本論文は、このフレームワークを4つの主要なノンパラメトリック検定と、3つのコヒーレントな代替手法に適用した：

1. 非制限検定における検出不整合：
   以下の検定は、非制限検定（全分布空間 $\mathcal{P}$ における適用）として用いた場合、検出不整合であることが示された：

   • ウィルコクソン・マン・ホイットニー (WMW) 検定： $F_1 = F_2$ の下で較正されているが、その検出器（eAUC）は $AUC = 1/2$を意味する検出帰無集合を示唆する。ブラインドスポットには、平均は等しいが分散が異なる分布（例：$N(0,1)$と$N(0, \sigma^2)$、ただし$\sigma \neq 1$）が含まれる。
   • クラスカル・ウォリス (KW) 検定： $F_1 = \dots = F_K$ の下で較正されているが、検出帰無集合には、同一の平均順位を与える異なる分散や形状を持つ分布が含まれる。
   • フリードマン (Friedman) 検定： ブロック内の分布が等しい条件下で較正されているが、ブラインドスポットには、ブロック間で処置効果が相殺されるシナリオ（例：処置効果の符号が交互に入れ替わる場合）が含まれる。
   • ログランク (Logrank) 検定： 等しい生存関数 ($S_1 = S_2$) の下で較正されているが、ブラインドスポットには、ハザード比の加重積分がゼロになるような交差するハザード関数が含まれる。

   これらの検定において、ブラインドスポットの対立仮説に対する検出力はサンプルサイズの増加とともに成長せず、一定の値（多くの場合、有意水準 $\alpha$ またはそれをわずかに上回る値）に収束する。これは、ブラインドスポットが認識されていない場合、第一種の過誤の増大と区別がつかない挙動を示す。

2. 領域制限下でのコヒーレンス：
   本論文は、これらの検定が検出コヒーレンスを達成できる特定の領域制限を特定しているが、これらは十分条件であり、信頼できる実用的な救済策ではないことを強調している：

   • WMW： 単調尤度比 (MLR) ファミリー（位置シフトファミリーを含む）の下でコヒーレントである。
   • Logrank： 順序ハザード (Ordered Hazards) ファミリー（プロポーショナル・ハザードよりも広いクラス）の下でコヒーレントである。
   • KW および Friedman： それぞれ、位置シフトおよびブロック一貫的な確率順序の下でコヒーレントである。

3. 普遍的に検出コヒーレントな検定：
   以下の検定は、普遍的に検出コヒーレント（ブラインドスポットが空集合）であることを本論文は示している：

   • コルモゴロフ–スミルノフ (KS) 検定： 検出帰無集合 ($\sup |F-G|=0$) は、帰無仮説 ($F=G$) と正確に一致する。
   • ザレムバ (Zaremba) 検定： この検定は、WMW統計量を $F_1 = F_2$ ではなく $AUC = 1/2$ という仮説の下で再較正しており、これにより帰無仮説を検出帰無集合と一致させている。
   • 最大平均差異 (MMD)： 特徴的なカーネルを用いる場合、$MMD^2(F, G) = 0$ であることは $F=G$ であることと同値であり、コヒーレンスを保証する。

意義および主張
本論文は、検出不整合は構造的な欠陥であり、サンプルサイズを増やしても解決できない永久的な推論エラー（発見の漏れおよび偽の発見）をもたらすと主張している。したがって、著者は、これら4つの主要な不整合な検定（WMW, KW, Friedman, Logrank）は、非制限検定としては「放棄されるべき」であると断言している。

このフレームワークは、検出コヒーレントな推論のためには、検出帰無集合の下での較正が必須条件であることを理解するための理論的基礎を提供する。それは、検出コヒーレンスと頑健性（robustness）を区別するものである。頑健性は仮定の違反下での第一種の過誤の制御に関するものであるが、検出コヒーレンスは、検定が実際に帰無仮説のすべての違反を検出できるかどうかに関わるものである。本論文は、今後の研究において、すべての現在のノンパラメトリック検定に対して検出コヒーレンスを評価すべきであることを示唆し、非制限的な推論が必要な場合には、従来の順位に基づく検定よりも、コヒーレントな代替案（WMWの再定式化であるザレムバ検定やMMDなど）を使用することを推奨している。