General Frameworks for Conditional Two-Sample Testing

技術的概要：条件付き 2 標本検定のための一般フレームワーク

問題設定
本論文は、潜在的な交絡因子を考慮した上で、共変量 $X$ が与えられたときの応答変数 $Y$ の条件付き分布が 2 つの母集団で同一であるかどうかを判定する条件付き 2 標本検定の問題に取り組みます。形式的には、2 つの独立した標本 $\{(X^{(1)}_i, Y^{(1)}_i)\}_{i=1}^{n_1} \sim P^{(1)}_{XY}$ および $\{(X^{(2)}_i, Y^{(2)}_i)\}_{i=1}^{n_2} \sim P^{(2)}_{XY}$ が与えられたとき、以下の帰無仮説を検定することを目的とします。
$$H_0: P^{(1)}_{Y|X}(\cdot | X) = P^{(2)}_{Y|X}(\cdot | X) \quad \text{ほとんど確実に}$$
対立仮説は、これらが正の確率で異なるというものです。この問題は、ドメイン適応（共変量シフトの仮定を検証する）やアルゴリズムの公平性（人口統計学的属性に条件付けたバイアスを検出する）といった重要な応用分野で生じます。

困難性の結果
著者はまず、この問題に対する根本的な困難性の結果を確立します。追加の仮定なしには、条件付け変数 $X$ が連続である場合、いかなる単一の対立仮説に対しても非自明な検出力を持つ有効な条件付き 2 標本検定は存在しないことを示しています。この発見は、Shah および Peters (2020) によって確立された条件付き独立性検定に対する否定的な結果と平行しています。証明における重要な技術的相違点は、標準的な条件付き独立性設定ではグループ指標がランダムであるのに対し、2 標本問題における標本サイズ $n_1$ および $n_2$ は決定論的であることです。著者は、集中論理を用いてこのギャップを埋め、密度比の滑らかさや有界性などの構造的仮定を必要としない限り、問題が本質的に困難であり続けることを示しています。

方法論的フレームワーク
これらの困難を克服するため、本論文は、妥当な検定を可能にするために合理的な仮定を暗黙的または明示的に組み込む 2 つの一般フレームワークを導入します。

1. 条件付き独立性検定 (CIT) を通じたフレームワーク
最初のフレームワークは、条件付き 2 標本検定と条件付き独立性検定の間の等価性を利用します。バイナリグループ指標 $Z$ を導入することで、問題 $P^{(1)}_{Y|X} = P^{(2)}_{Y|X}$ は、$Y \perp\!\!\!\perp Z \mid X$ を検定することと等価になります。

• アルゴリズム 1: 著者は、既存の任意の条件付き独立性検定を条件付き 2 標本検定に変換する汎用的な「ブラックボックス」変換法を提案します。このアルゴリズムは、二項分布に基づいて元の固定サイズのグループから部分サンプリングを行うことで、i.i.d. 三重組 $(X, Y, Z)$ のデータセットを構築します。部分サンプリングされたサイズが元のグループサイズを超えた場合は帰無仮説を採択し、そうでない場合は、順列化されたデータに対して標準的な条件付き独立性検定を適用します。
• 理論的保証: 定理 2 は、検定統計量が「カップリング安定」であるか、または部分サンプリングによる損失が漸近的に無視できる場合、この変換が基礎となる条件付き独立性検定の漸近的妥当性（第一種の過誤の制御）および一貫性（検出力）を保持することを証明しています。

2. 密度比推定 (DRT) を通じたフレームワーク
2 つ目のフレームワークは、密度比推定を用いて条件付き比較を周辺比較に変換します。

• 原理: 帰無仮説が成り立つのは、結合密度 $f^{(1)}_{XY}$ が $f^{(2)}_{XY}$ の再重み付け版、すなわち $f^{(1)}_{XY}(x,y) = r_X(x) f^{(2)}_{XY}(x,y)$ に等しい場合に限られます。ここで、$r_X(x) = f^{(1)}_X(x)/f^{(2)}_X(x)$ は周辺密度比です。
• 実装: この問題は、$f^{(1)}_{XY}$ と再重み付けされた $f^{(2)}_{XY}$ との間の周辺 2 標本検定として再構成されます。著者は、以下の 2 つの具体的なアプローチを通じてこれを示します。
  • 分類器ベースのアプローチ: 2 つのグループを区別する分類器を訓練し、2 つ目のグループの損失関数を推定された密度比 $r_X$ で重み付けします。
  • カーネルベースのアプローチ (MMD): 重要度重み付けを用いた最大平均不一致 (MMD) を使用します。著者は、パラメータ $\gamma \in [0, 1]$ によって支配される統合されたブロック別 MMD 統計量を提案します。
    • 領域 I ($0 \le \gamma < 1$): 漸近正規性を達成するためにブロック別 U 統計量を使用します。
    • 領域 II ($\gamma = 1$): 標準的な二次時間の MMD を回復し、非ガウス性の極限分布に対処するために乗数ブートストラップで較正します。
• 標本分割: プラグインバイアスを避けるため、著者は $r_X$ の推定と検定統計量の評価を分離するために標本分割（またはクロスフィッティング）を採用します。

主要な貢献

1. 困難性の特性評価: 連続的な条件付けの下では、条件付き 2 標本検定が条件付き独立性検定と同様に困難であることを厳密に証明し、仮定の必要性を浮き彫りにしました。
2. 汎用変換アルゴリズム: 理論的保証を維持しつつ、任意の既存の条件付き独立性検定を 2 標本設定に適用することを可能にする新しいアルゴリズム（アルゴリズム 1）です。
3. 密度比フレームワーク: 密度比を介して条件付き検定を周辺検定に変換する柔軟なフレームワークであり、分類器ベースおよびカーネルベースの両方の手法で具体化されています。
4. 統合された MMD 理論: ブロック別（線形時間）および標準的（二次時間）の両方の領域をカバーし、後者にはブートストラップ較正を含む統合された MMD フレームワークの理論的発展です。

結果と実証的知見
本論文は、合成データ（線形、高分散、およびポスト非線形モデルを網羅）および実世界データセット（ダイヤモンドと超伝導）に対して提案された手法を評価しました。

• 合成データ:
  • DRT 手法（密度比に依存）は、周辺密度比が有界で容易に推定可能である場合に、優れた検出力を示します。
  • CIT 手法（アルゴリズム 1 を通じて）および条件付きカーネル手法（CMMD、CGED）は、有界でない密度比に対してより頑健ですが、特定の高分散シナリオでは性能が低下する可能性があります。
  • 単一の手法が均一に優位であることはなく、性能はデータ生成メカニズムおよび密度比推定の難易度に大きく依存します。
• 実データ:
  • 高次元設定（超伝導データセット）では、密度比推定量の選択が重要です。線形ロジスティック回帰 (LLR) は第一種の過誤を制御できず、一方、カーネルロジスティック回帰 (KLR) は計算コストが高くなるものの妥当性を回復しました。
  • 条件付きカーネル手法（CMMD、CGED）は競争力のある検出力を達成しましたが、計算コストが著しく高くなりました（他の手法よりも桁違いに遅い）。

意義と主張
本論文は、非パラメトリック統計において以前は十分に研究されていなかった問題である条件付き 2 標本検定のための体系的基盤を提供すると主張しています。本質的な困難性を確立し、2 つの異なる理論的基盤を持つフレームワークを提供することで、この研究は実務家が利用可能なツールキットを拡大します。

• CIT フレームワークは、2 標本問題に対して条件付き独立性検定に関する広範な文献を活用するための実用的な道筋を提供します。
• DRT フレームワークは、条件付き検定を十分に研究された重要度重み付けおよび周辺検定の分野と結びつけ、手法の選択（分類対カーネル）における柔軟性を提供します。
• 著者は、これらの手法の有効性が特定の仮定（例えば、密度比の有界性または推定可能性）に依存することを強調しており、異なるデータ領域における計算コスト、検出力、および第一種の過誤制御の間のトレードオフに関する実証的な指針を提供しています。

本研究は、フレームワークを条件付き $K$ 標本検定（$K \ge 2$）に拡張することや、Sampling Importance Resampling (SIR) のようなリサンプリングベースのアプローチを探求することなど、将来の方向性を特定することで結論付けています。