論文要約：Multiscale Cochran-Mantel-Haenszel Scanning for Conditional Dependency

1. 問題設定と背景

統計推論において、変数 $X$ と $Y$ の間の条件付き独立性（Conditional Independence, CI）を検定することは、変数選択、次元削減、構造関係の特定など、多くの分析パイプラインの基盤となります。特に高次元データや複雑な依存パターンが現れる現代のデータセットにおいて、非パラメトリックな CI 検定は重要な課題です。

既存の手法には以下のような課題があります：

• カーネル法（RKHS 等）: 計算コストが $O(n^2)$ と高く、高次元では検出力が低下し、カーネルバンド幅の選択に依存する。
• 回帰・予測ベースの手法: 条件付き分布の推定が必要であり、高次元では推定が困難でチューニングが複雑になる。
• 離散化ベースの手法: 条件変数 $Z$ を層（ストラタ）に分割するが、層のサイズを小さくして誤差を制御すると検出力が低下し、逆に大きくすると検出力は向上するが第一種過誤（Type I error）の制御が難しくなるという「パラドックス」に直面する。特に、各層のサンプル数が無限大に発散することを前提とする従来の理論は、実際の有限サンプルでは適用が困難である。

本研究は、これらの課題を克服し、連続的なサンプル空間に対して一般化された、計算効率が高く、高次元でも頑健な CI 検定手法を提案するものです。

2. 提案手法：MultiCMH

著者らは、離散変数に対する古典的なコクラン・マンテル・ヘンゼル（CMH）検定とオッズ比推定量を、連続的なサンプル空間に拡張する「マルチスケール・コクラン・マンテル・ヘンゼル（MultiCMH）」走査手法を提案しました。

2.1 核心的なアイデア

1. 条件付き独立性の再定式化:
   連続変数 $X, Y$ に対して、再帰的な二項分割（ダイアディック分割）を適用し、これらを階層的な 2 次元のビン（区画）に離散化します。これにより、元の連続空間の条件付き独立性は、これらのビンで構成される 2 次元分割表における独立性の極限として捉えられます。
2. マルチスケール走査:
   分割された $X$ と $Y$ のビン（ウィンドウ）ごとに、条件変数 $Z$ を層化（ストラティフィケーション）し、$2 \times 2 \times T$ の分割表（$T$ は層の数）を構築します。各ウィンドウに対して CMH 検定統計量を計算します。
3. 条件付きサンプリングと独立性:
   各層の周辺度数（マージナル合計）を条件とした場合、CMH 統計量の分布は nuisance parameters（妨害変数）に依存しなくなります。さらに、理論的に、条件付き独立性の下では、異なるウィンドウで計算された p 値は互いに独立であることが示されます。これにより、多重比較補正が容易になります。
4. スパースデータ漸近性:
   従来の離散化手法が「各層のサンプル数が無限大に発散する」ことを要求するのに対し、本手法は「層の数 $T$ が無限大に発散し、各層のサンプル数は一定（または有限）」というスパースデータ漸近性を採用します。これにより、層のサイズを小さく保ちつつ（局所的な依存性を捉える）、検定の整合性（consistency）を維持できます。

2.2 層化アルゴリズム（medtree）

条件変数 $Z$ の層化には、距離計算を不要とする効率的なアルゴリズム「medtree」を採用しています。

• 手法: 各座標軸に対してサンプル中央値（median）を用いて再帰的に空間を分割する k-d 木ベースのアプローチ。
• 利点: 距離計算を避けるため、単位の換算に不変であり、高次元でも距離の集中現象（curse of dimensionality）の影響を受けません。計算量は $O(n \log n)$ で、ほぼ線形にスケーリングします。

2.3 多重比較補正

階層的なダイアディック分割の構造を考慮し、Šidák 補正を 3 段階（ウィンドウ内、同じ解像度の分割内、全解像度間）に適用して、家族全体誤差率（FWER）を制御します。

3. 主要な貢献

1. 理論的革新:
   • CMH 検定を連続空間に一般化し、条件付き独立性の検定とオッズ比の推定を同時に行う枠組みを提供。
   • 「各層のサンプル数が無限大に発散する必要はない」という新しい漸近理論（スパースデータ漸近性）に基づき、整合性と第一種過誤の制御を両立させた。
   • 条件付き独立性の下での p 値の独立性を証明し、効率的な多重比較補正を可能にした。
2. 計算効率とスケーラビリティ:
   • 計算量が $O(n \log n)$ であり、サンプルサイズ 100 万を超えるデータセットでも実行可能。
   • 高次元の条件変数 $Z$ に対しても、距離計算を避ける層化アルゴリズムにより、検出力の低下が抑えられる。
3. 診断能力:
   • 単に「独立か否か」を判定するだけでなく、どのウィンドウ（$X, Y$ の特定の領域）で依存性が検出されたかを特定し、依存の強さ（オッズ比）と方向を推定できる。これは、大規模データにおける「なぜ棄却されたか」の解釈に不可欠です。

4. 実験結果

4.1 シミュレーション研究

• 第一種過誤（T1E）制御: 多様なサンプルサイズと次元数において、他の最先端手法（CDIT, GCM, RCIT など）と比較して、有意水準 0.05 付近で厳密に制御され、過剰な検出（inflated power）や保守的な傾向を示さなかった。
• 検出力: 高次元（$d=128$）かつサンプルサイズが大きい場合、他の多くの手法（特にカーネル法や距離ベース法）が検出力を失うのに対し、MultiCMH は高い検出力を維持し、AUROC が 1 に収束した。
• 計算速度: 既存手法が $O(n^2)$ や多項式時間がかかるのに対し、MultiCMH は線形に近い速度で動作し、100 万サンプルのデータでも数秒〜数分で処理可能であった。

4.2 実データ分析（Uber ライドシェアデータ）

• 目的: 乗客の待ち時間（ETA）が、運賃（Fare）を条件とした上で、ライド予約の決定（Y）に影響を与えるかを検証。
• 結果: 帰無仮説（独立性）は明確に棄却された。
• 洞察:
  • 待ち時間が長いほど予約率が低下する（負のオッズ比）ことが確認された。
  • 異質性の発見: 待ち時間の影響は均一ではなく、待ち時間が特に長い領域（上位 50% 以上）でその影響が顕著に強まること、また価格設定のコンテキスト（価格帯や時間帯）によって感度が変化することが、マルチスケール走査によって詳細に可視化された。

5. 意義と結論

本論文で提案された MultiCMH は、条件付き独立性検定の分野において、以下の点で画期的です。

• 実用性: 大規模データ、高次元データに対して、チューニングが少なく、計算コストが低い。
• 解釈可能性: 統計的検定の結果を、データの特定の領域における依存性の強さや方向性という形で解釈可能にする。
• 理論的堅牢性: 離散化手法が抱えてきた「層のサイズとサンプル数のトレードオフ」の問題を、新しい漸近理論によって解決した。

特に、Uber の事例が示すように、単に「関連がある」という結論だけでなく、「どの条件下で、どの程度の強さで関連があるか」を特定できる能力は、現代のデータ駆動型意思決定において極めて価値が高いものです。この手法は、因果推論、特徴量選択、および複雑な依存構造の探索において、強力なツールとなり得ます。