Neural Wasserstein Two-Sample Tests

技術要約：ニューラル・ワッサースタイン二標本検定

問題提起
本論文は、二つの独立したサンプルが同一の分布に由来するかどうかを判定することを目的とした、二標本ホモジェニティ（同質性）検定の問題に取り組んでいる。このタスクは、古典的な検定がしばしば大幅な検出力の低下に直面する高次元設定において、特に困難となる。カーネルベースの手法（MMDなど）は普及しているものの、高次元においては本質的な限界に直面しており、これには、公正な対立仮説下での急速な検出力減退や、次元とサンプルサイズの両方に関わる複雑な漸近的レジームへの依存が含まれる。対照的に、ワッサースタイン距離はその分布幾何学を保持する一方で、次元の呪いによって直接的な適用が阻害され、収束速度が遅くなる。既存の投影ベースのワッサースタイン手法は、単一の投影に依存しているか、あるいはp値を較正するために計算コストの高い再サンプリング（置換検定やブートストラップ法）を必要とすることが多い。

手法
著者らは、投影1-ワッサースタイン距離に基づく学習支援型の手順である「ニューラル・ワッサースタイン検定」を提案している。核となる手法は、カントロヴィッチ・ルビンのタイトネス（双対性）を利用して、投影ワッサースタイン距離を1-リプシッツ関数と投影方向に関する上限（supremum）として表現することである。

この手順は、以下の主要なコンポーネントで構成される：

1. データ分割： 推定と検定の間の依存関係を切り離すために、データセットを訓練サブセット（$D_{fit}$）とテスト・サブセット（$D_{test}$）に分割する。
2. 二段階推定：
   • ステップ1（投影方向）： $D_{fit}$ 上で、スティフェル多様体 $S_{d,k}$ 上の識別的な投影方向 $U$ を学習する。未知のスパース性レベルに適応するため、著者らは非正則化推定、および $\ell_1$ および $\ell_0$ スパース制約下での推定の両方を検討している。この最適化は、多様体最適化のための近接勾配法（ManPG）を用いて行われる。
   • ステップ2（ウィットネス関数）： 推定された投影 $\hat{U}$ を用い、ReLU活性化関数を持つディープニューラルネットワーク（DNN）を用いて、投影されたデータ上の1-リプシッツ・ウィットネス関数 $f$ を学習する。ネットワーク構造は、十分な近似能力を確保するためにサンプルサイズに応じて成長するように設計されている。
3. 最大型集約： 投影次元 $k$ やスパース性パラメータ（正則化強度）の繊細なチューニングを避けるため、候補となるハイパーパラメータの集合に対して統計量を集約する。最大型の検定統計量は、すべての候補構成における標準化された統計量の絶対値の最大値を取ることによって構築される。
4. ピボタルな較正： 置換ベースのアプローチとは異なり、提案された検定統計量はピボタルな極限零分布を持つことが示されている。具体的には、帰無仮説の下で、集約された統計量は標準ガウスベクトルの絶対最大値に収束する。これにより、再サンプリングなしでの漸近的な較正が可能となる。

主な貢献

• 投影ワッサースタイン距離のニューラル近似： 本論文は、投影方向のための多様体最適化と、最適な1-リプシッツ・ウィットネス関数を近似するためのディープニューラルネットワークを組み合わせたフレームワークを導入している。この戦略は、双対式の上限を効果的に推定する。
• チューニングフリーな適応性： 投影次元とスパース性パラメータの候補集合に対する最大型集約を採用することで、明示的なパラメータ選択を必要とせずに、未知の投影次元やスパース性レベルに適応し、それによって検出力を向上させつつ手法の複雑さを軽減している。
• 漸近的な分布フリーの妥当性： 著者らは、検定統計量のガウス近似に関するベリー・エセーン型の境界を確立している。決定的なのは、極限零分布がピボタル（分布フリー）であり、周囲の次元 $d$ や基礎となる母集団分布ではなく、候補集合の次元のみに依存することである。これは、次元とサンプルサイズの比が発散するレジームに依存するスチューデント化されたMMD検定とは対照的である。
• 計算効率： 検定統計量のピボタルな性質により、計算負荷の高い再サンプリング手法（置換検定やブートストラップ）を排除でき、大幅な計算コストの削減を実現している。

結果

• 理論的保証： 本論文は、提案された検定の妥当性と一貫性を証明している。帰無仮説の下で、検定統計量は $\max_{j} |Z_j|$ （ここで $Z \sim N(0, I_m)$）に分布収束する。検出力解析は、信号（投影ワッサースタイン距離によって測定される）がサンプルサイズ、次元、およびネットワークの複雑さに依存する特定の閾値を超える場合に、本検定が一貫していることを示している。
• シミュレーション研究： 4つのモデル（平均シフト、分散シフト、異なる周辺分布、および異なる結合分布）にわたる広範なシミュレーションにより、提案手法がMMD、ディープカーネルを用いたMMD、エネルギー距離、カーネル・フィッシャー判別分析（KFDA）、および標準的な投影ワッサースタイン検定を含む既存のアプローチを一貫して上回ることが示された。特筆すべきは、競合手法がしばしば急激な検出力の低下を示すのに対し、提案手法は次元が増加しても高い検出力を維持している点である。
• 実データへの適用： 本手法は、低グレード神経膠腫（LGG）と多形膠芽腫（GBM）を区別するために、The Cancer Genome Atlas (TCGA) のDNAメチル化データに適用された。本検定は、既存の生物学的文献とも一致する、グループ間の有意な差（p値 < 0.001）を検出し、平均および共分散構造における明確なパターンを明らかにした。

意義と主張
本論文は、学習された投影とディープラーニングを通じて、次元の呪いを効果的に緩和することにより、ニューラル・ワッサースタイン検定が高次元の二標本検定に対する堅牢な解決策を提供すると主張している。その意義は主に以下の3点にある：

1. スケーラビリティ： ピボタルな極限分布により、高次元の置換検定における大きなボトルネックである再サンプリングを回避し、スケーラブルな計算が可能になる。
2. 次元への堅牢性： 高次元レジームにおいて検出力を失うことが多いカーネルベースの手法とは異なり、本手法の性能は次元の増加によって大幅に劣化しない。
3. 適応性： 最大型集約戦略により、重要なハイパーパラメータ（投影次元およびスパース性）の手動チューニングが不要となり、手法の実用性とユーザー指定に対する感度の低さが向上している。

著者らは、データ分割が有効な推論を保証する一方で、推定のための有効サンプルサイズを減少させることを認めている。高次元モデルにおいてこの損失が避けられないものかどうかは、今後の調査における未解決の課題であると述べている。本手法は、ウィットネス関数を近似するためのニューラルネットワークの表現力と、識別的な方向を見つけるための多様体最適化の能力に依拠しており、これらのツールが厳密な統計的検定フレームワークに成功裏に統合できることを示している。