Z-Dip: a standardized measure for data modality assessment

技術的概要：Z-Dip – データの多峰性評価のための標準化された指標

問題提起
実証分布における多峰性の検出は、統計学およびデータ分析における基本的な課題であり、クラスタリングから複雑系の研究に至るまで多岐にわたる応用がある。しかしながら、一貫性があり比較可能な方法で単峰性からの逸脱を評価することは依然として困難である。広く用いられているハチガンとハチガンのディップ検定（Hartigan and Hartigan Dip Test）は、頑健かつ非パラメトリックであるが、大規模な応用においては以下の 3 つの決定的な欠陥を有している：

1. サンプルサイズ依存性： ディップ統計量の臨界値はサンプルサイズ（$N$）に強く依存し、各々の異なる $N$ に対する有意性評価のために、特定の検定表またはモンテカルロシミュレーションを必要とする。
2. 標準化の欠如： 生のディップ統計量は標準化されていないため、異なるサイズのデータセット間での意味のある定量的比較を妨げている。特定のディップ値は小サンプルでは多峰性を示唆するが、大サンプルでは無視できるほど小さい値となり得る。
3. 大 $N$ における不一致： サンプルサイズが増大するにつれ、ディップ統計量の帰無分布はゼロに向かって収縮する。その結果、検定は過剰に敏感となり、実質的に無視できるような任意の小さな逸脱（例えば、サンプリングノイズやわずかな歪み）に対しても単峰性を棄却するようになる。これにより大規模データセットにおいて偽陽性が氾濫し、検定は意味のある構造的な多峰性と些細な数値的逸脱を区別する能力を失う。

手法
著者らは、元のディップ検定の理論的基盤と計算効率を維持しつつ、これらの欠陥に対処するために設計された標準化された指標であるZ-Dipを導入する。

• 定義： Z-Dip は、単峰性という帰無仮説の下での確率変数としてディップ統計量を扱う。サイズ $N$ の観測データセットに対して、Z-Dip スコア（$Z_N$）は、ディップ統計量の帰無分布の平均（$\mu_N$）および標準偏差（$\sigma_N$）を用いて、観測されたディップ値（$Dip(F_N)$）を標準化することによって計算される：
  $$Z_N = \frac{Dip(F_N) - \mu_N}{\sigma_N}$$
  帰無分布のパラメータ（$\mu_N, \sigma_N$）は、元のディップ検定の定式化と整合するよう、$[0, 1]$ 上の一様分布から抽出されたサンプルから導出される。

• 漸近挙動： 理論的解析およびシミュレーションは、帰無仮説（単峰性）の下では、標準化された統計量 $Z_N$ が広範なサンプルサイズにわたり、ゼロを中心とし単位分散を持つ安定した分布を維持することを示している。一方、対立仮説（多峰性）の下では、分子は正の定数に収束し、分母は $N^{-1/2}$ に比例して縮小するため、Z-Dip スコアは $N^{1/2}$ に比例して増大する。このスケーリングにより、Z-Dip は単にその存在をテストするのではなく、単峰性からの逸脱の強さを定量化することを可能にする。

• 較正： 183 のサンプルサイズにわたる 20,000 回のシミュレーションを通じて、著者らは普遍的な決定閾値を導出した。理論的な正規近似は 5% の有意水準に対して $z=1.96$ のカットオフを示唆するが、実証的な較正は帰無分布にわずかな左の歪みがあることを明らかにした。頑健性を確保し、第一種の過誤率を制御するために、$z = 1.85$ という保守的な普遍的閾値が採用された。この閾値は、サンプルサイズ固有の調整を必要とすることなく、古典的なディップ検定の決定を再現する。

• 大サンプル補正： 極めて大規模なサンプルにおいて（些細なノイズが棄却を引き起こす）統計量の残留的な感度を緩和するため、著者らはリサンプリングに基づく補正を提案する。これは、適度なサイズ（$N_{sub} \ll N$）の複数のランダム部分集合に対して Z-Dip を計算し、得られたスコアを平均化するというものである。このアプローチは、スケーリングに依存するアーティファクトを中和しつつ、検定の非パラメトリックな性質を維持する。

主要な結果

• 合成データによる検証： 単峰性から強固な多峰性までのガウス混合モデルを含む 112 万のシミュレーションサンプルにおいて、Z-Dip は古典的なディップ検定とほぼ完全な一致を示した。99.99% のケースで、分類（単峰性を棄却するか棄却しないか）は同一であった。Z-Dip は、弱くても強い多峰性も成功裡に区別し、真に多峰性を持つ分布については、スコアがサンプルサイズに対して体系的にスケーリングした。
• 実証データによる検証： 本手法は、88,528 の実証的な意見分布（YouTube ユーザーの政治的傾き）のデータセットに適用された。Z-Dip 閾値（$z=1.85$）と古典的なディップ検定の p 値との一致率は**99.899%**であり、コヘンのカッパ係数は $\kappa = 0.981$ であった。不一致は稀であり、主に離散的なアーティファクトが推定に影響を与える小サンプル（$N < 100$）で発生した。
• 計算効率： Z-Dip は、元のディップ検定の $O(n \log n)$ の時間計算量を維持する。$\mu_N$ および $\sigma_N$ の事前計算された検定表が利用可能であれば、標準化ステップは $O(1)$ となり、有意性テストのための反復的なモンテカルロシミュレーションの必要性が排除される。

意義と主張
本論文は、Z-Dip が、サンプルサイズ依存の二値的な仮説検定であるディップ検定を、多峰性の連続的かつスケールに依存せず、解釈可能な指標へと変換すると主張している。統計量を標準化することにより、Z-Dip は研究者が以下のことを可能にする：

1. 著しく異なるサイズのデータセット間において、多峰性の強さを直接比較する。
2. 分布が単に多峰性であるかどうかを決定するだけでなく、「どの程度多峰性であるか」を定量化する。
3. 新たなサンプルサイズごとに特定の臨界値を生成する計算上の負担を回避する。

著者らは、Z-Dip をケース固有の較正を必要とせず、かつ精度を維持する古典的なディップ検定の「ドロップイン置換」として位置づけている。リサンプリング補正の導入は、その有用性を極めて大規模なデータセットへとさらに拡張し、検定が些細なサンプリングノイズではなく、実質的な構造的な逸脱を捉えることを保証する。実用的な採用を促進するため、オープンソースソフトウェア（R パッケージ）および参照表が提供されている。