New Equivalence Tests for Approximate Independence in Contingency Tables

あなたは、ある謎を解こうとしている探偵だと想像してください。あなたのデータにある2つの事柄は、本当に結びついているのでしょうか、それとも単にそう見せかけているだけなのでしょうか？ 例えば、目の色と髪の色に関係があるのか、あるいは患者の性別によって特定の薬への反応が変わるのかどうかを探っているかもしれません。統計学の世界では、これを「独立性の検定」と呼びます。

通常、探偵たちは完璧な一致を探します。もしデータが完璧な100%の一致でなければ、「あ、これらはつながっている！」と判断します。しかし現実の世界では、何事も完璧であることはありません。時には、2つの事柄は「ほぼ独立」であり、その微細な違いは無視できるほど十分に近似していることもあります。ここで「近似的独立性」という概念が登場します。

問題は、古い探偵の道具は少し扱いにくかったことです。それらは、答えを見つけ出すために毎回、非常に大規模で複雑な数学のパズル（「数値最適化」と呼ばれます）を解く必要がある手法に依存していました。それは、一本の藁（わら）を見つけるたびに、そのための新しいロボットを組み立てるようなものでした。時間がかかり、しかもそのロボットは途中で動けなくなることもありました。

新しい探偵キット
ドイツのケルンに住む統計学者、ウラジミール・オストロフスキは、より洗練された新しい探偵キットを作り上げました。重苦しい数学のパズルと格闘する代わりに、彼は、あなたのデータと「完全な独立性」という概念との間の「距離」を測る、2つの新しい超高速な方法を考案しました。

それは、ガタついたテーブルが完全に平らである状態から、どれくらい離れているかを測るようなものです。

1. 「絶対的」な定規 ($d_a$): これは生の差を測定します。テーブルの脚が床から何ミリ離れているかを確認するようなものです。
2. 「相対的」な定規 ($d_r$): これはテーブルのサイズと比較した差を測定します。それは、「そのガタつきはテーブルの大きさに比べて巨大なのか、それとも単なる小さな点に過ぎないのか？」と問いかけるようなものです。

これらの新しい定規は使いやすいものです。答えを出すためにスーパーコンピューターを用意する必要はなく、瞬時に計算できます。

「ブートストラップ」という手品
ここからがトリッキーな部分です。あなたの測定値が「本物の」差なのか、それとも単にデータのサンプルが少ないことによる偶然の産物なのかを知るためには、「臨界値」を知る必要があります。これは、テーブルが壊れていると判断する前に、どの程度のガタつきまでを許容すべきかを知ることと同じです。

従来の方法は、膨大な数のデータポイントがある場合にはうまく機能する理論的な公式を用いて計算していましたが、データが少ない場合には少し不安定になってしまいました。これを解決するために、著者はブートストラップと呼ばれるトリックを使用しています。

あなたのデータを表す「ビー玉が入った袋」を想像してください。ブートストラップ法とは、袋の中に手を入れ、一掴みのビー玉を取り出し、そのコピーを作り、また袋に戻すという作業を何千回も繰り返すことで、結果がどのように変動するかを見るようなものです。これにより、より小さなグループのデータに対しても、より正確な全体像を描き出すことができます。

しかし、落とし穴がありました。独立性のためのこのブートストラップを行うには、通常、特定の「境界点」を見つける必要があります。それは、データがまさに独立性の境界線上にあるという魔法のような地点です。この地点を見つけることは、地図を持たずに砂浜にある特定の砂粒を探すようなものでした。

解決策：ランダム化されたマップ
著者は、「ランダム化推定器」を作成することでこの問題を解決しました。一つの完璧な砂粒を見つけようとする代わりに、この手法はビーチの上に網を投げます。それは、独立していないことが確実な多くの「外部点」を生成し、それらの点とあなたのデータとの間に線を引くことで、境界線を見つけ出します。

これは、「森の端が正確にどこにあるかは分からないが、家から遠くにある山に向かって歩いていけば、いつかは森の端に到達するだろう」と言うようなものです。これにより、プロセス全体が高速化され、複雑なテーブルであっても計算が可能になりました。

シミュレーションが示したこと
著者は単に推測したわけではありません。彼らは大規模なシミュレーション・ラボを実行しました。さまざまなサイズの異なる偽のデータテーブル（小さな $2 \times 4$ グリッドから巨大な $5 \times 5$ グリッドまで）を作成し、新しい手法を旧来の手法と比較テストしました。

• 朗報: 新しい「ブートストラップ」検定は、小さなサンプルサイズを扱うのが非常に得意です。旧来の「漸近的」な検定が、テーブルが大きくなるにつれて慎重になりすぎる（保守的になる）傾向があったのに対し、新しい手法は（0.05という）「公称水準」のルールをより正確に維持しています。
• 注意点: テストはどこでも完璧というわけではありません。データにカテゴリー内の人数がほぼゼロに近いもの（確率がゼロに近いカテゴリー）がある場合、テストは結びつきを見つけようとしすぎる（反保守的になる）ことがあります。著者は、空のボックスや、ほぼ空のボックスがある場合は、細心の注意が必要であると警告しています。
• 「縮小」のトリック: テストをより安全にするために、「許容パラメータ」（あなたが受け入れられるガタつきの量）を 0.18 に縮小すると、テストは非常に信頼性が高くなり、誤報（偽陽性）をほとんど起こさなくなることを著者は示しました。

実世界のテスト
著者はこの新しいキットを、3つの実世界の謎に対して試してみました。

1. ニトレンジピン療法: 性別は患者の薬への反応に影響を与えるか？ 217人のサンプルを用いて、新しい検定は、性別と結果は近似的に独立している（強く結びついてはいない）ことを示唆しました。
2. 目の色と髪の色: 茶色の目は必ず茶色の髪を伴うのか？ 検定は、私たちがすでに知っていること、つまりこれらは独立していないことを確認しました。データは強い結びつきを示しており、検定は、非常に大きな「ガタつき」（許容度 0.58）を許容した場合にのみ、独立性を認めました。
3. 子供と所得: 家族の子供の数は、その家族の所得に依存するのか？ このデータセットは非常に大きく（25,263人）、いくつかのカテゴリーはほぼ空でした。検定は、これらが近似的に独立している可能性を示唆しましたが、空のカテゴリーがあるため、その近似は「非常に不正確」でした。

結論
この論文は、独立性の謎を永遠に解明したと主張しているわけではありません。その代わりに、統計学者のための、より速く、より信頼できる新しい道具を提供しています。それは、遅くて重い数学のパズルを、迅速でスマートな計算と、小さなデータセットを扱うための巧妙な「ランダムウォーク」法に置き換えるものです。

著者は、誰でも利用できるように、無料の「探偵キット」（ソフトウェアコード）をオンラインで提供しています。これらのテストはほとんどの状況でうまく機能しますが、論文では、データカテゴリー内のエントリーが極めて少ない場合には、注意して使用する必要があると明示的に警告しています。これは世界を見るための強力な新しい方法ですが、優れた探偵がそうであるように、手がかりを再確認すべき時を知っておくことも重要です。