Comparing mutual information across unequal samples

データサイエンスの広大な風景の中で、研究者たちはしばしば、単純だが手強い問題に直面します。それは、グループのサイズが異なる場合に、2つの情報のグループをどのように比較するかという問題です。例えば、ある星の化学組成と、宇宙空間を移動する速度との間の関係性――つまり、2つの変数の間の関係の強さを判断しようとする場面を想像してみてください。科学者たちは、相互情報量と呼ばれるツールを用いて、この強さを測定します。これは本質的に、「一方を知ることが、もう一方についてどれだけのことを教えてくれるのか？」と問いかけるものです。数値が高いほど、結びつきは強固になります。しかし、この測定は一筋縄ではいきません。データの集まりが一つは小さく、もう一つは大きい場合、この結びつきを計算するために用いられる数学的ツールは混乱しがちです。それらは誤った誤差を生み出し、単に扱う数値が少ないという理由だけで、サンプルを実際よりも弱く、あるいは強く見せてしまう傾向があります。これは、あるグループの星が本当に他のグループよりも強く結びついているのか、それとも見えている違いが、単にその場所で数えた星の数が少なかったことによる人工的な産物なのかを知りたいと考えている科学者たちにとって、危険な盲点となります。

ニック・バルアと小田浩二はこの特定のパズルを解くために、大規模で制御された実験を行うことで解決を図りました。彼らはまず、実在の星を見るのではなく、既知の完璧なシナリオが数千通り存在するデジタル実験室を構築しました。彼らは、変数間にあらかじめ設定された真の結合レベルを持つ、17,0以上もの異なるデータコレクションを作成しました。単純な直線関係を持つコレクションもあれば、複雑な曲線パターンを持つものもありました。決定的なのは、これらのコレクションを異なるサンプルサイズでテストしたことです。78個の観測値からなる小さなグループと、500個の大きなグループ、そして200個対400個という組み合わせで戦わせました。目的は、これらの不均衡なサイズ間でこれらの結合の強さを比較しようとすると何が起こるのか、そして一般的な解決策である「大きなグループを小さなものに合わせて切り詰める」という手法が、実際に役立つのか、それとも事態を悪化させるのかを確認することでした。

研究者たちは、サンプルサイズ・マッチングとして知られる特定の戦略をテストしました。その考え方は明快です。もし手元に大きなデータセットと小さなデータセットがあるなら、大きな方のデータを取り出し、それを小さな方のサイズまで削り取ってから、両者を比較するというものです。これを公平にするため、彼らは一度切り詰めるだけでなく、大きなグループから5つの異なるランダムなス片（スライス）を取り出し、それぞれのスライスに対して結合を計算して、その結果を平均しました。そして、この平均化された一致した結果を、元の、削っていない比較対象と比較しました。その結果は驚くほど混在しており、この問題に対する普遍的な魔法の杖は存在しないことを明らかにしました。ケースによっては、データをサイズに合わせて切り詰めることが見事に機能しました。より強い結合が小さなグループの中に隠れていた場合、サイズを合わせることで、どちらのグループがより強い結合を持っているかを正しく識別する能力が、約41パーセントから、ほぼ64パーセントへと向上しました。これはランキングを修正し、サイズの違いによって以前は覆い隠されていた真実をコンピュータに見えるようにしたのです。

しかし、同じ戦略が状況を壊してしまうこともありました。研究者が設定を入れ替え、より強い結合が大きなグループにあるようにした場合、マッチングの手順は実際には比較を悪化させ、正しい識別率を83パーセントから61パーセントへと低下させました。この逆転現象は、この修正策が万能な解決策ではないことを示しており、どちらのグループがより強い信号を持っているか、そしてその信号がどのようなパターンに従うかに完全に依存していることを示しています。さらに、マッチングは時として研究者が強さの順序を推測する助けにはなるものの、その差の正確な大きさの測定においては、しばしば妨げとなりました。多くの場合、マッチングされたサンプルは明確なランキングを与えましたが、歪んだ値をもたらしました。つまり、科学者はどちらのグループが強いかは分かっても、それが具体的にどれほど強いのかを算出する際には、より大きな誤差が生じる可能性があるということです。また、チームは、データをシャッフルすることでランダムなノイズを差し引こうとするパーミュテーション・センタリングと呼ばれる手法もテストしましたが、このテクニックでは、これらの特定の比較において中心的なバイアスはほとんど修正されないことが分かりました。

チームはまた、化学組成と速度を用いた公開天文学カタログの78個の星を含む実世界の例に、これらの手法を適用しました。この例示は、彼らの手法が実際のデータに対してどのように機能するかを示すものでしたが、著者らは、現実の宇宙は彼らのデジタルシミュレーションよりもはるかに複雑であることを慎重に注記しました。彼らは、新しい物理法則を発見したとか、あらゆる星カタログを分析するための保証された方法を見つけたと主張したわけではありません。代わりに、彼らは利益とリスクの詳細なマップを提供しました。彼らがテストした特定のツールとパターンにおいて、サンプルサイズの整合（マッチング）は諸刃の剣であることを示したのです。それは、どちらのグループがより強いかという視点を鋭くすることもありますが、その差が正確にどれほどであるかという測定をぼやけさせてしまうこともあります。研究は、観察数を等しくすることが、必ずしも比較の正確さを等しくすることにはならないこと、そして時には、グループのサイズを同じにしようとする行為が、古いエラーを取り除こうとして新しいエラーを導入してしまうこともあるということを理解しなければならない、と結論付けています。