Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics

あなたは探偵になりきって、ある謎を解こうとしています。「これら2つのデータの山は、本当に異なっているのか？ それとも、単に同じソースから発生したランダムなノイズに過ぎないのか？」

機械学習の世界では、これは「二標本検定（two-sample test）」と呼ばれます。あなたは、コントロールグループ（対照群）からの写真の山（Pile Aと呼びましょう）と、トリートメントグループ（処置群）からの写真の山（Pile B）を持っています。あなたの仕事は、トリートメントによって何かが変化したかどうかを見極めることです。このために、探偵たちは**最大平均不一致（Maximum Mean Discrepancy: MMD）**というツールを使います。MMDは、データの雲の「形」を計る、超高感度なスケールだと考えてください。もし雲の形が違えば、スケールが傾き、そこに違いがあることがわかります。

古い問題：「等辺のルール」

長い間、このスケールには奇妙で厄介なルールがありました。それは、Pile AとPile Bの枚数が正確に一致していなければならないというルールです。

現実の世界では、これは悪夢です。例えば、希少疾患の写真は1,000枚（Pile A）あるけれど、健康な人の写真は10,000枚（Pile B）あるという状況を想像してください。古い手法では、「ああ、これは使えない！ Pile Aとサイズを合わせるために、健康な写真のうち9,000枚を捨てなければならない」と言い渡されます。これは、箱のサイズが合わないという理由だけで、証拠の90%を捨ててしまうようなものです。これはデータの無駄遣いであり、テストの精度を弱めてしまいます。

新しい解決策：「汎用的な」スケール

この論文は、データの山のサイズが等しくなくても機能する、新しいMMDスケールの使い方を紹介しています。著者であるAaron Wei、Milad Jalali、Danica J. Sutherlandは、片方の山が極端に小さく、もう片方が巨大な場合でも、数学的に成立させる方法を見つけ出しました。

彼らは、標準的な「U統計量（U-statistic）」（等辺を必要とするもの）から、**「汎用U統計量（Generalized U-statistic）」**へと数学をアップグレードすることで、これを実現しました。

ここで行われた「魔法のトリック」を説明しましょう。
結果のスケールを調整する際、全体の写真の数（サイズが異なると計算が複雑になります）に基づいて調整するのではなく、より小さい方の山のサイズに基づいて調整すべきであることを彼らは発見しました。

• 古い方法： $n_A + n_B$ でスケールする。
• 新しい方法： $\min(n_A, n_B)$ でスケールする。

彼らは、より小さい山のサイズを「物差し」として使用すれば、データの偏りがどれほど大きくても、結果が安定し正確であることを数学的に証明しました。たとえ100個のアイテムしかない小さな山と、10,000個のアイテムがある巨大な山があったとしても、100の方をアンカー（基準）とすることで、非常に精密な答えを得られることを示したのです。

驚きの展開：「退化」の謎

このサイズの問題を修正している最中に、著者たちは、MMDスコアと数学の「退化（degeneracy）」の関係に関して、専門家を驚かせるかもしれない発見をしました。

通常、人々はこう考えます。「もしMMDスコップがゼロなら、2つの山は同一であり、数学は『退化（分散がゼロになること）』する」。
しかし、著者たちはその逆が必ずしも真ではないことを証明しました。 彼らは、MMDスコアがゼロではない（＝2つの山は異なっている）にもかかわらず、推定量が退化（分散がゼロになる）する場合があることを示しました。

言い換えれば、2つの山は実際には異なっている（MMDはゼロではない）のに、本来なら山が同一である時にしか起こらないはずの「退化」した挙動を示す数学的状況が存在するのです。彼らは、両者が異なる（退化した）特定の例を構築しました。しかし同時に、一般的な実世界の状況（重なり合う形状を持つデータに対して標準的なガウスカーネルを使用する場合など）においては、この奇妙な「退化しているが非ゼロのMMD」というシナリオは発生しないことも証明しました。つまり、実用上の目的においてはパニックになる必要はありませんが、数学としては、こうしたエッジケースについても正直に記述されるようになりました。

「パワーアップ」：すべてのデータを使う

この新手法の最も素晴らしい点は、手元にあるすべてのデータを利用できることです。

• 古い方法： 1,000件の希少ケースと10,000件の一般的ケースがあった場合、公平な戦いにするために9,000件の一般的ケースを捨てなければなりませんでした。
• 新しい方法： 全部の11,000件をそのまま使えます。

著者らは、実際の画像データ（CIFAR-10およびCIFAR-10.1）を用いてシミュレーションを行いました。彼らは、一方のグループが1,000枚の画像で、もう一方が $r \times 1,000$ 枚（$r$ は1、2、4、または8）となるテストを設定しました。

• 古い方法（データを捨てていた場合）では、テストの検出力（power）はそこそこでした。
• 新しい方法（すべてのデータを保持した場合）では、テストの検出力が大幅に向上しました。
• 実験において、比率が8対1の場合、新しい手法は99.9%の確率で差異を検出しましたが、古い手法では82.1%にとどまりました。

彼らが「行わなかったこと」（および否定したもの）

この論文が主張していないことを知っておくことは重要です。

• 彼らは、最適なカーネル（覗き窓となる「レンズ」）を選ぶための新しい方法を発明したわけではありません。彼らは、サンプルサイズが不等しい場合に、既存のベストカーネル手法をどのように使うべきかを示しただけです。
• 彼らは、これがあらゆる数学的な奇妙さに通用すると言っているわけではありません。彼らは、これが「一般的な状況」（重なり合うデータを持つ連続カーネルなど）で機能することを証明しました。もしデータが完全に分離した別々の世界（データ同士が全く接触しない場合）にあるなら、数学は複雑になります。彼らは、その特定のエッジケースについてはまだ完全には解決していないことを認めています。
• 彼らは、「パーミュテーション・テスト（置換検定）」（テストの合格基準を決める方法）の問題を解決したと主張していません。彼らは依然として、閾値を設定するためにパーミュテーション・テストを使用していますが、今では不等しいサイズの山の状態でもそれを行うことができます。

まとめ

著者たちは架け橋を築きました。以前は、データの山のサイズが異なると、余剰分を切り捨てて、あとは運に任せるしかありませんでした。しかし今では、不等しいサイズの、そのままの、ありのままのデータをMMDスケールに投入できます。数学は成立し、テストはより強力になり、貴重な証拠を捨てる必要もなくなりました。

彼らは、厳密な数学（漸近分布に関する定理）によってこれを証明し、実際の画像データセットを用いたシミュレーションによって裏付けました。これは、サイズが一致しない2つのグループを比較しようとするすべての人にとって、堅実で実用的なアップグレードです。