📊 statistics

Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics

本文通过利用广义U-统计量，将最大均值差异（MMD）两样本检验扩展至不等样本量情况，从而消除了丢弃数据的必要性，并提供了新的渐近特征描述与功效优化准则，同时阐明了退化估计量与非零MMD值之间的关系。

原作者： Aaron Wei, Milad Jalali, Danica J. Sutherland

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Aaron Wei, Milad Jalali, Danica J. Sutherland

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜团的侦探：这两堆数据是真的不同，还是仅仅来自同一个源头的随机噪声？

在机器学习的世界里，这被称为“双样本检验”（two-sample test）。你有一堆来自对照组的照片（我们称之为堆 A）和一堆来自实验组的照片（堆 B）。你的任务是判断治疗是否改变了某些东西。为了做到这一点，侦探们使用了一个工具——最大均差异（Maximum Mean Discrepancy, MMD）。把 MMD 想象成一个超级灵敏的秤，用来称量“数据云”的“形状”。如果云朵看起来不同，秤就会倾斜，你就知道存在差异。

旧有的问题：“等边”规则

长期以来，这个秤有一个奇怪且令人恼火的规则：只有当你拥有 A 堆和 B 堆完全相同数量的照片时，它才有效。

在现实世界中，这简直是一场噩梦。也许你有 1,000 张来自罕见疾病的照片（堆 A），但有 10,000 张健康照片（堆 B）。旧方法会说：“噢不，我们不能用这个！我们必须扔掉你 9,000 张健康的照片，让两堆的大小相等。”这就像仅仅因为箱子大小不匹配，就扔掉了 90% 的证据。这既浪费了数据，也削弱了你的测试能力。

新的解决方案：“广义化”的秤

这篇论文介绍了一种使用 MMD 秤的新方法，它不在乎两堆的大小是否相等。作者 Aaron Wei、Milad Jalali 和 Danica J. Sutherland 找到了让数学逻辑在其中一堆极小而另一堆极大时依然成立的方法。

他们通过将数学模型从标准的“U-统计量”（需要等边）升级为**“广义 U-统计量”**来实现这一点。

这里是他们发现的魔术技巧：
与其根据照片的总数来缩放结果（当规模不同时会变得非常混乱），他们发现你应该根据较小的那一堆来进行缩放。

旧方法： 以 $n_A + n_B$ 进行缩放。
新方法： 以 $\min(n_A, n_B)$ 进行缩放。

他们从数学上证明了，如果你使用较小那一堆的大小作为你的“尺子”，那么无论你的数据多么不对称，结果都会保持稳定且准确。他们甚至展示了，如果你有一个只有 100 个项目的微型堆和一个拥有 10,000 个项目的巨型堆，通过将 100 作为你的锚点，你仍然可以获得非常精确的答案。

一个令人惊讶的转折：“退化”之谜

在解决规模问题的同时，作者发现了一些可能会让该领域其他专家感到惊讶的现象，即 MMD 分数与数学中的“退化性”（degeneracy）之间的关系。

通常，人们认为：“如果 MMD 分数为零，则两堆数据是完全相同的，且数学会变得‘退化’（意味着方差为零）。”
但作者证明了反向情况并不总是成立。 他们表明，有时即使在 MMD 不为零的情况下，也可能出现退化估计量（方差为零）。

换句话说，你可以遇到这样一种情况：两堆数据实际上是不同的（因此 MMD 不为零），但数学表现却呈现出一种通常只在两堆完全一致时才会出现的“退化”状态。他们构建了一个特定的案例，其中两堆数据虽然不同，但估计量却是退化的。然而，他们也证明了在大多数常见的现实场景中（例如使用标准的高斯核处理具有重叠形状的数据），这种奇怪的“退化但非零 MMD”情况并不会发生。因此，从实际操作的角度来看，你不需要惊慌，但现在的数学对于这些极端情况描述得更加诚实了。

“威力升级”：利用你所有的数据

这个新方法最好的部分在于，它能让你利用手中的每一件数据。

旧方法： 如果你有 1,000 个罕见病例和 10,000 个常见病例，你会扔掉 9,000 个常见病例以进行公平竞争。
新方法： 你保留了全部 11,000 个。

作者使用真实图像数据（CIFAR-10 和 CIFAR-10.1）进行了模拟实验。他们设置了一个测试，其中一组有 1,000 张图像，另一组有 $r \times 1,000$ 张图像（其中 $r$ 为 1、2、4 或 8）。

当他们使用旧方法（扔掉数据）时，测试效力尚可。
当他们使用新方法（保留所有数据）时，测试的效力显著增强。
在实验中，当比例为 8 比 1 时，新方法检测出差异的成功率高达 99.9%，而旧方法仅为 82.1%。

他们没有做的事情（以及他们排除了什么）

了解这篇论文没有声称的内容很重要：

他们并没有发明一种选择最佳核函数（即你观察数据的“镜头”）的新方法。他们只是展示了如何在样本量不等的情况下使用现有的最佳核函数方法。
他们并没有说这适用于所有可能的数学怪现象。他们证明了这适用于“常见情况”（如具有重叠数据的连续核函数）。如果数据处于两个完全分离、互不相交的世界（例如数据从未接触过），数学会变得复杂，他们承认尚未完全解决这个特定的边缘情况。
他们并没有声称解决了“置换检验”（permutation testing，一种设定测试合格标准的方法）的问题。他们仍然使用置换检验来设定阈值，但现在他们可以在两堆大小不等的情况下进行。

核心结论

作者搭建了一座桥梁。以前，如果你的数据堆大小不同，你必须切掉多余的部分并听天由命。现在，你可以将整个、杂乱且不对称的数据堆投入 MMD 秤中。数学依然成立，测试变得更强，你也不必再扔掉任何珍贵的证据。

他们通过严谨的数学（关于渐近分布的定理）证明了这一点，并通过真实图像数据集的模拟实验验证了结论。对于任何想要比较两个规模不等的数据组的人来说，这是一个扎实且实用的升级。

问题陈述
两样本检验是统计推断中的一个基本问题，旨在根据从两个分布 $P$ 和 $Q$ 中抽取的样本来确定它们是否不同。虽然基于最大均值差异（Maximum Mean Discrepancy, MMD）的检验因其灵活性和理论特性而受到关注，但现有技术通常依赖于样本量相等（ $n_X = n_Y$ ）的假设。在实际应用中，样本量往往是不相等的。在这种情况下应用标准的 MMD 估计量通常需要丢弃有价值的数据（例如，通过对较小集合进行子采样）以维持 U-统计量的理论框架，这会不必要地降低检验效能。此外，MMD 估计量在不等样本量情况下的渐近行为，特别是在非比例机制（即 $n_X/n_Y$ 收敛于常数之外）下，仍未得到充分研究。

方法论
作者通过将广义 U-统计量理论扩展到 MMD 估计量来解决这一局限性。

广义 U-统计量： 标准无偏 MMD 估计量（ $\widehat{\text{MMD}}^2$ ）被识别为具有 $c=2$ 个样本且核阶数为 $m_1=m_2=2$ 的广义 U-统计量。与要求样本量相等的标准 U-统计量不同，广义 U-统计量可以容纳 $n_X \neq n_Y$ 的情况。
缩放与渐近性： 本文推导了 MMD 估计量在零假设（ $P=Q$ ）和备择假设（ $P \neq Q$ ）下的渐近分布。一个关键的方法论转变是，确定 $\min(n_X, n_Y)$ 为正确的收敛缩放因子，而非此前比例机制结果中所使用的 $n_X + n_Y$ 。这使得该理论即使在非比例机制（例如 $n_Y = n_X^2$ ）下依然成立。
方差特征化： 作者为不等样本量下的 MMD 估计量方差提供了一个更简洁的新特征化方法。这涉及将方差分解为涉及分布的均值嵌入（ $\mu_P, \mu_Q$ ）和协方差算子（ $C_P, C_Q$ ）的项。
退化分析： 本文对估计量的“退化性”进行了严格分析。文中澄清了虽然零 MMD 意味着估计量是退化的，但反之并不总是成立：在特定条件下（例如具有特定核函数的互斥支撑集），存在非零 MMD 的退化估计量，尽管这在常见设置（如具有连续核函数的重叠支撑集）中是不可能的。
效能优化： 利用推导出的非退化情况下的渐近正态性，作者提出了优化核选择的标准。他们利用方差 $\sigma^2$ 的插件估计量来最大化信噪比（ $\text{MMD}^2 / \sigma$ ），从而允许选择能够针对特定样本量比例最大化检验效能的核。

核心贡献

理论扩展： 本文通过应用广义 U-统计量，将 MMD 的渐近理论扩展到不等样本量，消除了丢弃数据的需求。
正确的缩放因子： 文中确定了 $\min(n_X, n_Y)$ 是比例和非比例机制下收敛的适当缩放因子，纠正了以往依赖于 $n_X + n_Y$ 的假设。
方差与退化见解： 作者提供了不等样本量下的显式方差公式，并对估计量退化性提供了更精细的理解。他们证明了虽然零 MMD 意味着退化，但退化并不一定意味着零 MMD，这是一个常被文献忽略的细微差别。他们还证明了在常用条件（设置 B：实解析核，重叠支撑集）下，退化发生的充要条件是 $\mu_P = \mu_Q$ 。
优化框架： 本文推导了一种通过最大化估计信噪比来优化核参数的实用方法，并证明该方法一致收敛至总体最优值。
经验验证： 在区分 CIFAR-10 与 CIFAR-10.1 且样本量比例（ $r$ ）变化的实验中，使用所有可用数据并通过基于方差优化的提议方法（RR 方法）表现优于使用等量样本的基准方法（Ratio/Equal）。

结果

渐近分布： 在零假设（$MMD=0 $）下，缩放后的估计量$ \min(n_X, n_Y)\widehat{\text{MMD}}^2 $收敛于中心化卡方分布的无穷混合分布。在备择假设（$ MMD > 0 $）下，如果估计量是非退化的，则$ \sqrt{\min(n_X, n_Y)}(\widehat{\text{MMD}}^2 - \text{MMD}^2)$ 收敛于正态分布。
方差缩减： 理论分析表明，当样本量不等时，广义估计量 $\widehat{\text{MMD}}^2$ 的方差严格低于标准 U-统计量估计量 $\widehat{\text{MMD}}^2_U$ ，并且当其中一个样本量在渐近意义上占主导地位时，其方差可降低高达两倍。
实验性能： 在区分 CIFAR-10 与 CIFAR-10.1 且样本量比例（ $r$ ）变化的实验中，本文提出的“Ratio/Ratio”（RR）方法（使用所有数据并优化信噪比）始终优于“Ratio/Equal”（RE）基准方法。随着不平衡程度的增加（ $r=8$ ），RR 方法的效能趋近于 1.0，而 RE 方法则停滞在约 0.82。

意义
本文声称通过为不等样本量提供一个具有理论严谨性的框架，解决了 MMD 类两样本检验中长期存在的局限性。通过保留所有可用数据，所提方法增强了在数据收集往往不对称的现实场景中的测试准确性和适用性。该框架的统一性确保了新方法在样本量相等时可以简化为现有方法，在扩展效用的同时保持了理论的一致性。这项工作还纠正了关于 MMD 值与估计量退化性之间关系的误解，为核选择和检验设计提供了更稳健的基础。