📊 statistics

Stop Using the Wilcoxon Test: Myth, Misconception and Misuse in IR Research

本文认为，在信息检索基准测试中广泛使用 Wilcoxon 符号秩检验是基于一种具有误导性的叙事，且在方法论上站不住脚，因为它经常无法控制第一类错误率，因此应当被弃用，转而采用更可靠的统计方法。

原作者： Julián Urbano

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Julián Urbano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位烹饪比赛的评委。你有两位厨师，厨师 X 和厨师 Y，你要求他们烹饪同样的 50 道菜。你想知道：厨师 X 真的更优秀，还是仅仅因为分到的特定食材运气好？

为了回答这个问题，信息检索（搜索引擎领域）的研究人员几十年来一直使用一种特定的数学工具，称为威尔科克森检验（Wilcoxon test）。教科书告诉他们，当数据看起来杂乱无章或怪异时，这个工具是“安全、可靠的备用方案”。他们曾认为它是统计学中的“安全带”。

本文论证道：这条安全带实际上是一个陷阱。 作者朱利安·乌尔巴诺（Julián Urbano）表示，我们应该立即停止使用威尔科克森检验，因为它不仅会失效，还会主动欺骗我们，尤其是在搜索引擎领域。

以下是用简单类比对本文论点的拆解：

1. 巨大的神话：“非参数意味着没有规则”

神话： 教科书教导研究人员，威尔科克森检验是“非参数”的，这听起来像是“它没有规则”或“它能处理任何类型的数据”。人们心想：“如果我的数据不是完美的平滑钟形曲线，我就用威尔科克森检验，因为它是‘随意’选项。”

现实： 本文揭示，威尔科克森检验并非随意选项。它有一条非常严格、隐蔽的规则：对称性。

类比： 想象一个跷跷板。威尔科克森检验只有在跷跷板完美平衡时才有效。如果一侧的重量略重于另一侧（不对称），检验就会失效。
问题： 在搜索引擎（信息检索数据）的现实世界中，数据几乎从未完美平衡。它是倾斜的。在倾斜的数据上使用威尔科克森检验，研究人员本质上是在试图平衡一个已经倾斜的跷跷板。结果呢？即使没有差异，检验也会大喊“存在差异！”

2. 误解："T 检验需要完美数据”

误解： 人们被告知，标准的学生 t 检验（Student's t-test）（即“普通”检验）只有在数据是完美、平滑的钟形曲线时才有效。由于搜索引擎的评分通常是锯齿状或离散的，人们认为：“哦，t 检验会失败，所以我必须使用威尔科克森检验。”

现实： t 检验实际上比人们想象的要坚韧得多。

类比： 把 t 检验想象成一辆重型卡车。它设计用于在平滑的高速公路（完美钟形曲线）上行驶，但得益于“中心极限定理”这一原理，它实际上完全能够应对颠簸、崎岖和锯齿状的道路。只要你有足够的数据点（就像行驶了足够长的距离），卡车就能抚平颠簸。
发现： 本文表明，即使数据很怪异，t 检验也能保持在道路上并给出正确答案。它不会翻车。

3. 灾难性的误用：为什么威尔科克森检验会失败

本文使用真实的搜索引擎数据进行了数千次计算机模拟，以观察在“杂乱”数据上使用这些检验会发生什么。

T 检验： 当数据怪异（偏斜、重尾或离散）时，t 检验将其错误率稳定保持在 5%。它是可靠的。
威尔科克森检验： 当数据略微倾斜（不对称）时，威尔科克森检验就会失控。
- 类比： 想象一个烟雾探测器，它如此敏感，以至于你只是烤了一片面包它就会报警。在本文的模拟中，随着样本量增大，威尔科克森检验开始大喊“着火了！”（拒绝零假设），即使根本没有火，这种情况也几乎发生了 100%。
- 为什么？ 因为它不再检验“谁更好”，而是开始检验“数据是否倾斜”。由于搜索引擎数据几乎总是倾斜的，该检验会错误地宣称存在获胜者，而实际上并没有。

4. 结论：停止使用“安全”选项

作者总结道，认为威尔科克森检验是“安全替代方案”的信念是一个危险的谎言。

T 检验是能够应对现实世界颠簸的坚固卡车。
威尔科克森检验是一座脆弱的玻璃屋，一旦风吹（不对称）就会粉碎。

裁决： 本文敦促信息检索社区完全停止使用威尔科克森检验。继续使用它会制造一种虚假的安全感，导致研究人员误以为他们在搜索引擎中发现了改进，而实际上他们发现的只是统计噪声。

简而言之： 所谓的“备用方案”实际上是导致最多事故的方案。是时候让它退役，并坚持使用真正有效的工具：t 检验。

以下是 Julián Urbano 所著论文《停止使用 Wilcoxon 检验：信息检索研究中的神话、误解与误用》的详细技术总结。

1. 问题陈述

在信息检索（IR）评估中，研究人员经常使用统计显著性检验来比较系统性能。Student's $t$ -检验和Wilcoxon 符号秩检验是两种主导方法。受教科书和指南的推动，IR 界普遍存在一种信念，即当度量分数（如 NDCG、AP）不服从正态分布时，Wilcoxon 检验是 $t$ -检验的一种“更安全”的非参数替代方案。

作者认为，这种叙事是误导且有害的。核心问题在于，IR 界基于对 Wilcoxon 检验假设的误解， routinely 误用该检验。虽然 $t$ -检验常因分数被认为非正态而被拒绝，但 Wilcoxon 检验却在“无假设”的错误前提下被采纳。事实上，Wilcoxon 检验依赖于配对差值分布的对称性假设。本文指出，IR 数据经常违反这种对称性，导致 Wilcoxon 检验失去对第一类错误率（假阳性）的控制，而 $t$ -检验则保持稳健。

2. 方法论

本文采用结合文献综述、理论分析和实证模拟的多管齐下方法：

系统性文献综述：作者分析了25 本统计学教科书（涵盖一般统计学、非参数统计学及特定领域应用），以追溯“Wilcoxon 更安全”这一神话的起源。综述重点关注这些文本如何定义非参数方法、描述 $t$ -检验的假设以及呈现 Wilcoxon 检验。
理论分析：
- $t$ -检验：本文澄清， $t$ -检验并不要求原始分数（ $X, Y$ ）服从正态分布，而是要求差值的样本均值（ $\bar{D}$ ）近似正态。根据中心极限定理（CLT），即使差值（ $D$ ）的底层分布非正态，对于中等样本量，该条件也能满足。
- Wilcoxon 检验：本文强调，Wilcoxon 符号秩检验是对中位数的检验，仅当差值分布对称时，中位数才等于均值。如果对称性被违反，该检验实际上变成了对对称性的检验，而非对均值差异的检验，从而导致无效的 $p$ -值。
实证模拟（蒙特卡洛）：
- 数据来源：从 TREC 赛道（Web、微博、深度学习、临床决策支持、精准医疗）收集了真实世界的 IR 数据，生成了 53,703 个配对差值样本。
- 分布建模：作者使用四种特定的非正态分布模拟了零假设（ $H_0: \mu_D = 0$ $H_{0} : μ_{D} = 0$ ）下的 100,000 个样本，以模拟 IR 数据特征：
  1. 不对称性：使用非对称广义正态（AGN）和 Tukey G-and-H（TGH）分布。
  2. 厚尾性：使用对称广义正态（SGN）和 TGH。
  3. 离散性：使用不规则 Beta-二项分布（IBB）来模拟 P@k 和 RR@k 等指标。
  4. 多峰性：（简要讨论，但因量化困难而未纳入详细模拟）。
- 参数：模拟变化了样本量（ $n = 5, 50, 500, 5000$ ）和偏离正态的程度（从低到“病态高”）。
- 指标：主要指标是 $\alpha = 0.05$ 下的第一类错误率。

3. 主要贡献

A. 解构“神话、误解、误用”

神话：非参数方法是“无假设”的。
- 修正：并非如此。Wilcoxon 检验假设差值分布具有对称性。这是一个比 $t$ -检验均值所需的近似正态性更强且更容易被违反的假设。
误解： $t$ $t$ -检验要求分数服从正态分布。
- 修正： $t$ -检验要求样本均值服从正态分布。由于中心极限定理，即使数据偏斜或厚尾，对于 IR 样本量（ $n \ge 50$ ），这也成立。
误用：将 Wilcoxon 作为非正态数据的“安全”备选方案。
- 修正：由于 IR 数据经常不对称，使用 Wilcoxon 会带来第一类错误率膨胀的严重风险，使其比 $t$ -检验更不安全。

B. 失效的实证证据

模拟表明：

离散性和厚尾性：只要 $n$ 不是极小， $t$ -检验和 Wilcoxon 检验在离散和厚尾分布下表现良好（保持 $\approx 5\%$ 的错误率）。
不对称性（关键失效）：
- $t$ -检验保持稳健。即使在病态不对称下，对于 $n \ge 500$ ，错误率仍保持在 5% 附近；对于 $n=50$ ，仅在极端偏斜下略有膨胀（至约 10%）。
- Wilcoxon 检验灾难性失效。随着样本量增加，错误率急剧飙升。在强不对称且 $n=500$ 的情况下，即使不存在真实差异，该检验也几乎 100% 地拒绝零假设。它实际上是在检验不对称性，而非性能差异。

C. 教科书不一致性分析

综述显示，只有约 50% 的受访教科书明确提到了 Wilcoxon 检验的对称性假设。许多教科书将其模糊地表述为针对“顺序数据”或“位置”的检验，掩盖了关键的对称性要求。基础文献中的这种缺乏清晰度，导致误用传播到了 IR 研究中。

4. 结果

第一类错误率：
- 对称/厚尾/离散：两种检验均保持标称错误率（ $\approx 0.05$ ）。
- 不对称：
  - $t$ -检验：对于 $n \ge 500$ ，错误率保持在 0.05 附近；对于 $n=50$ ，在极端偏斜下略有膨胀。
  - Wilcoxon：错误率随不对称性和样本量线性增加。在 $n=5000$ 且高度不对称的情况下，错误率达到1.0（100% 的假阳性率）。
IR 数据现实：对 TREC 数据的分析证实，IR 指标差异经常是不对称的（偏度 $|\gamma| \approx 0.5$ 至 $3.0$），使它们处于 Wilcoxon 检验的“危险区”。

5. 意义与建议

停用 Wilcoxon：本文结论认为，Wilcoxon 符号秩检验应在 IR 评估中被弃用。其使用缺乏正当理由，因为它在表征 IR 数据的条件（不对称性）下，结构上就容易失效。
重新评估 $t$ -检验：建议将 $t$ -检验作为 IR 中配对比较的标准，因为它对 IR 指标典型的非正态性（偏度、峰度、离散性）具有稳健性，前提是样本量合理（ $n \ge 50$ ）。
方法论转变：作者主张超越简单的成对假设检验，转向显式建模（例如线性混合模型、概化理论）。这些方法能更好地处理多个方差来源（主题、集合、评估者），并使假设透明化，而不是依赖“黑盒”显著性检验。
更广泛的影响：本文警告不要不加审查地引入其他领域的方法论规则。它强调了教科书简化如何导致特定领域数十年的方法论错误。

总之，本文提供了严谨的统计和实证论据，证明“安全”的替代方案（Wilcoxon）在 IR 中实际上是风险更高的选择，并呼吁立即回归 $t$ -检验或更复杂的建模框架。