📊 statistics

A median-based estimate of effect size - toward more intuitive comparisons in mathematics education research

本文为数学教育研究引入了一种基于中位数的效应量指标，通过将组值与中位数进行比较，该指标为科恩的 d 提供了一个更具直观性且更稳健的替代方案，从而降低了对偏态分布、离群值和小样本量的敏感性，同时更好地契合了对学生表现的实际解释。

原作者： Gary Davis, Mercedes McGowen, Sara Dalton Bildik, Donghui Yan

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Gary Davis, Mercedes McGowen, Sara Dalton Bildik, Donghui Yan

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

核心问题：衡量“好多少”

想象你是一位尝试新数学教学方法的老师。你想知道：这种方法真的奏效了吗？效果到底好多少？

通常，研究人员使用一种叫做 Cohen's d 的标准工具来回答这个问题。你可以把 Cohen's d 想象成一把由“标准差”制成的尺子。它是一把非常精确的数学尺子，但也有几个缺陷：

它很脆弱： 如果有一个学生得了极高或极低的分数（离群值），这把尺子就会“断掉”，给出误导性的读数。
它很难理解： 它用“标准差”来描述差异，这对大多数人来说很难直观理解。这就像是在说：“这辆新车比之前的车快了 1.5 个‘发动机效率单位’”，这并不能让你了解实际的速度。
它假设了一个完美的形状： 它在数据呈现完美钟形曲线时效果最好。但现实中的数学测试成绩往往是杂乱、不对称且充满意外的。

新方案：“中位数”指南针

本文作者提出了一种更简单的新工具，称为基于中位数的效应量估计（median-based estimate of effect size）。

该工具不再关注平均值（均值）以及分数的离散程度，而是观察中位数（中间那个分数），并提出了一个简单的问题：

“如果我从 A 组随机抽取一名学生，他得分高于 B 组中位数学生的概率是多少？”

类比：抛硬币

作者用抛硬币来解释这一点。

想象你有一袋硬币。
如果 A 组和 B 组完全相同，那么 A 组的学生得分高于 B 组中位数的概率是 50/50。这就像抛一枚公平的硬币。
如果 A 组的表现好得多，也许有 90% 的情况下，A 组的学生得分会高于 B 组的中位数。这就像一枚被加权的硬币，总是倾向于出现“正面”。

这个新工具测量的是那枚硬币有多“重”（即偏向哪一方）。

0.0 表示两组是完全相同的（公平的硬币）。
1.0 表示 A 组几乎总是表现更好。
-1.0 表示 A 组几乎总是表现更差。

为什么这更适合数学教育

论文指出，数学教育的数据通常很杂乱。学生之间的知识差距可能很大，或者少数学生考得极好，而其他人则表现挣扎。

旧方法 (Cohen's d)： 如果一个学生因为偶然因素得了满分，平均分就会上升，导致“标准差”变得巨大。这会让结果看起来令人困惑或不可靠。
新方法 (基于中位数)： 中位数并不在意那个满分。它保持稳定。它忽略了“离群值”，专注于“典型学生”。这就像是观察人群的中心，而不是关注人群边缘那个叫喊最凶的人。

论文中的真实案例

作者在真实的数学研究中测试了这个新工具，以观察它与旧工具的对比。

“大胜” (前测 vs 后测)：
在一项研究中，学生在参加课程前后分别进行了测试。新工具显示，90% 的后测分数高于前测的中位数。这是一个清晰、直观的“大胜”。旧工具也显示这是一个大胜，但新工具的解释更简单直接：“大多数学生都比初始组的中等水平要好。”
“微小的差异” (男生 vs 女生)：
在一项大型国际数学测试中，他们比较了男生和女生的得分。新工具显示，只有 58% 的男生得分高于女生的中位数。置信区间（不确定性的范围）显示，这种差异非常小，可能只是随机运气导致的。新工具帮助研究人员避免在其实并不存在的“巨大性别差异”上过度解读。
“棘手的数据” (偏态分布的分数)：
在关于自闭症谱系障碍 (ASD) 学生与非 ASD 学生的一项研究中，得分分布非常不对称。由于数据形状杂乱，旧工具 (Cohen's d) 给出的结果难以信任。新工具穿透了这些混乱，显示出微小且不确定的差异，从而警告研究人员不要过度解读结果。

金科玉律：不要只相信一个数字

论文强调的一个重要观点是：你不应该只看一个数字。

如果你仅仅说“效应量是 0.8”，你可能是错的。
相反，作者建议你应该使用一种叫做 Bootstrap（自助法） 的方法。想象一下，你拍了一张数据的照片，然后通过轻微的随机变化制作了 10,000 个副本，并为每一个副本都计算一次效应量。
这会给你一个范围（置信区间）。
- 例子： “我们 95% 确定效应值在 0.1 到 0.5 之间。”
- 这比单纯说“效应值正好是 0.3”要诚实得多。

总结

本文并不是要禁止旧的尺子 (Cohen's d)。相反，他们希望为工具箱增加一个更直观的新工具。

旧工具： 复杂、对离群值敏感、难以直观想象。
新工具： 简单、对杂乱数据具有鲁棒性（稳健性）、易于解释（“90% 的情况下，A 组会超过 B 组的中位数”）。

通过将这种新工具与旧工具结合使用，并始终展示“不确定性的范围”（置信区间），研究人员可以更清晰、更诚实地讲述一种数学教学方法究竟在多大程度上发挥了作用。

技术摘要：基于中位数的效应量估计

问题陈述
数学教育研究频繁依赖于零假设显著性检验（NHST），这会产生高度依赖样本量的二元“显著/不显著”结论。虽然效应量估计（如 Cohen's d）旨在解决差异幅度的问题，但作者认为，标准度量指标往往无法为数学教育数据的特定性质提供直观或有意义的解释。常见问题包括：

分布假设： Cohen's d 和 Hedges' g 假设数据呈正态分布，并依赖于均值和标准差，这使得它们在面对偏态、重尾分布以及离群值时显得脆弱——而这些特征在测试分数、李克特量表和学习增益中十分常见。
可解释性： 标准化的均值差异是无单位的，对于从业者而言，在特定语境下往往难以进行解释。
数据类型： 许多数学教育数据是“自然主义”的（例如课堂评估），而非严格的实验性或随机样本，这使得传统的抽样假设和显著性检验可能显得不切实际或应用不当。
过度依赖点估计： 仅报告点估计而不报告置信区间，会导致对效应的过度解读，尤其是在小数据集或低方差的数据集中。

方法论
作者提出了一种基于中位数的效应量指标，记作 M(A, B)，旨在比较两组数值数据集 A 和 B。

定义： 该估计量定义为 $M(A, B) = 2|\gamma(A)|/|A| - 1$ ，其中 $\gamma(A) = \{a \in A : a \geq \text{median}(B)\}$ 。从概念上讲，它衡量了 A 中的随机数据点大于或等于 B 中位数的概率，并将其调整至 [-1, 1] 的尺度。
理论特性：
- 它作为一种“基于中位数的优势概率”（median-based probability of dominance），与 Mann-Whitney U 检验中使用的经典随机优势（Prob(A > B)）形成对比。
- 由于依赖于中位数而非均值，它对偏态、重尾和离群值具有抵抗力。
- 对于正态分布数据，它与 Cohen's d 存在函数性的非线性关系（ $M = 2\Phi(d) - 1$ ），但作者强调不应利用此关系在非正态数据中通过 d 来推导 M。
- 当分布对称时，它近似于 Cliff's delta，但在处理偏态数据时比 Cliff's delta 更具稳健性。
推断程序： 为了解决点估计的不确定性，作者采用了频率派自助法（frequentist bootstrap procedure）。他们通过有放回的重采样（例如 $10^4$ 到 $10^5$ 次）来生成基于中位数的估计量和 Cohen's d 的概率分布。这使得计算效应量均值的 95% 置信区间（CIs）成为可能，从而为估计的可靠性提供透明的视角。

主要贡献与结果
本文引入基于中位数的估计量作为现有度量工具的补充，并通过一系列取自数学教育文献和数据集的示例展示了其效用。

对非正态性的稳健性： 在涉及偏态分布（如前测/后测增益、早期代数干预数据）的示例中，当 Cohen's d 因非正态性或极端离群值而可能产生误导时，基于中位数的估计量提供了稳定的结果。
直观解释： 作者证明了 $M(A, B)$ 可以通过视觉化（一个分布超过另一个分布中位数的比例）以及概率化（例如“相当于从瓮中抽取黑球”）来进行解释。
实证示例：
- 大效应： 在诸如早期代数干预的影响（Blanton et al., 2015）或年级水平前测差异等案例中，基于中位数的估计量证实了大的效应（例如 $M \approx 0.93$ ），且置信区间较窄，与直方图视觉效果一致。
- 中等效应： 问题类型（交错练习与块状练习）以及课程模型的比较显示出中等效应（ $M \approx 0.38 - 0.47$ ），其置信区间远离零点。
- 小效应/零效应： 在 TIMSS 分数中的性别差异或教科书有效性的比较中，基于中位数的估计量产生了较小的点估计值（ $M \approx 0.16$ ）。至关重要的是，这些案例的自助法置信区间通常包含零（例如 $[-0.19, 0.51]$ ），这表明观察到的差异可能由偶然因素引起，这种细微差别在仅报告点估计时有时会被掩盖。
与 Cohen's d 的比较： 研究强调，虽然 Cohen's d 与基于中位数的估计量通常相关，但在偏态数据或方差较小时，两者可能会出现显著分歧。作者指出，较小的方差会人为地放大 Cohen's d，而基于中位数的方法则保持稳定。

意义与主张
作者并非声称基于中位数的估计量应该取代 Cohen's d、Hedges' g 或其他既定度量指标。相反，他们将其定位为研究者用于量化和解释数据差异的有力补充工具。

本文的主要意义在于倡导：

语境化落地： 提供一种更符合研究者和从业者推理学生表现方式（例如，“有多少学生超过了对照组的中位数？”）的效应量度量。
透明性与诚实性： 强调效应量是一个概率分布，而不仅仅是一个数字。作者认为，通过自助法报告 95% 置信区间对于诚实地报告数据至关重要，特别是对于小数据集或低方差数据集，以防止对点估计的过度解读。
稳健性： 提供一种不需要正态性假设的方法，使其适用于数学教育研究中经常遇到的“自然主义”、偏态和异质性数据。

最终，本文建议将基于中位数的估计量与置信区间以及视觉数据表示（平滑直方图）相结合，能更好地回答关于效应是否真实、效应有多大以及是否具有实际应用价值的基本问题。