📊 statistics

Refining Effect-Size Measures and Classification for Differential Item Functioning: Toward Unified Guidelines Across Methods

本文通过进行一项模拟研究，旨在针对曼特尔-汉塞尔（Mantel-Haenszel）、SIBTEST 以及基于模型的方法，提出改进后的、统一的截断值与使用限制，从而解决现有差异项目功能（DIF）效应量度量及分类指南中存在的不一致性与局限性问题。

原作者： Michaela Cichrová, Adéla Hladká, Patrícia Martinková

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Michaela Cichrová, Adéla Hladká, Patrícia Martinková

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在主持才艺表演节目的评委。你面前有一组评委席（不同的统计方法）和一组参赛选手（测试题目）。你的职责是发现是否有任何评委对特定的选手群体不公平——比如，即便两组人的天赋水平完全相同，评委却偏袒来自北方的选手而非来自南方的选手。这种不公平被称为差异项目功能（Differential Item Functioning, DIF）。

长期以来，这个领域的评委们一直在使用不同的“尺子”来衡量一个问题的“不公平程度”。有些尺子用英寸测量，有些用厘米，还有些则使用完全不同的尺度，比如“勺子”。问题在于：一个尺子上显示的“中度”不公平，在另一个尺子上看起来可能只是“微小”的不公平。这使得总评委（研究人员）很难决定一个题目应该保留还是剔除。

这篇论文就像是一群资深的制图师，试图绘制一张统一的地图，让所有人都能使用同一种语言进行交流。以下是他们的工作内容，通过简单的解释呈现如下：

1. 问题所在：混乱的尺子

作者观察了用于衡量题目不公平程度的最流行的几种“尺子”。他们发现：

不一致性： 有时，一把尺子说某个问题是“糟糕的”（大 DIF），而另一把尺子却说它“没问题”（可忽略不计的 DIF）。
“大数据”陷阱： 在规模极大的群体中，即使是非常微小的、无害的差异，在统计学上也可能显得“显著”（就像是发现了一粒尘埃，却把它当成了一座大山）。旧有的尺子并不总是知道如何忽略这些微小的尘埃。
过时的地图： 许多现行的关于什么算作“糟糕”的指导准则都是几十年前针对小规模、有限数据制定的。它们在面对如今的大规模数据集时可能不再适用。

2. 解决方案：一个新的统一系统

研究人员进行了一场大规模的模拟实验。想象一下，他们创造了 1,000 个不同的“虚拟世界”，每个世界都有不同的人数、不同的测试长度以及不同类型的差异。他们在每个世界里都测试了每把尺子，以观察它们的表现。

基于此，他们提出了一套新的规则：

锚点： 他们选择了把一个可靠的尺子（Mantel-Haenszel 检验，简称 MH）作为“金标准”。他们保留了 MH 原有的规则，因为其效果良好。
翻译官： 他们创建了新的“翻译指南”，将其他尺子（如 SIBTEST 和 逻辑回归）进行转换，使其与金标准保持一致。
- 类比： 如果金标准说“1.5 英寸是一个大问题”，他们会精确计算出“1.5 英寸”在“厘米尺”和“勺子尺”上分别对应多少。
新的“面积”尺子： 他们引入了一种新的衡量不公平程度的方法，称为基于面积的度量（Area-Based Measures）。
- 类比： 想象有两条路（一条属于 A 组，一条属于 B 组），它们本应是平行的。如果它们发生了偏离，那么这两条路之间的空间就是“不公平”。旧的方法只是测量某一点的距离；而新方法测量的是两条路之间间隙的总面积。他们还创建了一个新的“标准化”面积尺子，使其能与金标准对话。

3. 新的交通规则

这篇论文不仅给出了新的数字，还给出了何时使用哪种尺子的说明书：

小规模群体： 如果你的群体规模较小（少于 500 或 1,000 人），某些尺子会变得不稳定且不可靠。作者建议：“不要在小规模群体中使用这些特定的尺子；请等待获得更多数据后再使用。”
“大数据”修复： 对于庞大的群体，新规则有助于忽略那些曾经会导致误报的微小且无害的差异。
一致性 vs 非一致性： 他们区分了那些“始终”对某一群体不公平的问题（一致性/Uniform）和仅在特定技能水平下才不公平的问题（非一致性/Non-Uniform），并提供了具体的规则。

4. 现实世界测试

为了证明他们的地图有效，他们将此方法应用于两个现实场景：

青少年健康调查： 这是一项拥有超过 18 万名青少年的大规模研究。在这里，旧规则仅仅因为样本量巨大，就会将许多问题标记为“不公平”。而新规则正确地识别出，其中大部分差异实际上是微小且无害的，从而避免了研究人员错误地剔除优秀的题目。
医学院测试： 这是一个规模较小的测试，约有 1,400 名学生。在这里，新规则帮助不同的评委在判断哪些题目真正存在问题时达成了一致，减少了困惑。

核心结论

这篇论文是为任何检查测试题目是否存在偏差的人提供的“用户手册更新版”。它指出：

停止使用那些旧的、令人困惑的截断数值。
使用这些统一的新数值，这样无论你使用哪种统计工具，一个“中度”问题所代表的含义都是一致的。
注意样本量的大小；有些工具并不适合处理小样本数据。
如果你想使用能够应对不同复杂数学模型的工具，请使用新的“面积”工具。

通过遵循这些新的指导方针，研究人员可以对哪些测试题目应该保留或修改做出更公平的决策，确保测试衡量的是它们原本想要衡量的东西，而不受受试者身份的影响。

技术摘要：完善差异项目功能（DIF）的效应量度量与分类

问题陈述
差异项目功能（DIF）分析对于识别多项目测量中的偏差至关重要，它确保了具有相同潜在特质水平的不同群体个体，其对项目的反应概率是相等的。虽然统计显著性检验是标准做法，但仅凭其本身是不够的，因为第一类错误率和统计功效高度依赖于样本量。因此，通过效应量度量和分类（通常分为“微弱”、“中等”和“大”）来评估 DIF 的实际显著性是必不可少的。

然而，该领域目前缺乏统一的指南。现有的效应量度量（例如，Mantel-Haenszel $\Delta MH$ 、SIBTEST $\hat{\beta}$ 、逻辑回归 $\Delta R^2$ 以及基于面积的度量）往往会对同一个项目产生不一致的分类结果。许多现有的截断值（cut-off values）源自小规模模拟研究，或者缺乏在不同检测方法下的系统验证。这种不一致性增加了决策过程中的复杂性，特别是在处理大型数据集时，微小的差异可能会被标记为具有统计学意义。

研究方法
作者进行了一项全面的模拟研究，旨在评估现有 DIF 效应量度量的特性，并提出统一的分类指南。该研究重点关注二分项目和二元群体成员身份，涵盖了均匀（uniform）和非均匀（non-uniform）DIF。

模拟设计： 研究操纵了六个设计因子：样本量（每组从 100 到 10,000 不等）、测试长度（20 和 40 个项目）、DIF 项目比例（5% 和 10%）、能力分布偏移、底层 DIF 的大小（由项目特征曲线 [ICC] 之间的无符号面积 [Unsigned Area, UA] 定义）以及 DIF 类型（均匀型与非均匀型）。这产生了 1,008 个独特的设置，每个设置重复 1,000 次（总计超过 100 万个数据集）。
评估的方法： 研究评估了传统方法（Mantel-Haenszel、SIBTEST、Crossing SIBTEST）和基于模型的方法（逻辑回归、基于 IRT 的 2PL/3PL/4PL 模型）。
效应量度量： 分析了一系列广泛的度量，包括：
- 基于胜算比（Odds-ratio）的度量： $|\Delta MH|$ 、 $\Delta LR$ 。
- 基于概率的度量：$LR-P-DIF $、$ LR-STD-P-DIF$（带有各种权重方案）。
- 基于方差的度量： $\Delta R^2$ 。
- 基于面积的度量：有符号面积（SA）、无符号面积（UA）、闭合有符号/无符号面积（CSA, CUA）、加权有符号/无符号面积（WSA, WUA），以及新提出的标准化版本（ $SA^{STD}$ , $UA^{STD}$ ）。
分析方法： 作者使用线性回归和三次回归模型，将不同的效应量度量与一个共同的锚点（底层的 UA 或 $|\Delta MH|$ ）联系起来。他们研究了这些度量对设计因子（如样本量）的依赖性，并推导出了能使不同方法间的分类保持一致的新截断值。

核心贡献

统一的分类指南： 本文提出了修订后的截断值，用于多种效应量度量，以确保在不同 DIF 检测方法之间实现一致的分类（微弱、中等、大）。
- 针对均匀 DIF： 为 SIBTEST ( $|\hat{\beta}|$ )、逻辑回归 ( $\Delta R^2$ , $LR-STD-P-DIF $) 以及基于面积的度量提出了新的阈值。值得注意的是，作者引入了标准化面积度量 ($ UA^{STD} $)，其阈值分别为 **0.426**（微弱/中等）和 **0.638**（中等/大），这些阈值在分析上与传统的$ |\Delta MH|$ 阈值（1 和 1.5）相联系。
- 针对非均匀 DIF： 为 Crossing SIBTEST、逻辑回归 ( $\Delta R^2$ ) 及基于面积的度量提出了新的阈值，并对样本量设定了特定限制。
标准化面积度量： 作者引入了 $SA^{STD}$ 和 $UA^{STD}$ ，通过项目区分度参数 ( $a_i$ ) 对 ICC 之间的面积进行缩放。这使得基于面积的度量可以直接与基于胜算比的指标进行比较，并提供了一种尺度不变的效应量。
使用限制： 研究识别了现有度量的特定局限性，并提出了使用限制建议：
- 由于在小样本下存在不稳定性，SIBTEST 的 $|\hat{\beta}|$ 和基于面积的度量应限制在样本量 $N \ge 500$ （均匀型）或 $N \ge 1,000$ （非均匀型）的情况下使用。
- 对于依赖于分布假设的度量（如 $LR-P-DIF $、$ WUA$），当能力分布偏离假设模型时，应谨慎使用。
实证验证： 研究提出的指南在两个真实世界数据集中得到了测试：健康行为在学龄儿童中研究（HBSC）数据集（大样本， $N \approx 180,000$ ）和生物学医学学校入学考试（MSATB）数据集（小样本， $N \approx 1,400$ ）。

结果

当前指南的不一致性： 模拟显示，现有的截断值经常导致分类不一致。例如， $\Delta R^2$ 经常低估 DIF 的大小，将其他度量指示为“中等”或“大”的项目分类为“微弱”。相反，p-度量（如 $LR-P-DIF$）对样本量和能力分布偏移表现出高度的敏感性。
新指南的表现： 新提出的截断值显著提高了分类准确率。对于均匀 DIF，使用旧阈值时 $\Delta R^2$ 的正确分类率仅为 27.41%，而使用新阈值后提升至 63.12%。标准化面积度量 ( $UA^{STD}$ ) 与基于胜算比的度量（ $|\Delta MH|$ , $\Delta LR$ ）表现出很强的一致性，总体一致性超过 60%。
样本量效应： 小样本量（ $N \le 200$ ）导致高方差和不同效应量度量之间的弱相关性，验证了将某些方法限制在较大样本量下的建议。
真实数据应用： 在 HBSC 数据集中，新指南解决了不同方法产生矛盾分类的问题（例如，一个项目被一个度量分类为“中等”，而另一个度量将其分类为“微弱”）。在 MSATB 数据集中，新阈值针对被不同方法标记的项目，在判断 DIF 大小方面提供了更一致的结论。

意义与主张
作者声称，这项工作通过为此前缺乏标准化阈值的基于面积的 DIF 效应量度量提供经过分析推导且经过模拟验证的分类指南，填补了一个关键的研究空白。通过将这些度量与被广泛接受的 Mantel-Haenszel 指标联系起来，本研究提供了一个“统一框架”，增强了传统方法与基于模型方法之间 DIF 结果的可解释性和可比性。

论文强调，由于建模关系的近似性质，实现所有度量的完全一致是不可能的，但所提出的框架减少了在项目标记决策中的歧义。作者谦虚地指出，其指南主要针对 2PL 模型和二分项目进行验证；其在 3PL/4PL 模型或多级项目上的适用性仍需进一步研究。尽管如此，该研究推进了 DIF 分析的标准化，为研究人员评估项目偏差的实际显著性提供了一个更加透明且可靠的基础。