📊 statistics

Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal

本文针对现有内容效度比（CVR）方法中存在的逻辑悖论及概率假设缺陷，提出了一种新的二项式临界水平提案，旨在更精确地确定验证问卷项目必要性所需的最小样本量，并有效识别潜在的矛盾情况。

原作者： Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章提出了一种更聪明、更严谨的方法来筛选问卷中的问题。

为了让你轻松理解，我们可以把设计一份问卷想象成组建一支“精英探险队”，而问卷里的每一个问题（Item）就是一件探险装备（比如指南针、绳索、急救包）。

1. 过去的做法：有点“草率”的筛选

以前，专家们（比如 Lawshe 在 1975 年提出，后来 Wilson 和 Ayre 等人改进）在决定“这件装备是否必须带上”时，是这样做的：

找人来投票：找一群专家（比如 20 个人）来评估这件装备。
三个选项：专家只能选：
1. 必不可少 (Essential)
2. 重要但不是必须 (Important but not essential)
3. 没用 (Unnecessary)
旧方法的漏洞：
- 概率算错了：旧方法假设专家是随机瞎猜的，猜中“必不可少”的概率是 50%（就像抛硬币，正反面各一半）。但事实上，专家有三个选项，随机瞎猜中“必不可少”的概率应该是 1/3（33.3%），而不是 50%。这就像你明明有三个门可以选，却只按两个门来算概率，结果肯定不准。
- 只看一面：旧方法只关心“有多少人觉得它重要"。如果 15 个人觉得重要，它就通过了。但它完全不管有多少人觉得它没用。
- 忽略“精神分裂”的矛盾：最奇怪的是，旧方法没发现一种悖论：如果 15 个人觉得“必不可少”，同时又有 15 个人觉得“完全没用”，旧方法可能会因为“觉得重要的人够多”而强行保留它。这就好比探险队里一半人喊“必须带指南针”，另一半人喊“指南针是垃圾，别带”，结果旧方法说：“好，既然有一半人支持，那就带上吧！”这显然很荒谬。

2. 这篇文章的新方案：BCV（二项式切割水平验证）

作者 Helder Gomes Costa 等人提出了一个新的方法，叫 BCV。我们可以把它想象成给探险队装备做了一次**“双重安检”**。

核心改进点：

A. 修正了“瞎猜”的概率（更精准的数学）

旧方法：假设专家有 2 个选项（是/否），瞎猜概率是 50%。
新方法：承认专家有 3 个选项（甚至可能有 4 个，比如加上“我不知道”）。所以，瞎猜中“必不可少”的概率是 1/3。
比喻：以前是抛硬币决定去不去，现在是掷骰子（只有掷出 1 点才算“必不可少”）。这样算出来的“必须人数”门槛更科学，不会误判。

B. 增加了“双重安检”（发现矛盾）
新方法不仅问“有多少人觉得它好？”，还问“有多少人觉得它坏？”。

情况 A（通过）：觉得“好”的人足够多，觉得“坏”的人不够多。 -> 保留装备。
情况 D（淘汰）：觉得“坏”的人足够多，觉得“好”的人不够多。 -> 扔掉装备。
情况 B（强悖论 - 警报！）：觉得“好”的人够多，同时觉得“坏”的人也够多。
- 比喻：就像探险队里，一半人高呼“必须带指南针”，另一半人高呼“指南针是垃圾”。这说明大家对这件装备的看法极度分裂。这时候不能盲目保留或丢弃，必须重新调查：是不是题目出得让人困惑？还是这群专家根本不适合讨论这个问题？
情况 C（弱悖论 - 警报！）：觉得“好”的人不够多，觉得“坏”的人也不够多（大家都觉得“还行吧，不重要也不讨厌”）。
- 比喻：大家对这个装备都无所谓。这时候也要小心，可能这个装备本身就很模糊，或者大家没搞懂它在问什么。

C. 更灵活的“门槛”（Cut-level）
新方法允许你设定不同的严格程度（比如 5% 或 1% 的出错率）。这就像你可以决定是“只要稍微有点用就带上”（宽松），还是“必须绝对有用才带上”（严格）。

3. 总结：为什么要用新方法？

想象你在为一次重要的旅行打包：

旧方法：只要有一半人说“这很重要”，你就把它塞进包里。哪怕另一半人说“这玩意儿会害死我们”，你也照塞不误。结果可能是你背了一堆又重又没用的东西，或者带了个会爆炸的雷。
新方法 (BCV)：
1. 它算得更准（知道大家有 3 个选项，不是 2 个）。
2. 它会检查矛盾：如果支持和反对的声音都很大，它会立刻亮红灯：“等等！大家意见不统一，这装备有问题，别急着打包，先搞清楚为什么！”
3. 它不仅能告诉你“保留什么”，还能明确告诉你“扔掉什么”。

一句话总结：
这篇文章发明了一个更聪明的数学工具，用来帮问卷设计者剔除那些模棱两可、甚至自相矛盾的问题，确保最终留下的每一个问题都是真正“必不可少”且大家共识度高的，从而让问卷更精准、更可靠。

以下是基于论文《DISCOVERING THE CRITICAL NUMBER OF RESPONDENTS TO VALIDATE AN ITEM IN A QUESTIONNAIRE: THE BINOMIAL CUT-LEVEL CONTENT VALIDITY PROPOSAL》的详细技术总结：

1. 研究背景与问题 (Problem)

内容效度比（Content Validity Ratio, CVR）是评估问卷条目是否“必要”或“核心”的经典统计指标，由 Lawshe (1975) 提出，并经 Wilson et al. (2012) 和 Ayre & Scally (2014) 修正。然而，现有的 CVR 计算方法存在以下关键缺陷：

概率假设错误：Lawshe 的方法未明确分布，Wilson 等人使用了正态近似，而 Ayre & Scally 虽然使用了二项分布，但错误地假设评价者随机选择“必要”选项的概率 $p = 0.5$ 。实际上，Lawshe 量表通常提供三个选项（“必要”、“重要但非必要”、“不必要”），随机选择的概率应为 $p = 1/3$ 。若包含“无法回答/NA"选项，则 $p = 1/4$ 。
缺乏悖论检测：现有方法仅单向验证条目是否“必要”。如果样本意见高度分歧，可能出现一个条目同时被判定为“必要”和“不必要”的悖论情况（即样本对条目的重要性存在异质性感知），但传统 CVR 无法检测这种逻辑矛盾。
分布近似的不精确性：对于离散选项（3 点或 4 点量表），使用连续的正态分布近似不如直接使用二项分布精确。
缺乏“不必要”的验证：现有方法主要关注保留条目，缺乏统计上验证条目是否应被“丢弃”（即被判定为不必要）的机制。

2. 方法论 (Methodology)

作者提出了**二项截断水平内容效度（Binomial Cut-level Content Validity, BCV）**方法，旨在更精确地确定验证问卷条目所需的临界受访者数量。

核心算法步骤：

定义量表与概率 ( $p$ )：
- 若使用 3 点量表（Essential, Important but not essential, Unnecessary），随机选择概率 $p = 1/3$ 。
- 若使用 4 点量表（增加 NA 选项），随机选择概率 $p = 1/4$ 。
计算二项概率：
利用二项分布公式计算 $n$ 名专家随机选择特定选项（如“必要”或“不必要”）的概率：
$prob(n) = \binom{N}{n} \times p^n \times (1-p)^{N-n}$
其中 $N$ 为专家总数， $n$ 为选择该选项的人数。
确定临界值 ( $n_{critical}$ )：
设定截断水平 $\lambda$ （通常取 0.05 或 0.01，对应置信度 95% 或 99%）。寻找最小的整数 $n_{critical}$ ，使得随机选择该选项的概率 $prob(n_{critical}) \le \lambda$ 。
双重验证机制（Double Check Validation）：
对每个条目分别计算“必要” ( $n_E$ $n_{E}$ ) 和“不必要” ( $n_U$ $n_{U}$ ) 的统计显著性：
- 验证为“必要”：需满足 $n_E \ge n_{critical}$ 且 $n_E > N \times p$ 。
- 验证为“不必要”：需满足 $n_U \ge n_{critical}$ 且 $n_U > N \times p$ 。
决策矩阵：
根据 $n_E$ $n_{E}$ 和 $n_U$ $n_{U}$ 是否通过临界值，将条目分为四类：
- A (强保留)：验证为“必要”，未验证为“不必要”。
- B (强悖论)：同时验证为“必要”和“不必要”（表明样本感知存在严重冲突，需重新审查）。
- C (弱悖论)：既未验证为“必要”，也未验证为“不必要”（意见分散，需进一步分析）。
- D (强丢弃)：未验证为“必要”，且验证为“不必要”。

3. 主要贡献 (Key Contributions)

修正概率模型：摒弃了 $p=0.5$ 的假设，根据实际量表选项数量（3 或 4 个）设定正确的随机概率 $p$ （ $1/3$ 或 $1/4$ ），并直接使用二项分布而非正态近似，提高了统计精度。
悖论检测能力：首次引入双向验证机制，能够识别出样本中存在的逻辑矛盾（即条目同时被判定为必要和不必要），这是以往 CVR 方法无法做到的。
双向决策支持：不仅提供保留条目的依据，还提供了统计上支持“丢弃”条目的依据（验证为“不必要”）。
灵活的截断水平：引入了可调节的截断水平 $\lambda$ （0.05 或 0.01），允许研究者根据所需的置信度调整严格程度。
临界值表：提供了针对不同样本量 ( $N=5$ 到 $100 $) 和不同量表类型 ($ S_3, S_4 $) 的$ n_{critical}$ 临界值表，便于实际应用。

4. 结果与比较 (Results)

与现有方法的对比：
- 与 Lawshe (1975)、Wilson et al. (2012) 和 Ayre & Scally (2014) 相比，BCV 在判定条目为“必要”时更为谨慎（在 $\lambda=0.05$ 时，BCV 所需的临界人数通常低于或等于其他方法，但在逻辑上更严谨）。
- BCV 能够识别出被传统方法遗漏的“必要”条目，同时也识别出传统方法无法处理的“悖论”情况。
模拟示例：
在 $N=20$ 的样本中，若 $p=1/3$ ，设定 $\lambda=0.05$ 时， $n_{critical}=11$ 。这意味着至少需要 11 人选择“必要”才能以 95% 的置信度认为该条目非随机选择。若同时有足够多人选择“不必要”，则触发悖论警报。
分类能力：BCV 将条目分类为四类（必要、不必要、强悖论、弱悖论），提供了比传统“保留/丢弃”二元分类更丰富的信息维度。

5. 意义与影响 (Significance)

提升问卷开发质量：通过更精确的统计模型和悖论检测，帮助研究者在问卷设计阶段更准确地筛选核心条目，剔除无效或存在争议的条目。
解决统计假设缺陷：纠正了长期存在于内容效度计算中的概率假设错误（ $p=0.5$ vs $p=1/3$ ），使内容效度评估更加符合统计学原理。
增强研究透明度：通过识别样本中的异质性感知（悖论），迫使研究者重新审视样本的代表性或条目的表述清晰度，避免掩盖潜在的数据问题。
广泛应用潜力：该方法不仅适用于社会科学问卷，还可扩展至多准则决策分析（MCDM）和协商建模中，用于确定关键标准。

总结：该论文提出了一种基于二项分布截断水平（BCV）的改进方法，解决了传统 CVR 在概率假设、分布近似和悖论检测方面的不足，为问卷条目的效度验证提供了更严谨、更全面且具备逻辑自洽性的统计工具。