📊 statistics

Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal

この論文は、従来の内容妥当性比率（CVR）が抱える論理的矛盾や確率設定の非効率性を克服し、質問紙の項目を「必須」かつ「不要」の両側面から矛盾なく検証し、より精密に項目の採用・廃棄を判断するための二項分布に基づく新しいカットレベル案を提案するものである。

原著者： Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

公開日 2026-03-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🍕 比喩：ピザのトッピング会議

想像してください。あなたが新しいピザ屋さんを開くことになりました。メニューに載せる「トッピング（具材）」を決めるために、10 人の料理の専門家（パネリスト）を集めました。

彼らには、以下の 3 つの選択肢から選んでもらいます。

必須（Essential）：「これがないとピザじゃない！」
重要だが必須ではない（Important but not essential）：「あってもいいけど、なくても OK」
不要（Unnecessary）：「これはいらない！」

ここで問題です。「何人の専門家が『必須』と言ったら、そのトッピングをメニューに載せるべきでしょうか？」

🔴 従来の方法（Lawshe 氏など）の「粗い物差し」

これまでの研究では、この判断をするのに少し「ずさんな物差し」を使っていました。

確率の勘違い：
専門家には 3 つの選択肢があるのに、「ランダムに選ぶ確率」を**「50%（2 つの選択肢から選ぶ確率）」**として計算していました。
- 例え：3 つの箱（赤・青・黄）から赤を選ぶ確率を計算するのに、「赤か青の 2 つしかない」と仮定して計算しているようなものです。これでは正確な確率が測れません。
矛盾を見逃す：
従来の方法では、「必須」と判断されたかどうかだけをチェックしていました。
- 例え：あるトッピング（例えば「チョコレート」）に対して、「必須」と言う人が 6 人いて、「不要」と言う人も**「必須」と言う人と同じくらい**いたとします。
- 従来の方法だと、「6 人が『必須』と言ったから OK！」となり、「でも、同じ人数が『不要』と言ってるじゃん！」という矛盾（パラドックス）に気づきません。

🟢 この論文の提案（BCV）：「精密な物差しとダブルチェック」

この論文の著者たちは、より正確な方法**「二項カットレベル妥当性（BCV）」**を提案しています。

1. 正しい確率を使う（3 択なら 3 分の 1）
「ランダムに選ぶ確率」を、実際の選択肢の数に合わせて計算します。

3 つの選択肢があれば、ランダムに選ぶ確率は**「33.3%（1/3）」**です。
これを正確に計算することで、「本当に専門家の意見が一致しているのか、たまたま偶然一致しただけなのか」をより正確に判断できます。

2. 「ダブルチェック」で矛盾を見つける
これがこの論文の最大の特徴です。単に「必須」と言われたかだけでなく、「不要」と言われたかも同時にチェックします。

ケース A（OK）：「必須」の意見が統計的に有意で、「不要」の意見は有意でない。
- 👉 結論：「これは本当に必要だ！メニューに載せよう！」
ケース B（パラドックス・矛盾）：「必須」の意見も有意で、「不要」の意見も有意。
- 👉 結論：「待てよ！『必須』と言う人も『不要』と言う人も多い。意見が割れている。このトッピングは危険だ。もっと調査が必要だ！」
- 従来の方法なら見逃していたこの「矛盾」を、この方法なら見つけられます。
ケース C（どちらでもない）：「必須」でも「不要」でもない。
- 👉 結論：「意見がまとまっていない。これも保留しよう。」
ケース D（NG）：「不要」の意見が有意で、「必須」の意見は有意でない。
- 👉 結論：「これは不要だ。メニューから削除しよう。」

📊 なぜこれが重要なのか？

これまでの方法だと、「たまたま偶然一致した結果」を「重要な発見」として誤って採用したり、 **「意見が割れているのに無理やり通したり」**するリスクがありました。

この新しい方法（BCV）を使うと：

より少ない人数でも、より正確に「本当に必要な質問」を見つけられます。
**矛盾（パラドックス）**を早期に発見でき、アンケートの質を高められます。
「不要な質問」を削除する判断も、より確実に行えます。

💡 まとめ

この論文は、アンケートを作る際の「質問の選別」を、**「適当な勘」や「古い計算式」から、「数学的に正確で、矛盾を見抜く精密な検査」**へと進化させる提案です。

まるで、「3 つの選択肢があるのに 2 つしかないと思い込んでいた古い物差し」を捨てて、「3 つの選択肢に合わせた新しい定規」を使い、さらに「反対意見も同時にチェックするダブルチェック」を導入したようなものです。

これにより、社会調査や医療、教育など、あらゆる分野で使われるアンケートの信頼性が、ぐっと高まることが期待されています。

以下は、提示された論文「Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal（質問票の項目を妥当化するために必要な回答者数の臨界値の発見：二項カットレベル内容妥当性提案）」の技術的概要です。

1. 研究の背景と問題提起

本研究は、質問票（アンケート）の項目が「本質的（Essential）」であるかどうかを判断するために必要な回答者数を決定する際、既存の手法が抱える以下の限界点に焦点を当てています。

既存手法の限界:
- Lawshe (1975): 内容妥当性比率（CVR）を提案したが、統計分布の基礎が明示されておらず、8 人のパネルの場合に閾値が不自然に低下するなどの問題がある。
- Wilson et al. (2012): Lawshe の表を正規近似を用いて修正したが、離散的な選択肢（3 つ）に対して連続分布である正規分布近似を使用している点に問題がある。
- Ayre and Scally (2014): 二項分布の使用を提案したが、依然として「回答者がランダムに選択する確率（p）」を 0.5（2 つの選択肢がある場合の確率）と仮定していた。
核心的な問題点:
1. 確率 p の誤設定: Lawshe のスケールは「本質的」「重要だが本質的ではない」「不要」の 3 つの選択肢（場合によっては「NA」で 4 つ）を持つ。したがって、ランダムに選択される確率は $p=1/3$ （または $1/4$ ）であるべきだが、既存研究では $p=1/2$ と仮定されていた。
2. パラドックスの検出欠如: 既存手法は「本質的」と判断されるか否かのみを検証する。しかし、同じサンプル内で「本質的」と「不要」の両方が統計的に有意に支持されるという**パラドックス（矛盾）**が発生する可能性を検出する仕組みがない。
3. 棄却の判断: 項目を「維持すべき」か「廃棄すべき」かを明確に区別する双方向の検証（二重チェック）が不足している。

2. 提案手法：二項カットレベル妥当性（BCV）

著者らは、上記の問題を解決するための新しい手法**「二項カットレベル妥当性（Binomial Cut-level Validation: BCV）」**を提案しました。

統計モデル:
- 正規分布近似ではなく、二項分布を直接使用する。
- 確率 $p$ を、評価者が選択できるオプション数（ $n_{options}$ ）の逆数として定義する（例：3 つの選択肢なら $p=1/3$ 、4 つなら $p=1/4$ ）。
計算式:
- 回答者 $N$ 人中、 $n$ 人が特定の回答（「本質的」または「不要」）をランダムに選択する確率 $prob(n)$ を以下の式で計算する。
  $prob(n) = \binom{N}{n} p^n (1-p)^{N-n}$
臨界値（ $n_{critical}$ ）の決定:
- 許容されるランダムな一致の最大確率（カットレベル $\lambda$ 、例：0.05 または 0.01）を設定する。
- $prob(n) \le \lambda$ となる最小の整数 $n$ を $n_{critical}$ として定義する。
二重チェック（双尾検定）:
- 各項目について、以下の 2 つの条件を独立して検証する。
  1. 「本質的」として妥当化されるか: 選択数 $n_E \ge n_{critical}$ かつ $prob(n_E) \le \lambda$ 。
  2. 「不要」として妥当化されるか: 選択数 $n_U \ge n_{critical}$ かつ $prob(n_U) \le \lambda$ 。

3. 意思決定アルゴリズムと分類

BCV は、上記の検証結果に基づき、項目を以下の 4 つのカテゴリに分類する（表 3 および表 4 参照）。

A: 維持推奨（Strong recommendation to retain）
- 「本質的」として妥当化され、「不要」としては妥当化されない場合。
B: 強いパラドックス（Strong paradox）
- 「本質的」と「不要」の両方が統計的に妥当化される場合。
- 回答者の認識に重大な不一致があることを示唆し、サンプルの適性や項目の再検討が必要。
C: 弱いパラドックス（Weak paradox）
- 「本質的」でも「不要」でもない場合（どちらも閾値に達しない）。
- 項目の重要性について合意が得られていない状態。
D: 廃棄推奨（Strong recommendation to discard）
- 「本質的」としては妥当化されず、「不要」として妥当化される場合。

4. 主要な結果と比較

既存手法との比較（表 5, 表 8）:
- BCV は、正規近似や $p=0.5$ の仮定を使用する既存手法（Lawshe, Wilson, Ayre & Scally）と比較して、より厳密かつ現実的な閾値を提供する。
- 特にサンプルサイズが大きくなるにつれて、BCV による $n_{critical}$ の値は既存手法とは異なり、より多くの項目を「本質的」として適切に識別できる可能性がある。
- BCV は、項目を「不要」として廃棄する判断や、パラドックスの検出機能を持つ唯一の手法である。
パラメータ設定:
- カットレベル $\lambda$ を 0.05 または 0.01 に設定することで、信頼度の異なる臨界値を提供し、研究の厳密さに応じた柔軟な適用を可能にする。

5. 研究の意義と貢献

理論的貢献:
- 内容妥当性評価において、離散的な選択肢に対する二項分布の適切な適用と、確率 $p$ の再定義（ $1/3$ や $1/4$ ）を実現した。
- 「本質的」と「不要」の両面からの検証（二重チェック）を導入し、データ内の矛盾（パラドックス）を可視化できる枠組みを構築した。
実用的貢献:
- 研究者が質問票の項目をより客観的かつ統計的に厳密に選別・廃棄することを支援する。
- 矛盾した結果（パラドックス）を検出することで、調査設計やサンプリングの質向上に寄与する。
将来展望:
- 多基準意思決定（MCDM）や交渉モデリングなど、対立する目的を持つ複雑な意思決定プロセスにおける基準選定への応用が期待される。

結論

この論文は、質問票項目の妥当性評価において、従来の CVR 手法が抱える統計的仮定の不備（正規近似、確率 $p$ の誤設定）と、矛盾検出の欠如を克服する**「二項カットレベル妥当性（BCV）」**を提案した。この手法は、より正確な臨界値の算出と、項目の「維持」「廃棄」「矛盾」の明確な分類を可能にし、社会科学および医療・教育分野における調査研究の質を向上させる重要なツールとなる。