📊 statistics

Discovering the critical number of respondents to validate an item in a questionnaire: The Binomial Cut-level Content Validity proposal

यह शोधपत्र प्रश्नावली मद सत्यापन के लिए आवश्यक उत्तरदाताओं की महत्वपूर्ण संख्या निर्धारित करने हेतु एक परिष्कृत द्विपद कट-स्तर सामग्री वैधता (Binomial Cut-level Content Validity) पद्धति प्रस्तावित करता है, जो पारंपरिक सामग्री वैधता अनुपात (CVR) दृष्टिकोणों में अंतर्निहित विरोधाभासों और संभाव्यता संबंधी अशुद्धियों को संबोधित करता है।

मूल लेखक: Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

प्रकाशित 2026-03-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Helder Gomes Costa, Eduardo Shimoda, José Fabiano da Serra Costa, Aldo Shimoya, Edilvando Pereira Eufrazio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो सूप की एक बेहतरीन नई रेसिपी बनाने की कोशिश कर रहे हैं। आपके पास 20 संभावित सामग्रियों की एक सूची है (जैसे गाजर, मसाले और रहस्यमयी पाउडर)। इससे पहले कि आप यह सूप पूरे शहर को परोसें, आपको विशेषज्ञों के एक समूह से पूछना होगा: "क्या यह सामग्री सूप के लिए आवश्यक है, या यह सिर्फ कचरा है?"

यही वह काम है जो शोधकर्ता तब करते हैं जब वे एक प्रश्नावली (questionnaire) तैयार करते हैं। उनके पास प्रश्नों की एक सूची (सामग्रियां) होती है और उन्हें यह जानने की आवश्यकता होती है कि कौन सी पूछना "आवश्यक" है और किसे बाहर फेंक देना चाहिए।

दशकों से, इसे करने का एक मानक तरीका रहा है जिसे CVR (कंटेंट वैलिडिटी रेश्यो) कहा जाता है। CVR को एक पुराने, थोड़े टूटे हुए तराजू की तरह समझें जिसका उपयोग आलोचक सामग्रियों को तौलने के लिए करते हैं। इसका उपयोग 50 वर्षों से किया जा रहा है, लेकिन इस पेपर के लेखक तर्क देते हैं कि यह तराजू थोड़ा डगमगाता है और कभी-कभी भ्रमित करने वाले परिणाम देता है।

यहाँ उनके नए विचार का एक सरल विवरण दिया गया है, जिसे वे BCV (बाइनोमियल कट-लेवल वैलिडिटी) कहते हैं।

पुराने तराजू के साथ समस्या (CVR)

पुराने तरीके (CVR) में तीन मुख्य खामियां हैं, जिनकी तुलना लेखक इन परिदृश्यों से करते हैं:

"सिक्का उछालने" वाली गलती:
कल्पना कीजिए कि आलोचकों के पास हर सामग्री के लिए तीन विकल्प हैं:

A) इसे रखें (आवश्यक)
B) यह ठीक है, लेकिन आवश्यक नहीं है (महत्वपूर्ण लेकिन अनिवार्य नहीं)
C) इसे फेंक दें (अनावश्यक)

पुराना तरीका मानता है कि यदि कोई आलोचक यादृच्छिक (randomly) रूप से उत्तर चुनता है, तो उसके पास "इसे रखें" या "फेंक दें" चुनने की 50/50 की संभावना है। लेकिन यह एक सिक्का उछालने जैसा है! वास्तव में, यहाँ तीन विकल्प हैं। यदि आप यादृच्छिक रूप से चुनते हैं, तो "इसे रखें" चुनने की आपकी संभावना केवल 1-में-3 है। पुराना गणित गलत संभावनाओं का उपयोग कर रहा था, जिससे परिणाम थोड़े गलत हो रहे थे।

"एकतरफा" अंधापन:
पुराना तरीका केवल यह जाँचता है कि कितने लोगों ने "इसे रखें" कहा। यह कभी यह जाँच नहीं करता कि कितने लोगों ने "इसे फेंक दें" कहा।

उपमा: कल्पना कीजिए कि एक जूरी केवल यह पूछती है, "क्या आरोपी दोषी है?" वे कभी यह नहीं पूछते, "क्या आरोपी निर्दोष है?"
जोखिम: आप एक सामग्री को रख सकते हैं क्योंकि 11 लोगों ने कहा "इसे रखें," लेकिन 12 लोगों ने वास्तव में कहा "इसे फेंक दें।" पुराना तरीका इस संघर्ष को मिस कर देता है।

"विरोधाभास" का जाल:
कभी-कभी, विशेषज्ञों का एक समूह इतना भ्रमित हो जाता है कि वे एक ही सामग्री को एक ही समय में "आवश्यक" और "अनावश्यक" दोनों बताते हैं।

उपमा: यह एक समूह के लोगों के वोट देने जैसा है कि क्या एक पुल सुरक्षित है। 60% कहते हैं "यह सुरक्षित है!" और 60% कहते हैं "यह असुरक्षित है!" (क्योंकि कुछ लोगों ने दो बार वोट दिया या समूह बीच में विभाजित है)।
पुराना तरीका इस "विरोधाभास" को पकड़ने का कोई तरीका नहीं रखता। यह बस एक परिणाम देता है, भले ही डेटा विरोधाभासी हो।

नया समाधान: "डबल-चेक" स्केल (BCV)

लेखक एक नया, स्मार्ट तराजू प्रस्तावित करते हैं जिसे BCV कहा जाता है। यह कैसे काम करता है, इसे सरल भाषा में यहाँ दिया गया है:

1. संभावनाओं को ठीक करना (पासे का खेल)
सिक्का उछालने (50/50) के बजाय, नया तरीका एक तीन-तरफा पासे (या चार-तरफा पासा यदि आप "मुझे नहीं पता" का विकल्प जोड़ते हैं) का उपयोग करता है। यह गणना इस आधार पर करता है कि आलोचकों के पास वास्तव में कितने विकल्प हैं। यह "आवश्यकता" की सीमा को बहुत अधिक सटीक बनाता है।

2. "डबल-चेक" सत्यापन
नया तरीका प्रत्येक सामग्री के लिए दो प्रश्न पूछता है:

प्रश्न A: क्या पर्याप्त लोगों ने "इसे रखें" कहा ताकि यह साबित हो सके कि यह आवश्यक है?
प्रश्न B: क्या पर्याप्त लोगों ने "इसे फेंक दें" कहा ताकि यह साबित हो सके कि यह कचरा है?

3. विरोधाभासों को पकड़ना
दोनों प्रश्नों का उत्तर देकर, नया तरीका चार संभावित परिणाम बनाता है, जैसे कि एक ट्रैफिक लाइट सिस्टम:

🟢 हरी बत्ती (रखें): पर्याप्त लोगों ने "आवश्यक" कहा, और पर्याप्त लोगों ने "अनावश्यक" नहीं कहा। -> प्रश्न को रखें।
🔴 लाल बत्ती (फेंक दें): पर्याप्त लोगों ने "अनावश्यक" कहा, और पर्याप्त लोगों ने "आवश्यक" नहीं कहा। -> प्रश्न को हटा दें।
⚠️ पीली बत्ती (विरोधाभास - प्रकार A): बहुत अधिक लोगों ने "आवश्यक" कहा, और बहुत अधिक लोगों ने "अनावश्यक" कहा।
- इसका अर्थ है: समूह भ्रमित या विभाजित है। शायद प्रश्न को खराब तरीके से लिखा गया है, या विशेषज्ञ बुरी तरह असहमत हैं। सिस्टम इसे "मजबूत विरोधाभास" के रूप में चिह्नित करता है ताकि निर्णय लेने से पहले आप इसकी जांच कर सकें।
⚪ सफेद बत्ती (विरोधाभास - प्रकार B): न तो पर्याप्त लोगों ने "आवश्यक" कहा, और न ही पर्याप्त लोगों ने "अनावश्यक" कहा।
- इसका अर्थ है: हर कोई अनिश्चित है। प्रश्न बहुत अस्पष्ट या उबाऊ है। सिस्टम इसे "कमजोर विरोधाभास" (या "कोई सहमति नहीं") के रूप में चिह्नित करता है ताकि आप इसे फिर से लिख सकें।

यह क्यों मायने रखता है?

पुराने तरीके को एक कच्चे फिल्टर के रूप में सोचें जो कुछ खराब सामग्रियों को अंदर आने देता है और कुछ अच्छी सामग्रियों को मिस कर देता है।

नया BCV तरीका एक स्मार्ट, हाई-टेक स्कैनर की तरह है। यह केवल वोटों को नहीं गिनता; यह विरोधाभासों की भी जाँच करता है। यह आपको बताता है:

"यह निश्चित रूप से अच्छा है।"
"यह निश्चित रूप से बुरा है।"
"रुको, डेटा आपस में लड़ रहा है! हमें करीब से देखने की जरूरत है।"

निष्कर्ष

लेखक केवल एक फॉर्मूले में बदलाव नहीं कर रहे हैं; वे यह तय करने की पूरी प्रक्रिया को अपग्रेड कर रहे हैं कि किन प्रश्नों को पूछना है। बाइनोमियल डिस्ट्रीब्यूशन (Binomial distribution) का उपयोग करके और "विरोधाभासों" की जाँच करके, वे यह सुनिश्चित करते हैं कि अंतिम प्रश्नावली केवल प्रश्नों की सूची नहीं है, बल्कि एक विश्वसनीय, स्पष्ट और तार्किक उपकरण है जो वास्तव में वही मापता है जिसे मापने के लिए इसे बनाया गया है।

यह यह अनुमान लगाने और वास्तव में हर एक सामग्री को चखकर यह सुनिश्चित करने के बीच का अंतर है कि रेसिपी एकदम सही है।

यहाँ शोध पत्र "Discovering the Critical Number of Respondents to Validate an Item in a Questionnaire: The Binomial Cut-Level Content Validity Proposal" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध प्रश्नावली के आइटम्स (items) को मान्य करने के लिए उपयोग किए जाने वाले कंटेंट वैलिडिटी रेश्यो (CVR) की गणना करने की मौजूदा विधियों की सीमाओं को संबोधित करता है, जो विशेषज्ञों की सहमति के आधार पर यह निर्धारित करने के लिए एक मीट्रिक है कि कोई आइटम "अनिवार्य" (essential) है या नहीं। लेखक वर्तमान अत्याधुनिक विधियों (Lawshe [1975], Wilson et al. [2012], और Ayre & Scally [2014]) में चार महत्वपूर्ण दोषों की पहचान करते हैं:

गलत प्रायिकता धारणा (Incorrect Probability Assumption): पिछली विधियाँ यह मानती हैं कि किसी विशेषज्ञ द्वारा यादृच्छिक रूप से (randomly) "अनिवार्य" (Essential) चुनने की प्रायिकता ( $p$ ) $0.5$ (50%) है। हालाँकि, Lawshe का स्केल तीन विकल्प प्रदान करता है ("अनिवार्य", "महत्वपूर्ण लेकिन अनिवार्य नहीं", "अनावश्यक"), जिससे यादृच्छिक प्रायिकता $p = 1/3$ हो जाती है। यदि "लागू नहीं/कोई उत्तर नहीं" का विकल्प जोड़ा जाता है, तो $p = 1/4$ हो जाता है।
अनुपयुक्त वितरण (Inappropriate Distribution): Wilson et al. [2012] ने एक असतत (discrete), गैर-सतत (non-continuous) स्केल के लिए क्रिटिकल वैल्यूज की गणना करने के लिए नॉर्मल एप्रोक्सिमेशन (normal approximation) का उपयोग किया। Ayre & Scally [2014] ने बाइनोमियल डिस्ट्रीब्यूशन (binomial distribution) का उपयोग करके इसे सुधारा, लेकिन गलत $p = 0.5$ धारणा को बरकरार रखा।
विरोधाभास का पता लगाने की कमी (Lack of Paradox Detection): मौजूदा विधियाँ केवल यह सत्यापित करती हैं कि कोई आइटम "अनिवार्य" है या नहीं। वे यह भी जाँच नहीं करतीं कि क्या वही नमूना (sample) एक ही समय में किसी आइटम को "अनावश्यक" (Unnecessary) के रूप में मान्य करता है। इससे विरोधाभासी विसंगतियाँ (paradoxical inconsistencies) उत्पन्न हो सकती हैं जहाँ एक नमूना एक आइटम को अनिवार्य और अनावश्यक दोनों के रूप में मान्य करने के लिए पर्याप्त विभाजित होता है, जो विषम धारणाओं (heterogeneous perceptions) को दर्शाता है।
एक-पार्श्व सीमा (One-Tailed Limitation): वर्तमान दृष्टिकोण एक आइटम को अनिवार्य मानने के लिए आवश्यक विशेषज्ञों की न्यूनतम संख्या खोजने के लिए 'वन-टेल्ड टेस्ट' (one-tailed tests) का उपयोग करते हैं। वे यह सत्यापित करने के लिए एक सममित तंत्र (symmetric mechanism) प्रदान करने में विफल रहते हैं कि किसी आइटम को हटाया जाना चाहिए ("अनावश्यक")।

2. कार्यप्रणाली: बाइनोमियल कट-लेवल वैलिडेशन (BCV)

लेखक बाइनोमियल कट-लेवल वैलिडेशन (BCV) पद्धति का प्रस्ताव करते हैं, जो प्रश्नावली स्केल के विशिष्ट विकल्पों के अनुरूप एक कठोर बाइनोमियल डिस्ट्रीब्यूशन दृष्टिकोण का उपयोग करती है।

मुख्य गणितीय ढांचा (Core Mathematical Framework)

यह विधि इस संभावना की गणना करती है कि $n$ विशेषज्ञों ने विशुद्ध रूप से संयोग से एक विशिष्ट विकल्प को चुना है।

सूत्र (Formula): $P(n) = \binom{N}{n} p^n (1-p)^{N-n}$ $P (n) = (n N) p^{n} (1 - p)^{N - n}$
- $N$ : विशेषज्ञों की कुल संख्या।
- $n$ : एक विशिष्ट विकल्प चुनने वाले विशेषज्ञों की संख्या (जैसे, "अनिवार्य")।
- $p$ : यादृच्छिक चयन की प्रायिकता ($3 $-पॉइंट स्केल के लिए$ 1/3 $;$ 4 $-पॉइंट स्केल के लिए$ 1/4$ जिसमें "NA" शामिल है)।
- $\lambda$ : कट-लेवल (महत्व स्तर/significance threshold), जिसे आमतौर पर $0.05 $या$ 0.01$ पर सेट किया जाता है।

एल्गोरिदम (The Algorithm)

स्केल को परिभाषित करें: निर्धारित करें कि स्केल $S_3$ ($3 $विकल्प) है या$ S_4 $($ 4 $विकल्प)। तदनुसार$ p $सेट करें ($ 1/3 $या$ 1/4$)।
क्रिटिकल वैल्यू ( $n_{critical}$ ) की गणना करें: वह न्यूनतम पूर्णांक $n$ निर्धारित करें कि $n$ या अधिक विशेषज्ञों द्वारा संयोग से एक विकल्प चुनने की प्रायिकता $\le \lambda$ हो।
दोहरा सत्यापन (Dual Validation - Double-Check):
- अनिवार्य सत्यापन (Essential Validation): जाँचें कि क्या $n_{Essential} \ge n_{critical}$ AND $P(n_{Essential}) \le \lambda$ ।
- अनावश्यक सत्यापन (Unnecessary Validation): जाँचें कि क्या $n_{Unnecessary} \ge n_{critical}$ AND $P(n_{Unnecessary}) \le \lambda$ ।
निर्णय मैट्रिक्स (Decision Matrix): दोहरे सत्यापन परिणामों के आधार पर आइटम्स को चार श्रेणियों में वर्गीकृत करें:
- टाइप A (मजबूत बनाए रखें - Strong Retain): "अनिवार्य" के रूप में मान्य, लेकिन "अनावश्यक" नहीं।
- टाइप B (मजबूत विरोधाभास - Strong Paradox): "अनिवार्य" और "अनावश्यक" दोनों के रूप में मान्य। (विषमता का संकेत देता है; गहन विश्लेषण की आवश्यकता है)।
- टाइप C (कमजोर विरोधाभास - Weak Paradox): न तो "अनिवार्य" और न ही "अनावश्यक" के रूप में मान्य। (सहमति की कमी का संकेत देता है; गहन विश्लेषण की आवश्यकता है)।
- टाइप D (मजबूत हटाएँ - Strong Discard): "अनावश्यक" के रूप में मान्य, लेकिन "अनिवार्य" नहीं।

3. मुख्य योगदान (Key Contributions)

प्रायिकता ( $p$ ) का सुधार: प्रस्ताव पिछले साहित्य में उपयोग किए गए मनमाने $0.5 $के बजाय स्केल विकल्पों की संख्या ($ 1/3 $या$ 1/4 $) के आधार पर सही ढंग से$ p$ निर्धारित करता है।
बाइनोमियल सटीकता: यह नॉर्मल एप्रोक्सिमेशन को सटीक बाइनोमियल गणनाओं से बदल देता है, जो असतत (discrete), छोटे-नमूने के डेटा के लिए सांख्यिकीय रूप से अधिक सटीक है।
विरोधाभास का पता लगाना: यह "वन-टेल्ड" (one-tailed) सत्यापन के बजाय "डबल-टेल्ड" (double-tailed) सत्यापन तर्क पेश करता है। "अनिवार्य" और "अनावश्यक" दोनों के लिए एक साथ परीक्षण करके, यह टाइप B विरोधाभासों (ऐसे आइटम्स जिन्हें अनिवार्य और अनावश्यक दोनों माना जाता है) की पहचान करता है, जो एक महत्वपूर्ण दोष है जो पिछले तरीकों में प्रश्नावली डिजाइन को अमान्य कर सकता है।
हटाने की क्षमता (Discard Capability): CVR के विपरीत, जो केवल प्रतिधारण (retention) का सुझाव देता है, BCV आइटम्स को हटाने की सिफारिश करने के लिए एक सांख्यिकीय रूप से मजबूत तरीका प्रदान करता है (टाइप D)।
विस्तारित तालिकाएँ: लेखक $N=5$ से $100 $तक के सैंपल साइज के लिए$ 3 $-पॉइंट और$ 4 $-पॉइंट स्केल के लिए$ \lambda = 0.05 $और$ 0.01$ पर पूर्व-गणना की गई तालिकाएँ (परिशिष्ट A) प्रदान करते हैं।

4. परिणाम और तुलना (Results and Comparison)

यह शोध पत्र Lawshe, Wilson, और Ayere & Scally की तुलना में BCV का मूल्यांकन करता है:

संवेदनशीलता (Sensitivity): BCV अधिक "सावधान" लेकिन अधिक सटीक है। यह उन आइटम्स को "अनिवार्य" के रूप में पहचानता है जिन्हें पिछले तरीके अस्वीकार कर सकते थे क्योंकि यह कम यादृच्छिक प्रायिकता ( $1/3$ बनाम $1/2$ ) को ध्यान में रखता है।
नमूना आकार का प्रभाव (Sample Size Impact): जैसे-जैसे नमूना आकार बढ़ता है, पिछले तरीकों के साथ BCV का विचलन बढ़ता जाता है।
विरोधाभास की पहचान: अध्ययन दर्शाता है कि पिछली विधियाँ "अनिवार्य बनाम अनावश्यक" के विरोधाभास का पता नहीं लगा सकती हैं। BCV स्पष्ट रूप से इन विसंगतियों को फ्लैग करता है, जिससे अंतिम प्रश्नावली में संदिग्ध आइटम्स के शामिल होने से बचा जा सकता है।
लचीलापन (Flexibility): यह विधि $3 $या$ 4 $विकल्पों वाले स्केल्स के अनुकूल है, जबकि पिछली विधियाँ$ 3$-पॉइंट स्केल धारणा के प्रति कठोर थीं।

5. महत्व (Significance)

यह शोध साइकोमेट्रिक्स और सर्वेक्षण पद्धति के क्षेत्र को निम्नलिखित तरीकों से महत्वपूर्ण रूप से उन्नत करता है:

वैधता में सुधार: यह सुनिश्चित करता है कि "अनिवार्य" आइटम्स वास्तव में अनिवार्य हैं, CVR के सांख्यिकीय आधार को सही करके।
डेटा गुणवत्ता बढ़ाना: नमूने के भीतर विरोधाभासी धारणाओं का पता लगाकर, शोधकर्ता यह पहचान सकते हैं कि प्रश्नावली का कोई आइटम भ्रमित करने वाला है या विशेषज्ञ पैनल बहुत अधिक विषम है, जिससे बेहतर अध्ययन डिजाइन संभव होता है।
मानकीकरण: यह विशेषज्ञों के समूह के लिए क्रिटिकल संख्या निर्धारित करने के लिए एक स्पष्ट, गणितीय रूप से सुदृढ़ एल्गोरिदम प्रदान करता है, जिससे क्षेत्र हेयुरिस्टिक तालिकाओं (जैसे Lawshe की) से हटकर सटीक प्रायिकता मॉडलिंग की ओर बढ़ता है।
व्यावहारिक अनुप्रयोग: निर्णय तालिकाओं (A, B, C, D) का समावेश शोधकर्ताओं को आइटम प्रतिधारण या उन्मूलन के लिए एक स्पष्ट, कार्रवाई योग्य ढांचा प्रदान करता है, जिससे सत्यापन प्रक्रिया में व्यक्तिपरकता कम होती है।

निष्कर्षतः, बाइनोमियल कट-लेवल वैलिडिटी (BCV) प्रस्ताव पारंपरिक कंटेंट वैलिडिटी रेश्यो का एक अधिक कठोर, सांख्यिकीय रूप से सटीक और व्यापक विकल्प प्रदान करता है, जो विशेष रूप से प्रायिकता धारणाओं में गणितीय त्रुटियों और वर्तमान प्रथाओं में विरोधाभास का पता लगाने की कमी को संबोधित करता है।