Invariance of multiple-choice item difficulty to item position: a counterbalanced quasi-experimental study in emergency medical services education

कल्पना कीजिए कि आप एक बड़ी परीक्षा दे रहे हैं, जैसे किसी कठिन विषय की फाइनल परीक्षा। आप बैठते हैं, हाथ में पेंसिल है, और पहला प्रश्न आपके सामने आता है। यदि वह पहला प्रश्न एक दैत्य है—बेहद कठिन और भ्रमित करने वाला—तो आप घबरा सकते हैं। आपका दिल तेजी से धड़कने लगता है, आपका मस्तिष्क धुंधला महसूस करने लगता है, और अचानक, वे प्रश्न भी जिन्हें आप हल कर सकते थे, असंभव लगने लगते हैं। यह "परीक्षा की चिंता" (टेस्ट एंग्जायटी) के विचार के पीछे का तर्क है: यह डर कि प्रश्नों का क्रम मायने रखता है। यदि आप शुरुआत में ही एक दीवार से टकरा जाते हैं, तो आप बाकी परीक्षा में लड़खड़ा सकते हैं।

लेकिन यहाँ एक मोड़ है: क्या होगा अगर प्रश्नों को वास्तव में इस बात से कोई फर्क नहीं पड़ता कि वे कहाँ बैठे हैं? शैक्षिक मापन (एजुकेशनल मेजरमेंट) की दुनिया में, एक स्वर्णिम नियम है जिसे "अपरिवर्तनीयता" (इनवैरिएंस) कहा जाता है। यह ऐसा है जैसे यह कहना कि एक ईंट ईंट ही होती है, चाहे वह दीवार के नीचे हो या सबसे ऊपर। ईंट का वजन और आकार नहीं बदलता क्योंकि आपने उसे स्थानांतरित कर दिया है। इसी तरह, एक परीक्षण प्रश्न की कठिनाई उस प्रश्न का एक स्थिर गुण होना चाहिए, न कि उसकी स्थिति का कोई छल। यदि यह नियम सत्य है, तो कंप्यूटर नकल रोकने के लिए प्रश्नों को बेतरतीब ढंग से इधर-उधर बदल सकते हैं, और स्कोर फिर भी निष्पक्ष रहेगा। लेकिन यदि यह नियम टूट जाता है, तो प्रश्नों को इधर-उधर करने से अनजाने में कुछ लोगों के लिए परीक्षा कठिन या आसान हो सकती है, जिससे निष्पक्षता बिगड़ सकती है।

यही वह रहस्य है जिसे सऊदी अरब के शोधकर्ताओं के एक समूह ने सुलझाने का निर्णय लिया। वे केवल अनुमान नहीं लगा रहे थे; उन्होंने आपातकालीन चिकित्सा सेवाओं (इमरजेंसी मेडिकल सर्विसेज) के छात्रों के साथ एक चतुर प्रयोग किया। वे यह देखना चाहते थे कि किसी प्रश्न को क्विज़ की शुरुआत से हटाकर बिल्कुल अंत में ले जाने से वह कितना कठिन महसूस होता है या कितने छात्रों ने उसे सही हल किया। वे यह भी जानना चाहते थे कि क्या आसान प्रश्नों से शुरुआत करना और कठिन प्रश्नों को बाद के लिए बचाना ( "आसान-से-कठिन" तरीका) सभी के मस्तिष्क के लिए इसके विपरीत (कठिन-से-आसान) होने की तुलना में बेहतर था।

महान प्रश्न फेरबदल (द ग्रेट क्वेश्चन शफल)

इस मामले को सुलझाने के लिए, शोधकर्ताओं ने एक "काउंटरबैलेंस्ड" खेल तैयार किया। कल्पना कीजिए कि आपके पास 10 कार्डों का एक डेक है, जिनमें से प्रत्येक हृदय स्वास्थ्य के बारे में एक चिकित्सा प्रश्न का प्रतिनिधित्व करता है। उन्होंने क्विज़ के दो संस्करण बनाए। समूह A को कार्ड आसान से कठिन के क्रम में मिले। समूह B को वही कार्ड मिले, लेकिन ठीक उलटे क्रम में: कठिन से आसान। क्योंकि दोनों समूह पूरी तरह से मेल खाते थे, इसलिए हर एक प्रश्न एक समूह के लिए परीक्षण की शुरुआत में पूछा गया और दूसरे समूह के लिए बिल्कुल अंत में। यह बिल्कुल वैसा ही था जैसे कि आप एक ही फिल्म देख रहे हों, लेकिन एक समूह ने अंत पहले देखा और दूसरे ने शुरुआत पहले देखी।

इस अध्ययन में 89 छात्रों (65 पुरुष और 24 महिलाएं) ने कार्डियोलॉजी पर 10-प्रश्नों का एक क्विज़ दिया। प्रश्न सरल स्मृति परीक्षणों (जैसे "हृदय के इस वाल्व का नाम क्या है?") से लेकर जटिल नैदानिक पहेलियों (जैसे "इस हृदय की लय वाली पट्टी को देखें और बताएं कि इसमें क्या गलत है") तक फैले हुए थे। शोधकर्ताओं ने एक विशेष सांख्यिकीय तकनीक का उपयोग किया यह देखने के लिए कि क्या प्रश्न की "कठिनाई" केवल अपनी जगह बदलने से बदल गई।

निर्णय: ईंट अपनी जगह नहीं बदलती

परिणाम आश्चर्यजनक रूप से शांत थे। शोधकर्ताओं ने पाया कि एक प्रश्न की कठिनाई उसके स्थान के प्रति लगभग पूरी तरह से अपरिवर्तनीय थी। सरल शब्दों में: एक प्रश्न उतना ही कठिन (या उतना ही आसान) था, चाहे वह पहले स्थान पर आया हो या अंत में।

जब उन्होंने पुरुष छात्रों को देखा, जो कि बड़ा समूह था, तो डेटा अविश्वसनीय रूप से सुसंगत था। एक प्रश्न की कठिनाई जब वह परीक्षण की शुरुआत में था, उसका अंत में होने वाली कठिनाई के साथ लगभग पूर्ण रूप से सह-संबंध (0.975 का स्कोर) था। यहाँ तक कि उन प्रश्नों के लिए भी जिन्हें नौ स्थानों तक खिसकाया गया था, कठिनाई में बहुत कम बदलाव आया। 0 से 1 के पैमाने पर कठिनाई महसूस होने का औसत अंतर मात्र 0.05 था।

शोधकर्ताओं ने यह भी जांचा कि क्या प्रश्न का प्रकार मायने रखता है। क्या जटिल, मस्तिष्क को थका देने वाले नैदानिक प्रश्न छात्रों के थकने पर अंत में कठिन हो जाते हैं? नहीं। "अपरिवर्तनीयता" सरल स्मृति प्रश्नों और कठिन नैदानिक प्रश्नों दोनों के लिए सत्य रही। प्रश्न की स्थिति ने छात्र के सही उत्तर देने की संभावना को नहीं बदला।

क्या क्रम ने स्कोर बदल दिया?

टीम ने यह भी पूछा: "क्या आसान प्रश्नों से शुरुआत करने से छात्रों का स्कोर बेहतर होता है?" उत्तर एक विनम्र "शायद, लेकिन संभवतः नहीं" था।

जब उन्होंने दोनों समूहों की तुलना की, तो "आसान-से-कठिन" संस्करण लेने वाले छात्रों ने "कठिन-से-आसान" संस्करण लेने वालों की तुलना में औसतन थोड़ा अधिक स्कोर किया। संयुक्त समूह ने 10 में से 0.48 अंक अधिक प्राप्त किए। हालांकि, यह अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं था; कॉन्फिडेंस इंटरवल (विश्वास अंतराल) -0.33 से 1.28 के बीच था, जिसका अर्थ है कि वास्तविक अंतर शून्य भी हो सकता है। दूसरे शब्दों में, क्रम ने कोई वास्तविक लाभ नहीं दिया।

एक छोटा, अस्थिर संकेत लाभ का मिला। "आसान-से-कठिन" क्रम ने टेस्ट स्कोर को आंतरिक रूप से थोड़ा अधिक सुसंगत बनाया (एक सांख्यिकीय माप जिसे KR-20 कहा जाता है, वह 0.390 से बढ़कर 0.488 हो गया)। लेकिन शोधकर्ताओं ने चेतावनी दी कि ये संख्याएं अस्थिर थीं क्योंकि टेस्ट बहुत छोटा (केवल 10 प्रश्न) था और समूह छोटे थे। इसलिए, हालांकि आसान से शुरू करना छात्रों के लिए एक अच्छी आदत हो सकती है, इस अध्ययन ने यह साबित नहीं किया कि यह बेहतर स्कोर के लिए कोई जादुई समाधान है।

यह क्यों महत्वपूर्ण है

बड़ी सीख उन लोगों के लिए एक राहत है जो परीक्षणों को डिजाइन करते हैं या उन्हें देते हैं। अध्ययन बताता है कि प्रश्नों को इधर-उधर करना—जो कंप्यूटर स्वचालित रूप से अनधिकृत संसाधनों के उपयोग को रोकने के लिए करते हैं—परीक्षण की निष्पक्षता को नहीं तोड़ता है। एक प्रश्न की कठिनाई, एक ईंट के वजन की तरह एक स्थिर गुण है, और इसे इस बात से कोई फर्क नहीं पड़ता कि वह लाइन के शुरू में है या अंत में।

यह निष्कर्ष सामान्य कॉलेज छात्रों से लेकर उच्च-दांव वाले आपातकालीन चिकित्सा प्रशिक्षण की दुनिया तक हमारी समझ को विस्तृत करता। यह हमें बताता है कि जटिल, जीवन-मृत्यु से जुड़े चिकित्सा तर्क के लिए भी, प्रश्नों का क्रम परिणामों को विकृत नहीं करता है। हालांकि "आसान-से-कठिन" दृष्टिकोण छात्रों के लिए अधिक सुखद हो सकता है, डेटा सुझाव देता है कि प्रश्नों के क्रम को रैंडमाइज (अनिश्चित) करना सुरक्षित और निष्पक्ष है, जो यह सुनिश्चित करता है कि स्कोर छात्रों के ज्ञान को दर्शाते हैं, न कि केवल इस बात को कि वे प्रश्नों की पंक्ति में कहाँ बैठे थे।