An Examination of the Performance of Variance Estimators in International Large-Scale Assessments
यह मोंटे कार्लो सिमुलेशन अध्ययन अंतर्राष्ट्रीय बड़े पैमाने के आकलन में BRR, JK2 और बूटस्ट्रैपिंग विचरण अनुमानकों (variance estimators) के प्रदर्शन का मूल्यांकन करता है, जिसमें यह पाया गया है कि जहाँ JK2 माध्य जैसे सुचारू सांख्यिकी (smooth statistics) के लिए बेहतर परिशुद्धता प्रदान करता है, वहीं बूटस्ट्रैपिंग और BRR गैर-सुचारू सांख्यिकी के लिए अधिक सटीक हैं, और फे (Fay) समायोजन एवं गैर-प्रतिक्रिया प्रबंधन (non-response handling) अनुमानक विश्वसनीयता को महत्वपूर्ण रूप से प्रभावित करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़े पैमाने पर होने वाले शैक्षिक परीक्षणों की दुनिया में, जहाँ राष्ट्र इस बात की तुलना करते हैं कि उनके छात्र गणित और विज्ञान में कितनी अच्छी तरह सीख रहे हैं, रिपोर्ट किए गए आँकड़े कभी भी साधारण औसत नहीं होते। किसी देश की रैंकिंग के बारे में हर हेडलाइन के पीछे एक जटिल सांख्यिकीय यात्रा छिपी होती है। एक विश्वसनीय संख्या प्राप्त करने के लिए, शोधकर्ता प्रत्येक छात्र का परीक्षण नहीं करते हैं; इसके बजाय, वे हजारों स्कूलों में से एक प्रतिनिधि समूह का चयन करते हैं। यह प्रक्रिया, जिसे 'सैंपलिंग' (नमूनाकरण) कहा जाता है, एक स्वाभाविक अनिश्चितता पैदा करती है। जिस प्रकार एक मौसम पूर्वानुमानकर्ता हर एक शहर के तापमान की पूर्ण निश्चितता के साथ भविष्यवाणी नहीं कर सकता, उसी प्रकार शिक्षाविद भी सभी छात्रों का परीक्षण किए बिना किसी देश के प्रत्येक छात्र के सटीक औसत स्कोर को नहीं जान सकते। नमूने के परिणाम और वास्तविक जनसंख्या मूल्य के बीच के अंतर को 'सैंपलिंग एरर' (नमूना त्रुटि) कहा जाता है। परिणामों पर भरोसा करने के लिए, वैज्ञानिकों को यह गणना करनी होती है कि यह त्रुटि कितनी बड़ी हो सकती है। वे इसे "वैरिएंस" (विचलन) का अनुमान लगाकर करते हैं, जो इस बात का माप है कि यदि अध्ययन को छात्रों के एक अलग समूह के साथ दोहराया जाए, तो परिणाम कितना बदल सकते हैं। यदि यह अनुमान बहुत कम है, तो शोधकर्ता गलत तरीके से दावा कर सकते हैं कि दो समूहों के बीच का अंतर वास्तविक है जबकि वह केवल यादृच्छिक शोर (रैंडम नॉइज़) है। यदि यह बहुत अधिक है, तो वे एक वास्तविक सुधार को भी पहचान नहीं पाएंगे। दशकों से, इन अनुमानों को लगाने के लिए मानक उपकरण विशिष्ट गणितीय विधियाँ रहे हैं, जिन्हें स्कूल सर्वेक्षणों की जटिल वास्तविकता को संभालने के लिए डिज़ाइन किया गया है, जहाँ छात्र कक्षाओं में समूहबद्ध होते हैं और स्कूल के आकार में भारी भिन्नता होती है।
'इंटरनेशनल एसोसिएशन फॉर द इवैल्यूएशन ऑफ एजुकेशनल अचीवमेंट' के शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए हाथ बढ़ाया कि ये मानक उपकरण वास्तव में कितने प्रभावी ढंग से काम करते हैं। वे किसी विशिष्ट वर्ष के वास्तविक टेस्ट स्कोर को नहीं देख रहे थे, बल्कि यह देखने के लिए कि गणित को लागू करने पर क्या होता है, वे छात्रों और स्कूलों की एक विशाल, यथार्थवादी डिजिटल दुनिया बना रहे थे। उन्होंने 5,000 स्कूलों में 5,00,000 से अधिक छात्रों की एक सिम्युलेटेड (कृत्रिम) जनसंख्या बनाई, जो वास्तविक अंतर्राष्ट्रीय मूल्यांकनों की संरचना को दर्शाती है। इस डिजिटल ब्रह्मांड से, उन्होंने हजारों अलग-अलग नमूने निकाले, जो वास्तविक सर्वेक्षणों के संचालन के तरीके की नकल करते हैं, जिसमें वे स्थितियाँ भी शामिल हैं जहाँ कुछ स्कूल भाग लेने से मना कर देते हैं। फिर उन्होंने अपने डेटा को आज की सबसे सामान्य सांख्यिकीय विधियों के माध्यम से चलाया: बैलेंस्ड रिपीटेड रेप्लिकेशन (बैलेंस्ड रिपीटेड रेप्लिकेशन), जैकनीफ रिपीटेड रेप्लिकेशन (जैकनीफ रिपीटेड रेप्लिकेशन), और बूटस्ट्रैपिंग (बूटस्ट्रैपिंग)। उन्होंने इन विधियों का परीक्षण विभिन्न स्थितियों के तहत किया, जैसे कि जब एक नमूने में स्कूलों की संख्या विषम थी, जब नमूना आकार छोटा था, और जब गैर-भागीदारी (नॉन-रिस्पॉन्स) ने डेटा में अंतराल पैदा किया। उनका लक्ष्य यह देखना था कि कौन सी विधि उस "वास्तविक" अनिश्चितता के सबसे करीब त्रुटि का उत्पादन करती, जिसे वे जानते थे क्योंकि उनके पास तुलना करने के लिए पूरी सिम्युलेटेड जनसंख्या उपलब्ध थी।
जांच से पता चला कि सबसे अच्छा उपकरण इस बात पर बहुत अधिक निर्भर करता है कि आप क्या मापने की कोशिश कर रहे हैं और आपके नमूने का आकार क्या है। जब शोधकर्ताओं ने 'स्मूथ स्टैटिस्टिक्स' (सुचारू सांख्यिकी) को देखा, जैसे कि सभी छात्रों का औसत स्कोर, तो मानक विधियों ने बहुत अच्छा प्रदर्शन किया। इन मामलों में, जैकनीफ विधि, जो यह देखने के लिए कि परिणाम कैसे बदलते हैं, एक समय में स्कूलों के एक जोड़े को व्यवस्थित रूप से बाहर निकाल देती है, उच्चतम सटीकता प्रदर्शित करती है। इसने लगातार सबसे स्थिर अनुमान प्रदान किए, जिसका अर्थ है कि गणना की गई त्रुटि एक नमूने से दूसरे नमूने में बेतहाशा नहीं बदली। हालाँकि, कहानी तब बदल गई जब शोधकर्ताओं ने 'नॉन-स्मूथ स्टैटिस्टिक्स' (असुचारू सांख्यिकी) को देखा, जैसे कि औसत (मीडियन) स्कोर या किसी विशिष्ट बेंचमार्क तक पहुँचने वाले छात्रों का प्रतिशत। इस प्रकार के नंबर अधिक ऊबड़-खाबड़ और पकड़ में आने में कठिन होते हैं। यहाँ, बैलेंस्ड रिपीटेड रेप्लिकेशन विधि, जो डेटा के उपसमूह बनाने के लिए एक अलग गणितीय संतुलन का उपयोग करती है, और बूटस्ट्रैपिंग विधि, जो प्रतिस्थापन (रिप्लेसमेंट) के साथ डेटा को पुन: नमूना लेती है, जैकनीफ से बेहतर प्रदर्शन करती है। उन्होंने इन कठिन सांख्यिकी के लिए त्रुटि के अधिक सटीक अनुमान प्रदान किए।
अध्ययन का एक महत्वपूर्ण हिस्सा उन समायोजनों पर केंद्रित था जो शोधकर्ता वास्तविक दुनिया की जटिलताओं, जैसे कि जब कोई स्कूल सर्वेक्षण से हट जाता है या जब एक समूह में स्कूलों की संख्या विषम होती है, को संभालने के लिए करते हैं। 'फेय मॉडिफिकेशन' (Fay modification) के रूप में जाना जाने वाला एक सामान्य समायोजन, गणनाओं को सुचारू बनाने के लिए किया जाता है। शोधकर्ताओं ने पाया कि जबकि यह समायोजन कुछ विधियों के लिए सहायक है, यदि इसे बहुत आक्रामक रूप से लागू किया जाए तो यह दूसरों के लिए चीज़ों को बदतर बना सकता है। विशेष रूप से, 50 प्रतिशत का उच्च समायोजन कारक उपयोग करना, जो कुछ प्रमुख अंतरराष्ट्रीय रिपोर्टों में आम है, कुछ सांख्यिकी के लिए त्रुटि को बढ़ा देता है। अध्ययन ने सुझाव दिया कि लगभग 10 या 30 प्रतिशत का हल्का समायोजन अक्सर बेहतर परिणाम देता है, जो अनावश्यक शोर पेश किए बिना अनुमानों को सत्य के करीब रखता है। इसके अलावा, शोधकर्ताओं ने यह भी जांचा कि क्या "पूर्ण" जैकनीफ संस्करण चलाने के लिए अतिरिक्त कंप्यूटर समय खर्च करना सार्थक है, जो "हाफ" (आधे) संस्करण की तुलना में दोगुना उपसमूह बनाता है। उन्होंने पाया कि अतिरिक्त प्रयास से सटीकता में बहुत अधिक लाभ नहीं हुआ; सरल "हाफ" संस्करण अधिकांश उद्देश्यों के लिए उतना ही अच्छा था, जो विश्वसनीयता से समझौता किए बिना महत्वपूर्ण कंप्यूटिंग संसाधनों को बचाने का एक तरीका प्रदान करता है।
अध्ययन ने लापता डेटा (मिसिंग डेटा) को संभालने के संबंध में शोधकर्ताओं द्वारा किए जाने वाले समायोजन के एक महत्वपूर्ण मुद्दे पर भी प्रकाश डाला। जब स्कूल भाग नहीं लेते हैं, तो शेष स्कूलों को गणना के लिए कैसे समूहीकृत किया जाता है, यह अत्यंत महत्वपूर्ण होता है। एक दृष्टिकोण मूल समूहों को वैसा ही रखता है जैसा कि वे नियोजित थे, भले ही एक स्कूल गायब हो, जबकि दूसरा दृष्टिकोण नए जोड़े बनाने के लिए शेष स्कूलों को पुनर्गठित करता है। सिमुलेशन ने दिखाया कि जब एक स्कूल गायब होता है तो मूल समूहों को बनाए रखने से त्रुटि का गंभीर रूप से कम आकलन हो सकता है, जिससे परिणाम वास्तव में जितने सटीक हैं उससे कहीं अधिक सटीक दिखाई देते हैं। इसके विपरीत, पुनर्गठन करने का एक अलग तरीका त्रुटि के अधिक आकलन (ओवरएस्टिमेशन) की ओर ले जा सकता है। शोधकर्ताओं ने पाया कि भाग लेने वाले स्कूलों को नए समूह बनाने के लिए पुन: जोड़ने (री-पेयरिंग) की मानक प्रक्रिया ने आम तौर पर अधिक विश्वसनीय परिणाम दिए, हालांकि इन अंतरालों को संभालने के लिए उपयोग की जाने वाली विशिष्ट पद्धति को भ्रामक निष्कर्षों से बचने के लिए सावधानीपूर्वक ध्यान देने की आवश्यकता है।
अंततः, यह शोध इन सांख्यिकीय विकल्पों को समझने के लिए एक स्पष्ट मानचित्र प्रदान करता है। यह सुझाव देता है कि बड़े पैमाने के मूल्यांकन के लिए, हर स्थिति के लिए कोई एक "सर्वश्रेष्ठ" विधि नहीं है। यदि लक्ष्य एक बड़े समूह के औसत प्रदर्शन का अनुमान लगाना है, तो जैकनीफ विधि एक मजबूत और कुशल विकल्प है। यदि ध्यान पर्सेंटाइल्स या विशिष्ट बेंचमार्क पर है, तो बैलेंस्ड रिपीटेड रेप्लिकेशन या बूटस्ट्रैपिंग विधियाँ बेहतर हो सकती हैं। अध्ययन कंप्यूटिंग भार को कम करने के लिए एक व्यावहारिक सिफारिश भी देता है: जैकनीफ का सरल "हाफ" संस्करण अधिकांश आवश्यकताओं के लिए पर्याप्त है, जो शोधकर्ताओं को मामूली लाभ के लिए अपना कंप्यूटिंग समय दोगुना करने की आवश्यकता से बचाता है। यह समझकर कि किस काम के लिए कौन सा उपकरण सबसे अच्छा काम करता है, और लापता डेटा को संभालने के प्रति सतर्क रहकर, वैश्विक परीक्षण चलाने वाले संगठन यह सुनिश्चित कर सकते हैं कि उनके द्वारा प्रकाशित संख्याएँ लाखों छात्रों की शिक्षा को मापने में निहित अनिश्चितता को वास्तव में दर्शाती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।