Measurement-bounded predictive inference in international large-scale assessment: how the plausible-value ceiling governs attainable accuracy and the stability of predictor rankings in PISA 2022
यह अध्ययन प्रदर्शित करता है कि PISA 2022 के संभाव्य मूल्यों (plausible values) में निहित मापन परिशुद्धता की सीमा (measurement precision ceiling) मौलिक रूप से प्राप्त करने योग्य भविष्य कहनेवाला सटीकता को सीमित करती है और विभिन्न डोमेन एवं शिक्षा प्रणालियों में भविष्यवक्ता रैंकिंग को अस्थिर करती है, जिससे यह आवश्यक हो जाता है कि प्रदर्शन तुलना और मॉडल व्याख्याएँ इन गणनीय मापन सीमाओं पर आधारित हों।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हर साल, दुनिया भर में लाखों किशोर एक विशाल परीक्षा देते हैं जिसे PISA कहा जाता है, जिसे यह देखने के लिए डिज़ाइन किया गया है कि वे गणित, पढ़ने और विज्ञान को कितनी अच्छी तरह समझते हैं। इन परिणामों का उपयोग सरकारें और शिक्षक यह आंकने के लिए करते हैं कि कौन से स्कूल और देश सबसे अच्छा काम कर रहे हैं। हाल के वर्षों में, शोधकर्ताओं ने इन परीक्षण अंकों का उपयोग कंप्यूटर मॉडल बनाने के लिए करना शुरू कर दिया है जो छात्र की पृष्ठभूमि, जैसे कि उनके परिवार की आय, उनके घर में मौजूद किताबें, या उनके स्कूल के वातावरण के आधार पर उनकी सफलता की भविष्यवाणी करने की कोशिश करते हैं। ये अध्ययन अक्सर सबसे महत्वपूर्ण कारकों की एक रैंक वाली सूची प्रस्तुत करते हैं, जो यह सुझाव देते हैं कि यदि हम स्कोर में सुधार करना चाहते हैं, तो हमें उस सूची के शीर्ष मदों पर ध्यान केंद्रित करना चाहिए। हालाँकि, इस दृष्टिकोण के साथ एक छिपी हुई समस्या है। इन अध्ययनों में उपयोग किए जाने वाले परीक्षण स्कोर छात्र की क्षमता का सीधा अवलोकन नहीं हैं। इसके बजाय, वे सांख्यिकीय अनुमान हैं, जिन्हें प्रत्येक छात्र के लिए संभावनाओं के एक समूह से दस अलग-अलग संभावित संख्याओं को खींचकर बनाया गया है। क्योंकि ये संख्याएँ अनुमान हैं, इनमें एक निश्चित मात्रा में अंतर्निहित शोर (noise), या अनिश्चितता होती है, जिसे कोई भी डेटा कभी भी खत्म नहीं कर सकता। यह अनिश्चितता किसी भी मॉडल द्वारा छात्र के प्रदर्शन की भविष्यवाणी करने की सटीकता पर एक कठिन सीमा लगा देती है, और यह सीमा परीक्षण किए जा रहे विषय और उस देश के आधार पर बदलती रहती है जहाँ परीक्षण किया गया है।
जोनास मंडलुन्स का एक नया अध्ययन ठीक इसी बात की जांच करता है कि यह छिपा हुआ शोर हमारी इन विशाल परीक्षणों से सीखने की क्षमता को कितना सीमित करता है। शोधकर्ता ने 2022 PISA चक्र के अंतर्राष्ट्रीय डेटाबेस का उपयोग किया, जिसमें 80 विभिन्न शिक्षा प्रणालियों के 6,000,000 से अधिक छात्रों का डेटा शामिल है। अध्ययन ने चार क्षेत्रों पर ध्यान केंद्रित किया: गणित, पढ़ना, विज्ञान और एक नया जुड़ाव जिसे रचनात्मक सोच (creative thinking) कहा जाता है। मुख्य प्रश्न सरल था: एक छात्र के स्कोर को एक कंप्यूटर मॉडल वास्तव में कितना समझा सकता है, और क्या यह सीमा उन कारकों की सूची को बदल देती है जो सबसे अधिक महत्वपूर्ण लगते हैं। इसका उत्तर देने के लिए, शोधकर्ता ने प्रत्येक विषय के लिए प्रत्येक देश में एक "सीलिंग" (छत/सीमा) की गणना की। यह सीलिंग उस अधिकतम संभव सटीकता का प्रतिनिधित्व करती है जो कोई भी भविष्यवाणी मॉडल कभी प्राप्त कर सकता है, केवल इसलिए क्योंकि परीक्षण स्कोर स्वयं पूर्ण नहीं हैं। अध्ययन में पाया गया कि यह सीलिंग बहुत भिन्न होती है। रचनात्मक सोच के लिए, देश के आधार पर यह सीमा लगभग 65 प्रतिशत से लेकर लगभग 90 प्रतिशत तक थी। गणित के लिए, यह सीमा कम लेकिन फिर भी विविध थी, जो लगभग 81 प्रतिशत से 93 प्रतिशत के बीच थी। इसका अर्थ है कि कुछ स्थानों पर, कोई भी मॉडल छात्र के स्कोर के अंतरों को दो-तिहाई से अधिक नहीं समझा सकता, जबकि अन्य स्थानों में, यह सीमा बहुत अधिक है।
अध्ययन ने आगे यह देखने के लिए काम किया कि क्या यह सीमा स्कोर को प्रभावित करने वाले कारकों की रैंकिंग को प्रभावित करती है। शोधकर्ता ने बार-बार एक ही कंप्यूटर मॉडल चलाए, और हर बार छात्रों के दस अलग-अलग स्कोर अनुमानों में से एक का उपयोग किया। सबसे सटीक रूप से मापे गए विषयों में, शीर्ष कारकों की सूची काफी हद तक समान रही। लेकिन कम सटीक विषयों, जैसे कि रचनात्मक सोच में, सूची नाटकीय रूप से बदल गई। जब शोधकर्ता ने एक स्कोर अनुमान से दूसरे में बदलाव किया, तो सूची के शीर्ष पांच कारकों में से 40 प्रतिशत से अधिक आपस में बदल गए। इसका मतलब है कि एक एकल सूची जो "सबसे महत्वपूर्ण" कारकों की रिपोर्ट करती है, वह अनिवार्य रूप से एक बहुत व्यापक, परिवर्तनशील वास्तविकता का केवल एक यादृच्छिक स्नैपशॉट दिखा रही है। यदि शोधकर्ता ने एक अलग स्कोर अनुमान चुना होता, तो वे निष्कर्ष निकाल सकते थे कि छात्रों की सफलता को संचालित करने वाले कारकों का एक पूरी तरह से अलग सेट था।
एक अन्य महत्वपूर्ण निष्कर्ष डेटा को विभाजित करने के तरीके से संबंधित था। कई अध्ययन प्रशिक्षण (training) और परीक्षण (testing) समूहों में विभिन्न स्कूलों के छात्रों को यादृच्छिक रूप से मिला देते हैं। नए शोध ने दिखाया कि यह विधि सटीकता का एक झूठा आभास पैदा करती है। क्योंकि एक ही स्कूल के छात्र एक जैसे होते हैं, एक मॉडल जो प्रशिक्षण के दौरान एक विशिष्ट स्कूल के छात्रों को देखता है, वह छात्रों के बारे में सीखने के बजाय उस स्कूल के विशिष्ट पैटर्न को सीख सकता है। जब शोधकर्ता ने मॉडल को प्रशिक्षण और परीक्षण के दौरान पूरे स्कूलों को अलग रखने के लिए मजबूर किया, तो अनुमानित सटीकता काफी कम हो गई। कुछ मामलों में, यह गिरावट बहुत बड़ी थी, जिससे पता चला कि पिछले अध्ययनों ने अपने परिणामों को 0.36 अंक तक बढ़ा दिया था क्योंकि उन्होंने स्कूल की संरचना को ध्यान में नहीं रखा था। इस वृद्धि का आकार अध्ययन में शामिल स्कूलों की संख्या पर निर्भर था, न कि उपयोग किए गए कंप्यूटर मॉडल की जटिलता पर।
अध्ययन ने यह भी देखा कि विषयों के बीच स्कोर की सटीकता इतनी भिन्न क्यों थी। इसने पाया कि जिस परीक्षण में खुले प्रश्नों (open-ended answers) को स्कोर करने के लिए मानव ग्रेडर्स पर अधिक निर्भरता होती है, वहां स्कोर कम सटीक होते हैं, विशेष रूपकर बहुत बड़े देशों में। रचनात्मक सोच, जिसे पूरी तरह से लिखित प्रतिक्रियाओं को पढ़ने वाले मनुष्यों द्वारा स्कोर किया गया था, ने सटीकता की सबसे व्यापक भिन्नता दिखाई। इसके विपरीत, गणित, जिसे ज्यादातर मशीनों द्वारा स्कोर किया जाता है, अधिक सुसंगत था। यह सुझाव देता है कि परीक्षण का प्रशासन और स्कोरिंग का तरीका, परीक्षण के प्रश्नों के समान ही महत्वपूर्ण है जब यह देखा जाता है कि हम परिणामों से कितना सीख सकते हैं।
इन निष्कर्षों के निहितार्थ शिक्षा डेटा को समझने वाले किसी भी व्यक्ति के लिए स्पष्ट हैं। आप एक देश के मॉडल की तुलना दूसरे देश के मॉडल से, या एक विषय के मॉडल की तुलना दूसरे विषय के मॉडल से नहीं कर सकते, जब तक कि आप उस विशिष्ट संदर्भ के लिए सटीकता की सीलिंग (precision ceiling) को न जानते हों। एक ऐसा मॉडल जो एक कम सीलिंग वाले देश में 45 प्रतिशत के विचरण (variance) की व्याख्या करता है, वह वास्तव में काफी अच्छा प्रदर्शन कर रहा है, जो ज्ञात होने योग्य अधिकांश चीजों को पकड़ रहा है। उच्च सीलिंग वाले देश में वही मॉडल खराब प्रदर्शन कर सकता है, जो अनस्पष्ट सिग्नल को छोड़ देता है। इसके अलावा, इन परीक्षणों से प्राप्त महत्वपूर्ण कारकों की किसी भी सूची को सावधानी के साथ लिया जाना चाहिए। क्योंकि स्कोर अनुमान के उपयोग के आधार पर रैंकिंग बहुत बदल जाती है, इसलिए एक एकल सूची एक स्थिर तथ्य नहीं बल्कि एक अस्थायी वास्तविकता है। अध्ययन का निष्कर्ष है कि शोधकर्ताओं को अपने परिणामों के साथ हमेशा सटीकता की सीलिंग की रिपोर्ट करनी चाहिए और अपने मॉडलों का परीक्षण सभी संभावित स्कोर अनुमानों पर करना चाहिए ताकि यह देखा जा सके कि क्या उनके निष्कर्ष कायम रहते हैं। इन जाँचों के बिना, शिक्षा नीति का मार्गदर्शन करने वाली रैंकिंग और तुलनाएं ठोस साक्ष्य के बजाय सांख्यिकीय शोर की नींव पर बनी हो सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।