When the adjustment fails: population-denominator sensitivity in coverage-adjusted PISA trends

हर कुछ वर्षों में, दुनिया भर के क्लासरूम में एक विशाल वैश्विक प्रयोग आयोजित किया जाता है। लाखों की संख्या में पंद्रह वर्ष के किशोर गणित, पढ़ने और विज्ञान के समान परीक्षणों में बैठने के लिए बैठते हैं। यह 'प्रोग्राम फॉर इंटरनेशनल स्टूडेंट असेसमेंट' (PISA) है। इसके परिणाम केवल स्कूलों के रिपोर्ट कार्ड मात्र नहीं हैं; वे इस बात का एक स्नैपशॉट हैं कि देश के युवा भविष्य के लिए कितने अच्छी तरह तैयार हैं। क्योंकि ये परीक्षण चक्रों (cycles) में होते हैं, इसलिए शोधकर्ता पीछे मुड़कर देख सकते हैं कि कोई देश समय के साथ बेहतर हो रहा है या बदतर। लेकिन इस तुलना में एक छिपा हुआ जटिल मुद्दा है। जो छात्र यह परीक्षण देते हैं, वे एक वर्ष से दूसरे वर्ष तक जनसंख्या का एक जैसा हिस्सा नहीं होते हैं। कुछ देशों में, यह परीक्षण लगभग हर पंद्रह वर्षीय तक पहुँच सकता है, जबकि अन्य में, यह केवल आबादी के एक छोटे से अंश तक ही सीमित हो सकता है। जब छात्रों का समूह बदल जाता है, तो औसत स्कोर केवल इसलिए बदल सकता है क्योंकि लोगों का मिश्रण बदल गया है, न कि इसलिए कि छात्रों ने अधिक या कम सीखा है। इसे ठीक करने के लिए, परीक्षण आयोजित करने वाली संस्था एक विशेष गणितीय समायोजन (adjustment) का उपयोग करती है। यह अनुमान लगाने का प्रयास करता है कि शीर्ष प्रदर्शन करने वाले छात्रों का स्कोर क्या होता यदि परीक्षण देश के हर एक पंद्रह वर्षीय तक पहुँच पाता, न कि केवल उन तक जो उपस्थित हुए। यह समायोजित संख्या विभिन्न वर्षों और विभिन्न देशों के बीच प्रगति की तुलना करने का एक निष्पक्ष तरीका मानी जाती है।

दो शोधकर्ताओं, जोनास ए. मंडलुनेस और डानिका जेन एस. मंडलुनेस ने यह देखने का निर्णय किया कि यह समायोजन वास्तव में कितना नाजुक है। उन्होंने सबसे महत्वपूर्ण हिस्से पर ध्यान केंद्रित किया: प्रत्येक देश में पंद्रह वर्ष के किशोरों की कुल संख्या। यह संख्या 'डिनोमिनेटर' (denominator), या भिन्न के निचले भाग के रूप में कार्य करती है जो यह निर्धारित करती है कि समायोजन कितना बड़ा होना चाहिए। शोधकर्ताओं ने एक सरल लेकिन गहन प्रश्न पूछा: क्या होता है यदि आप उस निचले नंबर को बदल दें? उन्होंने यह धारणा नहीं बनाई कि जनसंख्या डेटा का एक स्रोत पूर्ण है और दूसरा गलत। इसके बजाय, उन्होंने पंद्रह वर्ष के किशोरों को गिनने के दो अलग-अलग तरीकों को दो अलग-अलग परिदृश्यों के रूप में माना। एक परिदृश्य में वे संख्याएँ थीं जो राष्ट्रीय सरकारों ने आधिकारिक तौर पर परीक्षण आयोजकों को सौंपी थीं। दूसरे परिदृश्य में संयुक्त राष्ट्र के जनसंख्या वृद्धि के एक व्यापक रूप से सम्मानित वैश्विक अनुमान का उपयोग किया गया था। पूरे रुझान विश्लेषण (trend analysis) को दो बार चलाने के बाद—एक बार आधिकारिक संख्याओं के साथ और एक बार वैश्विक अनुमानों के साथ—वे देख सके कि देश की प्रगति की कहानी किस प्रकार बदली।

शोधकर्ताओं ने 2018 से 2022 के बीच सत्तर-तीन अर्थव्यवस्थाओं के डेटा का अध्ययन किया। उन्होंने पाया कि परीक्षण आयोजकों द्वारा उपयोग की जाने वाली पंद्रह वर्ष के किशोरों की आधिकारिक गणना कई स्थानों पर काफी बदल गई थी। औसतन, दोनों वर्षों के बीच कवरेज दर में अंतर लगभग दो प्रतिशत अंक था, लेकिन कुछ मामलों में, यह परिवर्तन बहुत बड़ा था, जो एक दिशा में सत्ताईस अंकों तक और दूसरी दिशा में पैंतालीस अंकों तक घूम गया था। जब उन्होंने यह पता लगाया कि ये संख्याएँ क्यों बदलीं, तो उन्होंने पाया कि अधिकांश मामलों में, यह बदलाव स्वयं सर्वेक्षण से आया था—अर्थात, परीक्षण नामांकित छात्रों के एक अलग हिस्से तक पहुँचा—न कि वास्तव में स्कूल में नामांकित छात्रों की संख्या में बदलाव के कारण। यह अंतर महत्वपूर्ण है क्योंकि इसका अर्थ है कि बढ़ता हुआ स्कोर यह नहीं दर्शाता कि अधिक बच्चे स्कूल जा रहे हैं; इसका अर्थ केवल यह हो सकता है कि परीक्षण उन तक पहुँचने वाले एक अलग समूह तक पहुँचा है।

सबसे चौंकाने वाला निष्कर्ष यह था कि अंतिम रुझान इस डिनोमिनेटर के प्रति कितने संवेदनशील थे। जब शोधकर्ताओं ने आधिकारिक जनसंख्या गणना को संयुक्त राष्ट्र के अनुमान के साथ बदला, तो अनुमानित टेस्ट स्कोर नाटकीय रूप से बदल गया। गणित में, दोनों परिदृश्यों के बीच औसत अंतर लगभग 3.4 अंक था। पढ़ने में, यह 3.5 अंक था और विज्ञान में, यह 3.4 अंक था। इसे समझने के लिए, परीक्षण आयोजक एक मानक "लिंक एरर" (link error) मान प्रकाशित करते हैं ताकि पाठक उनके रुझानों में अनिश्चितता के मार्जिन को समझ सकें। गणित के लिए, वह मान 2.24 अंक है। केवल जनसंख्या गणना बदलने से होने वाला अंतर साठ-नौ में से अड़तीस देशों में इस मानक त्रुटि मार्जिन से अधिक था। पढ़ने में, यह बावन देशों में और विज्ञान में, इक्यावन देशों में इस मार्जिन से अधिक था। इसका अर्थ है कि अध्ययन किए गए अधिकांश देशों के लिए, यह चुनाव कि किस जनसंख्या संख्या का उपयोग किया जाए, परीक्षण के साथ जुड़ी सांख्यिकीय अनिश्चितता से अधिक महत्वपूर्ण था।

शोधकर्ताओं ने यह भी जांचा कि क्या होता है जब गणित एक सीमा (wall) से टकराता है। समायोजन प्रक्रिया यह मानती है कि परीक्षण देश में वास्तव में मौजूद छात्रों की तुलना में कम छात्रों तक पहुँचा है। लेकिन कुछ विशिष्ट मामलों में, गणित ने सुझाव दिया कि परीक्षण आधिकारिक जनसंख्या गणना से अधिक छात्रों तक पहुँच गया है। जब ऐसा हुआ, तो प्रक्रिया को एक विशेष सुधार करना पड़ा: इसने अतिरिक्त भार (weight) को शून्य पर सेट कर दिया और उन छात्रों के कच्चे स्कोर (raw score) की रिपोर्ट की जिन्होंने परीक्षण दिया था, जिससे प्रभावी रूप से समायोजन बंद हो गया। यह कोरिया और आयरलैंड जैसे देशों में 2022 में हुआ। शोधकर्ताओं ने दिखाया कि समायोजित स्कोर से कच्चे स्कोर में यह बदलाव डेटा में एक अचानक टूट पैदा करता है। यह एक सहज संक्रमण नहीं है; यह एक कठोर विराम है जहाँ पद्धति पूरी तरह से बदल जाती है। उन्होंने यह भी नोट किया कि कुछ मामलों में, आधिकारिक जनसंख्या गणना उन छात्रों की संख्या से अधिक थी जिन्हें परीक्षण ने तक पहुँचा होने का दावा किया था, जो कि असंभव होना चाहिए यदि परिभाषाएँ पूरी तरह से संरेखित होतीं, जिससे पता चलता है कि "पंद्रह वर्षीय" या "नामांकित" कौन है, इसकी परिभाषाएँ परीक्षण आयोजकों और जनसंख्या सांख्यिकीविदों के बीच भिन्न हो सकती हैं।

अध्ययन ने यह निष्कर्ष नहीं निकाला कि एक जनसंख्या गणना सत्य है और दूसरी गलती। शोधकर्ता इस बात पर सावधानी बरतने में सक्षम रहे कि न तो आधिकारिक सरकारी संख्याएँ और न ही संयुक्त राष्ट्र के अनुमान पूर्ण सत्य हैं। आधिकारिक संख्याओं में अक्सर इस बारे में विवरणों की कमी होती है कि गणना वास्तव में कब की गई थी या "निवासी" की विशिष्ट परिभाषा क्या थी। वैश्विक अनुमान मान्यताओं पर आधारित मॉडल हैं। मुख्य समस्या यह है कि अंतिम रुझान स्कोर एक ऐसी संख्या पर अत्यधिक निर्भर है जो पूरी तरह से स्पष्ट या सुसंगत नहीं है। शोधकर्ताओं ने पाया कि जब उन्होंने क्षेत्रीय विवादों या असंगत रिकॉर्ड वाले देशों को हटाकर डेटा को साफ करने का प्रयास किया, तब भी अंतर बना रहा। दोनों परिदृश्यों के बीच का अंतर गायब नहीं हुआ; यह केवल थोड़ा बदल गया। यह सुझाव देता है कि यह संवेदनशीलता वर्तमान पद्धति की एक मौलिक विशेषता है, न कि केवल अव्यवस्थित डेटा का परिणाम।

अंत में, शोधकर्ता तर्क देते हैं कि इन रुझानों को रिपोर्ट करने के तरीके को इस अनिश्चितता के बारे में अधिक ईमानदार होने की आवश्यकता है। वे अनुशंसा करते हैं कि परीक्षण आयोजकों को ठीक से बताना चाहिए कि जनसंख्या संख्याएँ कहाँ से आती हैं, जिसमें तारीख और विशिष्ट परिभाषा शामिल हो। वे सुझाव देते हैं कि हर बार जब कोई रुझान रिपोर्ट किया जाए, तो उसके साथ एक सीमा (range) होनी चाहिए जो यह दिखाए कि यदि किसी अन्य, उचित जनसंख्या गणना का उपयोग किया जाए तो परिणाम क्या होगा। यह सांख्यिकीय अर्थों में आत्मविश्वास अंतराल (confidence interval) नहीं होगा, बल्कि यह एक स्पष्ट कथन होगा कि परिणाम डिनोमिनेटर पर कितना निर्भर करता है। अंत में, वे प्रस्ताव करते हैं कि यदि गणित विफल हो जाता है क्योंकि संख्याएँ मेल नहीं खाती हैं, तो समायोजित स्कोर को चुपचाप ठीक या छिपाया नहीं जाना चाहिए; इसे फ्लैग किया जाना चाहिए और इनपुट के मिलान होने तक रोक दिया जाना चाहिए। अध्ययन दिखाता है कि देशों के सुधार या गिरावट की कहानी वास्तविक है, लेकिन उस कहानी को बताने के लिए उपयोग किए जाने वाले विशिष्ट अंक दिखने में जितने सटीक लगते हैं, उससे कहीं अधिक नाजुक हैं। रुझान मौजूद हैं, लेकिन उनकी सटीक मात्रा उस संख्या के चुनाव से जुड़ी हुई है जो वर्तमान में अंधेरे में लिया जाता है।