One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
यह अध्ययन 700 कृत्रिम विश्वविद्यालयों के एक पुनरुत्पादनीय मोंटे कार्लो सिमुलेशन का उपयोग करके यह प्रदर्शित करता है कि ओपनएलेक्स (OpenAlex), स्कोपस (Scopus) और वेब ऑफ साइंस (Web of Science) में संस्थागत रैंकिंग कवरेज और उद्धरण स्केलिंग जैसे डेटाबेस-विशिष्ट तंत्रों के कारण महत्वपूर्ण रूप से भिन्न होती है, जो यह प्रकट करता है कि उच्च प्रणाली-स्तरीय सामंजस्य, परिणामी संस्थागत स्तर की रैंक अस्थिरता और क्षेत्रीय पूर्वाग्रहों को छिपा देता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हर साल, दुनिया भर के विश्वविद्यालयों को एक एकल स्तंभ में, पहले से लेकर अंतिम तक, इस तरह कतारबद्ध किया जाता है जैसे कि उनकी स्थिति किसी पर्वत की ऊँचाई की तरह एक निश्चित तथ्य हो। यह अभ्यास उन विशाल डिजिटल पुस्तकालयों पर निर्भर करता है जो लाखों शोध पत्रों, उद्धरणों (साइटेशन्स) और लेखकों के नामों को संग्रहीत करते हैं। ये पुस्तकालय, जिन्हें अक्सर डेटाबेस कहा जाता है, वे उपकरण हैं जिनका उपयोग शोधकर्ता यह गिनने के लिए करते हैं कि एक विश्वविद्यालय कितना उत्पादन करता है और उसके काम को दूसरों द्वारा कितनी बार पढ़ा जाता है। इन रैंकिंग के पीछे की धारणा यह है कि यदि आप एक ही विश्वविद्यालय को दो अलग-अलग पुस्तकालयों में गिनते हैं, तो आपको लगभग एक ही परिणाम प्राप्त होगा। हालाँकि, वास्तविकता यह है कि किसी भी दो पुस्तकालयों में काम का संग्रह बिल्कुल समान नहीं होता है। एक में अंग्रेजी के अलावा अन्य भाषाओं में लिखे गए अधिक शोध पत्र शामिल हो सकते हैं, जबकि दूसरा विशिष्ट वैज्ञानिक क्षेत्रों पर अधिक ध्यान केंद्रित कर सकता है या कॉन्फ्रेंस प्रोसीडिंग्स जैसे कुछ प्रकार के दस्तावेजों को बाहर कर सकता है। क्योंकि शोध पत्रों की प्रारंभिक सूची अलग होती है, इसलिए अंतिम गणना और परिणामी रैंक नाटकीय रूप रूप से बदल सकती है, भले ही उस विश्वविद्यालय ने अपने शोध आउटपुट में कोई बदलाव न किया हो।
मुस्तफा कय्याली नामक एक शोधकर्ता यह समझने के लिए आगे बढ़े कि ये अंतर वास्तव में कितने मायने रखते हैं। वर्तमान रैंकिंग को ठीक करने या वास्तविक विश्वविद्यालयों की तुलना करने के बजाय, उन्होंने इस प्रणाली के तंत्र का परीक्षण करने के लिए एक कंप्यूटर सिमुलेशन बनाया। उन्होंने सात सौ कृत्रिम विश्वविद्यालयों वाला एक काल्पनिक संसार बनाया। प्रत्येक काल्पनिक संस्थान को एक अनूठी प्रोफ़ाइल दी गई थी, जिसमें उसका आकार, शोध की गुणवत्ता, उसकी भाषाएँ और विषयों का मिश्रण (जैसे चिकित्सा, इंजीनियरिंग या कला) शामिल था। फिर उन्होंने तीन अलग-अलग डिजिटल पुस्तकालयों को उन्हीं विश्वविद्यालयों के इस समूह को "देखने" के लिए प्रोग्राम किया। इन पुस्तकालयों को वास्तविक दुनिया की प्रणालियों के ज्ञात व्यवहारों की नकल करने के लिए डिज़ाइन किया गया था: एक व्यापक और समावेशी था, दूसरा बीच का था, और तीसरा अधिक चयनात्मक और सख्त था। लक्ष्य यह देखना नहीं था कि कौन सा पुस्तकालय सबसे अच्छा है, बल्कि यह देखना था कि किस पुस्तकालय का उपयोग करके मापने पर एक ही विश्वविद्यालय की रैंकिंग में कितना उतार-चढ़ाव आता है।
परिणामों ने एक आश्चर्यजनक विरोधाभास दिखाया। जब शोधकर्ता ने समग्र सूची को देखा, तो विभिन्न पुस्तकालयों की रैंकिंग एक-दूसरे के साथ बहुत अच्छी तरह से सहमत होती दिखी। विश्वविद्यालयों का क्रम एक साथ इस तरह से चला जैसे कि उनके बीच एक मजबूत संबंध हो। हालाँकि, जब उन्होंने व्यक्तिगत विश्वविद्यालयों को देखा, तो तस्वीर पूरी तरह बदल गई। एक विश्वविद्यालय जो एक पुस्तकालय में शीर्ष एक सौ में दिखाई देता था, वह दूसरे में दर्जनों स्थान नीचे गिर सकता था। औसतन, सबसे समावेशी पुस्तकालय और सबसे चयनात्मक पुस्तकालय के बीच एक विश्वविद्यालय लगभग इकतालीस स्थानों तक खिसक गया। इसका अर्थ यह था कि लगभग अठारह विश्वविद्यालयों ने केवल 'पर्यवेक्षक' के बदलने के कारण शीर्ष एक सौ की सीमा को पार किया या उससे बाहर निकल गए। उच्च समग्र सहमति एक बड़ी अस्थिरता को छिपा रही थी जो विशिष्ट संस्थानों के लिए मौजूद थी।
अध्ययन ने यह भी खुलासा किया कि ये उतार-चढ़ाव यादृच्छिक (रैंडम) नहीं थे। वे एक स्पष्ट पैटर्न का पालन करते थे जो विश्वविद्यालय के स्थान और उसकी भाषा के उपयोग पर आधारित था। ग्लोबल साउथ के विश्वविद्यालय, या वे जिन्होंने अंग्रेजी के अलावा अन्य भाषाओं में अपने कार्य का एक महत्वपूर्ण हिस्सा प्रकाशित किया था, व्यापक और समावेशी पुस्तकालय में बहुत उच्च रैंक प्राप्त करते थे। अधिक चयनात्मक पुस्तकालय में, इन्हीं संस्थानों की रैंकिंग में काफी गिरावट आई। इसके विपरीत, अन्य क्षेत्रों के विश्वविद्यालयों की रैंकिंग अक्सर तब गिर जाती थी जब पुस्तकालय अधिक समावेशी हो जाता था। ऐसा इसलिए हुआ क्योंकि रैंकिंग प्रणाली एक 'जीरो-सम गेम' (zero-sum game) है; यदि एक समूह ऊपर जाता है क्योंकि उसके अधिक काम को गिना जा रहा है, तो दूसरे समूह को नीचे जाना ही होगा। सिमुलेशन ने दिखाया कि बदलाव की दिशा पूरी तरह से पुस्तकालय में निर्मित नियमों पर निर्भर थी, न कि वास्तविक शोध की गुणवत्ता पर।
इन अंतरालों के कारणों को समझने के लिए, शोधकर्ता ने अंतरों को चार मुख्य कारणों में विभाजित किया: कितने शोध पत्र मिले, विश्वविद्यालय का नाम उसके शोध पत्रों से कितनी अच्छी तरह जुड़ा था, उद्धरणों (साइटेशन्स) को कैसे गिना गया, और डेटा में रैंडिक त्रुटियाँ। सबसे बड़ा कारक 'कवरेज' था, या सरल शब्दों में, पुस्तकालय कितने शोध पत्र खोजने में सक्षम रहा। इस एक कारक ने रैंकिंग के अंतर को लगभग दो-तिहाई तक समझाया। विश्वविद्यालयों को उनके शोध पत्रों से जोड़ने का तरीका एक छोटा कारक था, और कुछ मामलों में, लिंकिंग को ठीक करने से वास्तव में असहमति थोड़ी बेहतर होने के बजाय और खराब हो गई। अध्ययन ने निष्कर्ष निकाला कि यह भिन्नता बेहतर गिनती द्वारा ठीक की जाने वाली गलती नहीं थी, बल्कि विभिन्न स्रोतों का उपयोग करने का एक मौलिक गुण था।
यह शोध प्रबंध तर्क देता है कि किसी विश्वविद्यालय की रैंक के लिए एक एकल संख्या बताना भ्रामक है क्योंकि यह उस संख्या के पीछे की अनिश्चितता को छिपा देता है। एक विश्वविद्यालय एक प्रणाली में सैंतालीसवें स्थान पर और दूसरी में बावनवें स्थान पर हो सकता है, जो एक छोटा अंतर है, लेकिन वह एक में बासठवें और दूसरे में एक सौ इक्यासीवें स्थान पर भी हो सकता है। शोधकर्ता का सुझाव है कि एक एकल रैंक के बजाय, विश्वविद्यालयों को संभावित स्थितियों की एक सीमा (रेंज) के साथ दिखाया जाना चाहिए, साथ ही शीर्ष एक सौ में होने की संभावना भी बताई जानी चाहिए। यह दृष्टिकोण स्पष्ट करेगा कि एक विश्वविद्यालय की स्थिति एक मानचित्र पर एक निश्चित बिंदु नहीं है, बल्कि एक ऐसी स्थिति है जो उस लेंस के आधार पर बदलती रहती है जिससे उसे देखा जा रहा है। यह अध्ययन इस समस्या को हल करने का दावा नहीं करता है, बल्कि यह मापने का एक स्पष्ट तरीका प्रदान करता है कि डेटा स्रोत का चयन उत्तर को कितना बदल देता है, और यह आग्रह करता है कि इस अनिश्चितता को उन सभी के लिए दृश्यमान बनाया जाना चाहिए जो इन सूचियों का उपयोग करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।