AttribRank: An Open and Reproducible Framework for Diagnosing Attribution Sensitivity in Author-Level Research Assessment
यह अध्ययन एट्रिब रैंक (AttribRank) को प्रस्तुत करता है, जो एक ओपन-सोर्स पायथन फ्रेमवर्क है जो यह मात्रात्मक रूप से मापता है कि सहयोग नियमों और संकेतक प्रकारों जैसे मूल्यांकन विकल्पों के आधार पर लेखक-स्तरीय अनुसंधान रैंकिंग कैसे बदलती है, जिससे यह प्रकट होता है कि ये विविधताएं यादृच्छिक शोर के बजाय अनुशासनात्मक क्षेत्रों द्वारा संरचित हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक विज्ञान की दुनिया में, हम यह कैसे तय करते हैं कि सबसे महत्वपूर्ण शोधकर्ता कौन है? दशकों से, इसका उत्तर अक्सर संख्याओं पर आधारित रहा है: एक वैज्ञानिक ने कितने शोध पत्र लिखे हैं, और अन्य वैज्ञानिकों ने उन पत्रों को कितनी बार उद्धृत (cite) किया है। इन गणनाओं का उपयोग नियुक्ति, पदोन्नति और वित्त पोषण के बारे में जीवन बदलने वाले निर्णय लेने के लिए किया जाता है। लेकिन ये संख्याएँ पत्थर के वजन जैसे सरल तथ्य नहीं हैं; वे निर्मित सारांश हैं जो गणना के लिए उपयोग किए जाने वाले नियमों पर बहुत अधिक निर्भर करते हैं। यदि आप एक टीम के लेखकों के बीच श्रेय साझा करने के नियम को बदलते हैं, या यदि आप एक वैज्ञानिक द्वारा अपने स्वयं के कार्य को दिए गए उद्धरणों को अनदेखा करने का निर्णय लेते हैं, तो अंतिम स्कोर बदल सकता है। इसका अर्थ है कि एक शोधकर्ता की स्थिति मानचित्र पर एक निश्चित बिंदु नहीं है, बल्कि एक ऐसी स्थिति है जो उस लेंस के आधार पर बदलती रहती है जिससे उसे देखा जा रहा है। वैज्ञानिक समुदाय के सामने जो प्रश्न है वह केवल यह नहीं है कि शीर्ष पर कौन है, बल्कि यह है कि खेल के नियमों में बदलाव करने पर उनकी रैंकिंग कितनी बदल जाती है।
इसका उत्तर देने के लिए, शोधकर्ताओं की एक टीम ने 'एट्रीब-रैंक' (AttribRank) नामक एक नया उपकरण बनाया है, जिसे ठीक यह मापने के लिए डिज़ाइन किया गया है कि मूल्यांकन के नियम बदलने पर एक वैज्ञानिक की रैंकिंग कितनी डगमगाती है। एक वैज्ञानिक की कल्पना करें जो एक सीढ़ी पर खड़ा है; शोधकर्ता यह जानना चाहते थे कि यदि "चढ़ने" की परिभाषा थोड़ी बदल दी जाए, तो वह सीढ़ी के कितने पायदान ऊपर या नीचे खिसकेगा। उन्होंने सफलता को मापने के नए तरीके नहीं बनाए, बल्कि स्कोर को समायोजित करने के चार सामान्य तरीकों को लिया—एक टीम में श्रेय को कैसे विभाजित किया जाता है, स्व-उद्धरणों (self-citations) को कैसे संभाला जाता है, लेखकों के क्रम को कैसे भारित किया जाता है, और किस प्रकार के स्कोर का उपयोग किया जाता है—और उन्हें अत्यधिक उद्धृत वैज्ञानिकों के एक विशाल समूह पर लागू किया। इन विभिन्न नियम सेटों को अपने सॉफ़्टवेयर के माध्यम से चलाकर, वे देख सके कि प्रत्येक वैज्ञानिक की सापेक्ष स्थिति कितनी बदली। परिणाम यह था कि ये रैंकिंग वास्तव में कितनी नाजुक या स्थिर हैं, इसकी एक स्पष्ट तस्वीर मिली।
शोधकर्ताओं ने अपने ढांचे को दुनिया भर के 2,30,,000 से अधिक अत्यधिक उद्धृत वैज्ञानिकों के डेटाबेस पर लागू किया, जिसमें चिकित्सा से लेकर भौतिकी तक के विभिन्न क्षेत्र शामिल थे। उन्होंने पाया कि रैंकिंग वास्तव में उपयोग किए गए नियमों के प्रति संवेदनशील है। औसतन, नियम बदलने पर एक वैज्ञानिक की स्थिति लगभग दस पर्सेंटाइल (percentile) अंकों से खिसक गई। इसे समझने के लिए, यदि कोई शोधकर्ता नियमों के एक सेट के तहत अपने क्षेत्र के शीर्ष 10 प्रतिशत में था, तो वह दूसरे सेट के तहत शीर्ष 20 प्रतिशत में गिर सकता है, या इससे भी ऊपर उठ सकता है। यह कोई मामूली उतार-चढ़ाव नहीं है; यह रैंकिंग में एक गैर-तुच्छ (non-trivial) परिवर्तन है जो वास्तविक दुनिया के निर्णयों को प्रभावित कर सकता है। अध्ययन ने दिखाया कि ये बदलाव डेटा में यादृच्छिक शोर (random noise) या त्रुटियां नहीं हैं, बल्कि मूल्यांकन करने वाले लोगों द्वारा किए गए विकल्पों के संरचनात्मक परिणाम हैं।
सभी नियमों ने रैंकिंग में समान मात्रा में बदलाव नहीं किया। शोधकर्ताओं ने पाया कि स्व-उद्धरणों को बाहर करना—एक वैज्ञानिक द्वारा अपने पिछले कार्य को दिए गए उद्धरणों को हटाना—रैंकिंग में सबसे कम बदलाव का कारण बना। इसके विपरीत, सबसे बड़े बदलाव तब हुए जब शोधकर्ताओं ने एक मानक उद्धरण गणना से बदलकर एक अधिक जटिल, मिश्रित स्कोर का उपयोग किया जो कई अलग-अलग मेट्रिक्स को जोड़ता है। सह-लेखकों के बीच श्रेय साझा करने के तरीके को बदलना या पेपर पर लेखकों के क्रम की व्याख्या करने के तरीके को बदलने से भी महत्वपूर्ण हलचल हुई, हालांकि यह पूरे स्कोरिंग सिस्टम को बदलने से थोड़ा कम था। यह बताता है कि रैंकिंग को फिर से व्यवस्थित करने के मामले में समग्र स्कोर का चयन करना, स्व-उद्धरणों को फ़िल्टर करने के निर्णय की तुलना में अधिक महत्वपूर्ण है।
अध्ययन ने यह भी खुलासा किया कि ये बदलाव सभी के लिए एक समान नहीं हैं। एक वैज्ञानिक की रैंकिंग में होने वाला बदलाव काफी हद तक इस बात पर निर्भर करता है कि वह शोधकर्ता किस विशिष्ट वैज्ञानिक क्षेत्र में काम करता है। उदाहरण के लिए, भौतिकी और खगोल विज्ञान जैसे क्षेत्रों में, जहाँ बड़ी टीमें आम हैं, लेखकों के बीच श्रेय साझा करने के तरीके का शीर्ष पर पहुँचने वालों पर बड़ा प्रभाव पड़ा। अन्य क्षेत्रों में, पेपर पर लेखकों का क्रम सबसे प्रभावशाली कारक था। इसका अर्थ है कि किसी भी अनुशासन के लिए एक ही नियम को बिना यह विचार किए निष्पक्ष रूप से लागू नहीं किया जा सकता कि उस क्षेत्र के वैज्ञानिक वास्तव में कैसे काम करते हैं। शोधकर्ताओं ने पाया कि एक वैज्ञानिक किस उप-क्षेत्र से संबंधित है, यह अक्सर उनके देश की उत्पत्ति की तुलना में इस बात का बेहतर भविष्यवक्ता होता है कि उनकी रैंकिंग कितनी संवेदनशील होगी।
जब शोधकर्ताओं ने राष्ट्रीय अंतरों को देखा, तो उन्होंने पाया कि एक बार जब उन्होंने उन क्षेत्रों के प्रकारों और वैज्ञानिकों के प्रकाशन की अवधि को ध्यान में रख लिया, तो देश स्वयं रैंकिंग संवेदनशीलता के भिन्नता को समझाने में बहुत कम प्रभावी रहा। हालांकि कुछ देशों ने थोड़े उच्च या निम्न औसत बदलाव दिखाए, लेकिन ये अंतर व्यक्तिगत वैज्ञानिकों और विभिन्न वैज्ञानिक विषयों के बीच देखे गए अंतरों की तुलना में बहुत कम थे। यह सुझाव देता है कि राष्ट्रीय अनुसंधान प्रणालियाँ इन रैंकिंग परिवर्तनों के प्राथमिक चालक नहीं हैं; बल्कि विज्ञान की संरचना और मूल्यांकन प्रक्रिया में किए गए विशिष्ट विकल्प कहीं अधिक महत्वपूर्ण हैं।
शोधकर्ता इस बात पर जोर देते हैं कि उनका उपकरण, 'एट्रीब-रैंक', वैज्ञानिकों को रैंक करने का नया तरीका या वास्तव में सर्वश्रेष्ठ कौन है इसका माप नहीं है। इसके बजाय, यह एक नैदानिक उपकरण (diagnostic tool) है, जो मूल्यांकन प्रणाली के लिए एक 'स्ट्रेस टेस्ट' की तरह है। यह आपको यह नहीं बताता कि किसे नौकरी या अनुदान मिलना चाहिए; यह आपको बताता है कि यदि आप नियमों के थोड़े अलग सेट का उपयोग करते हैं तो आपका निर्णय कितना बदल जाएगा। इन बदलावों को दृश्यमान और मापने योग्य बनाकर, यह उपकरण विश्वविद्यालयों, वित्त पोषण एजेंसियों और नीति निर्माताओं को यह देखने की अनुमति देता है कि एक एकल संख्या के पीछे कौन से अनुमान छिपे हुए हैं। यह एक अधिक पारदर्शी दृष्टिकोण को प्रोत्साहित करता है जहाँ खेल के नियमों को एक अपरिवर्तनीय तथ्य के रूप में मानने के बजाय, उन्हें स्वीकार किया जाता है और उन पर चर्चा की जाती है। अध्ययन निष्कर्ष निकालता है कि अनुसंधान मूल्यांकन को जिम्मेदार और निष्पक्ष बनाने के लिए, हमें एक एकल, पूर्ण संख्या की तलाश करना बंद करना होगा और यह समझना शुरू करना होगा कि हमारे चुनाव हमारे द्वारा देखे जाने वाले परिणामों को कैसे आकार देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।