Inflationary bibliometric values revisited: Indicator validity under falling production costs

अकादमिक अनुसंधान की दुनिया में, गुणवत्ता को मापने के लिए चीजों को गिनने की एक लंबे समय से चली आ रही आदत है। दशकों से, वैज्ञानिक और विश्वविद्यालय प्रशासक इस बात पर नज़र रखते आए हैं कि एक शोधकर्ता कितने शोध पत्र लिखता है, उन पत्रों को दूसरों द्वारा कितनी बार उद्धृत (cite) किया जाता है, और एक एकल परियोजना पर कितने लेखक काम करते हैं। ये संख्याएँ एक स्कोरकार्ड के रूप में कार्य करती हैं, जो यह तय करने में मदद करती हैं कि किसे नौकरी, अनुदान या पदोन्नति मिलनी चाहिए। हालाँकि, इस प्रणाली को एक बड़ी चुनौती का सामना करना पड़ा है। बीस साल पहले, शोधकर्ताओं ने देखा कि शोध पत्रों और उद्धरणों (citations) की कुल मात्रा वास्तव में काम करने वाले वैज्ञानिकों की संख्या की तुलना में बहुत तेज़ी से बढ़ रही थी। इस "मुद्रास्फीति" (inflation) का अर्थ था कि केवल शोध पत्रों को गिनना गुणवत्ता को मापने का एक निष्पक्ष तरीका नहीं रह गया था, क्योंकि संख्याएँ बेहतर विज्ञान के बजाय अधिक लोगों के मिलकर काम करने से बढ़ रही थीं। उस समय का समाधान कच्चे आंकड़ों को गिनना बंद करना और शोधकर्ताओं की उनके साथियों के साथ तुलना करना था, यह पूछना कि एक वैज्ञानिक अपने विशिष्ट क्षेत्र के औसत के सापेक्ष कैसा प्रदर्शन करता है।

आज, कृत्रिम बुद्धिमत्ता (AI) के शक्तिशाली उपकरणों का उदय वैज्ञानिक लेखन के परिदृश्य को बदल रहा है। इन उपकरणों ने वैज्ञानिक पाठ को तैयार करना और संशोधित करना काफी सस्ता और तेज़ बना दिया है। यह एक महत्वपूर्ण प्रश्न खड़ा करता है: यदि एक शोध पत्र तैयार करना आसान हो जाता है, तो क्या यह स्वयं शोध पत्रों की मौलिक प्रकृति को बदल देता है, या इसका मतलब केवल यह है कि अब वे अधिक संख्या में हैं? यदि एक शोध पत्र के उत्पादन की लागत कम हो जाती है, तो क्या गुणवत्ता का वितरण बदल जाता है, या यह केवल विस्तृत हो जाता है? यह वह मुख्य पहेली है जिसे अहमद हामिद महमूद ने हाल ही के एक अध्ययन में संबोधित किया है। वह जांच करते हैं कि जब एक वैज्ञानिक शोध पत्र बनाने की लागत स्थिर नहीं रहती है, तो क्या शोधकर्ताओं की तुलना करने के पुराने तरीके अभी भी वैध हैं।

महमूद का कार्य इस नए, सस्ते उत्पादन वातावरण के प्रभावों को दो अलग-अलग संभावनाओं में विभाजित करके शुरू होता है। पहली संभावना जिसे वे "स्केल" (scale) परिवर्तन कहते हैं। कल्पना कीजिए कि एक कारखाने को अचानक एक नई मशीन मिलती है जो उसे दोगुने 'विजेट्स' (widgets) बनाने की अनुमति देती है। यदि प्रत्येक विजेट की गुणवत्ता बिल्कुल समान रहती है, लेकिन वे केवल अधिक संख्या में हैं, तो गुणवत्ता वितरण का समग्र आकार वही रहता है। विज्ञान की दुनिया में, इसका अर्थ होगा कि कृत्रिम बुद्धिमत्ता शोधकर्ताओं को अधिक शोध पत्र प्रकाशित करने की अनुमति देती है, लेकिन उत्कृष्ट शोध पत्रों और औसत शोध पत्रों का अनुपात अपरिवर्तित रहता है। दूसरी संभावना एक "शेप" (shape) परिवर्तन है। यह तब होगा यदि नए उपकरणों ने स्वयं कार्य की प्रकृति को बदल दिया हो, शायद निम्न-गुणवत्ता वाले शोध पत्र बनाना आसान बना दिया हो या उच्च और निम्न-गुणवत्ता के कार्य के मिश्रण को इस तरह से बदल दिया हो जो वितरण को विकृत करता हो। यदि आकार बदलता है, तो गुणवत्ता को मापने के पुराने नियम अब लागू नहीं होंगे।

यह अध्ययन वैज्ञानिक उद्धरणों के वितरण के एक गणितीय मॉडल का उपयोग करके इन परिदृश्यों का परीक्षण करता है। शोधकर्ताओं ने पाया कि यदि परिवर्तन विशुद्ध रूप से एक "स्केल" प्रभाव है—अर्थात अधिक शोध पत्र उत्पादित होते हैं लेकिन गुणवत्ता का अंतर्निहित पैटर्न समान रहता है—तो आज उपयोग किए जाने वाले सापेक्ष संकेतक अभी भी सुरक्षित हैं। एक शोधकर्ता की उनके साथियों के साथ तुलना करना, या उनके क्षेत्र के औसत के अनुपात में उनके उद्धरणों को देखना, प्रदर्शन का एक वैध माप प्रदान करना जारी रखता है। ये विधियाँ मात्रा में साधारण वृद्धि के विरुद्ध सुदृढ़ हैं। हालाँकि, स्थिति नाटकीय रूप से बदल जाती है यदि विभिन्न शोधकर्ताओं की इन सस्ते उत्पादन उपकरणों तक असमान पहुँच हो। यदि कुछ वैज्ञानिक कृत्रिम बुद्धिमत्ता का उपयोग करके बहुत अधिक शोध पत्र प्रकाशित कर सकते हैं जबकि अन्य नहीं कर सकते, तो शोध पत्रों की कुल संख्या या कुल उद्धरणों को गिनना भ्रामक हो जाता है। इस परिदृश्य में, गणनाएँ कार्य की गुणवत्ता को नहीं दर्शाती हैं; वे केवल यह दर्शाती हैं कि किसके पास सस्ते उपकरणों तक पहुँच थी। रैंकिंग यह दिखाएगी कि किसके पास लाभ था, न कि किसने बेहतर विज्ञान किया।

यह शोध पत्र यह भी जांचता है कि क्या गुणवत्ता वितरण का "शेप" (आकार) वास्तव में बदल जाता है। यदि उच्च और निम्न-गुणवत्ता वाले कार्य का मिश्रण बदल जाता है, तो शोधकर्ताओं को आंकने के लिए उपयोग किए जाने वाले मानक मानदंड टूट जाते हैं। उदाहरण के लिए, एक सीमा (threshold) जो कभी "अच्छे" शोध पत्रों को "औसत" से अलग करती थी, अचानक बड़ी संख्या में शोध पत्रों को गलत वर्गीकृत कर सकती है यदि अंतर्निहित वितरण विकृत हो गया हो। अध्ययन दिखाता है कि यदि यह आकार विरूपण (shape deformation) होता है, तो पुराने, निश्चित मानक शोधकर्ताओं की वास्तविक गुणवत्ता की पहचान करने में विफल रहेंगे। हालाँकि, यह पत्र एक समाधान भी प्रदान करता है। यह सुझाव देता है कि क्षेत्र इन परिवर्तनों का पता लगाने के लिए एक समूह के भीतर शोध पत्रों के विशिष्ट वितरण पैटर्न को देखकर कर सकता है। एक समूह के भीतर वर्तमान स्थिति का अनुमान लगाकर और उनके साथ वर्तमान 'शेप' का स्पष्ट रूप से उल्लेख करके, मूल्यांकनकर्ता अपने निर्णयों को समायोजित कर सकते हैं। सिफारिश यह है कि एक शोधकर्ता की स्थिति को उनके वर्तमान समूह के भीतर रिपोर्ट किया जाए, जबकि उस वातावरण की स्थिति को भी स्पष्ट रूप से बताया जाए जिसमें उनका मूल्यांकन किया जा रहा है। यह दोहरी रिपोर्टिंग यह सुनिश्चित करती है कि किसी शोधकर्ता को प्रणाली के स्वयं के बदलाव के कारण दंडित या अनुचित रूप से लाभ न पहुँचाया जाए।

लेखक सावधानी से नोट करते हैं कि हालांकि शोध पत्रों की मात्रा में भारी वृद्धि और कृत्रिम बुद्धिमत्ता के उपयोग के प्रमाण मजबूत हैं, लेकिन यह सिद्ध नहीं हुआ है कि गुणवत्ता वितरण का मौलिक आकार बदल गया है। यह अध्ययन यह दावा नहीं करता कि पुराने तरीके बेकार हैं, न ही यह कहता है कि कृत्रिम बुद्धिमत्ता ने विज्ञान को बर्बाद कर दिया है। इसके बजाय, यह क्या हो रहा है इसे समझने के लिए एक स्पष्ट ढांचा प्रदान करता है। यह पुष्टि करता है कि अतीत की मुद्रास्फीति को ठीक करने के लिए विकसित सापेक्ष तुलनाएँ तब तक वैध हैं जब तक कि उत्पादन वातावरण समान रूप से बदलता है। यह चेतावनी देता है कि यदि इन नए उपकरणों तक पहुँच असमान है, तो कच्ची गणनाएँ झूठ बोलेंगी। और यह एक विधि प्रदान करता है कि यदि कार्य की प्रकृति बदल रही है, तो उसका पता कैसे लगाया जाए, जिससे वैज्ञानिक समुदाय को अपने मूल्यांकन नियमों के अप्रचलित होने से पहले उन्हें अनुकूलित करने की अनुमति मिले। अंतिम निष्कर्ष यह है कि विज्ञान को मापने के उपकरण अभी भी सुदृढ़ हैं, लेकिन उन्हें उस वातावरण के स्पष्ट बोध के साथ उपयोग किया जाना चाहिए जिसमें वे लागू किए जाते हैं। भविष्य के लिए प्रश्न यह नहीं है कि क्या इन उपकरणों को छोड़ दिया जाए, बल्कि यह है कि क्या सिस्टम की निगरानी इतनी बारीकी से की जाए कि यह पता चल सके कि उनके नीचे की जमीन खिसक रही है या नहीं।