Regulatory effect of document samples on the fluctuation of journal impact factor
यह अध्ययन प्रदर्शित करता है कि दस्तावेज़ नमूने से चरम उद्धरण आउटलेर्स (extreme citation outliers) को बाहर करके, 90% की इष्टतम प्रतिधारण सीमा (optimal retention threshold) के साथ, जर्नल प्रभाव कारकों (journal impact factors) की पुनर्गणना करना, संकेतक उतार-चढ़ाव को प्रभावी रूप से कम करता है और जर्नल मूल्यांकन प्रणालियों की स्थिरता और तर्कसंगतता को बढ़ाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रेस्टोरेंट की औसत ग्राहक रेटिंग के आधार पर उसकी गुणवत्ता का आकलन करने की कोशिश कर रहे हैं। आमतौर पर, आप हर एक समीक्षा को लेंगे, उन्हें जोड़ेंगे, और फिर उन्हें समीक्षाओं की संख्या से विभाजित करेंगे। इससे आपको "इम्पैक्ट फैक्टर" (या इस मामले में, एक वैज्ञानिक पत्रिका का "जर्नल इम्पैक्ट फैक्टर") प्राप्त होगा।
हालाँकि, इस सरल गणित के साथ एक समस्या है। यदि एक व्यक्ति समीक्षा लिखता है, "यह ब्रह्मांड के इतिहास का सबसे अच्छा भोजन है!" और इसे 100 स्टार देता है, जबकि दूसरा कहता है, "खाना ठीक था," और इसे 3 स्टार देता है, तो वह एक 100-स्टार वाली समीक्षा पूरे औसत को बिगाड़ सकती है। अचानक, एक ऐसा रेस्टोरेंट जो आमतौर पर औसत भोजन परोसता है, वह पांच-सितारा उत्कृष्ट कृति दिखने लगता है, भले ही अगले दिन वह वापस औसत भोजन परोसने लगे।
वैज्ञानिक पत्रिकाओं (जर्नल्स) के साथ बिल्कुल ऐसा ही होता है। एक एकल, अविश्वसनीय रूप से लोकप्रिय शोध पत्र (एक "वायरल हिट") एक वर्ष में जर्नल के स्कोर को बहुत अधिक बढ़ा सकता है और अगले वर्ष इसे गिरा सकता है, जिससे यह बताना कठिन हो जाता है कि जर्नल वास्तव में अच्छा है या केवल भाग्यशाली रहा है।
समस्या: "आउटलायर" (Outlier) प्रभाव
इस शोध पत्र के लेखकों ने नौ प्रसिद्ध वैज्ञानिक जर्नल्स (जिनमें Nature, Science, और Cell जैसे दिग्गज और कई भौतिक विज्ञान के जर्नल शामिल हैं) का अध्ययन किया। उन्होंने देखा कि इन जर्नल्स के स्कोर में अक्सर बड़े उतार-चढ़ाव आते हैं।
कभी-कभी, एक जर्नल एक ऐसा शोध पत्र प्रकाशित करता है जिसे अन्य वैज्ञानिकों द्वारा हजारों बार उद्धृत (कथित/सिटेड) किया जाता है। यह अच्छी बात है, लेकिन क्योंकि वर्तमान स्कोरिंग प्रणाली प्रत्येक पेपर को समान मानती है, वह एक सुपरस्टार पेपर औसत को इतना ऊपर खींच लेता है कि वह उस वर्ष जर्नल द्वारा प्रकाशित अन्य 99 पेपरों की गुणवत्ता का प्रतिनिधित्व नहीं करता है। यह एक कक्षा की तरह है जहाँ एक प्रतिभाशाली छात्र को पूर्ण अंक मिलते हैं, और अचानक पूरी कक्षा प्रतिभाशाली दिखने लगती है, भले ही बाकी छात्र संघर्ष कर रहे हों।
समाधान: "ट्रिमिंग" (Trimming) रणनीति
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया तरीका प्रस्तावित किया। उन्होंने इसे "डुअल-एंड ट्रिमिंग" (dual-end trimming) रणनीति कहा।
इसे इस तरह सोचें: कल्पना कीजिए कि आपके पास टेस्ट स्कोर के आधार पर छात्रों की एक लंबी कतार है।
- पुराना तरीका: आप सभी के स्कोर का औसत लेते हैं।
- नया तरीका: आप कतार देखते हैं, और चुपचाप शीर्ष 1% छात्रों (सुपरस्टार्स) और निचले 1% छात्रों (जिन्होंने शायद बुरा दिन बिताया हो) को एक तरफ खड़े होने के लिए कहते हैं। फिर, आप शेष 98% का औसत निकालते हैं।
दोनों सिरों से इन "चरम" (extremes) को हटाकर, आप उस स्कोर को प्राप्त करते हैं जो वास्तव में एक 'सामान्य' छात्र (या पेपर) क्या कर रहा है, उसका प्रतिनिधित्व करता है, न कि आउटलायर्स से प्रभावित होता है।
उन्होंने क्या पाया
शोधकर्ताओं ने 16 वर्षों तक अपने नौ जर्नल्स पर इस विचार का परीक्षण किया। यहाँ क्या हुआ:
- स्थिरता (Stability): जब उन्होंने शीर्ष और निचले स्तर के पेपरों को हटा दिया, तो स्कोर के उतार-चढ़ाव गायब हो गए। स्कोर बहुत अधिक सुचारू और अनुमानित हो गए।
- "स्वीट स्पॉट" (Sweet Spot): उन्होंने अलग-अलग मात्रा में पेपर हटाकर देखे (1%, 2%, 5%, आदि)। उन्होंने पाया कि केवल थोड़ा सा हिस्सा हटाने (शीर्ष और निचले 1% प्रत्येक को हटाकर, 98% को छोड़कर) से बहुत मदद मिली, लेकिन थोड़ा और हटाने से और भी अधिक मदद मिली।
- जादुई संख्या: उन्होंने निर्धारित किया कि 90% पेपरों को रखना (शीर्ष 5% और निचले 5% को हटाकर) सबसे सटीक संतुलन था।
- यदि आप 100% रखते हैं, तो स्कोर बहुत अस्थिर होता है।
- यदि आप केवल 50% रखते हैं, तो आप बहुत अधिक जानकारी फेंक रहे हैं, और स्कोर जर्नल का सही प्रतिनिधित्व नहीं कर पाएगा।
- 90% "गोल्डिलॉक्स" (Goldilocks) ज़ोन है: यह उन पागल कर देने वाले आउटलायर्स को हटा देता है जो स्पाइक्स (उछाल) का कारण बनते हैं, लेकिन पर्याप्त डेटा रखता है ताकि जर्नल की वास्तविक, स्थिर गुणवत्ता दिखाई दे सके।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि इस "ट्रिमिंग" पद्धति का उपयोग करके, हम वैज्ञानिक जर्नल्स को एक एकल भाग्यशाली हिट द्वारा नियंत्रित होने से रोक सकते हैं। यह मूल्यांकन प्रणाली को अधिक निष्पक्ष और ईमानदार बनाता है। स्कोर के रोलरकोस्टर राइड के बजाय, हमें एक स्थिर, विश्वसनीय माप मिलता है कि एक जर्नल वास्तव में पेपर दर पेपर कितना अच्छा है।
संक्षेप में: एक सुपरस्टार पेपर को आपको धोखा न देने दें। वास्तविक कहानी देखने के लिए बीच के 90% को देखें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।