Auditing Biomedical Literature with Blinded AI Peer Review: Where Peer Review Works, Where It Fails, and How to Strengthen It
यह अध्ययन BARS को पेश करता है, जो एक ब्लाइंड एआई पीयर रिव्यू सिस्टम है जो लेखक और जर्नल पहचानकर्ताओं को हटाकर बायोमेडिकल साहित्य का निष्पक्षता से ऑडिट करता है, और कम लागत पर समीक्षा निरंतरता में उल्लेखनीय सुधार करने, पद्धतिगत दोषों का पता लगाने और क्षेत्र में वैज्ञानिक कठोरता में हालिया गिरावट को प्रकट करने की अपनी क्षमता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
विज्ञान एक सरल, प्राचीन वादे पर टिका है: किसी भी नई खोज के प्रकाशित होने से पहले, स्वतंत्र विशेषज्ञ उस कार्य को पढ़ते हैं ताकि यह सुनिश्चित किया जा सके कि प्रयोग सही ढंग से किए गए थे, गणित सटीक था, और निष्कर्ष साक्ष्यों का अनुसरण करते हैं। यह प्रक्रिया, जिसे 'पियर रिव्यू' (सहकर्मी समीक्षा) कहा जाता है, चिकित्सा और जीव विज्ञान में सत्य की द्वारपाल है। दशकों तक, यह प्रणाली जीवन की हमारी आधुनिक समझ बनाने के लिए पर्याप्त रूप से अच्छी तरह से काम करती रही है। लेकिन वैज्ञानिक शोध पत्रों की मात्रा में विस्फोट हुआ है। 1991 के बाद से, प्रति वर्ष प्रकाशित होने वाले बायोमेडिकल लेखों की संख्या ग्यारह गुना से अधिक बढ़ गई है, जो उन्हें पढ़ने के लिए उपलब्ध मानव विशेषज्ञों की संख्या से कहीं अधिक तेजी से बढ़ी है। जब नए शोध की बाढ़ मानव समीक्षकों की क्षमता से अधिक हो जाती है, तो जो कुछ भी प्रकाशित होता है उसकी गुणवत्ता गिर सकती है। सांख्यिकी में त्रुटियां, नियंत्रणों (controls) की कमी, या दोषपूर्ण तर्क छिपकर निकल सकते हैं, और क्योंकि ये गलतियाँ अक्सर सूक्ष्म होती हैं, वे वर्षों तक अनसुनी रह सकती हैं, जिससे अन्य वैज्ञानिक गलत रास्तों पर चले जाते हैं।
इस बढ़ते संकट को संबोधित करने के लिए, शोधकर्ताओं की एक टीम ने एक नए प्रकार का रेफरी बनाया है: एक कृत्रिम बुद्धिमत्ता (AI) प्रणाली जिसे यह जाने बिना वैज्ञानिक शोध पत्रों को पढ़ने के लिए डिज़ाइन किया गया है कि उन्हें किसने लिखा है या वे कहाँ प्रकाशित हुए हैं। वे इस प्रणाली को BARS, यानी 'ब्लाइंडेड एआई रिव्यू सिस्टम' कहते हैं। विचार यह है कि हर उस चीज़ को हटा दिया जाए जो एक पाठक को पक्षपाती बना सकती है—लेखकों के प्रसिद्ध नाम, जर्नल की प्रतिष्ठा, और प्रकाशन की तिथि—ताकि शोध पत्र का मूल्यांकन केवल उसके विज्ञान की गुणवत्ता के आधार पर किया जा सके। शोधकर्ताओं ने इस प्रणाली को चार विशिष्ट चीजों की तलाश करने के लिए प्रशिक्षित किया: क्या विधियाँ और सांख्यिकी सुदृढ़ हैं, क्या डेटा वास्तव में किए गए दावों का समर्थन करता है, क्या जैविक विचार यथार्थवादी हैं, और क्या डेटा और कोड खुले तौर पर साझा किए गए हैं। उन्होंने प्रत्येक शोध पत्र को शून्य से दस तक का स्कोर दिया, जिसमें पांच से कम का कोई भी स्कोर एक मौलिक दोष को दर्शाता है जो अध्ययन को कमजोर करता है।
टीम ने पहले यह परीक्षण किया कि क्या उनकी प्रणाली प्रतिष्ठा से विचलित हुए बिना अच्छे विज्ञान और बुरे विज्ञान के बीच अंतर कर सकती है। उन्होंने AI को उन शोध पत्रों का एक सेट दिया जो पहले ही गलत साबित होकर वापस (retracted) लिए जा चुके थे, और साथ ही सत्यापित, उच्च-गुणवत्ता वाले अध्ययनों का एक सेट भी दिया। जब AI लेखकों के नाम और जर्नल के शीर्षक देख सकता था, तो इसने प्रसिद्ध शोध पत्रों को थोड़ा उच्च स्कोर दिया, जिससे पता चला कि एक मशीन भी प्रतिष्ठा से प्रभावित हो सकती है। लेकिन जब प्रणाली को उस सभी जानकारी से अंधा (blinded) कर दिया गया, तो वह एक तीक्ष्ण और निष्पक्ष न्यायाधीश बन गई। इसने लगभग सभी दोषपूर्ण शोध पत्रों की सही पहचान की और सुदृढ़ शोधों को पूर्ण स्कोर दिया, जिसमें शून्य गलत अलार्म (false alarms) थे। यह मानव समीक्षकों की तुलना में कहीं अधिक सुसंगत भी सिद्ध हुआ; जब एक ही शोध पत्र की AI द्वारा कई बार समीक्षा की गई, तो स्कोर लगभग समान थे, जबकि मानव समीक्षक अक्सर एक-दूसरे से असहमत होते हैं।
जब शोधकर्ताओं ने इस ब्लाइंड सिस्टम को जीव विज्ञान के आठ अलग-अलग क्षेत्रों के 320 हालिया शोध पत्रों पर लागू किया, तो परिणाम चिंताजनक थे। इनमें से आधे से अधिक शोध पत्र परीक्षण में विफल रहे, जो बुनियादी वैज्ञानिक कठोरता के स्तर से नीचे रहे। विफलता दर हर जगह एक समान नहीं थी। जो क्षेत्र सख्त गणितीय मॉडलों पर निर्भर करते हैं, जैसे कि आणविक विकास (molecular evolution), उनका स्कोर अधिक था। वे क्षेत्र जो जटिल डेटा माइनिंग या संदूषण के प्रति संवेदनशील परीक्षणों (assays) पर निर्भर करते हैं, जैसे कि सिंगल-सेल जेनेटिक्स और माइक्रोबायोम अध्ययन, बहुत कम स्कोर करते हैं। जर्नल का प्रकार भी गहराई से मायने रखता था। अत्यधिक चयनात्मक, पारंपरिक जर्नल्स में प्रकाशित शोध पत्र, उन विशाल, ओपन-एक्सेस जर्नल्स की तुलना में काफी बेहतर स्कोर करते थे जो प्रकाशित करने के लिए शुल्क लेते हैं लेकिन केवल तकनीकी सुदृढ़ता का दावा करते हैं। वास्तव में, एक शीर्ष-स्तरीय सोसाइटी जर्नल का औसत शोध पत्र एक वाणिज्यिक मेगाजर्नल की तुलना में गुणवत्ता में लगभग एक पूर्ण अंक अधिक था, जो एक अंतर सुझाता है कि समीक्षा प्रक्रिया स्वयं अंतर पैदा करती है।
शोधकर्ताओं ने यह भी देखा कि सहकर्मी समीक्षा वास्तव में एक शोध पत्र में कितना सुधार करती है। उन्होंने एक शोध पत्र के पहले ड्राफ्ट (जो समीक्षा से पहले ऑनलाइन पोस्ट किया गया था) की तुलना अंतिम संस्करण से की जो एक जर्नल में प्रकाशित हुआ। चयनात्मक, कठोर जर्नल्स द्वारा स्वीकृत शोध पत्रों के लिए, अंतिम संस्करण स्पष्ट रूप से बेहतर था, जिसमें स्पष्ट विधियाँ और मजबूत साक्ष्य थे। लेकिन वाणिज्यिक मेगाजर्नल्स में प्रकाशित शोध पत्रों के लिए, अंतिम संस्करण मूल ड्राफ्ट से बहुत अलग नहीं था, और कुछ मामलों में, संशोधन प्रक्रिया ने वास्तव में नए दोषों को पेश करके शोध पत्र को बदतर बना दिया। अध्ययन में पाया गया कि ब्लाइंड AI सिस्टम उन लगभग सभी आलोचनाओं को पकड़ सकता था जिन्हें मानव समीक्षकों ने छोड़ दिया था, जिसमें गणितीय त्रुटियां और असंभव जैविक दावे शामिल थे, साथ ही उन खामियों को भी पकड़ा जिन्हें मानव समीक्षकों ने पूरी तरह से अनदेखा कर दिया था।
तीस वर्षों के वैज्ञानिक साहित्य पर पीछे मुड़कर देखते हुए, टीम ने गुणवत्ता में एक स्पष्ट गिरावट देखी। 1990 के दशक से शोध पत्रों का औसत स्कोर लगातार कम हुआ है। यह गिरावट इसलिए नहीं थी क्योंकि स्थापित जर्नल्स ने अपने मानक कम कर दिए थे, बल्कि इसलिए थी क्योंकि प्रकाशित शोध का मिश्रण बदल गया है। क्षेत्र प्राथमिक प्रयोगों (जो वेट लैब्स में किए जाते हैं) से हटकर उन अध्ययनों की ओर स्थानांतरित हो गया है जो केवल सार्वजनिक डेटाबेस से मौजूदा डेटा का पुन: विश्लेषण करते हैं, जो अक्सर ऐसे फॉर्मूला आधारित टेम्पलेट्स का उपयोग करते हैं जो विशिष्ट प्रश्न के अनुकूल नहीं होते हैं। हालांकि ये डेटाबेस अध्ययन सस्ते और तेज़ होते हैं, लेकिन इनमें मौलिक त्रुटियों की संभावना बहुत अधिक होती है। अध्ययन ने दिखाया कि अच्छी तरह से वित्त पोषित शोध दल स्वतः ही बेहतर विज्ञान उत्पन्न नहीं करते हैं; एक बार जब वित्तपोषण का एक निश्चित स्तर प्राप्त हो जाता है, तो अधिक पैसा जोड़ने से शोध पत्र की गुणवत्ता में सुधार नहीं होता है। इसी तरह, सबसे महंगे जर्नल भी आवश्यक रूप से सबसे कठोर विज्ञान प्रकाशित नहीं करते हैं।
शायद इस अध्ययन का सबसे चौंकाने वाला हिस्सा यह था कि शोधकर्ताओं ने अपने स्वयं के करियर का ऑडिट करने के लिए अपनी ही प्रणाली का उपयोग किया। उन्होंने अपने 238 प्रकाशित शोध पत्रों को ब्लाइंड सिस्टम में डाला। AI ने उनके काम में वास्तविक त्रुटियां पाईं, जिनमें तालिकाओं में कॉपी-पेस्ट की गलतियां, गलत लेबल वाली इकाइयां और सांख्यिकीय खामियां शामिल थीं, जो मूल लेखकों और मानव समीक्षकों दोनों से बच निकली थीं। सिस्टम ने इस अध्ययन के ड्राफ्ट में भी पाँच त्रुटियों को पकड़ लिया, जिसके प्रकाशन के समय तक। इस स्व-ऑडिट ने प्रदर्शित किया कि कोई भी वैज्ञानिक गलतियों से मुक्त नहीं है और एक निष्पक्ष, स्वचालित जांच उन त्रुटियों को पकड़ सकती है जिन्हें मानवीय थकान या पक्षपात अनदेखा कर सकता है।
शोधकर्ता निष्कर्ष निकालते हैं कि वैज्ञानिक प्रकाशन की वर्तमान प्रणाली दबाव में है, लेकिन वे एक व्यावहारिक मार्ग भी सुझाते हैं। वे सुझाव देते हैं कि प्रत्येक शोध पत्र को मानव समीक्षकों को भेजने से पहले एक सरल, स्वचालित जांच चलाई जा सकती है। इस जांच की लागत केवल कुछ सेंट होगी, जो मानव श्रम की लागत का एक बहुत छोटा हिस्सा है, फिर भी यह हजारों ऐसी त्रुटियों को पकड़ सकती है जो अन्यथा अनसुनी रह जातीं। प्रसिତି और प्रतिष्ठा के प्रभाव को हटाकर, और केवल पाठ के भीतर तर्क और साक्ष्य पर ध्यान केंद्रित करके, ऐसी प्रणाली वैज्ञानिक साहित्य की विश्वसनीयता को बहाल करने में मदद कर सकती है। लक्ष्य मानव विशेषज्ञों को बदलना नहीं है, बल्कि उन्हें एक बेहतर आधार देना है, यह सुनिश्चित करना कि हम जो विज्ञान पढ़ रहे हैं वह उतना ही ठोस हो जितना कि वह दावा करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।