On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists
नेचर-परिवार के 82 शोध पत्रों की समीक्षाओं का मूल्यांकन करने वाले 45 विशेषज्ञों से जुड़े इस अध्ययन से पता चलता है कि जहाँ उन्नत एआई (AI) समीक्षक सही और महत्वपूर्ण आलोचनाओं की पहचान करने में शीर्ष मानव समीक्षकों से बेहतर प्रदर्शन कर सकते हैं, वहीं वे उच्च त्रुटि दर और विशिष्ट कमजोरियों को भी प्रदर्शित करते हैं, जो उन्हें मानव सहकर्मी समीक्षा के विकल्प के बजाय मूल्यवान पूरक के रूप में स्थापित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द दशकों से, वैज्ञानिक खोज का इंजन एक शांत, मानवीय अनुष्ठान पर निर्भर रहा है: पीयर रिव्यू (सहकर्मी समीक्षा)। किसी प्रमुख जर्नल में नई खोज प्रकाशित होने से पहले, इसे उस विशिष्ट क्षेत्र के कुछ विशेषज्ञों के पास भेजा जाता है। ये वैज्ञानिक कार्य को पढ़ते हैं, गणित की जांच करते हैं, और कठिन प्रश्न पूछते हैं ताकि यह सुनिश्चित किया जा सके कि निष्कर्ष वास्तविक और ठोस हैं। यह प्रणाली त्रुटियों को पकड़ने और विचारों को धार देने के लिए बनाई गई है, लेकिन यह अत्यधिक दबाव में है। प्रस्तुत किए जाने वाले शोध पत्रों की संख्या तेजी से बढ़ी है, जबकि योग्य विशेषज्ञों का समूह, जिनके पास उन्हें पढ़ने के लिए समय हो, बढ़ा नहीं है। परिणामस्वरूप, कई शोधकर्ताओं को चिंता है कि इन समीक्षाओं की गुणवत्ता गिर रही है, और यह प्रक्रिया प्रगति के लिए एक बाधा बनती जा रही है।
इसके जवाब में, एक नया उपकरण उभरा है: कृत्रिम बुद्धिमत्ता (AI) एजेंट जो पांडुलिपि को पढ़ने और एक समीक्षा रिपोर्ट लिखने में सक्षम हैं। इन डिजिटल समीक्षकों का उपयोग पहले से ही कुछ सम्मेलनों और जर्नल्स में किया जा रहा है, लेकिन एक संदेह बना हुआ है। क्या एक मशीन वास्तव में वैज्ञानिक कार्य की बारीकियों को समझ सकती है? क्या वह एक मामूली टाइपो और प्रयोग में घातक दोष के बीच अंतर कर सकती है? या क्या यह केवल एक परिष्कृत नकलची (पैरट) है, जो वास्तविक अंतर्दight के बिना केवल विश्वसनीय लगने वाला टेक्स्ट तैयार कर रहा है? इसका उत्तर देने के लिए, शोधकर्ताओं की एक बड़ी टीम ने इन डिजिटल समीक्षकों का परीक्षण 'गोल्ड स्टैंडर्ड' यानी मानव विशेषज्ञों के विरुद्ध करने का निर्णय लिया, न कि इस आधार पर कि क्या वे अंतिम ग्रेड पर सहमत हैं, बल्कि उनके द्वारा दी गई विशिष्ट आलोचनाओं की जांच करके।
शोधकर्ताओं ने 'नेचर' परिवार के जर्नल्स के 82 शोध पत्रों का एक विशाल डेटासेट एकत्र किया, जो उच्च-प्रभाव वाले विज्ञान के लिए जाने जाते हैं। ये पेपर पहले से ही मानक मानव समीक्षा प्रक्रिया से गुजर चुके थे, जिसका अर्थ है कि इनके पास वास्तविक वैज्ञानिकों की तीन अलग-अलग रिपोर्टें थीं। टीम ने फिर उन्हीं शोध पत्रों को पढ़ने और अपनी स्वयं की समीक्षा उत्पन्न करने के लिए तीन अलग-अलग उन्नत AI प्रणालियों का उपयोग किया। यह देखने के लिए कि कौन बेहतर काम करता है, उन्होंने भौतिकी से लेकर जीव विज्ञान और स्वास्थ्य विज्ञान तक के क्षेत्रों से 45 मानव विशेषज्ञों को नियुक्त किया। इन विशेषज्ञों ने मानव और AI दोनों द्वारा की गई प्रत्येक आलोचना को पढ़ने में सैकड़ों घंटे बिताए। उन्होंने केवल एक स्कोर नहीं दिया; उन्होंने प्रत्येक बिंदु का व्यक्तिगत रूप से मूल्यांकन किया, और तीन प्रश्न पूछे: क्या यह तथ्यात्मक रूप से सही है? क्या यह मुद्दा इतना महत्वपूर्ण है कि इस पर ध्यान दिया जाए? और क्या समीक्षक ने लेखक को इसे ठीक करने के लिए पर्याप्त साक्ष्य प्रदान किए हैं?
परिणामों ने एक जटिल तस्वीर पेश की जो AI को या तो एक पूर्ण विकल्प या पूर्ण विफलता मानने के सरल विचार को चुनौती देती है। जब शोधकर्ताओं ने समीक्षाओं की समग्र गुणवत्ता को देखा, तो सबसे अच्छे AI सिस्टम ने हर पेपर पर सबसे कम रेटिंग वाले मानव समीक्षक से बेहतर प्रदर्शन किया। वास्तव में, शुद्धता, महत्व और साक्ष्य के संयुक्त स्कोर पर, शीर्ष AI सिस्टम ने प्रत्येक पेपर के लिए सर्वश्रेष्ठ मानव समीक्षक को भी पीछे छोड़ दिया। यह सुझाव देता है कि AI पहले से ही ऐसी प्रतिक्रिया देने में सक्षम है जो वर्तमान में चलन में मौजूद कमजोर मानव समीक्षाओं की तुलना में अधिक उपयोगी है।
हालाँकि, AI त्रुटिहीन नहीं था। मानव विशेषज्ञों ने पाया कि AI ने शीर्ष मानव समीक्षकों की तुलना में अधिक तथ्यात्मक गलतियाँ कीं। AI कभी-कभी पाठ को गलत पढ़ लेता या विधियों (मेथड्स) को समझने में चूक कर देता। फिर भी, जब AI सही होता था, तो उसकी आलोचनाएं अक्सर मनुष्यों की तुलना में अधिक महत्वपूर्ण होती थीं। AI उन प्रमुख, उच्च-जोखिम वाले मुद्दों को पकड़ने में सक्षम था जिन्हें मानव समीक्षक भी नहीं देख पाए थे। कुल मिलाकर, AI ने 26% मामलों में वैध चिंताएं जताईं जिन्हें किसी भी मानव समीक्षक ने नहीं देखा था। यह इंगित करता है कि AI केवल मनुष्यों की बातों को दोहरा नहीं रहा है; बल्कि यह नए, मूल्यवान दृष्टिकोण खोज रहा है जिन्हें मानव विशेषज्ञ भी अनदेखा कर देते हैं।
अध्ययन ने यह भी देखा कि समीक्षक एक-दूसरे से कितने सहमत थे। एक स्वस्थ पीयर रिव्यू प्रक्रिया में, विभिन्न मानव विशेषज्ञ विभिन्न दृष्टिकोण लाते हैं, इसलिए उनकी समीक्षाएं अक्सर पेपर के विभिन्न हिस्सों को कवर करती हैं। अध्ययन ने पुष्टि की कि मानव समीक्षक शायद ही कभी एक जैसी आलोचना दोहराते हैं; वे विविध होते हैं। हालाँकि, AI अलग व्यवहार करता है। जब एक एकल AI समीक्षक को पैनल में जोड़ा जाता है, तो यह एक नए मानव की तरह कार्य करता है, जो दूसरों की नकल करने के बजाय दृष्टि का एक नया सेट लाता है। लेकिन यदि आप मानव समीक्षकों के पूरे पैनल को AI समीक्षकों के पैनल से बदल देते हैं, तो सिस्टम दोहराव वाला (रिडंडेंट) हो जाता है। AI समीक्षक एक-दूसरे के साथ मानवों की तुलना में बहुत अधिक बार समान आलोचनाओं को दोहराते हैं। इसका अर्थ यह है कि जबकि एक AI समीक्षक टीम में एक बेहतरीन जोड़ है, पूरी तरह से AI से बनी टीम उस वैचारिक विविधता को खो देगी जो मानव समीक्षा को शक्तिशाली बनाती है।
अंत में, शोधकर्ताओं ने AI के विशिष्ट शक्तियों और कमजोरियों की गहराई से जांच की ताकि यह समझा जा सके कि इसने कैसा प्रदर्शन किया। AI उन कार्यों में उत्कृष्ट था जिनमें परिश्रम और सूक्ष्म विवरणों पर ध्यान देने की आवश्यकता होती है। यह सांख्यिकीय धारणाओं की जांच करने, लेखकों द्वारा प्रदान किए गए सोर्स कोड को पढ़ने और एब्स्ट्रैक्ट (सार) एवं मेथड्स के बीच विसंगतियों को पकड़ने में उत्कृष्ट था। यह थकता नहीं था, और इसने टेक्स्ट में दबे छोटे विवरणों को नहीं छोड़ा। इसकी कमजोरियां, हालांकि, संदर्भ (कॉन्टेक्स्ट) की कमी में निहित थीं। AI अक्सर किसी विशिष्ट वैज्ञानिक क्षेत्र के मानदंडों के आधार पर समस्या की गंभीरता का आकलन करने में संघर्ष करता था। यह ऐसे सत्यापन की मांग कर सकता था जो एक क्षेत्र में मानक है लेकिन दूसरे में अनावश्यक है, या यह दावा कर सकता था कि कोई विवरण गायब है जबकि वह वास्तव में एक पूरक फ़ाइल (सप्लीमेंट्री फाइल) में छिपा हुआ था। AI कठोर था लेकिन कभी-कभी रूढ़िवादी भी, वह एक ऐसा मानक लागू करता था जो 'वन-साइज़-फिट्स-ऑल' जैसा था, जहाँ एक मानव विशेषज्ञ लचीला होना जानता।
अध्ययन निष्कर्ष निकालता है कि इन AI समीक्षकों को मानव वैज्ञानिकों के विकल्प के रूप में नहीं, बल्कि शक्तिशाली पूरक के रूप में देखा जाना चाहिए। वे मानव प्रक्रिया को बढ़ाने के लिए सबसे अच्छे हैं, उन त्रुटियों को पकड़ने और प्रमुख मुद्दों को पहचानने के लिए जो एक थका हुआ मानव चूक सकता है, जबकि मानव आवश्यक संदर्भ और निर्णय प्रदान करते हैं कि वास्तव में क्या महत्वपूर्ण है। डेटा सुझाव देता है कि वैज्ञानिक समीक्षा का भविष्य, मानव या मशीन के बीच चयन करने में नहीं, बल्कि AI की अथक परिश्रमशीलता और मानव विशेषज्ञ के गहरे, प्रासंगिक ज्ञान को मिलाने में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।