ARISMA: Guidelines for AI- and LLM-Assisted Systematic Reviews, Scoping Reviews, and Mapping Studies
यह शोध पत्र ARISMA को प्रस्तुत करता है, जो एक व्यापक दिशानिर्देश ढांचा है जो व्यवस्थित समीक्षाओं (systematic reviews), स्कोपिंग समीक्षाओं (scoping reviews) और मैपिंग अध्ययनों में ऑडिट करने योग्य, मानव-पर्यवेक्षित सहायकों के रूप में एआई (AI) और लार्ज लैंग्वेज मॉडल्स (LLMs) को एकीकृत करने के लिए सिद्धांतों, एक लाइफसाइकिल वर्गीकरण और रिपोर्टिंग मानकों को स्थापित करता है ताकि पद्धतिगत कठोरता और जवाबदेही सुनिश्चित की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वैज्ञानिक अनुसंधान की दुनिया में, एक विशिष्ट प्रकार का कार्य है जिसे 'सिस्टमैटिक रिव्यू' (व्यवस्थित समीक्षा) के रूप में जाना जाता है। कल्पना कीजिए कि विशेषज्ञों की एक टीम एक जटिल प्रश्न का उत्तर देने की कोशिश कर रही है, जैसे कि क्या एक नई दवा पुरानी दवा से बेहतर काम करती है, या जलवायु परिवर्तन के बारे में ज्ञान की वर्तमान स्थिति क्या है। इसे करने के लिए, वे केवल कुछ दिलचस्प लेखों को पढ़कर नहीं रुक सकते; उन्हें उस विषय पर प्रकाशित हर एक प्रासंगिक अध्ययन को खोजना होगा, उन सभी को पढ़ना होगा, और उनके निष्कर्षों को एक एकल, विश्वसनीय निष्कर्ष में संयोजित करना होगा। यह प्रक्रिया आधुनिक चिकित्सा और नीति की नींव है, लेकिन यह अविश्वसनीय रूप से कठिन है। जैसे-जैसे वैज्ञानिक शोध पत्रों की संख्या हर साल बढ़ती जा रही है, उन सभी को खोजने और पढ़ने का कार्य धीमा, अधिक महंगा और अद्यतित रहना कठिन होता जा रहा है।
हाल ही में, आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) नामक शक्तिशाली कंप्यूटर प्रोग्रामों ने इस क्षेत्र में प्रवेश किया है। ये उपकरण टेक्स्ट को पढ़ सकते हैं, भाषा को समझ सकते हैं, और सूचनाओं का सारांश इतनी गति से निकाल सकते हैं जो किसी भी मानव के लिए संभव नहीं है। शोधकर्ताओं ने शोध पत्रों को खोजने, यह तय करने कि किन लेखों को रखना है, और महत्वपूर्ण आंकड़े निकालने में मदद के लिए इनका उपयोग करना शुरू कर दिया है। हालांकि, इस नई गति के साथ एक समस्या भी आई। किसी के पास इन उपकरणों का सुरक्षित रूप से उपयोग करने के लिए स्पष्ट नियमों का समूह नहीं था। यदि किसी कंप्यूटर प्रोग्राम ने एक महत्वपूर्ण अध्ययन को छोड़ दिया या किसी संख्या को पढ़ने में गलती कर दी, तो पूरी समीक्षा गलत हो सकती है, और उस पर भरोसा करने वाले डॉक्टर या नीति निर्माता गलत निर्णय ले सकते हैं। सवाल केवल यह नहीं था कि क्या ये उपकरण काम कर सकते हैं, बल्कि यह था कि विज्ञान पर नियंत्रण खोए बिना इनका उपयोग कैसे किया जाए।
सदर्न डेनमार्क विश्वविद्यालय के शोधकर्ताओं की एक टीम ने अब इस समस्या को हल करने के लिए 'आरआईएसएमए' (ARISMA) नामक दिशानिर्देशों का एक नया सेट प्रस्तावित किया है। उनका कार्य आर्टिफिशियल इंटेलिजेंस को मानव वैज्ञानिकों के विकल्प के रूप में नहीं देखता है। इसके बजाय, वे इसे एक अत्यधिक कुशल सहायक के रूप में देखते हैं जिसे हर चरण पर देखा, परखा और लॉग किया जाना चाहिए। मूल विचार सरल लेकिन सख्त है: एक वैज्ञानिक समीक्षा में प्रत्येक महत्वपूर्ण निर्णय समझने योग्य, जांचने योग्य और अंततः एक मनुष्य की जिम्मेदारी होनी चाहिए। शोधकर्ता तर्क देते हैं कि जबकि मशीनें भारी काम कर सकती हैं, उन्हें चुपचाप यह तय करने की अनुमति नहीं दी जा सकती कि क्या प्रमाण माना जाए।
यह शोध पत्र एक पूर्ण जीवनचक्र की रूपरेखा प्रस्तुत करता है कि जब इन उपकरणों का उपयोग किया जाता है तो एक समीक्षा कैसे आयोजित की जानी चाहिए। यह योजना बनाने के चरण से शुरू होता है, जहाँ मानव टीम को किसी भी कंप्यूटर के शामिल होने से पहले स्पष्ट रूप से यह परिभाषित करना होगा कि वे क्या खोज रहे हैं। दिशानिर्देशों का सुझाव है कि आर्टिफिशियल इंटेलिजेंस खोज शब्दों के लिए मंथन करने या किसी विषय के लिए पर्यायवाची शब्द सुझाने में बहुत मददगार हो सकता है, लेकिन अंतिम खोज रणनीति की जांच एक मानव विशेषज्ञ द्वारा की जानी चाहिए। शोधकर्ता इस बात पर जोर देते हैं कि यदि एक परीक्षण रन के दौरान कंप्यूटर किसी ज्ञात, महत्वपूर्ण अध्ययन को चूक जाता है, तो खोज रणनीति विफल मानी जाती है और वास्तविक डेटा पर उपयोग करने से पहले उसे ठीक किया जाना चाहिए। यह सुनिश्चित करता है कि खोज न केवल तेज हो, बल्कि पूर्ण भी हो।
एक बार खोज पूरी हो जाने के बाद, टीम के सामने हजारों शीर्षकों और सारांशों की स्क्रीनिंग करने का विशाल कार्य आता है ताकि यह तय किया जा सके कि किन शोध पत्रों को पूरा पढ़ा जाए। यहीं पर आर्टिफिशियल इंटेलिजेंस ने सबसे अधिक संभावना दिखाई है, लेकिन यहीं पर दिशानिर्देश सबसे अधिक सतर्क भी हैं। शोध पत्र बताता है कि एक कंप्यूटर शोध पत्रों को रैंक करने या उन्हें बाहर करने का सुझाव देने के लिए उपयोग किया जा सकता है, लेकिन वह अपने आप अंतिम निर्णय नहीं ले सकता। शोधकर्ता "ट्रस्ट लेवल" (विश्वास स्तर) की एक प्रणाली प्रस्तावित करते हैं। एक कम-विश्वास वाले परिदृश्य में, कंप्यूटर केवल मनुष्यों के पढ़ने के लिए एक क्रम का सुझाव देता है। मध्यम-विश्वास वाले परिदृश्य में, यह बहिष्करण (exclusion) की सिफारिश कर सकता है, लेकिन एक मनुष्य को उन सभी सिफारिशों की जांच करनी होगी। उच्च-जोखिम वाली समीक्षाओं में, जैसे कि जो चिकित्सा उपचारों का मार्गदर्शन करेंगी, कंप्यूटर केवल 'दूसरी जोड़ी आंखों' के रूप में कार्य करता है, और अंतिम निर्णय मानव टीम का होता है। महत्वपूर्ण रूप से, किसी भी कंप्यूटर को यह सब करने की अनुमति देने से पहले, इसका परीक्षण उन शोध पत्रों के एक छोटे समूह पर किया जाना चाहिए जिन्हें मनुष्यों ने पहले ही ग्रेड किया हुआ है। यदि कंप्यूटर उस परीक्षण सेट पर बहुत अधिक गलतियाँ करता है, तो उसे आगे बढ़ने की अनुमति नहीं दी जाती है।
दिशानिर्देश 'डेटा एक्सट्रैक्शन' (आंकड़ा निष्कर्षण) के पेचीदा कार्य को भी संबोधित करते हैं, जहाँ शोधकर्ता किसी पेपर के टेक्स्ट से रोगी संख्या या उपचार के परिणाम जैसे विशिष्ट नंबर निकालते हैं। यहाँ, शोधकर्ता और भी अधिक रूढ़िवादी हैं। वे नोट करते हैं कि जबकि कंप्यूटर सामान्य विवरण खोजने में अच्छे होते हैं, वे अक्सर तालिकाओं या जटिल वाक्यों में छिपे सटीक नंबरों के साथ संघर्ष करते हैं। शोध पत्र सुझाव देता है कि एक कंप्यूटर वर्णनात्मक विवरणों के साथ एक ड्राफ्ट फॉर्म भर सकता है, लेकिन हर एक नंबर जिसका उपयोग अंतिम परिणाम की गणना के लिए किया जाएगा, उसकी मानव द्वारा पंक्ति-दर-पंक्ति जांच की जानी चाहिए। यदि कोई मनुष्य नंबर के स्रोत को सत्यापित नहीं करता है, तो उस नंबर का उपयोग अंतिम समीक्षा में नहीं किया जा सकता है। यह नियम कंप्यूटर द्वारा "हैलुसिनेशन" (भ्रम) करने या ऐसे तथ्य गढ़ने के विरुद्ध सुरक्षा प्रदान करता है जो सुनने में तर्कसंगत लगते हैं लेकिन मूल टेक्स्ट में नहीं होते हैं।
पूरी प्रक्रिया के दौरान, दिशानिर्देश एक 'पेपर ट्रेल' (दस्तावेजी साक्ष्य) की मांग करते हैं। हर बार जब एक कंप्यूटर टूल का उपयोग किया जाता है, तो शोधकर्ताओं को यह रिकॉर्ड करना चाहिए कि किस टूल का उपयोग किया गया, सॉफ्टवेयर का कौन सा संस्करण था, उसे क्या निर्देश दिए गए थे, और उसका आउटपुट क्या था। यदि कंप्यूटर कोई गलती करता है, या यदि मानव टीम यह तय करती है कि कंप्यूटर के काम करने के तरीके को कैसे बदला जाए, तो उस बदलाव को दिनांकित और स्पष्ट किया जाना चाहिए। यह समीक्षा का एक इतिहास बनाता है जो किसी भी पाठक को यह देखने की अनुमति देता है कि वास्तव में कहाँ कंप्यूटर ने मदद की और कहाँ मनुष्यों ने कमान संभाली। शोध पत्र कानूनी और नैतिक पक्ष को भी छूता है, टीमों को याद दिलाते हुए कि उन्हें निजी या अप्रकाशित डेटा को सार्वजनिक कंप्यूटर सेवाओं को भेजने के बारे में सावधान रहना चाहिए, क्योंकि उस डेटा को ऐसे तरीकों से संग्रहीत या उपयोग किया जा सकता है जो टीम के इरादे में नहीं थे।
शोधकर्ताओं ने इन दिशानिर्देशों को विकसित करने के लिए वैज्ञानिकों और सूचना विशेषज्ञों सहित क्षेत्र के इक्कीस विशेषज्ञों से बातचीत की। उन्होंने अपने विचारों का परीक्षण किया और फीडबैक के आधार पर उन्हें परिष्कृत किया, जिसका ध्यान नियमों को व्यावहारिक और स्पष्ट बनाने पर था। परिणाम एक ऐसा ढांचा है जो टीमों को सटीकता और विश्वसनीयता से समझौता किए बिना आर्टिफिशियल इंटेलिजेंस की गति का उपयोग करने की अनुमति देता है जिसकी वैज्ञानिक समीक्षाओं को आवश्यकता होती है। शोध पत्र का निष्कर्ष है कि लक्ष्य समीक्षाओं को पूरी तरह से स्वचालित बनाना नहीं है, बल्कि उन्हें अधिक 'ऑडिटेबल' (लेखापरीक्षा योग्य) बनाना है। आर्टिफिशियल इंटेलिजेंस को एक स्वायत्त निर्णय लेने वाले के बजाय एक ऐसे उपकरण के रूप में देखने के द्वारा, जिसका निरीक्षण और सीमांकन किया जाता है, ये दिशानिर्देश यह सुनिश्चित करते हैं कि समीक्षा के अंतिम निष्कर्ष सत्यापित साक्ष्यों पर आधारित रहें, जिसमें सत्य की जिम्मेदारी लेने के लिए हमेशा एक मनुष्य प्रक्रिया में शामिल हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।