Evaluation of Elicit as an adjunct search, screening, and data extraction tool for systematic reviews
यह अध्ययन व्यवस्थित समीक्षाओं (सिस्टमैटिक रिव्यूज) के लिए एक एआई टूल के रूप में एलिसिट (Elicit) का मूल्यांकन करता है, जिसमें यह पाया गया है कि जहाँ यह समय की महत्वपूर्ण बचत और उपयोगी डेटा निष्कर्षण क्षमताएं प्रदान करता है, वहीं इसकी खराब खोज ओवरलैप और स्क्रीनिंग में निम्न सटीकता यह संकेत देती है कि यह वर्तमान में व्यवस्थित समीक्षा प्रक्रिया के स्टैंडअलोन प्रतिस्थापन के बजाय केवल एक सहायक के रूप में उपयुक्त है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा अनुसंधान की दुनिया में, व्यवस्थित समीक्षा (सिस्टमैटिक रिव्यू) सत्य के एक आधार स्तंभ के रूप में खड़ी है। यह एक कठोर प्रक्रिया है जहाँ वैज्ञानिक किसी विशिष्ट प्रश्न पर उपलब्ध हर अध्ययन को एकत्र करते हैं, उन्हें अत्यंत सावधानी से छानते हैं, और स्वास्थ्य संबंधी मुद्दे के बारे में वास्तव में क्या ज्ञात है, यह निर्धारित करने के लिए उनके निष्कर्षों को जोड़ते हैं। यह पद्धति डॉक्टरों द्वारा उपचार के निर्णय लेने और नीति निर्माताओं द्वारा स्वास्थ्य दिशानिर्देश निर्धारित करने के लिए आवश्यक है, फिर भी यह अत्यंत कठिन है। यह प्रक्रिया धीमी, महंगी और अत्यधिक मानवीय प्रयास की मांग करने वाली है, जिसे पूरा करने में अक्सर वर्षों लग जाते हैं क्योंकि शोधकर्ताओं की टीमों को यह तय करने के लिए हजारों शीर्षकों और सारांशों को पढ़ना पड़ता है कि कौन से शोध पत्र अंतिम विश्लेषण में शामिल होने चाहिए। जैसे-जैसे प्रकाशित विज्ञान की मात्रा प्रतिदिन बढ़ रही है, नए साहित्य के साथ तालमेल बिठाने का कार्य भारी होता जा रहा है, जिससे कई लोग यह सोचने लगे हैं कि क्या आर्टिफिशियल इंटेलिजेंस इस भारी बोझ को उठा सकता है।
टोरंटो के सेंटर फॉर एडिक्शन एंड मेंटल हेल्थ की एक टीम का एक हालिया अध्ययन 'एलिसिट' (Elicit) नामक एक विशिष्ट एआई टूल का परीक्षण करके इसी संभावना की खोज करता है। शोधकर्ता यह जानना चाहते थे कि क्या यह सॉफ्टवेयर एक मानव टीम के कार्य को दोहरा सकता है जो एक व्यवस्थित समीक्षा कर रही हो। यह पता लगाने के लिए, उन्होंने एक ऐसी समीक्षा ली जिसे उनके अपने समूह ने पहले ही मैन्युअल रूप से पूरा किया था—एक ऐसा अध्ययन जो यह जांच रहा था कि क्या युवाओं में शुरुआती, हल्के मनोविकार के लक्षण बाद के मानसिक स्वास्थ्य निदानों की भविष्यवाणी करते हैं—और एलिसिट से वही काम करने को कहा। उन्होंने प्रत्येक चरण में, शोध पत्रों की प्रारंभिक खोज से लेकर डेटा निष्कर्षण (डेटा एक्सट्रैक्शन) तक, एआई के परिणामों की तुलना मानव टीम के कार्य से की, और यह मापा कि एआई ने कितने सही अध्ययन खोजे, उसने कितने छोड़े, और उसने कितना समय बचाया।
परिणामों ने एक ऐसे उपकरण का खुलासा किया जो शक्तिशाली तो है लेकिन अभी अकेले काम करने के लिए तैयार नहीं है। जब प्रारंभिक खोज की बात आई, तो एलिसिट को काफी संघर्ष करना पड़ा। जबकि मानव टीम ने पारंपरिक खोज विधियों का उपयोग करके 5,000 से अधिक प्रासंगिक अध्ययन खोजे, एलिसिट के सर्च इंजन ने उन्हीं में से केवल 158 अध्ययन ही खोज पाए। इसका अर्थ है कि एआई ने उस शोध का एक बड़ा हिस्सा छोड़ दिया जिसे मनुष्यों ने पहचाना था, जो यह सुझाव देता है कि इसकी वर्तमान खोज क्षमताएं मानव शोधकर्ताओं द्वारा किए जाने वाले सावधानीपूर्ण और संरचित खोजों को बदलने के लिए पर्याप्त व्यापक नहीं हैं। हालांकि, एक बार जब अध्ययन इसके सामने आ गए, तो एआई ने अधिक आशाजनक प्रदर्शन किया। स्क्रीनिंग प्रक्रिया के दौरान, जहाँ शोधकर्ता यह तय करते हैं कि क्या कोई शोध पत्र विस्तार से पढ़ने के लिए पर्याप्त प्रासंगिक है, एलिसिट ने मध्यम स्तर पर प्रदर्शन किया। इसने अधिकांश महत्वपूर्ण अध्ययनों की सफलतापूर्वक पहचान की, लेकिन इसने एक विशिष्ट प्रकार की त्रुटि भी की: यह उन शोध पत्रों को भी शामिल करने लगा जिन्हें बाहर कर दिया जाना चाहिए था। यह अत्यधिक सतर्क था, जिससे कॉन्फ्रेंस पोस्टर्स और सारांश भी अंदर आ गए जो पूर्ण शोध लेख नहीं थे, और इसने कभी-कभी गलत अनुमान लगाया कि क्या किसी अध्ययन में सही प्रकार का मेडिकल डायग्नोसिस डेटा मौजूद है।
सबसे उत्साहजनक निष्कर्ष डेटा निष्कर्षण चरण में दिखाई दिए, जहाँ एआई ने चयनित शोध पत्रों से विशिष्ट संख्याएं और तथ्य निकालने का प्रयास किया। एलिसिट एक सहायक के रूप में सिद्ध हुआ, जिसने लगभग सभी मामलों में लेखक का नाम, प्रकाशन का वर्ष और अध्ययन के देश जैसे बुनियादी विवरणों के सटीक मिलान को सफलतापूर्वक खोज लिया। भले ही इसे सटीक संख्या नहीं मिली, लेकिन इसने अक्सर मूल पाठ से एक वाक्य प्रदान किया जो मानव पाठक को सही जानकारी की ओर संकेत करता था, जो कि समय बचाने वाला एक महत्वपूर्ण कारक है। अधिक जटिल विवरणों के लिए, जैसे प्रतिभागियों की सटीक आयु या विशिष्ट सांख्यिकीय परिणाम, एआई कम सटीक था, क्योंकि यह कभी-कभी अध्ययन के भीतर गलत समूह से डेटा निकाल लेता था या अंतिम गणना के लिए आवश्यक विशिष्ट मान को छोड़ देता था। इन खामियों के बावजूद, गति का अंतर चौंकाने वाला था। मानव टीम को पूरी समीक्षा प्रक्रिया को पूरा करने में लगभग 445 घंटों का काम लगा, जिसमें कई शोधकर्ताओं द्वारा प्रत्येक चरण की दोबारा जाँच की गई थी। एआई ने उसी कार्य का अपना संस्करण केवल तीन घंटों से कुछ अधिक समय में पूरा कर लिया।
अंततः, अध्ययन यह निष्कर्ष निकालता है कि एलिसिट एक मूल्यवान साथी है लेकिन विकल्प नहीं। यह अभी अपने आप में व्यवस्थित समीक्षा चलाने में सक्षम नहीं है क्योंकि यह खोज चरण में बहुत अधिक अध्ययन छोड़ देता है और स्क्रीनिंग चरण में इतनी गलतियाँ करता है कि बिना पर्यवेक्षण के इस पर भरोसा नहीं किया जा सकता। हालांकि, दस्तावेजों को तेजी से स्कैन करने और विशिष्ट वाक्यों की ओर संकेत करने की इसकी क्षमता इसे मानव शोधकर्ताओं के काम को तेज करने के लिए एक उत्कृष्ट उपकरण बनाती है। लेखक सुझाव देते हैं कि सबसे अच्छा दृष्टिकोण एआई को दूसरे या तीसरे समीक्षक के रूप में उपयोग करना है, जिससे यह जानकारी खोजने के भारी काम को संभाल सके जबकि एक मानव विशेषज्ञ प्रक्रिया की निगरानी करे ताकि त्रुटियों को पकड़ा जा सके और अंतिम परिणामों की सटीकता सुनिश्चित की जा सके। इस प्रकार, यह तकनीक चिकित्सा विज्ञान के लिए आवश्यक विश्वसनीयता से समझौता किए बिना अनुसंधान के समय और लागत को कम कर सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।