Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

चिकित्सा अनुसंधान की दुनिया में, किसी प्रश्न का उत्तर देने का सबसे विश्वसनीय तरीका यह है कि उस विषय पर लिखे गए हर एक अध्ययन को एकत्र किया जाए, उन सभी को पढ़ा जाए, और उनके निष्कर्षों को एक स्पष्ट चित्र में संयोजित किया जाए। इस प्रक्रिया को 'सिस्टमैटिक रिव्यू' (व्यवस्थित समीक्षा) कहा जाता है। यह तय करने के लिए स्वर्ण मानक (गोल्ड स्टैंडर्ड) है कि कौन से उपचार काम करते हैं और कौन से नहीं, जो आधुनिक नैदानिक दिशानिर्देशों की रीढ़ बनता है। हालाँकि, इन समीक्षाओं को बनाना एक विशाल कार्य है। इसके लिए शोधकर्ताओं की टीमों को लाखों लेखों को खोजने, प्रासंगिक लेखों को चुनने के लिए सारांश (एब्स्ट्रैक्ट) पढ़ने, पूर्ण पाठों से विशिष्ट संख्याएँ निकालने और अनुसंधान की गुणवत्ता की जाँच करने में महीनों या वर्षों तक समय बिताना पड़ता है ताकि यह सुनिश्चित किया जा सके कि वे भरोसेमंद हैं। यह प्रक्रिया इतनी श्रमसाध्य है कि इसमें लाखों डॉलर खर्च हो सकते हैं और डॉक्टरों एवं रोगियों तक जीवन रक्षक जानकारी पहुँचने में देरी हो सकती है।

हाल ही में, 'लार्ज लैंग्वेज मॉडल' के रूप में ज्ञात एक नए प्रकार के कंप्यूटर प्रोग्राम का उदय हुआ है। ये वे प्रणालियाँ हैं जिन्हें मानव भाषा की विशाल मात्रा पर प्रशिक्षित किया गया है और जो भाषा को इस तरह पढ़, समझ और उत्पन्न कर सकती हैं जो अक्सर मानव बुद्धि की नकल करती है। शोधकर्ताओं ने विचार करना शुरू कर दिया है कि क्या ये उपकरण व्यवस्थित समीक्षाओं बनाने के भारी काम को संभाल सकते हैं, जिससे महीनों लंबे कठिन कार्य को कुछ घंटों का मामला बनाया जा सके। आशा यह है कि ये मशीनें काम के दोहराव वाले और डेटा-प्रधान हिस्सों को संभाल सकती हैं, जिससे मानव विशेषज्ञ उन जटिल निर्णयों पर ध्यान केंद्रित करने के लिए स्वतंत्र हो सकें जिनमें गहरे विवेक की आवश्यकता होती है। लेकिन ऐसा होने के लिए, मशीनों को रोगियों के जीवन के साथ विश्वास करने योग्य रूप से सटीक होना चाहिए।

मॉन्ट्रियल विश्वविद्यालय और मैकगिल विश्वविद्यालय के शोधकर्ताओं ने एक बहुत ही व्यावहारिक दृष्टिकोण के साथ इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने एक जटिल, पूरी तरह से स्वचालित रोबोट बनाने का प्रयास नहीं किया जो शुरुआत से अंत तक पूरी समीक्षा प्रक्रिया को चलाता हो। इसके बजाय, उन्होंने एक विशिष्ट, उन्नत वर्ज़न वाले लार्ज लैंग्वेज मॉडल से एक-एक करके व्यवस्थित समीक्षा के प्रत्येक प्रमुख चरण को करने के लिए कहा, जिसमें केवल सरल निर्देश और पहले से प्रकाशित पाँच चिकित्सा समीक्षाओं के डेटा का उपयोग किया गया। लक्ष्य यह देखना था कि क्या एक सामान्य उपयोगकर्ता, जिसे आर्टिफिशियल इंटेलिजेंस का कोई विशेष प्रशिक्षण नहीं है, कंप्यूटर से मानव टीम के समान कार्य करवा सकता है। शोधकर्ताओं ने पाँच विशिष्ट चरणों पर ध्यान केंद्रित किया: लेखों को खोजने के लिए खोज शब्द (सर्च टर्म्स) बनाना, प्रासंगिक अध्ययनों को चुनने के लिए शीर्षकों और सारांशों की स्क्रीनिंग करना, पूर्ण पाठों से विशिष्ट डेटा बिंदु निकालना, अध्ययनों की गुणवत्ता और संभावित पूर्वाग्रह का आकलन करना, और अंत में, परिणामों को प्राप्त करने के लिए डेटा को संयोजित करना।

परिणामों ने आश्चर्यजनक शक्तियों और स्पष्ट सीमाओं की एक कहानी उजागर की। जब बात चिकित्सा लेखों के पाठ से विशिष्ट संख्याएँ और तथ्य निकालने की आई, तो कंप्यूटर मॉडल उल्लेखनीय रूप से अच्छा था। वास्तव में, इसने उन मूल मानव लेखकों से बेहतर प्रदर्शन किया जिन्होंने उन समीक्षाओं को लिखा था। जब शोधकर्ताओं ने कंप्यूटर द्वारा निकाले गए डेटा की तुलना विशेषज्ञों द्वारा बनाए गए एक नए, अत्यधिक कठोर मानक से की, तो मशीन 93 प्रतिशत बार सही थी। यह तेज़ भी था, जिसने वह काम मिनटों में कर दिया जिसमें मनुष्यों को घंटों लग जाते थे। इसी तरह, जब इसे अध्ययनों के स्तर को आंकने और संभावित खामियों या पूर्वाग्रहों की पहचान करने के लिए कहा गया, तो कंप्यूटर ने फिर से मनुष्यों से बेहतर प्रदर्शन किया, जिसकी सटीकता 83 प्रतिशत थी। शोधकर्ताओं ने नोट किया कि जब कंप्यूटर ने गुणवत्ता के निर्णय में गलती की, तो वह अत्यधिक सतर्क था, यानी उसने एक अध्ययन को जोखिम भरा बताया जबकि वह सुरक्षित हो सकता था, जो कि वास्तविक समस्या को अनदेखा करने की तुलना में एक सुरक्षित त्रुटि है।

हालाँकि, मशीन शुरुआती चरणों में काफी संघर्ष करती रही, जहाँ उसे अपूर्ण जानकारी के आधार पर निर्णय लेने पड़ते थे। जब कंप्यूटर को 'सर्च स्ट्रिंग्स' (लेखों को खोजने के लिए उपयोग किए जाने वाले विशिष्ट शब्दों की सूची) बनाने के लिए कहा गया, तो उसने लगभग 85 प्रतिशत प्रासंगिक लेखों को पाया जो मनुषियों ने खोजे थे। यह एक अच्छा परिणाम था, लेकिन इसका मतलब था कि उसने साहित्य के एक महत्वपूर्ण हिस्से को छोड़ दिया। स्थिति तब और खराब हो गई जब कंप्यूटर ने अंतिम समीक्षा में शामिल किए जाने वाले लेखों को तय करने के लिए पूर्ण पाठ की स्क्रीनिंग करने की कोशिश की। इस चरण में, मॉडल ने उन महत्वपूर्ण लेखों में से आधे से अधिक को खो दिया जिन्हें मानव समीक्षकों ने सही ढंग से पहचाना था। कंप्यूटर यह जानने में बहुत अच्छा था कि किसे शामिल नहीं करना है, लेकिन वह रखने के लिए सही चीजों को खोजने में कमजोर था। यह सुझाव देता है कि हालांकि मशीन डेटा को पढ़ने और व्यवस्थित करने के लिए एक शक्तिशाली उपकरण हो सकती है, लेकिन यह अभी तक यह तय करने के प्रारंभिक, महत्वपूर्ण चरणों में मनुष्यों की जगह लेने के लिए तैयार नहीं है कि कौन सा शोध प्रासंगिक है।

अंतिम चरण में समीक्षा के समग्र परिणामों की गणना करने के लिए डेटा को संयोजित करना शामिल था। यहाँ, कंप्यूटर ने मानव परिणामों के बहुत करीब संख्याएँ प्रदान कीं, हालाँकि वे हमेशा बिल्कुल समान नहीं थीं। अंतर छोटे थे और संभवतः अस्पष्ट डेटा की व्याख्या करने या मामूली गणना विवरणों को संभालने के तरीके के कारण थे। शोधकर्ताओं ने पाया कि कंप्यूटर इन परिणामों को सेकंडों में उत्पन्न कर सकता है, एक ऐसा कार्य जिसमें मनुष्य को बहुत अधिक समय लगेगा। हालाँकि, अध्ययन ने इस बात पर प्रकाश डाला कि कंप्यूटर को इसे पूरी तरह से करने के लिए लापता डेटा को कैसे संभालना है और किन सांख्यिकीय विधियों का उपयोग करना है, इसके बारे में बहुत विशिष्ट, विस्तृत निर्देशों की आवश्यकता थी। इस सावधानीपूर्वक मार्गदर्शन के बिना, परिणाम सत्य से थोड़ा भटक सकते थे।

अध्ययन निष्कर्ष निकालता है कि चिकित्सा अनुसंधान को स्वचालित करने का मार्ग एक एकल छलांग नहीं है, बल्कि चरणों की एक श्रृंखला है जहाँ विभिन्न कार्यों के लिए विभिन्न उपकरणों की आवश्यकता होती है। उन कार्यों के लिए जिनमें पाठ को पढ़ना और तथ्यों को निकालना शामिल है, जैसे कि तालिकाओं से डेटा निकालना या अध्ययन की गुणवत्ता का निर्णय लेना, ये कंप्यूटर मॉडल पहले से ही मनुष्यों से बेहतर हैं और काम को गति देने के लिए इनका तुरंत उपयोग किया जा सकता है। लेकिन अधिक व्यक्तिपरक कार्यों के लिए, जैसे कि यह तय करना कि किन लेखों की खोज करनी है या किन पूर्ण पाठों को रखना है, मशीनें अभी तक अकेले काम करने के लिए पर्याप्त विश्वसनीय नहीं हैं। शोधकर्ता सुझाव देते हैं कि गैर-विशेषज्ञों के लिए सबसे प्रभावी दृष्टिकोण एक हाइब्रिड मॉडल है: कंप्यूटर को डेटा निष्कर्षण और गुणवत्ता जाँच का भारी काम करने दें, जबकि खोज का मार्गदर्शन करने और अंतिम स्क्रीनिंग निर्णय लेने के लिए मानव विशेषज्ञों को प्रक्रिया में शामिल रखें। यह साझेदारी चिकित्सा साक्ष्य तैयार करने के समय और लागत को नाटकीय रूप से कम कर सकती है, बिना उस सटीकता से समझौता किए जिस पर रोगी निर्भर करते हैं।