Cost-Efficient Large Language Model-Assisted Title­­ and Abstract Screening for Systematic Reviews: Method Evaluation and Validation

हर साल, दुनिया में नए वैज्ञानिक शोध पत्रों (scientific papers) की एक चौंका देने वाली बाढ़ आ जाती है। चिकित्सा से लेकर पर्यावरणीय स्वास्थ्य जैसे क्षेत्रों में, शोधकर्ता पहले से कहीं अधिक अध्ययन प्रकाशित कर रहे हैं, जिससे सूचनाओं का एक ऐसा सैलाब पैदा हो गया है जिसे कोई भी मानव टीम अपने पूरे जीवनकाल में पढ़ पाना संभव नहीं है। इस अराजकता को समझने के लिए, वैज्ञानिक 'सिस्टमैटिक रिव्यू' (systematic review) नामक एक कठोर प्रक्रिया पर भरोसा करते हैं। यह साहित्य पर केवल एक सामान्य नज़र डालना नहीं है; यह हर उस अध्ययन की व्यवस्थित खोज है जो एक विशिष्ट प्रश्न का उत्तर देता है, जैसे कि क्या कोई निश्चित रसायन नुकसान पहुँचाता है या क्या एक नई दवा पुरानी दवा से बेहतर काम करती है। इस खोज में पहला, और अक्सर सबसे थका देने वाला चरण, 'स्क्रीनिंग' (screening) है। शोधकर्ताओं को हजारों लेखों के शीर्षकों और संक्षिप्त सारांशों को पढ़ना होता है, और तुरंत यह निर्णय लेना होता है कि कौन से रखने योग्य हैं और किन्हें फेंक दिया जाना चाहिए। यदि इस चरण में कोई प्रासंगिक अध्ययन छूट जाता है, तो पूरा रिव्यू त्रुटिपूर्ण हो सकता है, जिससे स्वास्थ्य और सुरक्षा के बारे में गलत निष्कर्ष निकल सकते हैं। दशकों से, यह पूरी तरह से मानवीय आँखों द्वारा किया जाने वाला काम रहा है, जो एक धीमी, महंगी और श्रम-साध्य बाधा है जो महत्वपूर्ण उत्तरों में देरी करती है।

जर्मनी के फेडरल ऑफिस फॉर रेडिएशन प्रोटेक्शन के शोधकर्ताओं की एक टीम ने अब आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करके इस समस्या से निपटने का एक नया तरीका परीक्षण किया है। उन्होंने यह पता लगाया कि क्या लार्ज लैंग्वेज मॉडल्स (large language models)—मानव भाषा को समझने और उत्पन्न करने में सक्षम उन्नत कंप्यूटर प्रोग्राम—एक पहले फिल्टर के रूप में कार्य कर सकते हैं, जो इन हजारों शीर्षकों और सारांशों को पढ़कर यह तय कर सकें कि किन पर मनुष्य का ध्यान देना चाहिए। लक्ष्य मानव समीक्षकों को बदलना नहीं था, बल्कि एक शक्तिशाली सहायक के रूप में कार्य करना था जो भारी काम कर सके, अधिकांश अप्रासंगिक शोध पत्रों को हटा सके और साथ ही यह गारंटी दे सके कि कोई भी महत्वपूर्ण अध्ययन गलती से फेंका न जाए। शोधकर्ताओं ने इसे एक वैज्ञानिक प्रयोग की तरह माना, जिसमें उन्होंने कंप्यूटर को काम करने के लिए पूछने के दर्जनों अलग-अलग तरीके बनाए और परीक्षण किए, और इस बात को सावधानीपूर्वक मापा कि प्रत्येक विधि कितनी अच्छी तरह काम करती है, इससे पहले कि वे इसे वास्तविक डेटा के भरोसे छोड़ें।

टीम ने एक नियंत्रित परीक्षण क्षेत्र बनाना शुरू किया। उन्होंने वैज्ञानिक शोध पत्रों के 100 कृत्रिम सारांश तैयार किए, जिनमें से आधे को शामिल किए जाने के सख्त मानदंडों को पूरा करने के लिए डिज़ाइन किया गया था और आधे को विफल होने के लिए डिज़ाइन किया गया था। इस छोटे से सेट का उपयोग करते हुए, उन्होंने विभिन्न प्रकार की रणनीतियों को आजमाया। कुछ रणनीतियों में कंप्यूटर से केवल 'हाँ' या 'नहीं' में उत्तर देने के लिए कहा गया। अन्य में इसे निर्णय को विभाजित करने के लिए कहा गया, जिसमें अध्ययन के डिजाइन के पांच विशिष्ट भागों का अलग-अलग मूल्यांकन किया गया: शामिल लोग, एक्सपोजर या उपचार, तुलना समूह, मापा गया परिणाम, और अध्ययन का प्रकार। उन्होंने यह भी परीक्षण किया कि क्या कंप्यूटर को नए अध्यनों का न्याय करने से पहले अच्छे और बुरे शोध पत्रों के कुछ उदाहरण देने से मदद मिलेगी, और क्या कंप्यूटर से प्रत्येक निर्णय के लिए अपने तर्क को समझाने के लिए कहने से इसकी सटीकता में सुधार होगा। उन्होंने ये परीक्षण ओपन-सोर्स मॉडल्स (जो स्थानीय कंप्यूटरों पर चलाए जा सकते हैं) और प्रमुख प्रौद्योगिकी कंपनियों के प्रोप्रायटरी मॉडल्स (proprietary models) दोनों पर किए, और उनकी गति, लागत और सटीकता की तुलना की।

सर्वश्रेष्ठ दृष्टिकोणों को कम करने के बाद, शोधकर्ताओं ने एक अधिक कठोर चरण में अपने शीर्ष उम्मीदवारों का परीक्षण तीन वास्तविक दुनिया के सिस्टमैटिक रिव्यूज पर किया, जो मानव विशेषज्ञों द्वारा पहले ही पूरे किए जा चुके थे। ये रिव्यू रेडियोफ्रीक्वेंसी इलेक्ट्रोमैग्नेटिक फील्ड्स के स्वास्थ्य प्रभावों पर केंद्रित थे, जो शोध टीम का एक जाना-पहचाना विषय है। यहाँ, कंप्यूटर का काम उन हजारों शीर्षकों और सारांशों को देखना था जो मूल खोजों से आए थे और यह तय करना था कि मनुष्यों ने अंततः किन्हें रखा। परिणाम आश्चर्यजनक थे। सबसे सफल वर्कफ़्लो लगभग हर उस अध्ययन की पहचान करने में सक्षम थे जिन्हें मनुष्यों ने शामिल किया था, जिससे 96 प्रतिशत से अधिक की संवेदनशीलता दर (sensitivity rate) प्राप्त हुई। इसका अर्थ यह है कि यदि हजारों के ढेर में 100 प्रासंगिक अध्ययन छिपे थे, तो कंप्यूटर कम से कम 96 को ढूंढ लेगा। साथ ही, सिस्टम अप्रासंगिक शोध पत्रों को सही ढंग से पहचानने और हटाने में सक्षम था, जिससे उन रिकॉर्डों की संख्या काफी कम हो गई जिन्हें एक मनुष्य को पढ़ना पड़ता, जो कि 80 प्रतिशत से अधिक की कमी थी।

अध्ययन से यह भी पता चला कि कंप्यूटर मॉडल का आकार उतना महत्वपूर्ण नहीं था जितना कि उसे काम करने के लिए कैसे निर्देशित किया जाता है। शोधकर्ताओं ने पाया कि सबसे प्रभावी दृष्टिकोण उपलब्ध सबसे बड़े, सबसे महंगे मॉडल्स का उपयोग करना नहीं था, बल्कि छोटे, अधिक लागत-कुशल मॉडल्स का उपयोग करना था जिन्हें एक विशिष्ट पद्धति द्वारा निर्देशित किया गया था। इस पद्धति में मॉडल को अध्ययन के पांच प्रमुख भागों को व्यक्तिगत रूप से देखने और प्रत्येक भाग को स्वीकार या अस्वीकार करने के कारण का संक्षिप्त विवरण देने के लिए कहना शामिल था। इस चरण-दर-चरण तर्क (step-by-step reasoning) ने, कुछ उदाहरणों के साथ कि एक अच्छा या बुरा अध्ययन कैसा दिखता है, छोटे और सस्ते मॉडल्स को भी लगभग मानव-तुल्य सटीकता के साथ प्रदर्शन करने की अनुमति दी। शोधकर्ताओं ने पाया कि कंप्यूटर को एक साथ समानांतर में पांच अलग-अलग प्रश्नों का उत्तर देने के लिए कहना वास्तव में उसे कम सटीक बनाता है, जिससे पता चलता है कि कंप्यूटर तब बेहतर काम करता है जब वह पूरी तस्वीर को एक साथ देखता है, भले ही वह भागों का विस्तृत विश्लेषण कर रहा हो।

जब टीम ने अपने सर्वश्रेष्ठ प्रदर्शन करने वाले वर्कफ़्लो को आठ पूरी तरह से अलग सिस्टमैटिक रिव्यूज पर परीक्षण किया, जिसमें कैंसर अनुसंधान से लेकर गठिया (arthritis) उपचार तक के विषय शामिल थे, तो परिणाम बरकरार रहे। सिस्टम ने शोर (noise) को छानते हुए लगभग सभी प्रासंगिक अध्ययनों को लगातार खोजा। इस प्रक्रिया को चलाने की लागत उल्लेखनीय रूप से कम थी, जो प्रति 1,000 रिकॉर्ड की स्क्रीनिंग के लिए लगभग एक अमेरिकी डॉलर के बराबर थी। यह सुझाव देता है कि यह तकनीक केवल एक सैद्धांतिक संभावना नहीं है, बल्कि एक व्यावहारिक उपकरण है जिसका उपयोग सीमित बजट वाले शोध दल भी कर सकते हैं। शोधकर्ताओं ने उल्लेख किया कि सिस्टम पूर्ण नहीं है; यह उन शोध पत्रों के साथ संघर्ष करता है जिनमें बहुत कम जानकारी होती है, जैसे कि वे जिनमें केवल शीर्षक होता है और कोई सारांश नहीं होता। ऐसे मामलों में, सिस्टम ने बुद्धिमानी से पेपर को मानव द्वारा जांचने के लिए चिह्नित किया, जिससे यह सुनिश्चित हुआ कि कोई भी महत्वपूर्ण चीज़ खो न जाए।

अध्ययन का निष्कर्ष है कि आर्टिफिशियल इंटेलिजेंस अब वैज्ञानिक प्रक्रिया में एक अत्यधिक विश्वसनीय भागीदार के रूप में कार्य कर सकता है। एक सावधानीपूर्वक डिज़ाइन किए गए वर्कफ़्लो का उपयोग करके, जो कंप्यूटर को चरण-दर-चरण मानदंडों पर विचार करने और अपने विकल्पों को समझाने के लिए कहता है, शोधकर्ता साहित्य की समीक्षा के लिए आवश्यक समय और प्रयास को नाटकीय रूप रूप से कम कर सकते हैं। इसका मतलब यह नहीं है कि मनुष्य अप्रचलित हो गए हैं; बल्कि, इसका मतलब यह है कि वे उन शोध पत्रों पर अपनी ऊर्जा केंद्रित कर सकते हैं जो वास्तव में महत्वपूर्ण हैं, इस विश्वास के साथ कि कंप्यूटर ने पहले ही प्रारंभिक जांच कर ली है। यह कार्य एक स्पष्ट और पारदर्शी ढांचा प्रदान करता है कि इस तकनीक का जिम्मेदारी से उपयोग कैसे किया जा सकता है, जो एक ऐसी दुनिया में तेजी से और अधिक कुशल साक्ष्य संश्लेषण (evidence synthesis) के लिए एक मार्ग प्रस्तुत करता है जहाँ वैज्ञानिक ज्ञान पहले से कहीं अधिक तेजी से बढ़ रहा है।