Label-free, low-cost AI ranking for systematic review screening
यह शोध पत्र Jev को प्रस्तुत करता है, जो एक कम लागत वाला, लेबल-मुक्त AI मॉडल है जो व्यवस्थित समीक्षा स्क्रीनिंग (systematic review screening) में मौजूदा मुफ्त रैंकर्स से काफी बेहतर प्रदर्शन करता है और महंगे मॉडलों की सटीकता के करीब पहुँचता है, तथा सांख्यिकीय स्टॉपिंग रणनीतियों (statistical stopping strategies) के साथ मिलकर न्यूनतम पठन प्रयास के साथ उच्च रिकॉल प्राप्त करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
हर साल, डॉक्टर और शोधकर्ता चिकित्सा अध्ययनों के विशाल महासागर को समझने के लिए व्यवस्थित समीक्षाओं (systematic reviews) पर भरोसा करते हैं। ये समीक्षाएं नैदानिक दिशानिर्देशों (clinical guidelines) का आधार हैं, जो चिकित्सकों को बताती हैं कि कौन से उपचार प्रभावी हैं और कौन से नहीं। हालांकि, एक समीक्षा बनाना एक थकाऊ और धीमी प्रक्रिया है जिसे शुरू से अंत तक पूरा करने में एक वर्ष से अधिक का समय लग सकता है। सबसे थकाऊ हिस्सा विश्लेषण नहीं, बल्कि स्क्रीनिंग है: मानव विशेषज्ञों की एक टीम को हजारों शीर्षकों और सारांशों को पढ़ना पड़ता है, और एक-एक करके यह तय करना होता है कि प्रत्येक अध्ययन पूर्ण रूप से पढ़ने के लिए पर्याप्त प्रासंगिक है या नहीं। यह एक ऐसा कार्य है जो तीव्र एकाग्रता की मांग करता है और मानव समय का एक बड़ा हिस्सा खर्च करता है, जिससे अक्सर जीवन रक्षक जानकारी उन लोगों तक पहुँचने में देरी हो जाती जिन्हें इसकी आवश्यकता होती है।
वर्षों से, वैज्ञानिक इस छंटनी में मदद करने के लिए कंप्यूटरों का उपयोग करने की कोशिश कर रहे हैं, इस उम्मीद में कि वे सबसे आशाजनक अध्ययनों को पहले दिखा सकें ताकि मनुष्य जल्दी पढ़ना बंद कर सकें। लेकिन इन उपकरणों को काम सीखने के लिए सैकड़ों उदाहरणों को लेबल करने हेतु एक मानव की आवश्यकता होती है, और वे यह जानने में संघर्ष करते हैं कि कब पढ़ना बंद करना सुरक्षित है। हाल ही में, शक्तिशाली नए आर्टिफिशियल इंटेलिजेंस मॉडल उभरे हैं जो बिना किसी विशिष्ट चिकित्सा विषय पर पूर्व प्रशिक्षण के पाठ (text) को समझ सकते हैं। शोधकर्ताओं के सामने प्रश्न यह था कि क्या ये नए उपकरण उन विशाल अध्ययन सूचियों को व्यवस्थित करने के लिए एक सस्ते, तेज़ और सटीक फिल्टर के रूप में कार्य कर सकते हैं, इससे पहले कि कोई भी मानव उन्हें छुए।
एक हालिया अध्ययन में, इंडियाना यूनिवर्सिटी स्कूल ऑफ मेडिसिन की एक टीम ने 'जेव' (Jev) नामक एक नए प्रकार के आर्टिफिशियल इंटेलिजेंस को इसी चुनौती के विरुद्ध परखा। उन्होंने एआई से अध्ययनों को पढ़ने और अंतिम निर्णय लेने के लिए नहीं कहा; इसके बजाय, उन्होंने इसे केवल उन्हें रैंक करने के लिए कहा। लक्ष्य यह देखना था कि क्या एआई उन 128 विभिन्न चिकित्सा समीक्षाओं के लगभग 170,000 रिकॉर्ड्स की एक सूची को इस तरह व्यवस्थित कर सकता है कि सबसे प्रासंगिक रिकॉर्ड सबसे ऊपर आ जाएं, और वह भी बिना एआई द्वारा उन विशिष्ट समीक्षाओं से किसी भी मानव-लेबल वाले उदाहरण को देखे। शोधकर्ताओं ने इस नए उपकरण की तुलना पुराने, मुफ्त सॉफ्टवेयर और उपलब्ध कुछ सबसे उन्नत, महंगे जनरेटिव एआई मॉडलों से की।
परिणामों ने दिखाया कि नया एआई अपने काम में उल्लेखनीय रूप से प्रभावी था। जब शोधकर्ताओं ने एआई को रिकॉर्ड्स को क्रमबद्ध करने दिया, तो इसने प्रासंगिक अध्ययनों को सूची में बहुत ऊपर रखा, जैसा कि सर्वश्रेष्ठ मुफ्त सॉफ्टवेयर कर सकता था। वास्तव में, इसने हर उस समीक्षा में मुफ्त उपकरणों को पीछे छोड़ दिया जिसका उन्होंने परीक्षण किया था। सबसे शक्तिशाली जनरेटिव एआई मॉडलों के साथ तुलना करने पर, नया उपकरण बहुत करीब था, जो शीर्ष प्रदर्शन करने वाले से थोड़ा पीछे रहा, लेकिन उसने एक मामूली अंश लागत पर यह कार्य किया। जहाँ सबसे उन्नत मॉडलों को एक हजार रिकॉर्ड प्रोसेस करने के लिए लगभग चौदह डॉलर और पैंसठ सेंट की आवश्यकता होती थी, वहीं इस नए उपकरण की लागत उसी कार्य के लिए केवल दो सेंट थी। यह न केवल सस्ता था; बल्कि यह अन्य मध्यम-स्तरीय मॉडलों की तुलना में अधिक तेज़ और सटीक भी था जिनकी लागत काफी अधिक थी।
शोधकर्ताओं ने फिर यह पता लगाया कि इस रैंकिंग को मानव कार्य के साथ कैसे जोड़ा जा सकता है ताकि समय बचाया जा सके। उन्होंने पाया कि यदि मनुष्य एआई द्वारा सुझाए गए क्रम में सूची को पढ़ना शुरू करते हैं, तो वे यादृच्छिक (random) क्रम में या पुराने सॉर्टिंग तरीकों का उपयोग करने की तुलना में प्रासंगिक अध्ययनों को बहुत तेज़ी से पा लेंगे। एआई की रैंकिंग को शुरुआती बिंदु के रूप में उपयोग करने और फिर जैसे-जैसे वे आगे बढ़ते गए, मानव फीडबैक जोड़ने से, टीम ने गणना की कि वे लगभग सभी महत्वपूर्ण अध्ययनों को खोजते हुए भी पढ़ने के समय में भारी बचत कर सकते हैं। हालांकि, अध्ययन ने एक महत्वपूर्ण सीमा भी उजागर की: जबकि एआई सूची को खूबसूरती से व्यवस्थित कर सकता था, वह टीम को यह सटीक रूप से नहीं बता सका कि पढ़ना कब रोकना है।
चूंकि एआई के स्कोर अध्ययन के प्रासंगिक होने की सटीक संभावना बताने के लिए पूरी तरह से कैलिब्रेटेड (calibrated) नहीं थे, इसलिए पढ़ने को रोकने के लिए एक निश्चित कटऑफ पॉइंट निर्धारित करना जोखिम भरा साबित हुआ। कुछ मामलों में, एक सरल स्कोर थ्रेशोल्ड (threshold) का उपयोग करने से टीम उन महत्वपूर्ण अध्ययनों को खो बैठी जिन्हें शामिल किया जाना चाहिए था। शोधकर्ताओं ने पाया कि सुरक्षित रूप से रुकने का एकमात्र तरीका यह था कि वे तब तक पढ़ना जारी रखें जब तक कि एक सांख्यिकीय जांच यह पुष्टि न कर दे कि उन्होंने संभवतः सभी प्रासंगिक अध्ययन खोज लिए हैं। इसका अर्थ है कि एआई काम को व्यवस्थित करने और मनुष्यों को यह दिखाने के लिए एक उत्कृष्ट उपकरण है कि उन्हें पहले कहाँ देखना चाहिए, लेकिन यह अभी तक उस निर्णय को लेने के लिए मानव विवेक का स्थान नहीं ले सकता कि खोज वास्तव में कब पूरी हुई है।
अंततः, यह कार्य प्रदर्शित करता है कि एक कम लागत वाला, लेबल-मुक्त एआई चिकित्सा अनुसंधान स्क्रीनिंग की दक्षता में नाटकीय रूप से सुधार कर सकता है। यह पहली रिकॉर्ड से ही उच्च-गुणवत्ता वाला पठन क्रम प्राप्त करने का एक तरीका प्रदान करता है, जिससे टीमें कुछ महत्वपूर्ण अध्ययनों को खोजने से पहले हजारों अप्रासंगिक अध्ययनों को पढ़ने से बच सकती हैं। भले ही यह पूरी समस्या को हल नहीं करता कि कब रुकना है, लेकिन यह एक शक्तिशाली, सस्ता शुरुआती बिंदु प्रदान करता है जो उसके बाद होने वाले मानव कार्य को बहुत अधिक केंद्रित और प्रभावी बनाता है। साक्ष्य-आधारित चिकित्सा (evidence-based medicine) के क्षेत्र के लिए, यह नैदानिक दिशानिर्देशों के निर्माण को तेज़ और कम बोझिल बनाने की दिशा में एक महत्वपूर्ण कदम है, जिससे यह सुनिश्चित होता है कि सर्वोत्तम चिकित्सा ज्ञान मरीजों तक जल्द से जल्द पहुंचे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।