Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
यह अध्ययन नीतिगत साक्ष्य संश्लेषण के लिए एआई टूल एलिसिट (Elicit) का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि यह प्रारंभिक विषय स्कोपिंग को प्रभावी ढंग से गति प्रदान करता है, लेकिन इसमें वर्तमान में महत्वपूर्ण मानवीय देखरेख के बिना जटिल रैपिड रिव्यूज के लिए आवश्यक सटीकता और विश्वसनीयता का अभाव है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सार्वजनिक स्वास्थ्य और सरकारी नीति की दुनिया में, कौन से उपचारों या कार्यक्रमों को वित्तपोषित किया जाए, इसके बारे में निर्णय लेने के लिए साक्ष्य (एविडेंस) की नींव पर निर्भरता होती है। कोई नया नियम लिखने से पहले, विशेषज्ञों को किसी विषय पर मौजूद सभी मौजूदा शोध एकत्र करना होता है, उन्हें ध्यान से पढ़ना होता है, और यह सारांश तैयार करना होता है कि क्या काम करता है और क्या नहीं। यह प्रक्रिया, जिसे 'एविडेंस सिंथेसिस' (साक्ष्य संश्लेषण) कहा जाता है, निष्पक्ष और प्रभावी विकल्प बनाने के लिए आवश्यक है, लेकिन यह अविश्वसनीय रूप से समय लेने वाली भी है। पारंपरिक रूप से, शोधकर्ताओं की टीमें हजारों वैज्ञानिक लेखों को खोजने, यह जांचने में कि क्या प्रत्येक लेख वर्तमान प्रश्न के अनुकूल है, और एक स्पष्ट तस्वीर बनाने के लिए डेटा निकालने में महीनों बिताती हैं। जैसे-जैसे नीति निर्माताओं की ज़रूरतें अधिक तात्कालिक और जटिल होती जा रही हैं, इस काम को सटीकता खोए बिना तेज़ करने की बढ़ती इच्छा है। यहीं पर आर्टिफिशियल इंटेलिजेंस (AI) दृश्य में प्रवेश करता है, जो एक शक्तिशाली सहायक के रूप में कार्य करने का वादा करता है जो सूचनाओं को उस गति से पढ़ और छाँट सकता है जो कोई मानव नहीं कर सकता।
यूनाइटेड किंगडम के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने इन नए AI उपकरणों में से एक का परीक्षण करने का निर्णय लिया। वे यह देखना चाहते थे कि क्या 'एलिसिट' (Elicit) नामक एक सॉफ्टवेयर प्रोग्राम वास्तव में नीति शोधकर्ताओं को अपना काम तेज़ी से और बेहतर तरीके से करने में मदद कर सकता है। शोधकर्ताओं ने इस उपकरण का मूल्यांकन दो अलग-अलग तरीकों से करने का निर्णय लिया। पहला, उन्होंने पूछा कि क्या AI एक व्यापक विषय का त्वरित अवलोकन प्राप्त करने के लिए एक सहायक मार्गदर्शक के रूप में कार्य कर सकता है, जिसे पूर्ण समीक्षा शुरू होने से पहले 'स्कोपिंग' (परिधि निर्धारण) कहा जाता है। दूसरा, उन्होंने परीक्षण किया कि क्या AI एक जटिल विषय पर साक्ष्य की पूर्ण, तीव्र समीक्षा करने में मानव शोधकर्ताओं का स्थान ले सकता है। उन्होंने एक कठिन विषय चुना: यह पता लगाना कि कौन से कार्यक्रम सामाजिक और आर्थिक रूप से वंचित वृद्ध वयस्कों के बीच शारीरिक गतिविधि को सफलतापूर्वक प्रोत्साहित करते हैं। यह विषय इसलिए चुना गया क्योंकि इसमें कई गतिशील हिस्से शामिल हैं, जैसे विभिन्न प्रकार के लोग, विभिन्न प्रकार की गतिविधियाँ और सफलता के विशिष्ट माप, जो किसी भी स्वचालित प्रणाली के लिए एक कठोर परीक्षण है।
शोधकर्ताओं ने प्राथमिक देखभाल (प्राइमरी केयर) में शारीरिक गतिविधि उपकरणों के परिदृश्य को समझने में मदद करने के लिए साहित्य का त्वरित स्कैन करने हेतु AI से शुरुआत की। इस भूमिका में, सॉफ्टवेयर काफी उपयोगी साबित हुआ। इसने केवल छह मिनट में उपलब्ध साक्ष्यों का सारांश तैयार किया, जिससे एक व्यापक दृष्टिकोण मिला जिसे विशेषज्ञों ने अपनी सोच को आकार देने के लिए उपयोगी पाया। आउटपुट पूर्णतः सटीक नहीं था, और इसमें इस बात का विस्तृत विवरण नहीं था कि जानकारी कैसे खोजी गई, लेकिन यह एक शुरुआती बिंदु के रूप में अच्छा रहा। इसने टीम को यह समझने में मदद की कि वहां क्या उपलब्ध है और कहां कमियां हो सकती हैं, जो पूर्ण क्षेत्र का मानचित्र बनाने से पहले एक तेज़, प्रारंभिक मानचित्र के रूप में प्रभावी रहा।
हालाँकि, जब शोधकर्ताओं ने AI को एक पूर्ण, कठोर 'रैपिड रिव्यू' (त्वरित समीक्षा) का कार्य करने के लिए कहा, तो परिणाम बहुत कम उत्साहजनक थे। उन्होंने उसी जटिल प्रश्न को—वंचित वृद्ध आबादी में शारीरिक गतिविधि के बारे में—सिस्टम में डाला और देखा कि इसने काम को कैसे संभाला। इस प्रक्रिया में तीन घंटे से अधिक का समय लगा, जिस दौरान मानव शोधकर्ताओं को प्रश्नों को परिष्कृत करने और AI के अनुमानों को सुधारने में महत्वपूर्ण समय बिताना पड़ा। जब अंतिम रिपोर्ट तैयार हुई, तो इसमें चालीस अध्ययनों की सूची थी जिन्हें AI ने प्रासंगिक बताया था। फिर भी, जब मानव विशेषज्ञों ने इन अध्ययनों की समीक्षा के सख्त नियमों के विरुद्ध उनकी जाँच की, तो उन्होंने पाया कि उनमें से छत्तीस अध्ययन वास्तव में संबंधित नहीं थे। AI ने उन अध्ययनों को शामिल कर लिया था जो गलत परिणामों (आउटकम्स) को देखते थे, गलत समूहों पर केंद्रित थे, या ऐसे हस्तक्षेपों की जांच कर रहे थे जो मानदंडों में फिट नहीं बैठते थे। वास्तव में, सॉफ्टवेयर ने उन चौंतीस अध्ययनों को छोड़ दिया था जिन्हें मानव टीम ने सफलतापूर्वक खोजा था और अपनी समीक्षा में शामिल किया था।
मुख्य समस्या यह थी कि AI वैज्ञानिक शोध पत्रों में उपयोग की जाने वाली भाषा की सूक्ष्मता (न्यूआंस) को समझने में संघर्ष कर रहा था। वह "वृद्ध" या "शारीरिक गतिविधि" जैसे शब्दों को आसानी से पहचान सकता था, लेकिन वह इस गहरे अर्थ को समझने में विफल रहा कि क्या कोई अध्ययन वास्तव में सही समूह के लिए सही चीज़ का परीक्षण कर रहा है। उदाहरण के लिए, वह एक सामान्य स्वास्थ्य सुधार के लिए डिज़ाइन किए गए कार्यक्रम और विशेष रूप से शारीरिक गतिविधि बढ़ाने के लिए डिज़ाइन किए गए कार्यक्रम के बीच अंतर नहीं कर सका, भले ही शब्दावली समान हो। इन त्रुटियों के कारण, AI द्वारा तैयार किया गया अंतिम सारांश ऐसी जानकारी से भरा था जो मूल प्रश्न का उत्तर नहीं देती थी। इसने उन परिणामों पर चर्चा की जो प्रासंगिक नहीं थे और ऐसे साक्ष्यों के आधार पर निष्कर्ष निकाले जो समीक्षा के लिए पात्र नहीं थे। इसके विपरीत, मानव-नेतृत्व वाली समीक्षा ने शोर को छानने और केवल उन्हीं अध्ययनों पर ध्यान केंद्रित करने में सफलता प्राप्त की जो वास्तव में महत्वपूर्ण थे, जिसके परिणामस्वरूप बहुत अधिक सटीक और विश्वसनीय निष्कर्ष प्राप्त हुआ।
शोधकर्ताओं ने यह भी देखा कि सॉफ्टवेयर ने खोजे गए डेटा को कैसे संभाला। हालांकि AI अध्ययन किस देश में हुआ या प्रतिभागियों की संख्या जैसे बुनियादी विवरण निकालने में सक्षम था, लेकिन विशिष्ट परिणामों, जैसे कि किसी हस्तक्षेप ने व्यक्ति के स्वास्थ्य में कितना सुधार किया, को निकालने के मामले में यह असंगत था। कुछ मामलों में, इसने डेटा को पूरी तरह से छोड़ दिया; अन्य मामलों में, यह स्पष्ट नहीं था कि इसने क्या पाया है। इसके अलावा, सॉफ्टवेयर में अध्ययनों की गुणवत्ता का आकलन करने की क्षमता नहीं थी, जिसका अर्थ है कि इसने एक कमजोर, खराब डिज़ाइन किए गए प्रयोग को एक मजबूत, अच्छी तरह से संचालित प्रयोग के समान माना। गुणवत्ता नियंत्रण की यह कमी एक बड़ा जोखिम है, क्योंकि इससे नीति निर्माता त्रुटिपूर्ण साक्ष्यों पर भरोसा कर सकते हैं।
अंततः, अध्ययन सुझाव देता है कि जबकि आर्टिफिशियल इंटेलिजेंस किसी विषय का त्वरित, उच्च-स्तरीय अवलोकन प्राप्त करने के लिए एक मूल्यवान उपकरण हो सकता है, यह अभी भी जटिल विषयों पर पूर्ण साक्ष्य समीक्षा करने के महत्वपूर्ण कार्य में मानव शोधकर्ताओं को बदलने के लिए तैयार नहीं है। AI शोध के शुरुआती चरणों को तेज़ कर सकता है, लेकिन बाद के चरणों में यह अभी भी इतनी गलतियाँ करता है कि इस पर अकेले भरोसा नहीं किया जा सकता। शोधकर्ताओं ने निष्कर्ष निकाला कि फिलहाल, सबसे अच्छा दृष्टिकोण इसे एक ऐसे सहायक के रूप में उपयोग करना है जो एक मानव विशेषज्ञ के साथ मिलकर काम करता है, जिसे मशीन के हर निर्णय की जाँच करनी चाहिए। AI का उपयोग करने से बचा गया समय वर्तमान में स्पष्ट नहीं है, क्योंकि इसकी त्रुटियों को सुधारने के लिए आवश्यक मानवीय प्रयास शुरुआती गति लाभ को समाप्त कर सकता है। जैसे-जैसे ये उपकरण विकसित होते रहेंगे, यह उम्मीद है कि वे मानव भाषा और शोध के सूक्ष्म विवरणों को समझने में बेहतर होंगे, लेकिन फिलहाल, सार्वजनिक नीति को निर्देशित करने वाले साक्ष्य को सटीक और विश्वसनीय बनाने के लिए मानव मस्तिष्क अनिवार्य बना हुआ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।