Artificial Intelligence Can Match Domain Experts in Evidence Extraction and Critical Appraisal of Microbial Oncogenesis Research Publications
यह अध्ययन प्रदर्शित करता है कि उन्नत लार्ज लैंग्वेज मॉडल्स, विशेष रूप से GPT-5 और GPT-5 Nano, माइक्रोबियल ऑन्कोजेनेसिस अनुसंधान के लिए साक्ष्य निकालने और उनका मूल्यांकन करने में डोमेन विशेषज्ञों के समकक्ष हो सकते हैं, जो पद्धतिगत मूल्यांकन और विरोधाभास पहचान की निरंतर चुनौतियों के बावजूद स्केलेबल व्यवस्थित साक्ष्य संश्लेषण के लिए उनके उपयोग का समर्थन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा अनुसंधान की दुनिया की कल्पना एक विशाल, अराजक पुस्तकालय के रूप में करें जो कभी बढ़ना बंद नहीं करता। हर एक दिन, हजारों नई किताबें—वैज्ञानिक शोध पत्र—सूक्ष्म कीटाणुओं (माइक्रोब्स) और इस बारे में लिखे जाते हैं कि वे कैंसर जैसी बीमारियों का कारण कैसे बन सकते हैं। लंबे समय तक, यह पता लगाने का एकमात्र तरीका कि क्या कोई विशिष्ट कीटाणु एक खलनायक था, यह था कि विशेषज्ञों की एक टीम (डोमेन विशेषज्ञ) हर एक पन्ने को पढ़े, तथ्यों का मिलान करे और यह तय करे कि क्या सबूत पर्याप्त मजबूत थे। लेकिन हर साल दस लाख से अधिक नए लेख प्रकाशित होने के साथ, यह "केवल मानव-आधारित" जासूसी का काम असंभव हो गया है। यह एक फायरहोस (तेज धार वाली नली) से पानी पीने की कोशिश करने जैसा है; विशेषज्ञ बस तालमेल नहीं बिठा पा रहे हैं। यहीं पर आर्टिफिशियल इंटेलिजेंस (AI), विशेष रूप से एक प्रकार जिसे लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, काम आता है। इन एआई को सुपर-फास्ट, सुपर-रीडर्स के रूप में सोचें जो सेकंडों में पूरे पुस्तकालय को स्कैन कर सकते हैं। लेकिन यहाँ एक बड़ा सवाल है: क्या एक रोबोट वास्तव में एक मानव विशेषज्ञ की तरह सोच सकता है? क्या वह उन सूक्ष्म सुरागों को पहचान सकता है जो साबित करते हैं कि एक कीटाणु कैंसर का कारण बनता है, या क्या यह केवल कहानियाँ बना लेगा (एक समस्या जिसे "हैलुसिनेटिंग" या भ्रम पैदा करना कहा जाता है) और तथ्यों को गलत कर देगा? वैज्ञानिकों को यह जानने की आवश्यकता थी कि क्या वे दुनिया के चिकित्सा साक्ष्यों को छाँटने का काम सौंपने से पहले इन डिजिटल जासूसों पर भरोसा कर सकते हैं।
यह शोध पत्र मानव विशेषज्ञों और एआई के बीच एक उच्च-दांव वाले मुकाबले की रूपरेखा तैयार करता है ताकि यह देखा जा सके कि कौन एक विशिष्ट रहस्य की जांच करने में बेहतर है: क्या माउस मैमरी ट्यूमर वायरस-लाइक वायरस (MMTV-LV) नामक वायरस मनुष्यों में स्तन कैंसर का कारण बनता है। शोधकर्ताओं ने इस वायरस के बारे में 24 वास्तविक वैज्ञानिक शोध पत्र एकत्र किए और जासूसों का परीक्षण करने के लिए एक विशाल, 77-प्रश्नों की क्विज़ बनाई। उन्होंने चार अलग-अलग एआई मॉडल (गूगल के दो जेमिनी और ओपनएआई के दो जीपीटी-5) से उन पत्रों को पढ़ने और क्विज़ के उत्तर देने के लिए कहा, जबकि विशेषज्ञों की एक टीम ने भी वही किया। लक्ष्य केवल यह देखना नहीं था कि किसने सबसे अधिक उत्तर सही दिए, बल्कि यह देखना था कि क्या एआई मनुष्यों की तरह सोच और साक्ष्यों का निर्णय ले सकता है।
परिणाम "वाह" और "ओह" का मिश्रण थे। अध्ययन में पाया गया कि दो एआई मॉडल, जीपीटी-5 और जीपीटी-5 नैनो, लगभग बिल्कुल मानव विशेषज्ञों की तरह प्रदर्शन करते हैं। जब शोधकर्ताओं ने एआई के उत्तरों को मनुष्यों के उत्तरों के साथ मिलाया, तो समूह की समग्र सहमति में कोई बदलाव नहीं आया। यह ऐसा था जैसे एआई विशेषज्ञों की टीम में शामिल हो गया हो और वह बस एक और प्रतिभाशाली सहकर्मी था। ये एआई टेक्स्ट पढ़ने, जटिल चिकित्सा भाषा को समझने और पत्रों के सारांश बनाने में बहुत अच्छे थे। उन्होंने शायद ही कभी तथ्य गढ़े (हैलुसिनेशन), और जब उन्होंने ऐसा किया, तो यह आमतौर पर छोटे, कम शक्तिशाली मॉडलों में हुआ।
हालाँकि, एआई पूर्ण नहीं था। अध्ययन ने दिखाया कि एआई मॉडल, विशेष रूप से गूगल जेमिनी वाले, बहुत उदार होने की प्रवृत्ति रखते थे। वे "उदार" (lenient) थे, जिसका अर्थ है कि वे किसी शोध पत्र द्वारा यह दावा करने की अधिक संभावना रखते थे कि वायरस कैंसर का कारण बनने का पुख्ता प्रमाण प्रदान करता है, जितना कि मनुष्य करते थे। वे कभी-कभी वहां संबंध देख लेते थे जहां मनुष्य कुछ नहीं देखते थे, जैसे कि बिना पर्याप्त प्रमाण के चूहे के अध्ययनों और मानव रोग के बीच संबंध मान लेना। एआई को काम के सबसे कठिन हिस्सों में संघर्ष करना पड़ा: एक शोध पत्र के भीतर विरोधाभासों को खोजना (जैसे जब चार्ट के नंबर टेक्स्ट से मेल नहीं खाते) और अध्ययन की विधियों की आलोचना करना। यह एक ऐसे छात्र की तरह है जो कहानी का सारांश तो पूरी तरह से लिख सकता है लेकिन इस तथ्य को मिस कर देता है कि मुख्य पात्र का टाइमलाइन तर्कसंगली नहीं है।
अंत में, यह शोध पत्र सुझाव देता है कि हम चिकित्सा अनुसंधान के पहाड़ को छानने के लिए उन्नत एआई पर भरोसा कर सकते हैं। वे तेज हैं, वे काफी हद तक सटीक हैं, और वे मुख्य तथ्यों को निकालने में मानव विशेषज्ञों के बराबर हैं। लेकिन वे अभी भी पूरी तरह से मनुष्यों को बदलने के लिए तैयार नहीं हैं। लेखक सुझाव देते हैं कि सबसे अच्छा दृष्टिकोण यह है कि एआई को पढ़ने और सारांशित करने के भारी काम को करने के लिए एक शक्तिशाली सहायक के रूप में उपयोग किया जाए, जबकि सूक्ष्म तर्क को दोबारा जांचने और सूक्ष्म गलतियों को पकड़ने के लिए मानव विशेषज्ञों को प्रक्रिया में शामिल रखा जाए। यह एक ऐसी साझेदारी है जहाँ रोबोट पढ़ाई करता है, और इंसान महत्वपूर्ण सोच (क्रिटिकल थिंकिंग) करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।