Do AI chatbots find what experts would? Effects of model, user role, and sample size on study retrieval for medical questions
यह अध्ययन चिकित्सा संबंधी प्रश्नों के उत्तर देने में तीन LLM चैटबॉट्स का मूल्यांकन करता है, जिसमें यह पाया गया कि रिट्रीवल प्रदर्शन मॉडल और उपयोगकर्ता की भूमिका के अनुसार काफी भिन्न होता है, जिसमें ChatGPT अन्य मॉडलों से बेहतर प्रदर्शन करता है और सभी मॉडल बड़े नैदानिक परीक्षणों (clinical trials) को उद्धृत करने की ओर झुकाव दिखाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी विशिष्ट व्यंजन के लिए सबसे अच्छी रेसिपी खोजने की कोशिश कर रहे हैं, लेकिन एक शेफ से पूछने के बजाय, आप एक सुपर-स्मार्ट रोबोट से पूछते हैं जिसने लगभग हर लिखी हुई कुकबुक पढ़ ली है। यह रोबोट एक "लार्ज लैंग्वेज मॉडल" (LLM) है, जो एक प्रकार का AI चैटबॉट है जो वाक्य में अगले शब्द की भविष्यवाणी करके बातचीत, लिख सकता है और सवालों के जवाब दे सकता है। चिकित्सा की दुनिया में, ये बॉट्स लोकप्रिय हो रहे हैं क्योंकि वे जटिल स्वास्थ्य समस्याओं का तेजी से सारांश निकाल सकते हैं और आपको उन अध्ययनों की ओर इशारा कर सकते हैं जो उनकी सलाह का समर्थन करते हैं। लेकिन यहाँ एक पेंच है: कभी-कभी ये रोबोट चीजें बना लेते हैं, या "हैलुसिनेट" (hallucinate) करते हैं, यानी ऐसे अध्ययन उद्धृत करते हैं जो अस्तित्व में ही नहीं हैं। इससे भी बुरा यह है कि वे सबसे महत्वपूर्ण अध्ययनों को पूरी तरह से छोड़ भी सकते हैं। यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: यदि एक मानव विशेषज्ञ (जैसे कि एक चिकित्सा शोधकर्ता) ने पहले से ही किसी विशिष्ट चिकित्सा प्रश्न के लिए परफेक्ट अध्ययनों की सूची खोजने का कठिन काम कर लिया है, तो ये AI रोबोट उस समान सूची को कितनी अच्छी तरह खोज सकते हैं? क्या वे एक जिज्ञासु रोगी, एक व्यस्त डॉक्टर, या एक गंभीर शोधकर्ता की तरह व्यवहार करते हैं? और क्या अध्ययन का आकार रोबोट के लिए मायने रखता है?
इस अध्ययन के लेखकों ने तीन नवीनतम, सबसे शक्तिशाली AI चैटबॉट्स को टेस्ट करने का निर्णय लिया। उन्होंने चैटबॉट्स के साथ एक बहुत ही विशिष्ट परीक्षा देने वाले छात्रों जैसा व्यवहार किया। "टेस्ट प्रश्न" 20 वास्तविक चिकित्सा विषय थे जिन्हें 2026 कोक्रेन डेटाबेस ऑफ सिस्टेमैटिक रिव्यूज (Cochrane Database of Systematic Reviews) से लिया गया था, जो कि एक गोल्ड-स्टैंडर्ड लाइब्रेरी की तरह है जहाँ विशेषज्ञ टीमों ने विशिष्ट स्वास्थ्य समस्याओं के लिए सर्वोत्तम साक्ष्यों को पहले से ही एकत्र और सत्यापित किया है। इन 20 विषयों में से प्रत्येक के लिए, शोधकर्ताओं ने चैटबॉट्स से उन मूल शोध अध्ययनों (प्राथमिक स्रोतों) को खोजने के लिए कहा जो उनके उत्तरों का समर्थन करते हैं। यह देखने के लिए कि क्या रोबोट का व्यक्तित्व मायने रखता है, उन्होंने एक ही सवाल को तीन अलग-अलग तरीकों से पूछा: एक बार इस तरह जैसे कोई मरीज पूछ रहा हो, एक बार इस तरह जैसे कोई क्लिनिशियन (डॉक्टर) पूछ रहा हो, और एक बार इस तरह जैसे कोई एविडेंस-सिंथेसिस रिसर्चर (एक वैज्ञानिक जो डेटा खोजने में विशेषज्ञता रखता है) पूछ रहा हो। उन्होंने परिणामों को सुनिश्चित करने के लिए कि वे केवल एक इत्तेफाक नहीं हैं, इस पूरे प्रयोग को हर संयोजन के लिए चार बार चलाया, जिससे विश्लेषण के लिए कुल 720 उत्तर प्राप्त हुए।
परिणाम "बुरे नहीं हैं" और "अत्यधिक पक्षपाती" के मिश्रण थे। औसतन, एक एकल चैटबॉट प्रतिक्रिया उन अध्ययनों में से लगभग 39.2% को खोजने में सफल रही जिन्हें मानव विशेषज्ञों ने पहले ही "सही" सूची के रूप में पहचाना था। इसका मतलब है कि यदि विशेषज्ञों ने 10 परफेक्ट अध्ययन खोजे, तो रोबोट आमतौर पर उनमें से केवल 4 को ही खोज पाता है। हालांकि, रोबोट का प्रकार बहुत मायने रखता था। ChatGPT स्पष्ट विजेता था, जिसने विशेषज्ञों के अध्ययनों का 63.1% हिस्सा खोजा। Claude बीच में था जो 37.0% के साथ था, और Gemini सबसे अधिक संघर्ष करता दिखा, जिसने केवल 17.3% ही खोजा। दिलचस्प बात यह है कि उपयोगकर्ता का "व्यक्तित्व" भी एक छोटी भूमिका निभाता था: जब प्रॉम्प्ट को एक शोधकर्ता के दृष्टिकोण से लिखा गया था, तो बॉट्स ने अधिक अध्ययन खोजे (42.8%) बजाय इसके कि जब इसे एक मरीज (36.1%) या एक क्लिनिशियन (38.6%) के रूप में लिखा गया था।
लेकिन सबसे आकर्षक खोज यह थी कि बॉट्स ने किन अध्ययनों को चुनना पसंद किया। शोधकर्ताओं ने उन अध्ययनों की विशेषताओं को देखा जिन्हें बॉट्स ने सफलतापूर्वक प्राप्त किया बनाम उन्हें जिन्हें वे छोड़ गए। उन्होंने पाया कि बॉट्स का बड़े सैंपल साइज (यानी वे अध्ययन जिनमें अधिक लोगों पर परीक्षण किया गया था) वाले अध्ययनों के प्रति भारी झुकाव था। यहाँ तक कि जब उन्होंने अध्ययन के नया होने, दूसरों द्वारा कितनी बार उद्धृत किए जाने, या मुफ्त में पढ़ने योग्य होने को नियंत्रित किया, तब भी अध्ययन का आकार ही एकमात्र चीज़ थी जिसने विश्वसनीय रूप से भविष्यवाणी की कि बॉट उसे खोजेगा या नहीं। सैंपल साइज के लॉग (log) में प्रत्येक इकाई वृद्धि के लिए, बॉट द्वारा अध्ययन खोजने की संभावना 1.80 गुना बढ़ गई। यह ऐसा है जैसे चैटबॉट्स में एक अंतर्निहित पूर्वाग्रह है जो सोचता है, "यदि एक अध्ययन में प्रतिभागियों की भीड़ बड़ी है, तो यह सबसे महत्वपूर्ण होना चाहिए," और वे छोटे लेकिन समान रूप से वैध अध्ययनों को अनदेखा कर देते हैं।
अध्ययन ने यह भी जांचा कि क्या बॉट्स फर्जी अध्ययन बना रहे थे या विवरण गलत दे रहे थे। वे बहुत कम फर्जी अध्ययन बनाते थे (उनकी उन्नत तर्क क्षमता के कारण एक अच्छा संकेत), लेकिन वे लगभग 3% बार "मेटाडेटा त्रुटियां" (metadata errors) करते थे। इसका अर्थ यह है कि वे एक वास्तविक अध्ययन का उल्लेख तो कर सकते हैं लेकिन लेखक का नाम, वर्ष, या जर्नल का शीर्षक गलत कर सकते हैं। Claude ने ये त्रुटियां सबसे अधिक बार कीं (5.9% बार), जबकि Gemini सबसे सटीक था (0.2%)।
अंत में, पेपर सुझाव देता है कि हालांकि ये AI चैटबॉट्स चिकित्सा साक्ष्य खोजने में बेहतर हो रहे हैं, फिर भी वे अभी तक मानव विशेषज्ञों के पूर्ण विकल्प नहीं हैं। वे अपूर्ण हैं, वे आपके व्यवहार बदलने पर अपने उत्तर बदल देते हैं, और उनमें बड़े, प्रसिद्ध अध्ययनों के प्रति एक मजबूत पूर्वाग्रह है। यदि आप चिकित्सा अनुसंधान खोजने के लिए चैटबॉट का उपयोग करते हैं, तो आपको "बड़े हिट्स" की सूची मिल सकती है, लेकिन आप आसानी से उन छोटे, शांत अध्ययनों को खो सकते हैं जिन्हें विशेषज्ञ भी उतना ही महत्वपूर्ण मानते हैं। लेखक निष्कर्ष निकालते हैं कि इन उपकरणों को सहायक के रूप में देखा जाना चाहिए जो आपको सही दिशा में इशारा कर सकते हैं, न कि अंतिम अधिकार के रूप में कि चिकित्सा साक्ष्य वास्तव में क्या कहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।