Large Language Models for Pulmonary Embolism Health Education: A Four- Model Comparison of Reliability, Quality, and Readability
यह अध्ययन पल्मोनरी एम्बोलिज्म (pulmonary embolism) स्वास्थ्य शिक्षा पर चार लार्ज लैंग्वेज मॉडल्स की तुलना करता है, जिसमें यह पाया गया कि जहाँ कोपायलट (Copilot) और परप्लेक्सिटी (Perplexity) ने बेहतर विश्वसनीयता और सोर्सिंग का प्रदर्शन किया, वहीं कोई भी मॉडल रोगी शिक्षा के लिए अनुशंसित पठनीयता मानकों को पूरा नहीं कर सका, जो पेशेवर देखरेख की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे पुस्तकालय की तरह है जहाँ कोई भी आकर सवाल पूछ सकता है। अतीत में, यदि आप किसी डरावनी चिकित्सीय स्थिति के बारे में पूछते, तो आपको पुरानी किताबों का ढेर, एक भ्रमित करने वाला समाचार लेख, या किसी अजनबी से सुनी हुई कोई मनगढ़ंत अफवाह मिल सकती थी। लेकिन हाल ही में, एक नए प्रकार का लाइब्रेरियन (पुस्तकालयाध्यक्ष) आया है: लार्ज लैंग्वेज मॉडल (LLM)। इन LLMs को सुपर-स्मार्ट, अथक रोबोट के रूप में सोचें जिन्होंने इंटरनेट पर लिखी लगभग हर चीज़ को पढ़ा है और वे आपसे साधारण अंग्रेजी में बातचीत कर सकते हैं। वे कहानियाँ लिखने, गणित की समस्याओं को हल करने और यहाँ तक कि स्वास्थ्य संबंधी प्रश्नों के उत्तर देने में भी माहिर हैं।
लेकिन यहाँ एक पेचीदा बात है: जब गंभीर स्वास्थ्य मुद्दों की बात आती है, तो केवल एक अच्छी कहानी सुनाना ही काफी नहीं होता। आपको एक ऐसे लाइब्रेरियन की आवश्यकता होती है जो तथ्यों को जानता हो, यह स्वीकार करता हो कि वह कब अनिश्चित है, और चीजों को इतनी सरलता से समझा सके कि एक थका हुआ, चिंतित व्यक्ति उसे समझ सके। एक ऐसी ही डरावनी स्थिति है पल्मोनरी एम्बोलिज्म (PE)। यह फेफड़ों में रक्त के थक्के के कारण होने वाले ट्रैफिक जाम जैसा है, और यह बहुत खतरनाक हो सकता है। क्योंकि यह इतना गंभीर है, लोग अक्सर जवाब खोजने के लिए गूगल (Google) की ओर भागते हैं। यह शोध एक बड़ा सवाल पूछता है: यदि आप चार अलग-अलग AI लाइब्रेरियन से PE के बारे में पूछते हैं, तो क्या वे आपको एक जैसी अच्छी सलाह देंगे? या कुछ ऐसे होंगे जो आत्मविश्वास से भरे तो दिखेंगे लेकिन गलत होंगे, या जिनके उत्तर समझने में बहुत कठिन होंगे?
महान AI मुकाबला: सबसे अच्छा स्वास्थ्य लाइब्रेरियन कौन है?
इस अध्ययन में, ज़िनफेंग काउंटी पीपल्स हॉस्पिटल के शोधकर्ताओं ने चार सबसे लोकप्रिय AI चैटबॉट्स को परखने का निर्णय लिया। उन्होंने ChatGPT, Gemini, Microsoft Copilot, और Perplexity AI को चुना। मुकाबले को निष्पक्ष बनाने के लिए, उन्होंने रोबोट से अजीब या काल्पनिक सवाल नहीं पूछे। इसके बजाय, उन्होंने उन वास्तविक विषयों को देखा जिन्हें लोग पिछले पांच वर्षों में गूगल पर वास्तव में खोज रहे थे। उन्होंने पल्मोनरी एम्बोलिज्म के बारे में पूछे जाने वाले 31 सबसे सामान्य प्रश्न खोजे—जैसे कि "इसके लक्षण क्या हैं?", "इसका उपचार कैसे किया जाता है?", और "गर्भावस्था के दौरान क्या यह खतरनाक है?"
फिर, उन्होंने ये सटीक 31 प्रश्न प्रत्येक के चार AI मॉडलों में डाले। चूंकि चार मॉडल और 31 प्रश्न थे, इसलिए शोधकर्ताओं के पास ग्रेडिंग के लिए 124 अलग-अलग उत्तर थे। उन्होंने सख्त शिक्षकों की तरह काम किया, और उत्तरों की जाँच करने के लिए चार अलग-अलग "रिपोर्ट कार्ड" का उपयोग किया:
- विश्वसनीयता (Reliability): क्या AI ने यह स्वीकार किया कि वह क्या जानता है और क्या नहीं? क्या उसने अपने स्रोत (sources) दिखाए?
- गुणवत्ता (Quality): क्या सलाह संतुलित और उपयोगी थी?
- पठनीयता (Readability): क्या भाषा इतनी सरल थी कि छठी कक्षा का छात्र भी इसे समझ सके? (डॉक्टर आमतौर पर सुझाव देते हैं कि स्वास्थ्य संबंधी जानकारी इतनी सरल होनी चाहिए ताकि हर कोई इसे समझ सके)।
- समग्र प्रवाह (Overall Flow): क्या यह सहजता से पढ़ा जा सकता था?
परिणाम: "अच्छी" खबर और "बुरी" खबर
यहाँ एक मोड़ आता है: चारों AI मॉडलों ने हर एक प्रश्न का उत्तर दिया। उनमें से कोई भी क्रैश नहीं हुआ या बात करने से मना नहीं किया। वे सभी आत्मविश्वास से भरे लगे और स्पष्ट, प्रवाहमयी वाक्यों में लिखे गए। यदि आप केवल पहला पैराग्राफ पढ़ें, तो वे सभी मददगार विशेषज्ञों की तरह लग रहे थे।
हालाँकि, जब शोधकर्ताओं ने बारीकी से देखा, तो अंतर बहुत बड़े थे।
"स्रोत" स्कोर (JAMA बेंचमार्क):
एक ऐसे निबंध की कल्पना करें जहाँ आपको अपने स्रोतों को सूचीबद्ध करने के लिए अंक मिलते हैं। दो मॉडलों, Copilot और Perplexity, ने ही अपना काम दिखाने की कोशिश की। उन्होंने उद्धरण (citations) दिए (उन लिंक्स के रूप में जहाँ से उन्होंने जानकारी ली थी)। अन्य दो, ChatGPT और Gemini, ने बिना यह बताए कि जानकारी कहाँ से आई, केवल उत्तर दिए। वास्तव में, ChatGPT और Gemini को स्रोत दिखाने के लिए 0 का स्कोर मिला, जबकि Copilot और Perplexity ने थोड़ा अधिक स्कोर (लगभग 1 में से 4) प्राप्त किया। इसका मतलब है कि यदि आप यह जांचना चाहते थे कि AI सच बोल रहा है या नहीं, तो आप केवल पहले दो के साथ ही ऐसा कर सकते थे।
"विश्वसनीयता" स्कोर (DISCERN):
यह स्कोर जाँचता है कि क्या सलाह संतुलित और सुरक्षित है।
- Copilot और Perplexity का औसत स्कोर 41 था।
- ChatGPT का स्कोर 35 था।
- Gemini का स्कोर 33 था।
एक ऐसे पैमाने पर जहाँ 63 "उत्कृष्ट" और 16 "बहुत खराब" है, चारों मॉडल "खराब" से "औसत" की श्रेणी में आए। यहाँ तक कि "विजेता" (Copilot और Perplexity) भी "अच्छे" स्तर तक नहीं पहुँच पाए। वे ठीक थे, लेकिन बहुत अच्छे नहीं।
"पठनीयता" की समस्या:
यहीं पर कहानी थोड़ी निराशाजनक हो जाती है। अमेरिकन मेडिकल एसोसिएशन कहता है कि स्वास्थ्य संबंधी सलाह छठी कक्षा के स्तर पर लिखी जानी चाहिए ताकि शिक्षा के स्तर की परवाह किए बिना कोई भी इसे समझ सके।
- शोधकर्ताओं ने पाठ को कितना कठिन है, यह मापने के लिए छह अलग-अलग गणितीय सूत्रों का उपयोग करके उत्तरों की जाँच की।
- चारों में से कोई भी मॉडल इस परीक्षण में पास नहीं हुआ।
- सबसे आसान उत्तर भी 9वीं कक्षा के स्तर (ChatGPT) पर लिखे गए थे।
- सबसे कठिन उत्तर 16वीं कक्षा के स्तर (Copilot) पर लिखे गए थे, जो कॉलेज स्तर के पढ़ने जैसा है!
- सभी के लिए "फ्लेश रीडिंग ईज़" (Flesch Reading Ease) स्कोर (जहाँ उच्च स्कोर का अर्थ आसान है) लगभग 35 से 48 के बीच था। पास होने के लिए, उन्हें 80 या उससे अधिक का स्कोर चाहिए था।
मूल रूप से, AI रोबोट ऐसी भाषा में लिख रहे थे जो औसत व्यक्ति के लिए जल्दी से पढ़ना बहुत कठिन है, विशेष रूप से तब जब वे किसी चिकित्सा आपात स्थिति के कारण डरे हुए और चिंतित हों।
निष्कर्ष: रोबोट को कार चलाने न दें
अध्ययन में पाया गया कि हालांकि ये AI मॉडल स्मार्ट दिखने और जानकारी व्यवस्थित करने में माहिर हैं, लेकिन वे डॉक्टर की जगह लेने के लिए तैयार नहीं हैं।
- Copilot और Perplexity "बेहतर" छात्र थे क्योंकि उन्होंने अपने स्रोत दिखाए और उनका ढांचा थोड़ा बेहतर था, लेकिन फिर भी उन्होंने बहुत कठिन शब्दों का उपयोग किया।
- ChatGPT और Gemini स्रोत दिखाने के मामले में थोड़े कमजोर थे, भले ही वे सुनने में उतने ही सुचारू लगे।
- महत्वपूर्ण बात यह है कि अध्ययन में पाया गया कि कोई भी मॉडल विश्वसनीय तथ्यों, स्पष्ट स्रोतों और सरल भाषा का संयोजन नहीं कर सका।
लेखकों का निष्कर्ष है कि ये AI उपकरण एक सहायक 'को-पायलट' की तरह हैं, लेकिन उन्हें कभी भी कार चलाने वाला (ड्राइवर) नहीं होना चाहिए। वे यह समझाने में मदद कर सकते हैं कि कोई बीमारी क्या है या डॉक्टर से क्या सवाल पूछने हैं, लेकिन वे आपका निदान (diagnose) नहीं कर सकते, यह नहीं बता सकते कि आप सुरक्षित हैं या नहीं, या आपके उपचार का निर्णय नहीं ले सकते। यदि आप स्वास्थ्य जानकारी के लिए AI का उपयोग करते हैं, तो आपको याद रखना चाहिए कि यह आत्मविश्वास से भरा हो सकता है लेकिन गलत भी हो सकता है, और इसे पढ़ना बहुत कठिन हो सकता है। सबसे अच्छी योजना यह है कि AI का उपयोग एक शुरुआती बिंदु के रूप में करें, लेकिन फिर एक वास्तविक मानव डॉक्टर से उस काम की जाँच करवाएं।
संक्षेप में: AI लाइब्रेरियन विनम्र और तेज़ हैं, लेकिन वे अभी भी "मानव" की तरह बोलना और यह साबित करना सीख रहे हैं कि वे मनगढ़ंत बातें नहीं कर रहे हैं। जब तक वे बेहतर नहीं हो जाते, हमें एक इंसान को प्रक्रिया में शामिल रखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।