Quality and Readability of Artificial Intelligence Chatbot Responses to Patient Questions About Exocrine Pancreatic Insufficiency: A Comparative Study
इस तुलनात्मक अध्ययन में पाया गया कि हालांकि चार प्रमुख एआई चैटबॉट्स ने एक्सोक्राइन पैनक्रिएटिक इनसफिशिएंसी (Exocrine Pancreatic Insufficiency) के बारे में सुव्यवस्थित और व्यापक रूप से उपयोगी जानकारी उत्पन्न की, लेकिन उनकी प्रतिक्रियाओं में स्रोत पारदर्शिता का अभाव था, उपचार संबंधी सूचना की गुणवत्ता खराब थी, और वे अनुशंसित छठी कक्षा के पठन स्तर से काफी अधिक थे, जिसके लिए उपयोग से पहले पेशेवर सत्यापन आवश्यक है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरी लाइब्रेरी है जहाँ आप कोई भी सवाल पूछ सकते हैं और तुरंत उसका जवाब पा सकते हैं। हाल के वर्षों में, एक विशेष प्रकार का लाइब्रेरियन आया है: आर्टिफिशियल इंटेलिजेंस (AI) चैटबॉट। ये केवल लिंक दिखाने वाले सर्च इंजन नहीं हैं; ये बहुत ही बुद्धिमान, बातूनी रोबोट की तरह हैं जो पूरी कहानियाँ लिख सकते हैं, जटिल विचारों को समझा सकते हैं, और यहाँ तक कि डॉक्टर या शिक्षक होने का नाटक भी कर सकते हैं। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक रोबोट धाराप्रवाह बात कर सकता है, इसका मतलब यह नहीं है कि वह सच बोल रहा है, या वह ऐसी भाषा बोल रहा है जिसे आप वास्तव में समझ सकें।
यह शोध पत्र स्वास्थ्य विज्ञान के एक विशिष्ट कोने में जाता है जिसे "एक्सोक्राइन पैनक्रिएटिक इनसफिशिएंसी" (Exocrine Pancreatic Insufficiency), या संक्षेप में EPI कहा जाता है। सोचिए कि आपका अग्न्याशय (पैनक्रियाज) आपके पेट के अंदर एक छोटी सी फैक्ट्री है जो भोजन पचाने में मदद करने के लिए विशेष साबुन जैसे रसायन (एंजाइम) पंप करती है। जब यह फैक्ट्री खराब हो जाती है, तो आप पोषक तत्वों को ठीक से अवशोषित नहीं कर पाते हैं, जिससे पेट की समस्या और वजन घटने जैसी स्थितियां पैदा होती हैं। इस स्थिति से पीड़ित मरीज अक्सर जवाबों की तलाश में इंटरनेट की ओर मुड़ते हैं, इस उम्मीद में कि वे अपने निदान (डायग्नोसिस) और इसे कैसे प्रबंधित किया जाए, इसे समझ सकें। इस अध्ययन का बड़ा सवाल यह है: यदि कोई मरीज EPI के बारे में एक AI रोबोट से पूछता है, तो क्या रोबोट उन्हें स्पष्ट, भरोसेमंद और आसानी से समझ में आने वाली सलाह देगा, या वह केवल स्मार्ट दिखने की कोशिश करेगा और सबको भ्रमित कर देगा?
द ग्रेट रोबोट रीड-ऑफ
यह जानने के लिए, शोधकर्ताओं ने एक डिजिटल मुकाबला आयोजित किया। उन्होंने 20 ज्वलंत प्रश्न एकत्र किए जो वास्तविक मरीज EPI के बारे में पूछ सकते हैं, जैसे कि "यह बीमारी क्या है?" से लेकर "मुझे क्या खाना चाहिए?" और "मैं अपनी दवा कैसे लूँ?" तक। फिर उन्होंने इन सवालों को चार सबसे लोकप्रिय उपलब्ध AI चैटबॉट्स में डाला: ChatGPT, Copilot, Gemini, और Perplexity। लक्ष्य यह देखना था कि कौन सा रोबोट सबसे अच्छा शिक्षक है।
टीम ने सख्त जज की भूमिका निभाई, रोबोटों के जवाबों को ग्रेड देने के लिए चार अलग-अलग स्कोरकार्ड का उपयोग किया। एक स्कोरकार्ड ने जांचा कि क्या सलाह सुरक्षित और विश्वसनीय (DISCERN) थी, दूसरे ने देखा कि जानकारी कितनी व्यवस्थित (EQIP) थी, तीसरे ने जांचा कि क्या रोबोटों ने यह बताया कि उन्हें अपने तथ्य कहाँ से मिले (JAMA), और चौथे ने उपयोगिता के लिए सामान्य "थम्स अप या डाउन" (GQS) दिया। उन्होंने एक "रीडिंग लेवल टेस्ट" भी चलाया यह देखने के लिए कि क्या छठी कक्षा का छात्र जवाबों को समझ सकता है, जो कि पेशेंट एजुकेशन के लिए स्वर्ण मानक (गोल्ड स्टैंडर्ड) है।
परिणाम: संरचना अच्छी, लेकिन पढ़ने का स्तर खराब
यहाँ एक मोड़ है: रोबोट आश्चर्यजनक रूप से समान थे। अध्ययन में पाया गया कि चारों AI मॉडल के बीच कोई महत्वपूर्ण अंतर नहीं था। चाहे आपने ChatGPT, Copilot, Gemini, या Perplexity से पूछा हो, वे सभी लगभग एक जैसा प्रदर्शन करते थे।
संगठन और सामान्य उपयोगिता के मामले में, रोबोटों ने ठीक-ठाक काम किया। उन्होंने ऐसे जवाब दिए जो व्यवस्थित दिखे, जिनका प्रवाह अच्छा था और जो सतही तौर पर मददगार लग रहे थे। हालाँकि, जब जजों ने गहराई से देखा, तो दरारें दिखाई दीं। रोबोट "उपचार संबंधी जानकारी की गुणवत्ता" (treatment information quality) पर खराब अंक प्राप्त करते हैं, जिसका अर्थ है कि वे उपचार के जोखिमों, लाभों या अनिश्चितताओं को स्पष्ट रूप से समझाने में विफल रहे। इससे भी बदतर यह था कि वे "स्रोत पारदर्शिता" (source transparency) परीक्षण में पूरी तरह विफल रहे। किसी भी रोबोट ने उपयोगकर्ता को यह नहीं बताया कि उन्हें अपनी जानकारी कहाँ से मिली, इसे किसने लिखा, या इसे आखिरी बार कब अपडेट किया गया था। यह एक ऐसे शेफ से रेसिपी प्राप्त करने जैसा था जो आपको यह बताने से इनकार कर देता है कि उसने सामग्री कहाँ से खरीदी या क्या वह रेसिपी 1990 की है।
हालाँकि, सबसे बड़ी समस्या भाषा थी। शोधकर्ता जानना चाहते थे कि क्या जवाब इतने सरल थे कि छठी कक्षा का छात्र उन्हें पढ़ सके। उत्तर स्पष्ट रूप से नहीं था। प्रत्येक रोबोट का स्तर औसत मरीज के लिए बहुत अधिक जटिल था। उनके पढ़ने के स्कोर हाई स्कूल या यहाँ तक कि कॉलेज स्तर के पाठ के बराबर थे। Perplexity और Copilots अन्य की तुलना में थोड़े आसान थे, फिर भी वे बुनियादी मानक को पूरा नहीं कर सके। रोबोटों ने लंबे, जटिल वाक्यों और बिना समझाए बड़े चिकित्सा शब्दों का उपयोग किया, जिससे जानकारी उन लोगों के लिए पचाना कठिन हो गया जिन्हें इसकी सबसे अधिक आवश्यकता थी।
इसका आपके लिए क्या अर्थ है
अध्ययन यह निष्कर्ष निकालता है कि हालांकि ये AI चैटबॉट्स पेशेवर दिखने और जानकारी को व्यवस्थित करने में माहिर हैं, लेकिन वे आपकी एकमात्र चिकित्सा सलाह का स्रोत बनने के लिए तैयार नहीं हैं। वे एक बहुत ही अच्छे कपड़े पहने हुए टूर गाइड की तरह हैं जो नक्शा तो जानता है लेकिन पहेलियों में बात करता है और कभी भी अपनी दिशाओं का स्रोत नहीं दिखाता।
लेखक सुझाव देते हैं कि मरीज इन रोबोटों का उपयोग किसी बीमारी के बारे में बुनियादी विचार प्राप्त करने के लिए या एक वास्तविक डॉक्टर के लिए प्रश्न तैयार करने के लिए कर सकते हैं। हालाँकि, उन्हें इन रोबोटों का उपयोग अपने इलाज का निर्णय लेने, अपनी दवा बदलने या किसी पेशेवर द्वारा काम की जाँच किए बिना परीक्षण परिणामों की व्याख्या करने के लिए कभी नहीं करना चाहिए। रोबोटों को अपने स्रोतों का हवाला देने, अपनी जानकारी को अपडेट करने और सरल अंग्रेजी बोलने में बेहतर होने की आवश्यकता है। तब तक, वे एक वास्तविक मानव डॉक्टर की सलाह के विकल्प के बजाय, एक पूरक (सप्लीमेंट) के रूप में सबसे अच्छे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।