Do No Harm? Hallucination and Actor-Level Abuse in Web-Deployed Medical Large Language Models
यह शोध पत्र 6,000 से अधिक वेब-तैनात चिकित्सा लार्ज लैंग्वेज मॉडल्स के बड़े पैमाने पर मूल्यांकन को प्रस्तुत करता है, जो भविष्य के सुरक्षा सुधारों को निर्देशित करने के लिए नए मूल्यांकन ढांचे और एक डेटासेट को पेश करते हुए मतिभ्रम (hallucinations), नीति उल्लंघन और गोपनीयता अंतराल के महत्वपूर्ण जोखिमों को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट का "ऐप स्टोर" है, लेकिन गेम या उत्पादकता टूल्स के बजाय, यह हजारों डिजिटल डॉक्टरों से भरा हुआ है। ये कस्टम एआई चैटबॉट्स (जिन्हें MedGPTs कहा जाता है) हैं जिन्हें कोई भी चिकित्सा सलाह देने, लक्षणों का निदान करने या उपचारों को समझाने के लिए बना और प्रकाशित कर सकता है।
प्रस्तुत शोध पत्र इस डिजिटल बाज़ार की एक विशाल, गुप्त स्वास्थ्य जाँच की तरह है। शोधकर्ताओं ने केवल शीर्ष-रेटेड, लोकप्रिय डॉक्टरों को ही नहीं देखा; उन्होंने 6,000 से अधिक उनका ऑडिट किया ताकि यह देखा जा सके कि वे सुरक्षित हैं, ईमानदार हैं, या वास्तव में खतरनाक हैं।
यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें सरल अवधारणाओं में विभाजित किया गया है:
1. "आत्मविश्वासी झूठा" समस्या (Hallucinations)
कल्पना कीजिए कि एक टूर गाइड इतिहास के बारे में तथ्यों को गढ़ता है लेकिन पूरी आत्मान्वेषण और आत्मविश्वास के साथ बोलता है। चिकित्सा जगत में, इसे हैलुसिनेशन (Hallucination) कहा जाता है।
- निष्कर्ष: इन एआई डॉक्टरों में से लगभग 25% से 30% "झूठ" बोल रहे हैं या चिकित्सा तथ्य गढ़ रहे हैं। वे आपको आत्मविश्वास से कोई खतरनाक दवा लेने के लिए कह सकते हैं या किसी गंभीर लक्षण को अनदेखा कर सकते हैं।
- ट्विस्ट: आप सोच सकते हैं कि सबसे लोकप्रिय डॉक्टर सबसे सुरक्षित होंगे। लेकिन अध्ययन में पाया गया कि लोकप्रियता एक बुरा झूठ पकड़ने वाला यंत्र (lie detector) है। "प्रसिद्ध" एआई डॉक्टर भी उतने ही झूठ गढ़ रहे थे जितने कि गुमनाम वाले। वास्तव में, कम लोकप्रिय वाले अक्सर और भी खराब थे।
- उपयोगकर्ता की अनदेखी: शोधकर्ताओं ने पाया कि उपयोगकर्ता इन झूठों को नोटिस नहीं करते हैं। यदि कोई एआई एक सहज, आत्मविश्वासी उत्तर देता है, तो लोग उसे 5 स्टार देते हैं, भले ही वह सलाह चिकित्सकीय रूप से गलत हो। यह एक ऐसे शेफ को 5-स्टार रेटिंग देने जैसा है जो आपको स्वादिष्ट दिखने वाला लेकिन जहरीला भोजन परोसता है।
2. "बुरे इरादे वाले" की समस्या (Design Abuse)
कुछ एआई डॉक्टर केवल अनजाने में गलत नहीं हैं; उन्हें जोखिम भरा होने के लिए ही बनाया गया है।
- निष्कर्ष: लगभग 50% एआई डॉक्टरों के निर्माण के तरीके में "रेड फ्लैग्स" (चेतावनी के संकेत) थे।
- रूपक: कल्पना कीजिए कि एक रेस्टोरेंट का मालिक एक साइन बोर्ड लगाता है जिसमें लिखा है "हम एक अस्पताल हैं" (भले ही वे नहीं हैं), मेनू छिपा देता है, और आपको यह दिखाने से मना कर देता है कि भोजन कहाँ से आया है।
- विशिष्ट विवरण:
- कुछ रचनाकारों ने अपने बॉट्स का नाम "इंस्टेंट कैंसर डायग्नोसिस" जैसा रखा ताकि लोगों को यह विश्वास दिलाया जा सके कि वे वास्तविक डॉक्टर हैं।
- कई बॉट्स में "एक्शन्स" (Actions) नामक एक फीचर है (जो उन्हें बाहरी वेबसाइटों से जुड़ने की अनुमति देता है), लेकिन 57% के पास कोई गोपनीयता नीति (privacy policy) नहीं थी। यह एक क्लिनिक में जाने जैसा है जहाँ डॉक्टर आपका रक्त का नमूना तो लेता है लेकिन यह बताने से इनकार कर देता है कि वह उसका क्या करेगा।
- भले ही उनके पास गोपनीयता नीति थी, फिर भी लगभग 70% या तो टूटी हुई थी, अस्पष्ट थी, या वास्तव में आपके डेटा की रक्षा नहीं करती थी।
3. "ओपन सोर्स" बनाम "स्टोर-बॉट" मुकाबला
शोधकर्ताओं ने इन स्टोर-बॉट एआई डॉक्टरों की तुलना "ओपन-सोर्स" (वे मॉडल जिन्हें डेवलपर्स मुफ्त में साझा करते हैं, जैसे कि एक सामुदायिक रेसिपी बुक) से भी की।
- स्टोर-बॉट (MedGPTs): ये आमतौर पर स्मार्ट और सटीक दिखने में बेहतर (वे तथ्यों को अधिक बार सही बताते हैं) थे। हालांकि, ये कम स्थिर थे—कभी-कभी वे एक बेहतरीन उत्तर देते हैं, और अगली बार जब आप वही प्रश्न पूछते हैं, तो वे एक बिल्कुल अलग, भ्रमित करने वाला उत्तर देते हैं।
- ओपन-सोर्स: ये अधिक सुसंगत (वे हर बार एक ही उत्तर देते हैं) थे, लेकिन तथ्यों पर ये कम सटीक थे।
- सबक: दोनों में से कोई भी प्रकार पूर्ण नहीं है। "फैंसी" वाले बेहतर लगते हैं लेकिन अस्थिर होते हैं; "कम्युनिटी" वाले स्थिर होते हैं लेकिन विवरणों में गलत हो सकते हैं।
4. "विश्वास के संकेत" टूट चुके हैं
एक सामान्य ऐप स्टोर में, यदि किसी ऐप की समीक्षा खराब है या रेटिंग कम है, तो आप उससे बचते हैं।
- निष्कर्ष: इस मेडिकल एआई स्टोर में, रेटिंग और समीक्षाएं सुरक्षा के बारे में कुछ नहीं बतातीं।
- रूपक: यह एक कार डीलरशिप जैसा है जहाँ सबसे अधिक टेस्ट ड्राइव और उच्चतम "5-स्टार" रेटिंग वाली कारें वास्तव में वही हैं जिनके ब्रेक टूटे हुए हैं। शोधकर्ताओं ने पाया कि लोगों ने एआई के साथ कितनी बातचीत की, इसका सच्चाई बताने की क्षमता से कोई संबंध नहीं था।
मुख्य निष्कर्ष (The Bottom-Line)
शोध पत्र निष्कर्ष निकालता है कि हम इन एआई डॉक्टरों पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि वे लोकप्रिय हैं या वे आत्मविश्वास से बोलते हैं।
- सिस्टम टूटा हुआ है: इन बॉट्स की जाँच करने का वर्तमान तरीका (उपयोगकर्ता की समीक्षाओं और स्टार रेटिंग पर निर्भर रहना) विफल हो रहा है।
- खतरा: क्योंकि रोगियों के पास अक्सर चिकित्सा प्रशिक्षण नहीं होता, वे यह नहीं पहचान पाते कि एआई कब झूठ बोल रहा है या डॉक्टर कब "अधिकार" का ढोंग कर रहा है।
- समाधान: हमें एक नए प्रकार के "स्वास्थ्य निरीक्षक" की आवश्यकता है जो मरीजों से बात करने से पहले एआई के तथ्यों, इसके डिज़ाइन और इसके गोपनीयता नियमों की जाँच करे। शोधकर्ताओं ने एक नया डेटासेट और उपकरणों का एक सेट जारी किया है ताकि इन निरीक्षकों को बनाने में मदद मिल सके।
संक्षेप में: डिजिटल मेडिकल मार्केटप्लेस आत्मविश्वासी झूठ बोलने वालों और जोखिम भरे डिजाइनों से भरा है, और "ग्राहक समीक्षाएं" हमें उन्हें पहचानने में मदद नहीं कर रही हैं। हमें इन एआई डॉक्टरों को अपने जीवन में प्रवेश करने देने से पहले बेहतर सुरक्षा जाँच की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।