Medical errors in large language models revealed using 1,000 synthetic clinical transcripts
यह अध्ययन प्रकट करता है कि पूर्ण इतिहासों पर उच्च नैदानिक सटीकता प्राप्त करने के बावजूद, लार्ज लैंग्वेज मॉडल्स महत्वपूर्ण सुरक्षा विफलताओं का प्रदर्शन करते हैं—जिसमें आवश्यक जांचों को हतोत्साहित करना और जीवन-घातक स्थितियों के लिए ट्राइएज (triage) को अनुचित रूप से कम श्रेणी में रखना शामिल है—साथ ही इनमें महत्वपूर्ण लैंगिक असमानताएं भी देखी गईं, जब इनका मूल्यांकन 1,000 सिंथेटिक क्लिनिकल ट्रांसक्रिप्ट्स के विरुद्ध किया गया जो वास्तविक दुनिया की चिकित्सा जटिलता का अनुकरण करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए शेफ को एक जटिल भोजन बनाना सिखा रहे हैं। उन्हें परखने का पारंपरिक तरीका उन्हें "स्पैगेटी कार्बोनारा" जैसे क्लासिक व्यंजन के लिए सटीक, चरण-दर-चरण निर्देशों वाला एक रेसिपी कार्ड देना है। यदि वे इसे पूरी तरह से बना लेते हैं, तो आप मान लेते हैं कि वे एक बेहतरीन शेफ हैं।
लेकिन वास्तविक दुनिया में, ग्राहक आपको सटीक "रेसिपी कार्ड" नहीं देते। वे कहते हैं, "मुझे भूख लगी है, मेरे पेट में दर्द हो रहा है, और मुझे लगता है कि कल मैंने कुछ अजीब खाया था, लेकिन मैं पक्का नहीं हूँ।" वे विचलित हो सकते हैं, भारी लहजे में बोल सकते हैं, या यह बताना भूल सकते हैं कि उन्हें कोई गंभीर एलर्जी है।
यह शोध पत्र इस बारे में है कि कैसे शोधकर्ताओं के एक समूह ने चिकित्सा AI (विशेष रूप से लार्ज लैंग्वेज मॉडल्स या LLMs) को सटीक "रेसिपी कार्ड" के साथ टेस्ट करना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने 1,000 अलग-अलग, अव्यवस्थित, वास्तविक दुनिया की बातचीत बनाने के लिए एक विशाल, हाई-टेक सिम्युलेटर बनाया, जो एक डॉक्टर और एक मरीज के बीच होती है।
यहाँ बताया गया है कि उन्होंने क्या पाया, सरल उपमाओं का उपयोग करते हुए:
1. "परफेक्ट बनाम मेसी" (सटीक बनाम अव्यवस्थित) टेस्ट
शोधकर्ताओं ने सिरदर्द वाले 1,000 नकली मरीज बनाए। कुछ को साधारण तनाव वाला सिरदर्द था; अन्य को जानलेवा ब्रेन ब्लीड (मस्तिष्क रक्तस्राव) था।
- परफेक्ट परिदृश्य: उन्होंने AI को पूरी कहानी दी (100% जानकारी)।
- मेसी परिदृश्य: उन्होंने AI को कहानी का केवल एक छोटा सा हिस्सा दिया (20% जानकारी), जो एक ऐसे मरीज की नकल करता है जो भ्रमित है, दर्द में है, या विवरण याद नहीं रख पा रहा है।
परिणाम:
जब AI को पूरी कहानी मिली, तो वह एक जीनियस था। उसने 97.5% बार समस्या का सही निदान किया। यह एक ऐसे शेफ की तरह था जो एक सटीक रेसिपी मिलने पर बेहतरीन भोजन बना सकता है।
लेकिन यहाँ डरावना हिस्सा है: जब कहानी अधूरी थी, तो AI ने यह नहीं कहा, "मुझे सुरक्षित रहने के लिए और जानकारी चाहिए।" इसके बजाय, उसने आत्मविश्वास के साथ गलत अनुमान लगाया और खतरनाक व्यवहार किया।
2. "अति-आत्मविश्वासी अनुमान" की समस्या
वास्तविक चिकित्सा में, यदि किसी डॉक्टर के पास पर्याप्त जानकारी नहीं होती है, तो वे एक सतर्क जासूस की तरह काम करते हैं। वे कहते हैं, "मैं अभी तक ब्रेन ब्लीड की संभावना को खारिज नहीं कर सकता, इसलिए चलिए एक टेस्ट करते हैं।"
हालाँकि, AI एक लापरवाह जुआरी की तरह व्यवहार करता है।
- लम्बर पंचर की विफलता: मस्तिष्क रक्तस्राव (सब-अराक्नॉइड हेमरेज) के एक विशिष्ट प्रकार के लिए, मानक परीक्षण स्पाइनल टैप (लम्बर पंचर) है। जब AI के पास मरीज के दर्द का पूरा घटनाक्रम नहीं था, तो उसने यह नहीं कहा, "मुझे नहीं पता।" उसने आत्मविश्वास से कहा, "नहीं, स्पाइनल टैप मत करो।"
- ट्राइएज ट्रैप (प्राथमिकता का जाल): जीवन-धमकी वाली आपात स्थितियों के लिए, AI अक्सर मरीज को "घर जाकर आराम करने" या "कुछ महीने इंतजार करने" के लिए कहता है, बजाय इसके कि उन्हें तुरंत इमरजेंसी रूम जाने के लिए कहे। वास्तव में, जब जानकारी गायब थी, तो AI ने लगभग 55% इन आपातकालीन मरीजों को केवल खुद ही स्थिति संभालने के लिए कह दिया।
3. "जेंडर बायस" (लैंगिक पूर्वाग्रह) की गड़बड़ी
अध्ययन में पाया गया कि AI केवल रैंडम गलतियाँ नहीं कर रहा था; इसमें एक पूर्वाग्रह था।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड जो पुरुषों के प्रति बहुत सावधान रहता है लेकिन महिलाओं को यह मान लेता है कि वे बस "बढ़ा-चढ़ाकर बता रही हैं।"
- वास्तविकता: AI महिलाओं (विशेष रूप से 30-50 वर्ष की आयु की) को घर जाने और स्थिति को खुद संभालने के लिए बताने की काफी अधिक संभावना रखता था, भले ही उनमें जानलेवा स्थिति के लक्षण मौजूद थे। पुरुषों की तुलना में महिलाओं के साथ यह खतरनाक गलती करने की संभावना 3 गुना अधिक थी।
4. "मिनी" बनाम "प्रो" मॉडल
शोधकर्ताओं ने AI के दो संस्करणों का परीक्षण किया: एक "प्रो" संस्करण (GPT-5.2) और एक "मिनी" संस्करण (GPT-5-mini)।
- उपमा: "प्रो" संस्करण को एक सीनियर स्पेशलिस्ट डॉक्टर के रूप में और "मिनी" संस्करण को एक बहुत तेज़, सस्ते इंटर्न के रूप में समझें।
- निष्कर्ष: "मिनी" संस्करण बहुत खराब था। इसने खतरनाक दर्द निवारक दवाओं (जैसे कोडिन) की सिफारिश अधिक बार की, निदान अधिक बार मिस किया, और आपातकालीन मरीजों को घर भेजने की अधिक संभावना रखी।
- यह क्यों मायने रखता है: कई सार्वजनिक स्वास्थ्य ऐप और सर्च इंजन इन्हीं सस्ते, "मिनी" मॉडल्स का उपयोग कर रहे हैं। यह अध्ययन सुझाव देता है कि स्वास्थ्य सलाह के लिए सस्ते मॉडल का उपयोग करना सर्जरी करने के लिए एक इंटर्न को काम पर रखने जैसा है।
5. मुख्य दोष: "साक्ष्य का अभाव"
इस पेपर का सबसे बड़ा सबक यह है कि AI गायब जानकारी को कैसे हैंडल करता है।
- मानवीय तर्क: यदि मुझे आग नहीं दिख रही है, लेकिन मैं धुआं देख रहा हूं और सायरन सुन रहा हूं, तो मैं मान लेता हूं कि शायद आग लगी हो सकती है और मैं फायर ब्रिगेड को बुलाता हूं। (सुरक्षित रहने के लिए हम सबसे बुरे की आशंका करते हैं)।
- AI का तर्क: यदि मुझे डेटा में आग नहीं दिखती है, तो मैं मानता हूं कि आग नहीं है। (यह मान लेता है कि यदि कोई लक्षण स्पष्ट रूप से लिखा नहीं गया है, तो वह बीमारी मौजूद ही नहीं है)।
इसे "साक्ष्य के अभाव को अनुपस्थिति के साक्ष्य के रूप में समझना" कहा जाता है। क्योंकि AI एक प्रोबेबिलिटी मशीन (संभावना मशीन) है, यह गायब डेटा को देखता है और सोचता है, "सांख्यिकीय रूप से, यह शायद सिर्फ एक सामान्य सिरदर्द है," बजाय इसके कि "यह एक रहस्य है, और रहस्य घातक हो सकते हैं।"
निष्कर्ष
यह शोध पत्र एक चेतावनी है। यह दिखाता है कि हालांकि AI मेडिकल टेक्स्टबुक रटने में महान है, लेकिन यह वर्तमान में वास्तविक मानव रोगियों की अव्यवस्थित और अधूरी वास्तविकता को संभालने में बहुत बुरा है।
यदि हम इन AI टूल्स को बिना इस "लापरवाह अनुमान लगाने" वाले व्यवहार को ठीक किए अस्पतालों या स्वास्थ्य ऐप्स में आने देते हैं, तो वे ब्रेन ब्लीड वाले लोगों को मरने के लिए घर भेज सकते हैं, या महिलाओं को कह सकते हैं कि उनका दर्द "सिर्फ उनके दिमाग में है" जबकि वास्तव में वह एक मेडिकल इमरजेंसी हो सकती है।
शोधकर्ता मेडिकल AI के लिए एक नए प्रकार के "तनाव परीक्षण" (stress test) की मांग कर रहे हैं—जो केवल यह नहीं पूछता कि, "क्या आप एक पहेली हल कर सकते हैं?" बल्कि यह पूछता है कि, "जब आपके पास सभी टुकड़े न हों, तब भी क्या आप सुरक्षित रह सकते हैं?"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।