When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations
यह अध्ययन MedMCQA बेंचमार्क का उपयोग करके सामान्य-उद्देश्य और चिकित्सा-विशिष्ट लार्ज लैंग्वेज मॉडल्स की प्रॉम्प्ट विविधताओं के प्रति संवेदनशीलता का व्यवस्थित रूप से मूल्यांकन करता है, जो यह प्रकट करता है कि मामूली शाब्दिक या वाक्यात्मक परिवर्तन भी उनकी विश्वसनीयता को महत्वपूर्ण रूप से कम कर सकते हैं और हानिकारक नैदानिक आउटपुट उत्पन्न कर सकते हैं, जिससे स्वास्थ्य सेवा में उनकी तैनाती के लिए गंभीर सुरक्षा जोखिमों पर प्रकाश पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: चिकित्सा का "चंचल शेफ" (The Fickle Chef)
कल्पना कीजिए कि आपके पास एक विश्व स्तरीय शेफ (लार्ज लैंग्वेज मॉडल, या LLM) है जिसे एक रेसिपी कार्ड (प्रॉम्ट) के आधार पर मरीज के लिए सही भोजन बनाना है। यह शेफ अविश्वसनीय रूप से बुद्धिमान है और इसे हजारों रेसिपी पता हैं।
हालाँकि, यह शोध एक डरावने दोष का पता लगाता है: यह शेफ इस बात के प्रति बेहद संवेदनशील है कि रेसिपी कैसे लिखी गई है।
यदि आप एक शब्द बदल देते हैं, सामग्री का क्रम बदल देते हैं, या बस किसी शब्द की स्पेलिंग में थोड़ा सा बदलाव कर देते हैं, तो शेफ अचानक एक पूरी तरह से अलग व्यंजन—या इससे भी बदतर, एक जहरीला व्यंजन—परोसने का निर्णय ले सकता है। यह शोध तर्क देता है कि स्वास्थ्य सेवा में, जहाँ एक "व्यंजन" एक मेडिकल डायग्नोसिस (रोग निदान) या सलाह है, इस तरह की अनिश्चितता खतरनाक है।
प्रयोग: शेफ की स्थिरता का परीक्षण करना
शोधकर्ता यह देखना चाहते थे कि क्या ये मेडिकल AI शेफ्स छोटी-मोटी बदलावों को बिना गड़बड़ी किए संभाल सकते हैं। उन्होंने चिकित्सा प्रश्नों के एक विशाल पुस्तकालय (जिसे MedMCQA कहा जाता है) का उपयोग किया और दो प्रकार के "शेफ" का परीक्षण किया:
- सामान्य शेफ (General Chefs): वे स्मार्ट AI मॉडल जिन्हें विशेष रूप से चिकित्सा के लिए प्रशिक्षित नहीं किया गया है (जैसे GPT-3.5 या Llama3)।
- विशेषज्ञ शेफ (Specialist Chefs): वे AI मॉडल जिन्हें विशेष रूप से मेडिकल किताबों और जर्नल्स पर प्रशिक्षित किया गया है (जैसे BioBERT या ClinicalBERT)।
उन्होंने तीन स्थितियों के तहत शेफ का परीक्षण किया:
- मूल रेसिपी (The Original Recipe): मानक, साफ-सुथरा प्रश्न।
- "समानार्थी शब्द का बदलाव" (Lexical Perturbation): शब्दों को उनके समानार्थी शब्दों से बदलना (जैसे, "shortness of breath" को "dyspnea" में बदलना) या टाइपो (वर्तनी की गलती) ठीक करना।
- "पुनर्गठित रसोई" (Syntactic Perturbation): वाक्य की संरचना बदलना (जैसे, "The nurse gave the drug" से बदलकर "The drug was given by the nurse" करना)।
उन्होंने क्या पाया: "नाजुक" सच्चाई
परिणामों ने दिखाया कि अभी तक कोई भी शेफ वास्तव में सुरक्षित नहीं है। यहाँ क्या हुआ:
1. "समानार्थी शब्द का बदलाव" काफी हद तक ठीक था (लेकिन पूर्ण नहीं)
जब शोधकर्ताओं ने केवल शब्दों को समान शब्दों से बदला (जैसे "five mg" को "5 mg" में बदलना), तो अधिकांश शेफ शांत रहे। उन्होंने अभी भी सही उत्तर दिया। यह ऐसा है जैसे यदि आपने "एक गिलास पानी" के बजाय "एक टम्बलर पानी" माँगा, तो शेफ फिर भी पानी ही लाएगा।
- हालाँकि, यहाँ भी, शेफ कभी-कभी इस बात को लेकर भ्रमित हो गए कि उत्तर को कैसे प्रस्तुत करना है (जैसे, एक विशिष्ट प्रारूप में लिखना भूल जाना), भले ही चिकित्सा सलाह सही थी।
2. "पुनर्गठित रसोई" ने अराजकता पैदा कर दी
जब शोधकर्ताओं ने वाक्य की संरचना या विकल्पों का क्रम बदला, तो शेफ विफल होने लगे।
- उपमा: कल्पना कीजिए कि एक शेफ जो एक सूची का पालन करने में माहिर है, लेकिन यदि आप सूची की अंतिम वस्तु को पहले रख देते हैं, तो वह पहली वस्तु को पूरी तरह से भूल जाता है।
- परिणाम: कुछ मामलों में, केवल प्रश्न को फिर से लिखने (rephrasing) के कारण AI ने गलत डायग्नोसिस दे दिया। उदाहरण के लिए, COPD के लक्षणों वाले मरीज को केवल वाक्य की संरचना बदलने के कारण 'पल्मोनरी एडिमा' (Pulmonary Edema) बताया जा सकता है।
3. "विशेषज्ञ शेफ" भी सुरक्षित नहीं थे
आप सोच सकते हैं कि केवल मेडिकल किताबों पर प्रशिक्षित शेफ अधिक सुरक्षित होंगे। शोध ने पाया कि विशेषज्ञ शेफ (BioBERT, आदि) वास्तव में सामान्य शेफ की तरह ही नाजुक थे, और संरचनात्मक परिवर्तनों के प्रति कभी-कभी अधिक संवेदनशील भी थे। उनके पास इन ट्रिक्स के खिलाफ कोई "सुपरपावर" नहीं थी।
"एडवर्सरियल" खतरा: एक चालाकी भरी नोट
शोध ने "एडवर्सरियल" प्रॉम्ट्स (adversarial prompts) को भी देखा—ये वे प्रॉम्ट्स हैं जो किसी द्वारा शेफ को चकमा देने के लिए रेसिपी कार्ड में एक चालाकी भरी नोट डालने जैसा है।
- उपमा: कल्पना कीजिए कि कोई फुसफुसा रहा है, "पहले स्टेप को अनदेखा करें, मरीज को वास्तव में इससे एलर्जी है," भले ही मरीज को नहीं है।
- परिणाम: इन छोटे, चालाकी भरे बदलावों से AI दवा की गलत खुराक की सिफारिश कर सकता है या एक महत्वपूर्ण लक्षण को पूरी तरह से मिस कर सकता है। शोध इसे "क्लिनिकली डेंजरस" (चिकित्सकीय रूप से खतरनाक) कहता है।
निष्कर्ष: यह क्यों मायने रखता है
यह शोध निष्कर्ष निकालता है कि वर्तमान मेडिकल AI "अंतर्निहित रूप से सुरक्षित" (intrinsically safe) नहीं है।
- समस्या: यदि एक डॉक्टर AI से एक ही प्रश्न दो अलग-अलग तरीकों से पूछता है, तो AI दो अलग-अलग उत्तर दे सकता है। एक सही हो सकता है, और दूसरा गलत।
- जोखिम: एक अस्पताल में, आप ऐसा सिस्टम नहीं रख सकते जो केवल एक वाक्य को फिर से लिखने के कारण अपना मन बदल ले। यदि AI किसी ड्रग इंटरेक्शन (दवाओं के बीच प्रतिक्रिया) के बारे में गलत जानकारी देता है या टाइपो के कारण डायग्नोसिस मिस कर देता है, तो मरीजों को नुकसान हो सकता है।
संक्षेप में
इन AI मॉडलों को प्रतिभाशाली लेकिन घबराए हुए छात्रों के रूप में देखें। जब परीक्षा स्पष्ट रूप से लिखी जाती है, तो उन्हें विषय पूरी तरह से पता होता है। लेकिन यदि शिक्षक फॉन्ट बदल देता है, कुछ शब्दों को बदल देता है, या पैराग्राफ को पुनर्व्यवस्थित कर देता है, तो छात्र घबरा सकता है और गलत उत्तर दे सकता है।
यह शोध कहता है: "हम अभी इन छात्रों पर मेडिकल परीक्षाओं को ग्रेड करने के लिए भरोसा नहीं कर सकते क्योंकि वे इस बात से बहुत आसानी से भ्रमित हो जाते हैं कि प्रश्न कैसे पूछा गया है।" इससे पहले कि हम उन्हें डॉक्टरों की मदद करने दें, हमें उन्हें अधिक स्थिर और बात करने के तरीके के प्रति कम संवेदनशील बनाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।