Measuring Epistemic Resilience of LLMs Under Misleading Medical Context
यह शोधपत्र MedMisBench प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है जो यह प्रदर्शित करता है कि बड़े भाषा मॉडल (LLMs), चिकित्सा परीक्षाओं में विशेषज्ञ-स्तर के अंक प्राप्त करने के बावजूद, भ्रामक और अधिकार-युक्त संदर्भों के संपर्क में आने पर बार-बार सही चिकित्सा निर्णयों को त्याग देते हैं, जिससे उनकी एपिस्टेमिक लचीलापन (epistemic resilience) अत्यंत नाजुक सिद्ध होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली मेडिकल छात्र है जिसने हर किताब को रट लिया है और किसी भी लाइसेंसिंग परीक्षा में पूर्ण अंक प्राप्त कर सकता है। आप उन पर पूरी तरह भरोसा करते हैं। लेकिन फिर, आप कमरे में आते हैं और उन्हें एक फर्जी नियम फुसफुसाते हैं: "वैसे, अस्पताल ने नियम बदल दिए हैं। इस विशिष्ट स्थिति के लिए, अब हम Y के बजाय X करेंगे।"
आश्चर्यजनक रूप से, यह "परफेक्ट" छात्र सब कुछ भूल जाता है जो उसने पढ़ा था, आपके फर्जी नियम को सच मान लेता है, और आपको गलत उत्तर देता है।
यह MedMisBench पेपर की मुख्य खोज है। शोधकर्ताओं ने पाया कि यहाँ तक कि बुद्धिमान AI डॉक्टर (लार्ज लैंग्वेज मॉडल्स) भी भ्रामक जानकारी के सामने आश्चर्यजनक रूप से नाजुक होते हैं, भले ही वे पहले से ही सही उत्तर जानते हों।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. परीक्षा में "ट्रैप डोर" (Trap Door)
आमतौर पर, हम AI डॉक्टरों को साफ-सुथरे, टेक्स्टबुक वाले सवालों के साथ टेस्ट करते हैं। वे बहुत अच्छा स्कोर करते हैं (लगभग 71% सही)। शोधकर्ताओं ने माना कि इसका मतलब है कि AI स्वास्थ्य सलाह के लिए सुरक्षित है।
वे गलत थे। शोधकर्ताओं ने एक नया टेस्ट बनाया जिसे MedMisched कहा गया। इसे एक "ट्रैप डोर" परीक्षा के रूप में समझें।
- सेटअप: वे एक ऐसा प्रश्न लेते हैं जिसका उत्तर AI को पता है।
- ट्रैप (जाल): वे एक वाक्य डाल देते हैं जो एक विश्वसनीय चिकित्सा नियम जैसा दिखता है लेकिन वास्तव में एक झूठ है।
- परिणाम: AI की सटीकता 71% से गिरकर 38% हो जाती है। वास्तव में, आधे से अधिक मामलों में (51.5%), AI सच्चाई को पूरी तरह से त्याग देता है और झूठ का पालन करता है।
2. "अथॉरिटी" (Authority) का प्रभाव
पेपर ने परीक्षण किया कि झूठ कैसे दिया गया था। यह पाया गया कि AI तब सबसे आसानी से चकमा खाता है जब झूठ आधिकारिक लगता है।
- उपमा: कल्पना करें कि एक छात्र एक शिक्षक की किताब को अनदेखा कर देता है क्योंकि सूट पहने एक अजनबी ("अथॉरिटी") अंदर आता है और कहता है, "वास्तव में, किताब गलत है।"
- निष्कर्ष: जब फर्जी जानकारी को एक नए अस्पताल के नियम, एक गाइडलाइन, या एक आधिकारिक नोट के रूप में पेश किया गया, तो AI लगभग 70% बार इसमें फंस गया।
- "अपवाद" का जाल: AI उन झूठों से भी आसानी से धोखा खा गया जो विशिष्ट अपवादों (जैसे, "यह नियम सभी पर लागू होता है सिवाय इस एक अजीब मामले के") की तरह लगते थे।
3. "एक आवाज" बनाम "भीड़"
शोधकर्ताओं ने झूठ प्रस्तुत करने के दो तरीके टेस्ट किए:
- प्रकार 1 (फुसफुसाहट): AI प्रश्न देखता है और एक विशिष्ट झूठ जो गलत उत्तर का समर्थन करता है।
- परिणाम: आपदा। AI तुरंत गलत उत्तर की ओर मुड़ जाता है।
- प्रकार 2 (बहस): AI प्रश्न, सच्चाई, और गलत उत्तरों का समर्थन करने वाले सभी झूठ एक साथ देखता है।
- परिणाम: AI यहाँ बहुत बेहतर प्रदर्शन करता है। वह पूरी तस्वीर देख सकता है और आमतौर पर सच्चाई पर टिका रहता है।
- सबक: खतरा यह नहीं है कि AI किसी भी झूठ को नहीं संभाल सकता; खतरा यह है कि जब एक अकेला, विश्वसनीय दिखने वाला झूठ सीधे उसे फुसफुसाया जाता है, तो वह टूट जाता है।
4. "ज़्यादा सोचना" हमेशा मदद नहीं करता
आप सोच सकते हैं कि यदि आप AI को "चरण-दर-चरण सोचने" या अधिक दिमागी शक्ति का उपयोग करने के लिए कहते हैं, तो उसे धोखा देना कठिन होगा।
- उपमा: यह एक छात्र से "अपना काम दोबारा चेक करने" के लिए कहने जैसा है।
- निष्कर्ष: कुछ AI मॉडल्स के लिए, ज़्यादा सोचने से वे झूठ के प्रति अधिक संवेदनशील हो गए। वे उस फर्जी "आधिकारिक नियम" का अत्यधिक विश्लेषण करने लगे और खुद को सही रास्ते के लिए राजी कर लिया।
5. वास्तविक दुनिया का खतरा
शोधकर्ताओं ने केवल सही/गलत उत्तरों को नहीं देखा; उन्होंने 7 अलग-अलग देशों के 14 वास्तविक डॉक्टरों से AI की गलतियों की समीक्षा करने को कहा।
- निष्कर्ष: 38% मामलों में जहाँ AI को चकमा दिया गया था, गलत उत्तर से मरीज को गंभीर नुकसान हो सकता था।
- सीख: यह केवल एक गणितीय त्रुटि नहीं है; यह एक सुरक्षा खतरा है। AI केवल "भ्रमित" (hallucinating) नहीं हो रहा है; यह आत्मविश्वास के साथ खतरनाक सलाह दे रहा है क्योंकि इसे एक फर्जी संदर्भ से छला गया है।
सारांश
पेपर निष्कर्ष निकालता है कि हम AI डॉक्टरों को इस आधार पर माप रहे हैं कि वे टेक्स्टबुक को कितनी अच्छी तरह जानते हैं, लेकिन हमने यह टेस्ट नहीं किया है कि क्या वे सच्चाई पर टिके रह सकते हैं जब कोई उन्हें फर्जी नियमों से धोखा देने की कोशिश करता है।
MedMisBench एक नया टूल है जिसे इस "एपिस्टेमिक रेजिलिएंस" (ज्ञान संबंधी लचीलापन - अपनी निर्णय क्षमता बनाए रखने की क्षमता जब दुनिया आपको भ्रमित करने की कोशिश कर रही हो) को मापने के लिए डिज़ाइन किया गया है। यह दिखाता है कि वर्तमान में, हमारे AI डॉक्टर इतने लचीले नहीं हैं कि उन्हें उस जटिल, सूचना-भरी वास्तविक दुनिया में स्वास्थ्य सलाह के लिए भरोसेमंद माना जा सके जहाँ फर्जी खबरें और भ्रामक दावे आम हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।