CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine
यह शोध पत्र CLEAR फ्रेमवर्क प्रस्तुत करता है जो यह प्रदर्शित करता है कि मानक चिकित्सा बेंचमार्क वास्तविक दुनिया की अस्पष्टता को पकड़ने में विफल रहते हैं, जिससे यह पता चलता है कि उत्तर विकल्पों को बढ़ाना, परित्याग (abstention) की शब्दावली को अनिश्चितता स्वीकारोक्ति में बदलना, और मॉडल के आकार को बढ़ाना, सभी एक "विनम्रता की कमी" (humility deficit) को बढ़ाकर LLM की विश्वसनीयता को कम करते हैं जहाँ मॉडल गलत उत्तरों से बचने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: "परफेक्ट एग्जाम" बनाम "असली दुनिया"
कल्पना कीजिए कि आप एक छात्र को मेडिकल बोर्ड परीक्षा के लिए प्रशिक्षित कर रहे हैं। आप उसे अभ्यास टेस्ट देते हैं जहाँ हर प्रश्न के चार स्पष्ट उत्तर होते हैं, और आप जानते हैं कि सही उत्तर हमेशा उन चार में से ही एक होगा। छात्र पैटर्न याद कर लेता है और 95% प्रश्नों के सही उत्तर देता है। वह एक जीनियस जैसा दिखता है।
अब, कल्पना कीजिए कि आप उसी छात्र को एक वास्तविक इमरजेंसी रूम (आपातकालीन कक्ष) में ले जाते हैं। एक मरीज अस्पष्ट लक्षणों के साथ आता है। वहाँ चार विकल्पों की कोई स्पष्ट सूची नहीं है। मरीज की कहानी बिखरी हुई, अधूरी और भ्रमित करने वाली है। सही निदान (diagnosis) शायद उन संभावनाओं की सूची में भी न हो जो आप सोच रहे हैं।
यह शोध पत्र तर्क देता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) उसी छात्र की तरह हैं। वे "परफेक्ट एग्जाम" (मानक मेडिकल बेंचमार्क) में बहुत अच्छे हैं लेकिन "असली दुनिया" में खराब हैं क्योंकि उनमें विनम्रता (humility) की कमी है। उन्हें यह नहीं पता कि कब कहना है, "मुझे नहीं पता," या "मुझे मदद चाहिए।" इसके बजाय, वे आत्मविश्वास के साथ गलत उत्तर का अनुमान लगाते हैं।
लेखकों ने इस कमजोरी को उजागर करने के लिए CLEAR नामक एक नया परीक्षण ढांचा बनाया है।
CLEAR फ्रेमवर्क कैसे काम करता है (तीन प्रयोग)
शोधकर्ताओं ने मानक चिकित्सा प्रश्नों को लिया और उन्हें तीन विशिष्ट तरीकों से "परटर्ब" (बदलाव) किया ताकि यह देखा जा सके कि AI कैसे प्रतिक्रिया देता है। इसे रेडियो सिग्नल में स्टेटिक (शोर) जोड़ने या कमरे में अव्यवस्था पैदा करने जैसा समझें, ताकि यह देखा जा सके कि क्या AI अभी भी सत्य को खोज सकता है।
1. "डिस्ट्रैक्टर" टेस्ट (शोर जोड़ना)
- सेटअप: एक मानक टेस्ट में, आपके पास 2 गलत उत्तर और 1 सही उत्तर हो सकता है। CLEAR ने गलत उत्तरों (डिस्ट्रैक्टर्स) की संख्या बढ़ा दी, जैसे किसी लाइनअप में फर्जी संदिग्धों को जोड़ना।
- परिणाम: जैसे-जैसे गलत उत्तरों की सूची बढ़ती गई, AI सही उत्तर खोजने में और भी खराब होता गया। लेकिन डरावनी बात यह है: AI केवल भ्रमित ही नहीं हुआ; वह अपने गलत अनुमानों में और अधिक आत्मविश्वासी भी हो गया। उसने सत्य खोजने की कोशिश छोड़ दी और तब भी गलत अनुमान लगाने लगा जब सूची बहुत बड़ी थी।
- उपमा: कल्पना कीजिए कि एक जासूस एक कमरे में चोर को खोजने की कोशिश कर रहा है। यदि कमरे में 2 निर्दोष लोग हैं, तो जासूस चोर को ढूंढ लेता है। यदि आप कमरे में 10 निर्दोष लोग रख देते हैं, तो जासूस ढूंढना बंद कर देता है और बस किसी भी रैंडम व्यक्ति की ओर इशारा करते हुए कहता है, "यही चोर है!"
2. "ऑप्ट-आउट" टेस्ट (विनम्रता की कमी)
- सेटअप: शोधकर्ताओं ने सही उत्तर को पूरी तरह से हटा दिया और उसके स्थान पर "ऑप्ट-आउट" (बाहर निकलने) का विकल्प रख दिया। उन्होंने AI को तीन तरीके दिए जिनसे वह कह सके कि "मैं उत्तर नहीं दे सकता":
- "इनमें से कोई भी नहीं" (मुखर अस्वीकृति: "मुझे पता है कि सही उत्तर यहाँ नहीं है।")
- "मुझे नहीं पता" (अनिश्चितता स्वीकार करना: "मैं अनिश्चित हूँ।")
- "मुझे सहायता चाहिए" (मदद मांगना: "मैं यह अकेले नहीं कर सकता।")
- परिणाम: AI ऑप्ट-आउट करने में बहुत खराब था। वह यह स्वीकार करने के बजाय कि उसे नहीं पता, एक गलत उत्तर चुनने को प्राथमिकता देता था।
- "ह्यूमिलिटी डेफिसिट" (विनम्रता की कमी): लेखकों ने इस शब्द का उपयोग उस अंतर को समझाने के लिए किया है जो AI के सही उत्तर खोजने की क्षमता (जब वह वहां मौजूद हो) और यह स्वीकार करने की अक्षमता (जब वह वहां न हो) के बीच है।
- उपमा: एक छात्र जो परीक्षा दे रहा है। यदि उत्तर पन्ने पर है, तो वह 'A' ग्रेड पाता है। यदि उत्तर पन्ने पर नहीं है, तो "यह उत्तर यहाँ नहीं है" लिखने के बजाय, वह बस गोले भरने के लिए पागलों की तरह एक गलत उत्तर लिख देता है। वह सतर्क रूप से सही होने के बजाय आत्मविश्वास के साथ गलत होने को चुनता है।
3. "फ्रेमिंग" टेस्ट (कौन प्रभारी है?)
- सेटअप: शोधकर्ताओं ने देखा कि AI की "मुझे नहीं पता" कहने की इच्छा इस बात पर बदल जाती है कि विकल्प को कैसे कहा गया है।
- परिणाम: AI "इनमें से कोई भी नहीं" (कमान संभालना) कहने की सबसे अधिक संभावना रखता था और "मुझे सहायता चाहिए" (कमजोरी स्वीकार करना) कहने की सबसे कम संभावना रखता था।
- उपमा: एक रोबोट बटलर की कल्पना करें। यदि आप उससे पूछते हैं, "क्या यह भोजन सुरक्षित है?" तो वह कह सकता है, "नहीं, यह सुरक्षित नहीं है" (मुखर)। लेकिन यदि आप उससे पूछते हैं, "मुझे नहीं पता कि यह सुरक्षित है या नहीं," तो रोबोट उस वाक्यांश को बोलने से इनकार कर सकता है और इसके बजाय यह दावा कर सकता है कि भोजन सुरक्षित है, ताकि अनिश्चितता के अहसास से बचा जा सके। AI में अधिकार की कमी स्वीकार करने के प्रति एक पूर्वाग्रह दिखता है।
मुख्य निष्कर्ष और आश्चर्य
1. बड़ा होना हमेशा बेहतर नहीं होता (स्केलिंग लॉ की विफलता)
आमतौर पर, जब हम AI को बड़ा बनाते हैं (अधिक पैरामीटर्स), तो वह अधिक स्मार्ट हो जाता है। इस अध्ययन में, बड़े मॉडल्स वास्तव में एक साफ टेस्ट में सही उत्तर खोजने में बेहतर थे। हालाँकि, बड़े मॉडल्स अनिश्चितता स्वीकार करने में अधिक खराब थे।
- उपमा: एक सुपर-स्मार्ट प्रोफेसर बनाम एक हाई स्कूल छात्र के बारे में सोचें। प्रोफेसर को अधिक तथ्य पता हैं, लेकिन यदि उन्हें उत्तर नहीं पता, तो वे यह कहने में बहुत गर्व महसूस कर सकते हैं कि "मुझे नहीं पता।" छात्र अनभिज्ञता स्वीकार करने में अधिक सहज हो सकता है। इस अध्ययन में सबसे बड़े मॉडल्स सबसे कम विनम्र थे।
2. "चेन-ऑफ-थॉट" (कदम-दर-कदम सोचना) मददगार नहीं रहा
हम अक्सर AI को बेहतर तर्क के लिए "कदम-दर-कदम सोचने" के लिए कहते हैं। गणित या कोडिंग में, यह बहुत अच्छा काम करता है। चिकित्सा में, इसने अक्सर चीजों को और भी खराब बना दिया।
- उपमा: यदि आप एक भ्रमित व्यक्ति से कहें कि "धीरे चलें और हर कदम के बारे में सोचें," तो वे अपने ही पैरों में फंसकर गिर सकते हैं। जटिल चिकित्सा मामलों के लिए, AI को अपने विचार लिखने के लिए मजबूर करने से उसके 'हैलुसिनेशन' (भ्रम/मनगढ़ंत बातें बनाना) की संभावना बढ़ गई और वह रुककर यह कहने में कम सक्षम रहा कि "यह बहुत भ्रमित करने वाला है।"
3. "मुझे नहीं पता" का जाल
जब शोधकर्ताओं ने टेस्ट में "मुझे नहीं पता" का विकल्प जोड़ा, तो AI ने इसका बहुत कम उपयोग किया। वास्तव में, उस विकल्प के होने मात्र से ही AI गलत उत्तर चुनने के प्रति अधिक प्रवृत्त हो गया।
- उपमा: यह एक गलियारे में "प्रवेश निषेध" का साइन लगाने जैसा है। रोकने के बजाय, लोग शायद और अधिक उत्सुक होकर अंदर जाने की कोशिश करेंगे। अनिश्चितता स्वीकार करने के विकल्प की उपस्थिति ने वास्तव में AI को उसे अनदेखा करने और गलत अनुमान लगाने के लिए प्रेरित किया।
निष्कर्ष: यह क्यों मायने रखता है
शोध पत्र निष्कर्ष निकालता है कि हम केवल चिकित्सा में AI पर भरोसा नहीं कर सकते क्योंकि वे मानक परीक्षाओं में उच्च अंक प्राप्त करते हैं। वे परीक्षाएँ बहुत साफ-सुथरी और सरल हैं।
- समस्या: वर्तमान AI मॉडल्स को "सहायक" और "अनुपालन करने वाला" (compliant) बनाने के लिए प्रशिक्षित किया जाता है। वे उत्तर देने के लिए इतने उत्सुक हैं कि वे अनिश्चित होने के बजाय आत्मविश्वास के साथ झूठ बोलना पसंद करते हैं।
- जोखिम: एक वास्तविक अस्पताल में, यदि एक डॉक्टर AI से निदान के लिए पूछता है और AI गलत अनुमान लगाता है क्योंकि वह यह कहने से डर रहा था कि "मुझे नहीं पता," तो एक मरीज को नुकसान पहुँच सकता है।
- सीख: हमें AI का परीक्षण केवल "परफेक्ट" परीक्षाओं पर करना बंद करना होगा। हमें उन्हें शोर-शराबे वाले, वास्तविक दुनिया के परिदृश्यों पर टेस्ट करने की आवश्यकता है जहाँ सही उत्तर शायद मौजूद भी न हो। जब तक AI विनम्रता सीखना और अनिश्चितता को स्वीकार करना नहीं सीख जाता, तब तक यह वास्तविक दुनिया की चिकित्सा सलाह के लिए सुरक्षित नहीं है।
संक्षेप में, यह शोध पत्र दिखाता है कि हमारा मेडिकल AI एक ऐसा "सब कुछ जानने वाला" (know-it-all) है जो वास्तव में बहुत नाजुक है। उसे यह सीखने की जरूरत है कि "मुझे नहीं पता" कहना बुद्धिमानी का संकेत है, विफलता का नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।