Large Language Models Show Metacognitive Sensitivity in Medical Reasoning
यह अध्ययन एक साइकोफिजिक्स-प्रेरित बेंचमार्क प्रस्तुत करता है जो यह प्रदर्शित करता है कि मेडिकल लार्ज लैंग्वेज मॉडल्स अल्जाइमर-प्रकार के न्यूरोकॉग्निटिव डिसऑर्डर और डिप्रेशन-संबंधित संज्ञानात्मक हानि के बीच अंतर करने में आंशिक मेटाकॉग्निटिव संवेदनशीलता प्रदर्शित करते हैं, जिसमें आत्मविश्वास के स्तर आम तौर पर साक्ष्य की गुणवत्ता और सटीकता का अनुसरण करते हैं, हालांकि विरोधाभासी साक्ष्य वाले मामलों में विशिष्ट कैलिब्रेशन विफलताएं बनी रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा की दुनिया में, एक डॉक्टर का निर्णय केवल सही उत्तर जानने के बारे में नहीं होता; यह इस बारे में भी समान रूप से महत्वपूर्ण है कि कब साक्ष्य बहुत कम या अनिश्चित हैं। अपनी स्वयं की सोच की निगरानी करने की यह क्षमता, कि वह स्पष्ट निदान और एक अनुमान के बीच के अंतर को महसूस कर सके, 'मेटाकॉग्निशन' (metacognition) कहलाती है। यह वह मानसिक सुरक्षा वाल्व है जो एक चिकित्सक को किसी निष्कर्ष पर पहुँचने की जल्दबाजी करने के बजाय रुकने, और अधिक परीक्षणों के लिए पूछने या अनिश्चितता स्वीकार करने के लिए संकेत देता है। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस सिस्टम चिकित्सा संबंधी निर्णयों में सहायता करना शुरू कर रहे हैं, एक महत्वपूर्ण प्रश्न उठता है: क्या ये कंप्यूटर प्रोग्राम भी ऐसा कर सकते हैं? क्या वे न केवल एक चिकित्सा पहेली को हल कर सकते हैं, बल्कि ईमानदारी से यह भी बता सकते हैं कि वे अपने समाधान के बारे में कितने आश्वस्त हैं? यदि कोई मशीन पूरी तरह से आत्मविश्वास के साथ गलत उत्तर देती है, तो यह खतरनाक हो सकता है। यदि वह गलत उत्तर देते हुए अनिश्चित दिखती है, तो वह अभी भी उपयोगी हो सकती है, जो मनुष्य को दोबारा जांच करने के लिए प्रेरित कर सकती है।
शोधकर्ता लंबे समय से यह जानना चाहते थे कि क्या लार्ज लैंग्वेज मॉडल्स—वे शक्तिशाली एआई सिस्टम जो लिख सकते हैं, तर्क कर सकते हैं और प्रश्नों के उत्तर दे सकते हैं—में इस प्रकार की आत्म-जागरूकता होती है। कुछ पिछले अध्ययनों ने सुझाव दिया था कि ये मॉडल अनिवार्य रूप रूप से 'अनुमान लगाने वाली मशीनें' हैं जो गलत होने पर भी आत्मविश्वास से भरी आवाज में उत्तर देते हैं। इस विचार का अधिक कड़ाई से परीक्षण करने के लिए, वैज्ञानिकों की एक टीम ने एक नियंत्रित प्रयोग डिजाइन किया जिसमें एआई के साथ एक मनोविज्ञान प्रयोगशाला के विषय की तरह व्यवहार किया गया। उन्होंने एक विशिष्ट चिकित्सा परिदृश्य बनाया जहाँ उत्तर हमेशा स्पष्ट नहीं था, और उपलब्ध जानकारी की मात्रा और गुणवत्ता में बदलाव किया ताकि यह देखा जा सके कि क्या मॉडल का आत्मविश्वास साक्ष्यों के साथ ऊपर-नीचे होता है या नहीं।
यह अध्ययन एक सामान्य और कठिन नैदानिक चुनौती पर केंद्रित था: प्रारंभिक चरण के अल्जाइमर रोग और अवसाद (डिप्रेशन) के कारण होने वाले संज्ञानात्मक दोष के बीच अंतर करना। ये दोनों स्थितियाँ बहुत समान दिख सकती हैं, क्योंकि दोनों ही स्मृति लोप और भ्रम का कारण बनती हैं, फिर भी इनके उपचार अलग-अलग होते हैं। शोधकर्ताओं ने चालीस-पाँच कृत्रिम रोगी कहानियाँ, या 'विनेट्स' (vignettes) तैयार कीं, जिनमें से प्रत्येक एक ऐसे व्यक्ति का वर्णन करती थी जो संज्ञानात्मक लक्षणों से जूझ रहा था। उन्होंने इन कहानियों में सावधानीपूर्वक हेरफेर किया ताकि कठिनाई के विभिन्न स्तर बनाए जा सकें। कुछ कहानियों में एक निदान की ओर इशारा करने वाले मजबूत और स्पष्ट साक्ष्य थे। अन्य में जानकारी के अभाव जैसे कि पारिवारिक इतिहास या मूड मूल्यांकन की कमी थी। एक तीसरा समूह विरोधाभासी संकेतों वाला था, जहाँ अवसाद और अल्जाइमर दोनों के लक्षण एक साथ दिखाई दे रहे थे, जिससे चुनाव करना कठिन हो गया था।
इन चालीस-पाँच कहानियों में से प्रत्येक को थोड़ा अलग शब्दावली के साथ एआई मॉडल को तीन बार प्रस्तुत किया गया, जिससे कुल एक सौ पैंतीस परीक्षण मामले बने। मॉडल से दो निदानों में से एक को चुनने, उस विकल्प में अपनी आश्वस्तता को दर्शाने के लिए एक संख्यात्मक स्कोर देने, और यह संकेत देने के लिए कहा गया कि क्या उसे और अधिक जानकारी की आवश्यकता है। शोधकर्ताओं ने फिर विश्लेषण किया कि क्या मॉडल के आत्मविश्वास के स्कोर वास्तव में स्थिति की वास्तविकता से मेल खाते हैं। उन्होंने यह देखा कि क्या मॉडल अधिक आश्वस्त हुआ जब साक्ष्य मजबूत थे, कम आश्वस्त हुआ जब जानकारी गायब थी, और क्या वह वास्तव में सही होने पर गलत होने की तुलना में अधिक आश्वस्त था।
परिणामों ने दिखाया कि एआई केवल यादृच्छिक (random) आत्मविश्वास स्तरों के साथ अनुमान नहीं लगा रहा था। जब साक्ष्य मजबूत और स्पष्ट थे, तो मॉडल अत्यधिक सटीक था, लगभग सभी मामलों में सही निदान प्राप्त किया, और उच्च आत्मविश्वास व्यक्त किया। जब शोधकर्ताओं ने प्रमुख जानकारी को हटाया, तो मॉडल का आत्मविश्वास गिर गया, और उसने सही ढंग से पहचान लिया कि उसे और डेटा की आवश्यकता है। सबसे महत्वपूर्ण बात यह थी कि मॉडल का आत्मविश्वास इस बात के प्रति संवेदनशील था कि वह सही था या गलत। यहाँ तक कि मामले की कठिनाई को ध्यान में रखने के बाद भी, मॉडल सही होने पर गलत होने की तुलना में अधिक आश्वस्त रहने की प्रवृत्ति रखता था। यह सुझाव देता है कि सिस्टम में एक प्रकार की मेटाकॉग्निटिव संवेदनशीलता है; वह एक ठोस निष्कर्ष और एक कमजोर निष्कर्ष के बीच अंतर कर सकता है, कम से कम एक हद तक।
हालाँकि, अध्ययन ने एक विशिष्ट 'ब्लाइंड स्पॉट' (blind spot) का भी खुलासा किया। मॉडल अधिकांश परिदृश्यों में अच्छा प्रदर्शन करता था, लेकिन वह एक संकीर्ण क्षेत्र में काफी संघर्ष करता था जहाँ साक्ष्य मध्यम और विरोधाभासी थे। इन विशिष्ट मामलों में, जहाँ रोगी अल्जाइमर और अवसाद दोनों के लक्षण दिखा रहा था, मॉडल अक्सर गलत निदान चुन लेता था। अजीब बात यह थी कि जब वह इस कठिन क्षेत्र में गलत था, तब भी वह आश्चर्यजनक रूप से आश्वस्त बना रहा, और निम्न सटीकता के बावजूद उसके आत्मविश्वास के स्कोर ऊंचे बने रहे। इसने एक स्थानीय विफलता (localized failure) पैदा की जहाँ मॉडल अपनी गलतियों में भी अति-आत्मविश्वासी था। शोधकर्ताओं ने पाया कि यह समस्या केवल एक नए या अधिक शक्तिशाली संस्करण का उपयोग करके ठीक नहीं हुई; वास्तव में, कुछ नए मॉडलों ने मूल मॉडल की तुलना में अपने सही और गलत उत्तरों के बीच अंतर करने की क्षमता और भी कम दिखाई।
अध्ययन यह निष्कर्ष निकालता है कि हम यह मानकर नहीं चल सकते कि एआई का आत्मविश्वास विश्वसनीय है क्योंकि मॉडल स्मार्ट है या क्योंकि वह अधिकांश समय सही उत्तर देता है। मॉडल के आत्मविश्वास और उसकी वास्तविक सटीकता के बीच का संबंध जटिल है और विशिष्ट, उच्च-जोखिम वाली स्थितियों में टूट सकता है। शोधकर्ताओं का तर्क है कि चिकित्सा में इन उपकरणों पर भरोसा करने के लिए, हमें उनके आत्मविश्वास को सामान्य बेंचमार्क से अनुमान लगाने के बजाय, नियंत्रित सेटिंग्स में उनके प्रदर्शन के विरुद्ध सीधे मापना चाहिए। हालाँकि एआई ने कई तरीकों से साक्ष्य और अनिश्चितता को ट्रैक करने की क्षमता दिखाई, लेकिन इन विशिष्ट 'ब्लाइंड स्पॉट्स' की उपस्थिति का अर्थ है कि मानवीय निरीक्षण आवश्यक बना हुआ है, विशेष रूप से तब जब साक्ष्य संदिग्ध हों और मॉडल का आत्मविश्वास भ्रामक हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।