Evaluating medical AI under missing information: same-provider judges and human raters change apparent safety
यह अध्ययन प्रदर्शित करता है कि अधूरी जानकारी के तहत चिकित्सा एआई (medical AI) का मूल्यांकन सुरक्षा मूल्यांकन पूर्वाग्रहों को प्रकट करता है, जहाँ एलएलएम जज (LLM judge) का चयन (विशेष रूप से समान-प्रदाता उदारता) और जज की पहचान (LLM बनाम चिकित्सक) दोनों ही मॉडल रैंकिंग को महत्वपूर्ण रूप से बदलते हैं, जो यह संकेत देता है कि स्पष्ट सुरक्षा अंतराल ज्ञान की कमी के बजाय अंशांकन (calibration) के अंतर से उत्पन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अदृश्य सुरक्षा जाल: एआई डॉक्टरों को वास्तविकता की जांच की आवश्यकता क्यों है
कल्पना कीजिए कि आप एक ऐसा रोबोट बना रहे हैं जो चिकित्सा से संबंधित किसी भी प्रश्न का उत्तर दे सकता है। आप इसका परीक्षण इसे चिकित्सा पहेलियाँ हल करने के लिए कहकर करते हैं, जैसे कि कोई उच्च-दांव वाला ट्रिविया गेम। यदि रोबोट सही उत्तर देता है, तो आप खुशी मनाते हैं। लेकिन वास्तविक दुनिया में, एक डॉक्टर को केवल तथ्यों को जानने की आवश्यकता नहीं होती; उन्हें यह जानने की भी आवश्यकता होती है कि उनके पास पर्याप्त जानकारी कब नहीं है। यदि कोई मरीज सिरदर्द लेकर आता है लेकिन यह बताना भूल जाता है कि अभी उसका सिर टकराया है, तो एक अच्छा डॉक्टर यह अनुमान नहीं लगाएगा कि "यह सिर्फ माइग्रेन है।" वह कहेगा, "रुको, मुझे सुरक्षित रूप से आपकी मदद करने के लिए और विवरणों की आवश्यकता है।" "मुझे नहीं पता" या "मुझे और विवरण चाहिए" कहने की इस क्षमता को एब्स्टेंशन (abstention) कहा जाता है, और यही एक सहायक और एक खतरनाक अनुमान लगाने वाले के बीच का अंतर है।
हाल ही में, वैज्ञानिक सबसे स्मार्ट एआई मॉडलों का परीक्षण कर रहे हैं कि क्या वे चिकित्सा परीक्षाओं को पास कर सकते हैं। वे शानदार स्कोर प्राप्त कर रहे हैं, जो लगभग वास्तविक डॉक्टरों के बराबर है। लेकिन इसमें एक पेंच है: अधिकांश परीक्षण बहुविकल्पीय क्विज़ की तरह हैं जहाँ उत्तर आपके सामने ही होता है। वास्तविक दुनिया अधिक जटिल है। कभी-कभी जानकारी गायब होती है, भ्रमित करने वाली होती है, या छिपी होती है। यह शोध पत्र उस जटिल वास्तविकता में कदम रखता है। यह एक सरल लेकिन डरावना सवाल पूछता है: यदि हम एक चिकित्सा बातचीत में आधे सुराग छिपा देते हैं, तो क्या एआई स्वीकार करेगा कि वह भ्रमित है, या वह आत्मविश्वास के साथ एक खतरनाक उत्तर बना लेगा? और इससे भी महत्वपूर्ण बात यह है कि, एआई के होमवर्क की जांच कौन कर रहा है?
महान एआई स्ट्रेस टेस्ट: सुरागों को छिपाना
शोधकर्ताओं ने दुनिया के चार सबसे उन्नत एआई मॉडलों के साथ "सुराग छिपाने" का खेल खेलने का निर्णय लिया। उन्होंने वास्तविक चिकित्सा बातचीत ली और रोगी के अंतिम संदेश के दूसरे आधे हिस्से को हटा दिया। कल्पना कीजिए कि एक रोगी कह रहा है, "मेरे सीने में तेज दर्द हो रहा है..." और फिर एआई को तब तक काट दिया जाता है जब तक कि वह यह न कह सके, "...और मैं अभी मैराथन दौड़कर आया हूँ।" एआई को निर्णय लेना होगा: क्या मैं अनुमान लगाऊं कि क्या गलत है? क्या मैं और जानकारी मांगूं? या क्या मैं बस चुप रहूं?
लक्ष्य यह देखना था कि क्या एआई पहचान सकता है कि जानकारी गायब थी। एक "सुरक्षित" एआई कहेगा, "मैं अभी इसका उत्तर नहीं दे सकता क्योंकि मेरे पास विवरणों की कमी है।" एक "असुरक्षित" एआई आत्मविश्वास से कहेगा, "आपको दिल का दौरा पड़ा है," भले ही उसके पास पूरी कहानी न हो। शोधकर्ताओं ने पाया कि हालांकि ये एआई सभी सुराग मौजूद होने पर प्रश्नों के उत्तर देने में बहुत बुद्धिमान हैं, लेकिन वे अक्सर "लापता सुराग" परीक्षण में विफल रहते हैं। वे अक्सर अत्यधिक प्रतिबद्ध (over-commit) हो जाते हैं, जिसका अर्थ है कि वे तब भी निश्चित उत्तर देते हैं जब वे बिना किसी जानकारी के काम कर रहे होते हैं।
जज की समस्या: होमवर्क की जांच कौन कर रहा है?
यहीं कहानी में मोड़ आता है। क्योंकि ये खुले संवाद हैं (बहुविकल्पीय नहीं), इसलिए कोई एक एकल "सही" उत्तर कुंजी नहीं है। इसके बजाय, शोधकर्ताओं ने प्रतिक्रियाओं को ग्रेड करने के लिए अन्य एआई को न्यायाधीश के रूप में उपयोग किया। उन्होंने चार अलग-अलग कंपनियों के चार अलग-अलग एआई जजों का एक पैनल बनाया।
पहली बड़ी खोज यह थी कि आप किसे ग्रेड करने के लिए पूछते हैं, यह बहुत मायने रखता है। यह वैसा ही है जैसे यदि आप एक गणित शिक्षक से गणित का टेस्ट ग्रेड करने के लिए कहें, लेकिन वह शिक्षक वही हो जिसने टेस्ट लिखा था। शोधकर्ताओं ने पाया कि जब एक एआई ने अपने ही कंपनी के मॉडल का न्याय किया, तो वह बहुत उदार था। उसने अपने "भाई-बहनों" को उच्च सुरक्षा स्कोर दिए। उदाहरण के लिए, एक मॉडल तब दूसरे सर्वश्रेष्ठ डॉक्टर जैसा दिखता था जब उसके अपने कंपनी के एआई द्वारा उसे ग्रेड किया गया था, लेकिन जब अन्य जजों ने उसे ग्रेड किया, तो वह नीचे गिरकर लगभग सबसे निचले स्तर पर आ गया। विभिन्न एआई जजों के बीच सहमति केवल "मध्यम" थी, जिसका अर्थ है कि वे अक्सर एक-दूसरे से असहमत थे। यह सुझाव देता है कि यदि आप जानना चाहते हैं कि क्या कोई एआई वास्तव में सुरक्षित है, तो आप केवल उसके अपने परिवार को उसे ग्रेड करने के लिए नहीं कह सकते; आपको एक बाहरी दृष्टिकोण की आवश्यकता है।
मानवीय वास्तविकता की जांच
इसके बाद शोधकर्ताओं ने अंतिम रेफरी पेश किए: वास्तविक मानव डॉक्टर। उन्होंने बातचीत के एक छोटे से नमूने को लिया और दो स्वतंत्र डॉक्टरों (प्लस अध्ययन लेखक) को अंधे होकर (blindly) ग्रेड करने के लिए कहा, यह जाने बिना कि किस एआई ने उत्तर लिखा था।
परिणाम एक चेतावनी की तरह था। एआई जज बहुत दयालु थे। वे मानव डॉक्टरों की तुलना में बहुत उदार थे। एआई जजों ने सोचा कि मॉडल 66% से 84% समय उचित रूप से सतर्क थे। हालांकि, मानव डॉक्टरों ने सोचा कि मॉडल केवल 52% समय सतर्क थे। दूसरे शब्दों में, एआई जज उन मॉडलों को "पास" दे रहे थे जिन्हें वास्तविक डॉक्टर नहीं देते। यहाँ तक कि जब एआई जज आपस में सहमत थे (सर्वसम्मत वोट), तब भी मानव डॉक्टरों ने सोचा कि उन "सुरक्षित" उत्तरों में से एक चौथाई वास्तव में बहुत आत्मविश्वासी और जोखिम भरे थे।
मुख्य निष्कर्ष: सटीकता बनाम सुरक्षा
शोध पत्र ने यह भी जांचा कि क्या मॉडल केवल विशिष्ट परीक्षण में खराब थे या वास्तव में उन्हें चिकित्सा का ज्ञान नहीं था। उन्होंने एक मानक चिकित्सा बहुविकल्पीय परीक्षण (MedQA) चलाया जहाँ उत्तर स्पष्ट थे। यहाँ, मॉडल शानदार थे, उन्होंने 90% से अधिक उत्तर सही दिए। यह साबित करता है कि समस्या यह नहीं है कि एआई "मूर्ख" हैं या उनमें चिकित्सा ज्ञान की कमी है। समस्या कैलिब्रेशन (calibration) की है। वे तथ्यों को जानते हैं, लेकिन वे यह नहीं जानते कि कब बोलना बंद करना है। वे उस छात्र की तरह हैं जो पाठ्यपुस्तक को पूरी तरह से जानता है लेकिन परीक्षा के दौरान घबरा जाता है और यह कहने के बजाय कि, "मुझे सोचने के लिए और समय चाहिए," उत्तर का अनुमान लगाने लगता है।
भविष्य के लिए इसका क्या अर्थ है
यह अध्ययन यह नहीं कहता कि ये एआई बेकार हैं। यह कहता है कि हमें उन्हें टेस्ट करने के तरीके के बारे में अधिक स्मार्ट होने की आवश्यकता है। यदि हम केवल पूर्ण, बहुविकल्पीय प्रश्नों पर उनका परीक्षण करते हैं, तो हमें सुरक्षा का झूठा अहसास होता है। हमें उन्हें जटिल, अपूर्ण बातचीत पर टेस्ट करने की आवश्यकता है जहाँ उन्हें यह स्वीकार करना होगा कि वे क्या नहीं जानते।
शोधकर्ता हमें यह भी चेतावनी देते हैं कि सुरक्षा को मापने के लिए उपयोग किए जाने वाले उपकरण (एआई जज) पक्षपाती हो सकते हैं। यदि हम यह जानने के लिए एआई पर भरोसा करते हैं कि क्या दूसरा एआई सुरक्षित है, तो हम "स्व-वरीयता" (self-preference) से धोखा खा सकते हैं, जहाँ जज अपने ही प्रकार को पसंद करता है। सुरक्षा की वास्तविक तस्वीर पाने के लिए, हमें विभिन्न कंपनियों के जजों का उपयोग करने की आवश्यकता है, अपने स्वयं के निर्माता को ग्रेडिंग से बाहर रखना होगा, और सबसे महत्वपूर्ण बात यह है कि हमें अपने काम की जांच वास्तविक मानव डॉक्टरों के विरुद्ध करनी होगी। जब तक हम ऐसा नहीं करते, जब तक हम देखते हैं कि "सुरक्षा स्कोर" देखे जा रहे हैं, वे बहुत अधिक आशावादी हो सकते हैं, जैसे कि एक रिपोर्ट कार्ड जो आपको केवल प्रयास करने के लिए 'A' देता है, भले ही आपने असाइनमेंट का सबसे महत्वपूर्ण हिस्सा छोड़ दिया हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।