Bayesian uncertainty estimation improves clinical decision making in medical AI agents
यह शोध पत्र यह प्रदर्शित करता है कि चिकित्सा एआई मॉडलों में मोंटे कार्लो ड्रॉपआउट-आधारित एपिस्टेमिक अनिश्चितता (epistemic uncertainty) को शामिल करने से न केवल त्रुटि का पता लगाने में सुधार होता है, बल्कि नैदानिक निर्णय सहायता में आत्मविश्वासपूर्ण गलत निदान भी काफी कम हो जाते हैं, बशर्ते कि अनिश्चितता को कच्चे स्कोर के बजाय एक बाइनरी एरर-रिस्क फ्लैग के रूप में संप्रेषित किया जाए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-स्टेक्स वीडियो गेम खेल रहे हैं जहाँ एक एआई (AI) पात्र पहेलियाँ सुलझाने में आपकी मदद करता है। कभी-कभी, वह एआई एक जीनियस होता है, उन सुरागों को पकड़ लेता है जिन्हें आप चूक गए थे। लेकिन अन्य समय में, वह अजीब रोशनी या अजीब आकृतियों से भ्रमित हो जाता है और पूरे आत्मविश्वास के साथ आपको गलत उत्तर बताता है। वास्तविक दुनिया में, ऐसा एक्स-रे पढ़ने वाले मेडिकल एआई के साथ होता है। ये कंप्यूटर प्रोग्राम बीमारियों को पहचानने में बहुत अच्छे होते जा रहे हैं, लेकिन उनकी एक गुप्त कमजोरी है: वे अक्सर ऐसे व्यवहार करते हैं जैसे वे 100% निश्चित हों, भले ही वे पूरी तरह से अनुमान लगा रहे हों। यह खतरनाक है क्योंकि डॉक्टर एक आत्मविश्वासी रोबोट पर भरोसा कर सकते हैं और एक वास्तविक समस्या को मिस कर सकते हैं। इसे ठीक करने के लिए, वैज्ञानिक एआई को यह स्वीकार करना सिखा रहे हैं कि वह कब नहीं जानता। वे एक विशेष गणितीय ट्रिक का उपयोग करते हैं जिसे "बेयसियन अनसर्टेन्टी" (Bayesian uncertainty) कहा जाता है, जो एक "कॉन्फिडेंस मीटर" देने जैसा है। केवल यह कहने के बजाय कि "यह निमोनिया है," एआई कह सकता है, "यह निमोनिया है, लेकिन मैं केवल 60% निश्चित हूँ क्योंकि छवि धुंधली दिख रही है।" बड़ा सवाल यह है कि यदि हम किसी मानव डॉक्टर या एक स्मार्ट कंप्यूटर सहायक को यह कॉन्फिडेंस मीटर देते हैं, तो क्या वे वास्तव में इसकी बात सुनेंगे और बेहतर निर्णय लेंगे, या वे केवल नंबरों को अनदेखा करेंगे और अनुमान लगाना जारी रखेंगे?
यह शोध पत्र इसी सटीक प्रश्न की जांच एक चतुर प्रयोग के माध्यम से करता है। शोधकर्ताओं ने एक स्मार्ट एआई एजेंट बनाया जो फेफड़ों में तरल पदार्थ या बढ़े हुए हृदय जैसी आठ अलग-अलग चीजों को खोजने के लिए एक्स-रे देखता है। उन्होंने इस एआई को एक विशेष ट्रिक सिखाई जिसे "मोंटे कार्लो ड्रॉपआउट" (Monte Carlo dropout) कहा जाता है। इसे ऐसे समझें जैसे एआई को एक ही एक्स-रे को तीस बार देखने के लिए कहना, लेकिन हर बार, वे इसके कुछ "ब्रेन सेल्स" (न्यूरॉन्स) को बेतरतीब ढंग से छिपा देते हैं ताकि उसे हर बार थोड़ा अलग तरीके से अनुमान लगाना पड़े। यदि एआई हर बार एक ही उत्तर देता है, तो वह आत्मविश्वासी है। यदि वह बार-बार अपना मन बदलता रहता है, तो वह अनिश्चित है।
टीम ने पाया कि यह "मन बदलने वाला" संकेत एक सुपरपावर है। जब एआई ओवरफिट (overfit) होने लगता है (जो कि नियमों को सीखने के बजाय प्रशिक्षण के उत्तरों को रटने जैसा है), तो उसका कॉन्फिडेंस मीटर हिलने या डगमगाने लगता है, भले ही अंतिम उत्तर समान दिखाई दे। उन्होंने साबित किया कि यह डगमगाने वाला संकेत गलतियों को पकड़ने में मदद करता है। वास्तव में, जब उन्होंने एआई के भविष्यवाणियों में इस अनसर्टेन्टी सिग्नल को जोड़ा, तो एआई की अपनी गलतियों को पकड़ने की क्षमता 74% से बढ़कर 77% हो गई। यह छोटा लग सकता है, लेकिन चिकित्सा में, कुछ और गलतियों को पकड़ना जीवन बचाता है।
हालाँकि, कहानी का सबसे आश्चर्यजनक हिस्सा यह था कि जानकारी कैसे दी गई थी। शोधकर्ताओं ने एक क्लिनिकल डिसीजन-सपोर्ट एजेंट (एक स्मार्ट कंप्यूटर सहायक) को जोखिम के बारे में बताने के लिए दो तरीकों का परीक्षण किया। एक परिदृश्य में, उन्होंने एजेंट को कच्चे नंबर दिए—सटीक कॉन्फिडेंस स्कोर और अनसर्टेन्टी वैल्यू—और एजेंट से यह तय करने को कहा कि उसे क्या करना चाहिए। एजेंट संघर्ष करता रहा; उसे उलझे हुए नंबरों को समझने में कठिनाई हुई और उसमें बहुत अधिक सुधार नहीं हुआ। लेकिन दूसरे परिदृश्य में, उन्होंने एजेंट को एक सरल, पहले से तैयार "हाँ/नहीं" फ्लैग दिया: "उच्च त्रुटि जोखिम" या "कम जोखिम"। अचानक, एजेंट एक हीरो बन गया। वह बिल्कुल जानता था कि कब रुकना है और कहना है, "रुको, यह जोखिम भरा लग रहा है, आइए एक मानव डॉक्टर से दोबारा जांच करवा लें," और कब एआई पर भरोसा करना है।
इस सरल फ्लैग का उपयोग करके, एजेंट ने अविश्वसनीय निष्कर्षों पर "आत्मविश्वासी गलत निदान" (जहाँ एआई निश्चित है लेकिन गलत है) को 8.5% से घटाकर केवल 2.7% कर दिया। यह शोध पत्र दिखाता है कि एआई का अनसर्टेन्टी सिग्नल मूल्यवान जानकारी से भरा है, लेकिन यह बेकार है यदि दूसरी ओर का व्यक्ति या कंप्यूटर कच्चे डेटा को पढ़ने में सक्षम नहीं है। सबक यह है कि चिकित्सा में एक सच्चा साथी बनने के लिए, एआई को केवल हम पर कच्चा डेटा नहीं फेंकना चाहिए; इसे अपने संदेहों को इस तरह से पैक करना चाहिए जिसे समझना और जिस पर अमल करना आसान हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।