Selective Prediction Reduces the Negative Effects of Automation Bias Overall but Increases False Negatives
यद्यपि चयनात्मक भविष्यवाणी (selective prediction) अविश्वसनीय एआई आउटपुट को छिपाकर ऑटोमेशन बायस के नकारात्मक प्रभावों से नैदानिक सटीकता को पुनः प्राप्त करने में चिकित्सकों की मदद करती है, लेकिन यह अनजाने में गलत नकारात्मक (false negatives) को बढ़ा देती है क्योंकि जब एआई परहेज करता है, तो इससे चिकित्सक कम निदान और कम उपचार करने लगते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक घने जंगल से होकर गुजर रहे हैं, और आपने रास्ता खोजने में मदद के लिए एक हाई-टेक गाइड रखा है। इस गाइड के पास एक सुपरपावर है: यह उन खतरों और शॉर्टकटों को देख सकता है जिन्हें आप शायद मिस कर दें। लेकिन यहाँ एक पेंच है—यह एकदम सटीक नहीं है। कभी-कभी, यह पूरे आत्मविश्वास के साथ आपको किसी खाई की ओर इशारा करता है, या यह इतना भ्रमित हो जाता है कि बोलना ही बंद कर देता है। विज्ञान की दुनिया में, यह मानव निर्णय लेने में आर्टिफिशियल इंटेलिजेंस (AI) की मदद करने की कहानी है। हम गलत गाइड पर आँख मूँदकर भरोसा करने की समस्या को "ऑटोमेशन बायस" (automation bias) कहते हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने एक चतुर विचार निकाला जिसे "सिलेक्टिव प्रेडिक्शन" (selective prediction) कहा जाता है। यह आपके गाइड को यह कहने जैसा है, "अगर तुम 100% सुनिश्चित नहीं हो, तो बस चुप रहो और मुझे खुद समझने दो।" उम्मीद यह थी कि गाइड के गलत अनुमानों को छिपाकर, इंसान अधिक सुरक्षित और समझदार बनेंगे। लेकिन क्या चुप रहना वास्तव में मदद करता है, या यह केवल इंसान को खोया हुआ और अनिश्चित महसूस कराता है? यही वह बड़ा सवाल है जिसका उत्तर मिशिगन विश्वविद्यालय और न्यूयॉर्क विश्वविद्यालय के शोधकर्ता जानना चाहते थे।
टीम ने इस विचार का परीक्षण करने का निर्णय लिया एक उच्च-जोखिम वाले वातावरण में: एक अस्पताल में। उन्होंने एक खेल खेलने के लिए 259 वास्तविक डॉक्टरों और चिकित्सा पेशेवरों को इकट्ठा किया। उन्होंने उन्हें सांस लेने में संघर्ष कर रहे लोगों के बारे में 45 अलग-अलग रोगी विवरण (जिन्हें विनेट कहा जाता है) दिए। डॉक्टरों को यह पता लगाना था कि मरीजों को निमोनिया, हार्ट फेलियर, या सीओपीडी (COPD) नामक फेफड़ों की बीमारी है, और फिर सही दवा तय करनी थी। शोधकर्ताओं ने तीन अलग-अलग परिदृश्य तैयार किए। पहला, डॉक्टरों ने अकेले काम किया। दूसरा, वे एक ऐसे AI के साथ काम कर रहे थे जो हर एक सवाल के लिए जवाब देता था, भले ही AI गलत क्यों न हो। तीसरा, वे एक ऐसे AI के साथ काम कर रहे थे जो "सिलेक्टिव प्रेडिक्शन" का उपयोग करता था—जिसका अर्थ था कि AI कभी-कभी कहेगा, "मुझे यकीन नहीं है, आप तय करें," और विशिष्ट बीमारियों के लिए अपना उत्तर छिपा लेगा।
परिणाम थोड़े चौंकाने वाले थे। जब AI ने बिना सोचे-समझे गलत जवाब दिए, तो डॉक्टरों ने अधिक गलतियाँ कीं, जिससे साबित हुआ कि खराब AI निश्चित रूप से चीजों को बिगाड़ सकता है। लेकिन जब AI ने सिलेक्टिव प्रेडिक्शन का उपयोग किया और कठिन हिस्सों पर चुप रहा, तो इसने डॉक्टरों को कुछ गलतियों से बचने में मदद की। हालाँकि, इसने सब कुछ ठीक नहीं किया। वास्तव में, जब AI ने कहा, "मैं आपको निर्णय लेने दे रहा हूँ," तो डॉक्टरों ने एक अलग तरह की गलती शुरू कर दी: उन्होंने उन मरीजों का इलाज करना बंद कर दिया जिन्हें वास्तव में मदद की जरूरत थी। वे बहुत अधिक सतर्क हो गए। यह बिल्कुल वैसा ही है जैसे गाइड के चुप रहने से हाइकर्स को लगा, "अगर गाइड किसी खतरे की ओर इशारा नहीं कर रहा है, तो शायद वहां कोई खतरा नहीं है," इसलिए उन्होंने उसे ढूँढना ही छोड़ दिया।
अध्ययन में पाया गया कि यह "शांत AI" प्रभाव उन डॉक्टरों के लिए विशेष रूप से मजबूत था जिन्होंने पहले कभी AI टूल्स का उपयोग नहीं किया था। ये डॉक्टर AI के पीछे हटने पर मरीजों का कम उपचार करने के प्रति अधिक प्रवृत्त थे। शोधकर्ता सुझाव देते हैं कि AI को "मुझे नहीं पता" कहते हुए सुनने से डॉक्टरों को लग सकता है कि स्थिति महत्वपूर्ण नहीं है, या यह पूरे कार्य को और अधिक कठिन या भ्रमित करने वाला बना सकता है। हालांकि सिलेक्टिव प्रेडिक्शन गलत सलाह का पालन करने से रोकने के लिए एक बेहतरीन सुरक्षा जाल है, यह शोध पत्र बताता है कि यह कोई जादुई छड़ी नहीं है। यह डॉक्टरों के सोचने के तरीके को बदल देता है, जिससे कभी-कभी वे उन्हीं समस्याओं को पहचानने में चूक जाते हैं जिन्हें उन्हें हल करने की आवश्यकता होती है। लेखक निष्कर्ष निकालते हैं कि हम केवल यह मानकर नहीं चल सकते कि AI का चुप रहना हमेशा एक अच्छी बात है; हमें इस बात के प्रति सावधान रहना होगा कि यह मानवीय व्यवहार को कैसे बदलता है, क्योंकि चिकित्सा में, निदान (diagnosis) को पहचानने में चूक जाना, गलत निदान करने जितना ही खतरनाक हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।