How Best to Explain Machine Learning Models to Clinicians: A User Study of Explanation Types
39 चिकित्सकों से जुड़े इस उपयोगकर्ता अध्ययन से पता चलता है कि हालांकि एट्रिब्यूशन-आधारित स्पष्टीकरण नैदानिक सेटिंग्स में मशीन लर्निंग भविष्यवाणियों के प्रति विश्वास और समझ को सबसे अधिक बढ़ाते हैं, फिर भी लगभग आधे प्रतिभागियों ने कई प्रकार के स्पष्टीकरण देखने को प्राथमिकता दी है, जो यह सुझाव देता है कि भविष्य के कार्यान्वयन को विशिष्ट नैदानिक भूमिकाओं के अनुरूप विविध प्रारूप पेश करते हुए एट्रिब्यूशन विधियों को प्राथमिकता देनी चाहिए।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट डॉक्टर बनाया है जो मरीज के डेटा को देखकर यह अनुमान लगा सकता है कि क्या वह बीमार होने वाला है। लेकिन इसमें एक पेंच है: यह रोबोट एक "ब्लैक बॉक्स" है। यह उत्तर तो देता है, लेकिन यह नहीं बताता कि क्यों। यह एक मैजिक 8-बॉल की तरह है जो कहता है "हाँ, खतरा है!" लेकिन यह बताने से मना कर देता है कि उसने खतरे को देखने के लिए किस क्रिस्टल बॉल का इस्तेमाल किया।
इसे ठीक करने के लिए, इस शोध पत्र के शोधकर्ताओं ने वास्तविक जीवन के डॉक्टरों (नर्सों और चिकित्सकों) को रोबट की सोच को समझाने के तीन अलग-अलग तरीकों का परीक्षण करने का निर्णय लिया। वे यह देखना चाहते थे कि कौन सी स्पष्टीकरण शैली डॉक्टरों को रोबोट पर अधिक भरोसा करने, इसे बेहतर समझने और वास्तव में इस बारे में अपना विचार बदलने के लिए प्रेरित करती है कि मरीज के साथ क्या गलत था।
तीन "फ्लैशलाइट" शैलियाँ
टीम ने रोबोट के निर्णय पर रोशनी डालने के तीन तरीकों का परीक्षण किया:
- एट्रिब्यूशन फ्लैशलाइट (द "स्कोरकार्ड"): यह तरीका डेटा के हर एक हिस्से को एक स्कोर देता है। यह एक शिक्षक की तरह है जो टेस्ट को ग्रेड देता है और ठीक से हाईलाइट करता है कि कौन से उत्तर सही या गलत थे और प्रत्येक को कितने अंक दिए गए थे। यह कहता है, "आपकी हृदय गति (heart rate) अधिक थी, और इसने जोखिम स्कोर में 4.5 अंक जोड़े।"
- काउंटरफैक्चुअल फ्लैशलाइट (द "व्हाट-इफ"): यह "क्या होगा अगर" का खेल खेलता है। यह डॉक्टर को दिखाता है कि मरीज के नंबरों को कैसे बदला जाए ताकि एक अलग परिणाम प्राप्त हो सके। यह एक वीडियो गेम चीट कोड की तरह है जो कहता है, "यदि आप हृदय गति को कम करते हैं और रक्तचाप (blood pressure) को बढ़ाते हैं, तो रोबोट चिल्लाना बंद कर देगा—'खतरा!'"
- रूल-बेस्ड फ्लैशलाइट (द "रेसिपी"): यह तरीका नियमों की एक सरल सूची देता है, जैसे कि खाना बनाने की रेसिपी। यह कहता है, "यदि लैक्टेट (lactate) उच्च है और सांस तेज चल रही है, तो रोबोट खतरे की भविष्यवाणी करता है।"
बड़ा खुलासा: स्कोरकार्ड विजेता है
39 डॉक्टरों और नर्सों को ये तीन शैलियाँ दिखाने के बाद, परिणाम स्पष्ट थे। एट्रिब्यूशन फ्लैशलाइट (द "स्कोरकार्ड") स्पष्ट विजेता था।
- विश्वास: जब डॉक्टरों ने स्कोरकार्ड देखा, तो उन्होंने अन्य दो शैलियों की तुलना में रोबोट के पूर्वानुमान पर अधिक भरोसा किया।
- समझ: स्कोरकार्ड को समझना सबसे आसान था। डॉक्टरों को लगा कि वे इसे वास्तव में "समझ गए" हैं।
- प्रभाव: यह सबसे महत्वपूर्ण हिस्सा है। स्कोरकार्ड ने वास्तव में डॉक्टरों के इस विचार को बदल दिया कि क्या महत्वपूर्ण था। जब उन्होंने स्कोरकार्ड देखा, तो वे इस बात के लिए अधिक इच्छुक थे कि, "ओह, मैं गलत था कि जोखिम का कारण क्या था; रोबोट किसी और चीज़ की ओर इशारा कर रहा है।"
शोध पत्र सुझाव देता है कि जबकि अन्य दो तरीके ("व्हाट-इफ" और "रेसिपी") सहायक थे, लेकिन उनमें उतना प्रभाव नहीं था जितना स्कोरकार्ड में था। "व्हाट-इफ" शैली को फ्री-टेक्स्ट कमेंट्स में सबसे कम पसंद किया गया, कई डॉक्टरों ने इसे भ्रमित करने वाला या कम उपयोगी पाया।
डॉक्टर बनाम नर्स: दो वर्कफ़्लो की कहानी
यहाँ एक दिलचस्प मोड़ है: दो प्रकार के चिकित्सा पेशेवरों ने अलग-अलग प्रतिक्रिया दी।
- चिकित्सक (Physicians): स्पष्टीकरण देखने से पहले, वे पहले से ही इनमें काफी रुचि रखते थे। लेकिन स्कोरकार्ड का उपयोग करने के बाद, उनकी रुचि बढ़ गई। यह ऐसा है जैसे उन्होंने सोचा, "मुझे पता था कि यह महत्वपूर्ण है, लेकिन अब मैं देख पा रहा हूँ कि यह मेरे बड़े निर्णय लेने में कैसे मदद करता है।"
- नर्स (Nurses): उन्होंने शुरुआत से ही स्पष्टीकरण को महत्वपूर्ण माना, लेकिन उन्हें देखने से उनके विचारों में कोई बदलाव नहीं आया। शोध पत्र का सुझाव है कि ऐसा इसलिए हो सकता है क्योंकि नर्सें अक्सर सख्त, चरण-दर-चरण प्रोटोकॉल (जैसे कि एक चेकलिस्ट) का पालन करती हैं, इसलिए एक जटिल स्पष्टीकरण उनके वर्कफ़्लो को उतना नहीं बदलता जितना कि एक डॉक्टर को बदलता है जो शून्य से निदान (diagnosis) कर रहा होता है।
जो डॉक्टर चाहते थे
अध्ययन में यह भी पूछा गया कि डॉक्टर अपनी स्क्रीन पर क्या देखना पसंद करेंगे।
- अधिक बेहतर है (लेकिन बहुत ज्यादा नहीं): लगभग आधे डॉक्टरों (46.2%) ने कहा कि वे तीनों प्रकार के स्पष्टीकरण एक साथ देखना चाहते हैं। वे केवल एक को चुनने के बजाय, स्कोरकार्ड, "व्हाट-इफ" और रेसिपी तीनों को पूरा चित्र पाने के लिए एक साथ देखना चाहते थे।
- संक्षिप्त रखें: विवरणों की बात करें तो, डॉक्टर "कम और सटीक" संस्करण चाहते थे। लगभग 77% लोग चाहते थे कि स्कोरकार्ड पर केवल शीर्ष कुछ सबसे महत्वपूर्ण फीचर्स दिखाए जाएं, न कि सब कुछ। इसी तरह, 84% लोग नियमों की एक छोटी सूची चाहते थे, न कि लंबी रेसिपी।
यह शोध पत्र क्या नहीं कहता
यह जानना महत्वपूर्ण है कि इस अध्ययन ने क्या सिद्ध नहीं किया है। शोधकर्ताओं ने यह नहीं कहा कि ये स्पष्टीकरण रोबोट डॉक्टर को पूर्ण बनाते हैं या वे वास्तविक दुनिया में बेहतर रोगी परिणामों की गारंटी देते हैं। उन्होंने केवल वही मापा जो डॉक्टरों ने सर्वेक्षण के दौरान कहा और सोचा। उन्होंने इन तरीकों का परीक्षण हर संभव प्रकार के रोबोट डॉक्टर या हर प्रकार के अस्पताल पर भी नहीं किया। परिणाम एक विशिष्ट रोबोट पर आधारित हैं जिसे टाइम-सीरीज़ डेटा (जैसे समय के साथ मरीज के वाइटल्स) पर प्रशिक्षित किया गया है और दो विश्वविद्यालयों के 39 डॉक्टरों और नर्सों के एक विशिष्ट समूह पर आधारित हैं।
निचोड़
यदि आप किसी अस्पताल के लिए रोबोट डॉक्टर बना रहे हैं, तो केवल इंसान को एक ही स्पष्टीकरण न दें। शोध पत्र सुझाव देता है कि आपको एट्रिब्यूशन स्कोरकार्ड को प्राथमिकता देनी चाहिए क्योंकि यह सबसे अधिक विश्वास और समझ पैदा करता है। हालाँकि, चूंकि कई डॉक्टर सब कुछ देखना चाहते हैं, इसलिए आपको स्कोरकार्ड के साथ अन्य शैलियों को भी दिखाना चाहिए, लेकिन सूचियों को छोटा और पढ़ने में आसान रखना चाहिए। और याद रखें, यदि आप किसी नर्स से बात कर रहे हैं, तो स्पष्टीकरण उनके वर्कफ़्लो को उतना नहीं बदलेगा जितना कि एक डॉक्टर को बदल सकता है, इसलिए अपनी पद्धति को उसके अनुसार तैयार करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।