CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations
यह शोध पत्र CoAX यूजर मॉडल प्रस्तुत करता है, जो सारणीबद्ध डेटा (tabular data) के लिए AI स्पष्टीकरणों की व्याख्या करते समय मानव तर्क रणनीतियों का विश्लेषण और अनुकरण करने हेतु संज्ञानात्मक मॉडलिंग (cognitive modeling) का उपयोग करता है, जिससे एक स्केलेबल विधि प्राप्त होती है जो यह निदान करती है कि वर्तमान XAI विधियाँ उपयोगकर्ता की समझ में सुधार करने में अक्सर क्यों विफल रहती हैं और अधिक प्रभावी स्पष्टीकरणों के विकास को निर्देशित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, लेकिन रहस्यमयी रोबोट दोस्त है जो आपके लिए निर्णय लेता है—जैसे कि यह बताना कि वाइन "अच्छी" है या "खराब", या किसी ऋण (loan) आवेदन को स्वीकृत किया जाना चाहिए या नहीं। आप इस रोबोट पर भरोसा करना चाहते हैं, इसलिए वह आपको एक छोटा सा नोट देता है जिसमें यह समझाया गया है कि उसने वह चुनाव क्यों किया। इसे एक्सप्लेनेबल एआई (Explainable AI - XAI) कहा जाता है।
लेकिन यहाँ एक समस्या है: भले ही वह नोट मौजूद हो, फिर भी लोग अक्सर भ्रमित हो जाते हैं या गलत अनुमान लगा लेते हैं कि रोबक आगे क्या करेगा। यह वैसा ही है जैसे रोबोट एक ऐसी भाषा बोल रहा हो जिसे आप पूरी तरह से समझ नहीं पा रहे हैं, भले ही शब्द वहीं सामने हों।
यह शोध पत्र, जिसका शीर्षक CoAX है, उन तरीकों के लिए एक "अनुवादक" और "डीबगर" की तरह है जिसका उपयोग लोग यह समझने के लिए करते हैं कि इन रोबोट नोट्स को कैसे समझा जाए। शोधकर्ताओं ने एक आभासी मानव (virtual human) (एक कंप्यूटर प्रोग्राम जो एक व्यक्ति की तरह व्यवहार करता है) बनाया ताकि यह पता लगाया जा सके कि हमारे मस्तिष्क इन स्पष्टीकरणों को कैसे प्रोसेस करते हैं, और हम कब गलतियाँ क्यों करते हैं।
यहाँ उनकी खोज की कहानी है, जिसे सरल रूप में विभाजित किया गया है:
1. समस्या: "ब्लैक बॉक्स" और भ्रमित उपयोगकर्ता
शोधकर्ताओं ने देखा कि भले ही वैज्ञानिकों ने एआई के निर्णयों को समझाने के कई तरीके विकसित किए हैं, फिर भी वास्तविक लोग उन्हें उपयोग करने में संघर्ष करते हैं। कुछ स्पष्टीकरण लोगों को यह अनुमान लगाने में और भी खराब बना देते हैं कि एआई क्या करेगा। लेखकों ने पूछा: "क्यों? जब लोग इन चार्ट्स और नंबरों को देखते हैं, तो उनके मस्तिष्क के अंदर क्या हो रहा होता है?"
2. समाधान: एक "आभासी मानव" (CoAX) का निर्माण
केवल अनुमान लगाने के बजाय, शोधकर्ताओं ने CoAX (कॉग्निटिव-ओरिएंटेड एट्रिब्यूशन एक्सप्लेनेशन) बनाया। CoAX को एक वीडियो गेम कैरेक्टर की तरह समझें जिसे ठीक एक वास्तविक इंसान की तरह सोचने के लिए प्रोग्राम किया गया है।
- यह कैसे काम करता है: शोधकर्ताओं ने पहले वास्तविक लोगों को देखा (एक "फॉर्मेटिव स्टडी" में) और उनसे डेटा को समझने के दौरान "सोचते हुए बोलना" (think out loud) करने को कहा। उन्होंने देखा कि लोग डेटा को समझने के लिए विशिष्ट मानसिक युक्तियों, या "रणनीतियों" (strategies) का उपयोग करते हैं।
- रणनीतियाँ:
- "बाकी को अनदेखा करने" की रणनीति: कुछ लोग केवल एक या दो विशेषताओं (features) को चुन लेते हैं जिन्हें वे महत्वपूर्ण समझते हैं (जैसे "अल्कोहल की मात्रा") और बाकी सब को अनदेखा कर देते हैं।
- "हाइलाइटर" रणनीति: जब उन्हें यह दिखाने वाला चार्ट दिया जाता है कि कौन सी विशेषताएं "महत्वपूर्ण" हैं, तो लोग केवल सबसे बड़े बार (bars) पर ध्यान केंद्रित करते हैं और समान पिछले मामलों को याद करने की कोशिश करते हैं।
- "मैथ सम" (गणितीय योग) रणनीति: जब उन्हें एक विस्तृत विवरण (सकारात्मक और नकारात्मक स्कोर के साथ) दिया जाता है, तो लोग यह देखने के लिए कि कौन सा पक्ष जीतता है, नंबरों को अपने दिमाग में जोड़ने की कोशिश करते हैं।
- मॉडल: CoAX इन रणनीतियों को गणित में बदल देता है। यह एक ऐसे मानव का अनुकरण (simulate) करता है जिसकी याददाश्त सीमित है (वह पुराने उदाहरणों को भूल जाता है) और ध्यान सीमित है (वह एक समय में केवल कुछ ही चीजों को देख सकता है)।
3. प्रयोग: आभासी मानव का परीक्षण
शोधकर्ताओं ने 300 से अधिक वास्तविक लोगों के साथ एक बड़ा प्रयोग किया। उन्होंने इन लोगों से विभिन्न परिदृश्यों (जैसे वाइन की गुणवत्ता या आय स्तर) के लिए एआई के पूर्वानुमान का अनुमान लगाने के लिए कहा, जो तीन स्थितियों के तहत था:
- कोई मदद नहीं: केवल डेटा।
- सरल मदद: "महत्वपूर्ण" विशेषताओं की एक सूची।
- विस्तृत मदद: विशेषताओं की एक सूची जिसमें सकारात्मक और नकारात्मक स्कोर शामिल थे (एट्रिब्यूशन)।
उन्होंने वास्तविक मनुष्यों के उत्तरों की तुलना आभासी मानव के उत्तरों से की।
बड़ी खोज:
आभासी मानव (CoAX), मानक कंप्यूटर प्रोग्रामों (जैसे कि सामान्य मशीन लर्निंग मॉडल) की तुलना में वास्तविक मनुष्यों के व्यवहार की भविष्यवाणी करने में कहीं अधिक बेहतर था।
- मानक कंप्यूटर मॉडल केवल डेटा में पैटर्न खोजते हैं।
- CoAX तर्क के पैटर्न (reasoning patterns) को देखता है। इसने महसूस किया कि मनुष्य केवल गणना नहीं कर रहे हैं; वे मानसिक शॉर्टकट का उपयोग कर रहे हैं, बहुत अधिक जानकारी से भ्रमित हो रहे हैं, या किसी विशेषता के "महत्व" की गलत व्याख्या कर रहे हैं।
4. उन्होंने मानव सोच के बारे में क्या पाया
अपने आभासी मानव का उपयोग करते हुए, उन्होंने कुछ दिलचस्प चीजें खोजीं कि हम एआई को समझने में कैसे विफल होते हैं:
- "मैथ सम" सबसे अच्छा है: जब लोगों को विस्तृत "एट्रिब्यूशन" स्पष्टीकरण दिए गए (यह दिखाते हुए कि प्रत्येक कारक निर्णय को ऊपर या नीचे की ओर कितना धकेलता है), तो वे "जोड़ने" (summing) की रणनीति का उपयोग करने की प्रवृत्ति रखते थे। यह सबसे अच्छा काम करता है। यह कागज पर फायदे और नुकसान को जोड़ने जैसा है।
- "सरल सूची" पेचीदा है: जब उन्हें बिना यह दिखाए कि प्रभाव किस दिशा में है कि कौन सी विशेषताएं "महत्वपूर्ण" हैं, तो एक सरल सूची दी गई, तो वे भ्रमित हो गए। कुछ लोगों ने प्रभाव की दिशा का अनुमान लगाने की कोशिश की, और अन्य ने सूची को पूरी तरह से अनदेखा कर दिया और अपनी पुरानी आदतों पर वापस चले गए।
- भ्रम से उपजी उपेक्षा: यदि कोई स्पष्टीकरण बहुत अधिक भ्रमित करने वाला था, तो लोग उसे बस छोड़ देते थे और अतीत से जो उन्हें याद था उसके आधार पर अनुमान लगाते थे, जिससे वे प्रभावी रूप से एआई की मदद को अनदेखा कर देते थे।
5. यह क्यों महत्वपूर्ण है (एक "आभासी लैब")
इस शोध पत्र का सबसे शानदार हिस्सा यह है कि एक बार जब उन्होंने इस आभासी मानव को बना लिया, तो वे इसे एक सिमुलेशन लैब के रूप में उपयोग कर सकते हैं।
एक नए विचार का परीक्षण करने के लिए 300 लोगों को काम पर रखने, उन्हें भुगतान करने और हफ्तों के प्रयोग चलाने के बजाय, शोधकर्ता अब सीधे "आभासी मानव से पूछ" सकते हैं।
- उदाहरण: "क्या होगा यदि हम 5 के बजाय 9 विशेषताएं दिखाएं?" आभासी मानव तुरंत इसका अनुकरण कर सकता है और बता सकता है, "ओह, लोग अभिभूत हो जाएंगे और उनकी सटीकता गिर जाएगी।"
- यह डिजाइनरों को वास्तविक व्यक्ति को दिखाने से पहले ही एआई स्पष्टीकरणों को डीबग (debug) करने की अनुमति देता है। वे कंप्यूटर मॉडल में भ्रमित करने वाले हिस्सों को पहले ही ठीक कर सकते हैं।
निष्कर्ष
यह शोध पत्र तर्क देता है कि एआई स्पष्टीकरणों को बेहतर बनाने के लिए, हमें मनुष्यों को केवल साधारण डेटा प्रोसेसर के रूप में मानना बंद करना होगा। हमें यह समझने की आवश्यकता है कि मनुष्यों की सीमित स्मृति, चयनात्मक ध्यान और विशिष्ट मानसिक आदतें होती हैं।
इन आदतों की नकल करने वाले आभासी मानव को बनाकर, हम यह पता लगा सकते हैं कि वर्तमान एआई स्पष्टीकरण क्यों विफल होते हैं और बेहतर स्पष्टीकरण डिजाइन कर सकते हैं जो वास्तव में लोगों को रोबोट के मन को समझने में मदद करते हैं, न कि उन्हें और अधिक भ्रमित करते हैं। यह रेडियो को सही फ्रीक्वेंसी पर ट्यून करने जैसा है ताकि मानव मस्तिष्क अंततः सिग्नल को स्पष्ट रूप से सुन सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।