"Trust Junk" Leads to Unjustified Support for Highly Discriminatory Predictive Models
यह शोध एक क्राउडसोर्स्ड अध्ययन के माध्यम से यह प्रदर्शित करता है कि व्याख्यात्मक एआई (एक्सप्लेनेबल एआई) विज़ुअलाइज़ेशन में सटीक लेकिन अप्रासंगिक डेटा को शामिल करने से अत्यधिक भेदभावपूर्ण मॉडलों के प्रति अनुचित विश्वास और सकारात्मक धारणाएं विकसित हो सकती हैं, जो एक्सआई (XAI) डिजाइनरों के लिए अपने विज़ुअलाइज़ेशन के वक्तृत्व प्रभाव (रेटोरिकल इम्पैक्ट) का आलोचनात्मक मूल्यांकन करने की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप भविष्य के एक संग्रहालय में घूम रहे हैं, जहाँ रोबोट और स्मार्ट कंप्यूटर आपके जीवन के बारे में बड़े निर्णय लेते हैं—जैसे कि आपको नौकरी मिलेगी या नहीं, ऋण मिलेगा या नहीं, या लॉ स्कूल में जगह मिलेगी या नहीं। इस क्षेत्र को एक्सप्लेनेबल एआई (XAI) कहा जाता है। XAI का लक्ष्य ईमानदार होना है: यह हमें यह दिखाने की कोशिश करता है कि कंप्यूटर ने एक चुनाव क्यों किया, ठीक वैसे ही जैसे एक शिक्षक व्हाइटबोर्ड पर अपना गणित का काम दिखाता है ताकि आप देख सकें कि उसने उत्तर सही निकाला है या नहीं। लेकिन यहाँ एक पेचीदा बात है: कभी-कभी, "व्याख्या" वास्तव में हमें गणित समझने में मदद नहीं कर रही होती है। ठीक वैसे ही जैसे एक जादूगर आपको कार्ड बदलने के दौरान विचलित करने के लिए एक चमकदार केप और एक ज़ोरदार ड्रम का उपयोग कर सकता है, एक कंप्यूटर हमें शानदार चार्ट और नंबर दिखा सकता है ताकि हम उस पर भरोसा करें, भले ही कंप्यूटर एक बुरा या अनुचित निर्णय ले रहा हो। यह शोध पत्र एक डरावना सवाल पूछता है: यदि हम पर्याप्त सुंदर, जटिल और "वैज्ञानिक दिखने वाले" चार्ट देखते हैं, तो क्या हम यह पूछना बंद कर देंगे कि क्या रोबोट निष्पक्ष है और बस उस पर विश्वास करना शुरू कर देंगे?
शोधकर्ताओं के एक दल ने, जो नॉर्थईस्टर्न यूनिवर्सिटी से थे, इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने एक कंप्यूटर मॉडल बनाया जो जानबूझकर अनुचित था। कल्पना कीजिए कि एक लॉ स्कूल प्रवेश अधिकारी गुप्त रूप से नस्लवादी और लिंगभेदी है: इस कंप्यूटर को हर एक अश्वेत पुरुष उम्मीदवार को फेल करने और बाकी सभी को पास करने के लिए प्रोग्राम किया गया था। यह एक भयानक, पक्षपाती मॉडल था। लेकिन यहाँ एक मोड़ है: क्योंकि परीक्षण समूह में गैर-अश्वेत उम्मीदवारों की संख्या बहुत अधिक थी, इसलिए कंप्यूटर अभी भी लगभग सभी के लिए "पास" का अनुमान लगाकर दावा कर सकता था कि वह "93.7% सटीक" है। यह एक सांख्यिकी में लिपटा हुआ झूठ था।
टीम ने फिर इस अनुचित कंप्यूटर के निर्णयों को ऑनलाइन वास्तविक लोगों को दिखाया। उन्होंने लोगों को तीन समूहों में विभाजित किया। पहले समूह ने एक सरल व्याख्या देखी: "यह उम्मीदवार है, और यह कंप्यूटर का निर्णय है।" दूसरे समूह ने वही सरल व्याख्या देखी, लेकिन कुछ अतिरिक्त चार्ट के साथ जो दिखाया गया कि कंप्यूटर कितना सटीक था। तीसरे समूह को, "एवरीथिंग" (सब कुछ) समूह को, सरल व्याख्या के साथ-साथ अतिरिक्त डेटा का एक विशाल ढेर मिला: हिस्टोग्राम, समान छात्रों के प्रोफाइल, और फैंसी ग्राफ जो बहुत स्मार्ट दिखते थे लेकिन वास्तव में आपको यह नहीं बताते थे कि कंप्यूटर नस्लवादी क्यों हो रहा था।
परिणाम थोड़े गलत जादू के खेल की तरह थे। जिन लोगों ने सबसे अधिक डेटा देखा—"एवरीथिंग" समूह ने—वे उस अनुचित कंप्यूटर पर सबसे अधिक भरोसा करते थे। वे अन्य समूहों की तुलना में कंप्यूटर के अनुचित निर्णयों से अधिक सहमत थे। इससे भी बदतर यह था कि वे यह नोटिस करने में कम सक्षम थे कि कंप्यूटर अनुचित व्यवहार कर रहा था। ऐसा लग रहा था जैसे अतिरिक्त चार्ट एक "सुन्न करने वाली दवा" की तरह काम कर रहे थे, जिससे लोग इतने अभिभूत महसूस करने लगे कि उन्होंने यह जांचना ही छोड़ दिया कि क्या उत्तर तर्कसंगत है। शोधकर्ताओं ने पाया कि जब लोगों ने अधिक "ट्रस्ट जंक" (विश्वास का कचरा)—जो कि एक फैंसी शब्द है ऐसे डेटा के लिए जो उपयोगी दिखता है लेकिन वास्तव में अप्रासंगिक है—देखा, तो उन्होंने अनुचित मॉडल को अधिक निष्पक्ष और अधिक भरोसेमंद माना।
अध्ययन सुझाव देता है कि हमें बहुत सावधान रहने की आवश्यकता है। केवल इसलिए कि एक कंप्यूटर हमें सुंदर, जटिल डैशबोर्ड के साथ बहुत सारे नंबर दिखाता है, इसका मतलब यह नहीं है कि वह सच बोल रहा है। वास्तव में, वे हमें जितना अधिक "कचरा" डेटा दिखाएंगे, उतनी ही अधिक संभावना है कि हम एक टूटी हुई प्रणाली पर अंधाधुंध भरोसा करेंगे। लेखक चेतावनी देते हैं कि इन प्रणालियों के डिजाइनरों को हमें यह दिखाने की कोशिश करना बंद कर देना चाहिए कि उनके पास कितना डेटा है और इस बात की चिंता करनी चाहिए कि क्या वह डेटा वास्तव में हमें सच्चाई देखने में मदद कर रहा है। यदि हम सुंदर चार्टों को हमें विचलित करने देने के लिए छोड़ देंगे, तो हम अनजाने में ही अपने जीवन के बारे में निर्णय लेने के लिए अनुचित रोबोटों को अनुमति दे सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।