Challenges in Evaluating Explanation Methods for Static and Evolving Data
यह शोध पत्र डिटॉक्सएआई (DetoxAI) सिस्टम में पूर्वाग्रह पहचान (bias detection) और अवधारणा विस्मरण (concept unlearning) के मानव-आधारित मूल्यांकन प्रस्तुत करके व्याख्यात्मक एआई (Explainable AI) के मूल्यांकन में सीमाओं को संबोधित करता है, जबकि विकसित होते डेटा स्ट्रीम के अनुकूल स्पष्टीकरणों को ढालने की चुनौतियों और डेटा, मॉडल एवं स्पष्टीकरणों के सह-विकास को ट्रैक करने की चुनौतियों का भी अन्वेषण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट बनाया है जो किसी तस्वीर को देखकर आपको बिल्कुल सटीक बता सकता है कि उसमें क्या है। यह अद्भुत है, लेकिन इसमें एक पेंच है: आपका रोबोट एक "ब्लैक बॉक्स" है। वह आपको उत्तर तो देता है, लेकिन यह नहीं बताता कि उसने इसे कैसे समझा। यह एक जादूगर की तरह है जो टोपी से खरगोश तो निकाल लेता है, लेकिन आपको उसका करतब दिखाने से मना कर देता है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, यह एक बड़ी समस्या है। यदि कोई रोबट जीवन-मरण के निर्णय ले रहा है—जैसे किसी बीमारी का निदान करना या किसी अंतरिक्ष यान में समस्या का पता लगाना—तो हमें यह जानने की आवश्यकता है कि उसने वह चुनाव क्यों किया। एक्सप्लेनेबल एआई (XAI) नामक यह क्षेत्र, उस ब्लैक बॉक्स को खोलने और रोबोट की सोचने की प्रक्रिया को दिखाने का प्रयास करता है। लेकिन यहाँ एक मोड़ है: जबकि हमारे पास बॉक्स के अंदर झांकने के ढेरों नए तरीके हैं, हम यह जाँचने में बहुत खराब हैं कि वे झांकना वास्तव में मददगार है या वे केवल मनगढ़ंत बातें बना रहे हैं। यह एक सौ अलग-अलग टॉर्च होने जैसा है, लेकिन किसी ने यह परीक्षण नहीं किया है कि वे वास्तव में रास्ता रोशन करती हैं या केवल आपको अंधा कर देती हैं।
यह शोध पत्र जेरज़ी स्टेफ़ानोव्स्की का एक 'वेक-अप कॉल' है, जो तर्क देते हैं कि हम नए स्पष्टीकरण उपकरणों (एक्सप्लेनेशन टूल्स) को आविष्कार करने की दौड़ में बिना उन्हें ठीक से परखे आगे बढ़ रहे हैं। उनका सुझाव है कि कई वर्तमान विधियाँ "प्रगति के भ्रम" जैसी हैं—वे शानदार दिखती हैं लेकिन शायद वास्तविक दुनिया में उपयोगी नहीं हैं। यह पत्र दो मुख्य तरीकों से इसे ठीक करने की खोज करता है। पहला, यह देखता है कि हम इन उपकरणों का उपयोग यह पता लगाने के लिए कैसे कर सकते हैं कि रोबोट कब अनुचित या पक्षपाती (जैसे यह सोचना कि टाई पहनने वाला व्यक्ति पुरुष है, भले ही वे न हों) हो रहा है। दूसरा, यह उन जटिल रोबोटों की समस्या से निपटता है जिन्हें दुनिया के बदलने के साथ-साथ सीखना पड़ता है। कल्पना कीजिए कि एक रोबोट जानवरों को पहचानना सीख रहा है, लेकिन फिर जानवर टोपियाँ पहनने लगते हैं या रोशनी बदल जाती है; रोबोट के पुराने स्पष्टीकरण बेकार हो सकते हैं। लेखक बताते हैं कि हमें केवल यह गिनना बंद कर देना चाहिए कि एक स्पष्टीकरण कागज पर कितना "सटीक" है और इसके बजाय वास्तविक मनुष्यों से पूछना चाहिए कि क्या वे वास्तव में इसे समझते हैं। उन्होंने यह भी सुझाव दिया कि केवल एक "सर्वश्रेष्ठ" स्पष्टीकरण चुनने के बजाय, हमें कुछ अलग विकल्प देने चाहिए ताकि लोग उनमें से वह चुन सकें जो उन्हें सबसे अधिक समझ में आए।
रोबोट का जादुई करतब और टूटा हुआ टॉर्च
आधुनिक एआई सिस्टम को अविश्वसनीय रूप से प्रतिभाशाली लेकिन रहस्यमय जादूगरों के रूप में सोचें। वे बिल्ली की फोटो देखकर 99% विश्वास के साथ कह सकते हैं, "यह एक बिल्ली है!" लेकिन यदि आप पूछते हैं, "क्यों?" तो वे बस आपको घूरते रह जाते हैं। यही "ब्लैक बॉक्स" की समस्या है। चिकित्सा या एयरोस्पेस जैसे क्षेत्रों में, जहाँ गलतियाँ खतरनाक हो सकती हैं, हम केवल जादूगर पर भरोसा नहीं कर सकते; हमें जादू देखना होगा। यहीं पर एक्सप्लेनेबल एआई (XAI) आता है। यह ब्लैक बॉक्स के अंदर टॉर्च जलाने का विज्ञान है ताकि इंसान देख सकें कि एआई ने निर्णय क्यों लिया।
हालाँकि, यह पत्र हमारे वर्तमान दृष्टिकोण में एक बड़ी खामी की ओर इशारा करता है। हमने दर्जनों अलग-अलग टॉर्च (सेलिएंसी मैप्स, काउंटरफैक्टुअल्स और प्रोटोटाइप्स जैसी विधियाँ) का आविष्कार किया है, लेकिन हमने यह परीक्षण करने में अच्छा काम नहीं किया है कि वे वास्तव में काम करती हैं या नहीं। यह एक खिलौने की दुकान की तरह है जो हज़ार अलग-अलग टॉर्च बेच रही है, लेकिन उनमें से किसी का भी परीक्षण नहीं किया गया है कि वे वास्तव में अंधेरे कमरे को रोशन करती हैं या केवल दीवार पर अजीब आकृतियाँ बनाती हैं। लेखक का तर्क है कि हम नए उपकरण बनाने के चक्र में फंसे हुए हैं बिना यह जांचे कि वे वास्तव में उपयोगी हैं या नहीं, जिससे "प्रगति का भ्रम" पैदा होता है।
पक्षपाती रोबोट और नेकटाई का मामला
यह दिखाने के लिए कि परीक्षण क्यों महत्वपूर्ण है, यह पत्र डिटॉक्स-एआई (DetoxAI) नामक एक विशिष्ट परियोजना को देखता है। कल्पना कीजिए कि एक रोबोट को चेहरे पहचानने के लिए प्रशिक्षित किया गया है। आप सोच सकते हैं कि वह केवल आँखों और नाक को देखता है, लेकिन यह पत्र खुलासा करता है कि रोबोट शॉर्टकट का सहारा ले सकता है। उदाहरण के लिए, प्रसिद्ध लोगों के एक डेटासेट में, रोबोट ने देखा कि नेकटाई पहनने वाले लोग लगभग हमेशा पुरुष थे। इसलिए, चेहरे की विशेषताओं को देखने के बजाय, उसने लिंग का अनुमान लगाने के लिए "नेकटाई" को एक शॉर्टकट के रूप में उपयोग करना शुरू कर दिया। यह एक पक्षपात (bias) है—रोबोट के तर्क में एक गलती जो अनुचित परिणामों की ओर ले जाती है।
शोधकर्ताओं ने रोबोट के मस्तिष्क पर रोशनी डालने के लिए XAI उपकरणों का उपयोग किया। उन्होंने पाया कि रोबोट वास्तव में नेकटाई पर बहुत अधिक ध्यान केंद्रित कर रहा था। एक बार जब उन्होंने यह देख लिया, तो वे इस बुरी आदत को "अनलर्न" (unlearn) कर सके, यानी रोबोट को नेकटाई को अनदेखा करने और चेहरे को देखने के लिए सिखा सके। यह पत्र दिखाता है कि इन स्पष्टीकरण उपकरणों का उपयोग करके, वे सटीक रूप से माप सके कि रोबोट में कितना सुधार हुआ। यह केवल एक अनुमान नहीं था; उनके पास संख्याएँ थीं जो दिखा रही थीं कि रोबोट अधिक निष्पक्ष हो गया है। यह साबित करता है कि स्पष्टीकरण केवल दिखावे के लिए नहीं हैं; वे टूटे हुए एआई को ठीक करने के लिए आवश्यक हैं।
मानव परीक्षण: क्या हम वास्तव में इसे समझते हैं?
पत्र का दूसरा भाग एक सरल लेकिन कठिन प्रश्न पूछता है: "क्या मनुष्य वास्तव में इन स्पष्टीकरणों को समझते हैं?" लेखक नोट करते हैं कि अधिकांश अध्ययन केवल यह पूछते हैं, "क्या आपको यह स्पष्टीकरण पसंद है?" और आगे बढ़ जाते हैं। लेकिन यह पत्र तर्क देता है कि हमें बेहतर करने की आवश्यकता है।
इसकी जांच के लिए, शोधकर्ताओं ने 148 लोगों (छात्रों और कर्मचारियों) के साथ एक सर्वेक्षण चलाया जो एआई विशेषज्ञ नहीं थे। उन्होंने उन्हें जानवरों (जैसे जेब्रा, बाघ और पांडा) की तस्वीरें दिखाईं और तीन अलग-अलग प्रकार की "टॉर्च" (स्पष्टीकरण विधियाँ) दिखाईं जिन्होंने यह हाइलाइट किया कि रोबोट को क्यों लगा कि वह एक जेब्रा है।
- परिणाम: लोगों ने केवल रैंडम चुनाव नहीं किया। उन्होंने अन्य विधियों की तुलना में प्रोटोपी-नेट (ProtoPNet) नामक विधि को प्राथमिकता दी।
- आश्चर्य: जिस विधि को लोगों ने सबसे अधिक पसंद किया, वह जरूरी नहीं कि वह हो जो कंप्यूटर टेस्ट में गणितीय रूप से "परफेक्ट" थी। यह वह थी जो उस विचार से मेल खाती थी जिसे मनुष्य महत्वपूर्ण मानते थे। उदाहरण के लिए, बाघ को देखते समय, लोग चाहते थे कि धारियों (stripes) को हाइलाइट किया जाए। ProtoPNet ने इसे सबसे अच्छी तरह से किया।
- सबक: पत्र सुझाव देता है कि यदि हम चाहते हैं कि स्पष्टीकरण उपयोगी हों, तो हमें उन्हें लोगों के लिए डिजाइन करना होगा, न कि केवल कंप्यूटरों के लिए। हमें वास्तविक मनुष्यों के साथ इनका परीक्षण करना होगा, ठीक वैसे ही जैसे एक शिक्षक अपनी पाठ योजना का परीक्षण वास्तविक छात्रों के साथ करता है, न कि केवल पाठ्यपुस्तक पढ़कर।
बदलता लक्ष्य: जब दुनिया बदल जाती है
अंतिम चुनौती जिसका सामना यह पत्र करता है, वह है "बदलता लक्ष्य"। अधिकांश एआई स्पष्टीकरण एक ऐसी दुनिया के लिए डिज़ाइन किए गए हैं जो स्थिर रहती है। लेकिन वास्तविक जीवन में, चीजें बदलती हैं। इसे कॉन्सेप्ट ड्रिफ्ट (concept drift) कहा जाता है। कल्पना कीजिए कि एक रोबंड कारों को पहचानना सीख रहा है। यदि रोबोट को 2010 की कारों की तस्वीरों पर प्रशिक्षित किया गया है, और फिर अचानक दुनिया इलेक्ट्रिक कारों की ओर स्विच हो जाती है जिनमें साइलेंसर (exhaust pipes) नहीं होते, तो रोबोट के पुराने स्पष्टीकरण कह सकते हैं, "मुझे पता है कि यह कार है क्योंकि इसमें साइलेंसर है।" वह स्पष्टीकरण अब गलत और भ्रमित करने वाला है।
पत्र यह पता लगाता है कि डेटा बदलने पर इन स्पष्टीकरणों को कैसे अपडेट किया जाए। रोबोट को फिर से प्रशिक्षित करने के बजाय, शोधकर्ताओं ने यह ट्रैक करने की कोशिश की कि निर्णयों के "कारण" समय के साथ कैसे बदलते हैं। उन्होंने काउंटरफैक्टुअल्स (counterfactuals) (जो "क्या होगा अगर?" जैसे प्रश्न पूछते हैं, जैसे "क्या होगा अगर इस कार में साइलेंसर होता?") का उपयोग करने वाली एक विधि का उपयोग किया। उन्होंने पाया कि यह देखकर कि ये "क्या होगा अगर" वाले उत्तर कैसे बदलते हैं, वे सटीक रूप से पकड़ सकते थे कि रोबोट का तर्क कब और क्यों बदल रहा है। यह एक दिशा-सूचक यंत्र (compass) की सुई के घूमने को देखने जैसा है; यदि यह बहुत अधिक घूमती है, तो आप जानते हैं कि चुंबकीय क्षेत्र (डेटा) बदल गया है।
मुख्य निष्कर्ष
पत्र इस निष्कर्ष पर पहुँचता है कि हम वर्तमान में एक ऐसे चरण में फंसे हुए हैं जहाँ हमारे पास बहुत सारे उपकरण हैं और बहुत कम परीक्षण हैं।
- हमें क्या चाहिए: हमें केवल कंप्यूटर पर एक स्पष्टीकरण की "सटीकता" मापने के बजाय यह मापना शुरू करना होगा कि क्या यह एक मनुष्य को बेहतर निर्णय लेने में मदद करता है।
- भविष्य: हमें वास्तविक लोगों के साथ अधिक प्रयोगों, बदलते डेटा को संभालने के लिए बेहतर उपकरणों और कई स्पष्टीकरण पेश करने के तरीके की आवश्यकता है ताकि लोग उसे चुन सकें जो उन्हें समझ में आता है।
लेखक यह नहीं कह रहे हैं कि हमने समस्या को हल कर लिया है। वास्तव में, उनका सुझाव है कि हम अभी केवल सतह को छू रहे हैं। लेकिन स्पष्टीकरणों को केवल गणितीय समस्याओं के बजाय मनुष्यों के लिए उपकरण के रूप में मानकर, हम ऐसे एआई सिस्टम बना सकते हैं जो न केवल स्मार्ट हैं बल्कि भरोसेमंद और निष्पक्ष भी हैं। लक्ष्य केवल रोबोट को खुद को समझाने के लिए बनाना नहीं है; लक्ष्य यह सुनिश्चित करना है कि स्पष्टीकरण वास्तव में हमें दुनिया को समझने में मदद करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।