A Human-Centered Validation of the Explainability-Performance Coefficient
यह शोध पत्र EPC स्कोर प्रस्तुत करता है, जो एक मॉडल-अज्ञेय (model-agnostic) मीट्रिक है जो फीचर स्पर्सिटी (feature sparsity) और प्रदर्शन संरक्षण (performance preservation) को संतुलित करके स्पष्टीकरण की गुणवत्ता को परिमाणित करता है, और मानव-केंद्रित समझ के साथ अपने मजबूत संरेखण को प्रदर्शित करके कई डेटा मोडैलिटीज में इसकी प्रभावशीलता को प्रमाणित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट बनाया है जो भविष्य की भविष्यवाणी कर सकता है, बीमारियों का निदान कर सकता है, या यह तय कर सकता है कि किसे ऋण (लोन) मिलना चाहिए। यह अपने काम में अविश्वसनीय रूप से अच्छा है, लेकिन यह एक "ब्लैक बॉक्स" भी है—आप देख नहीं सकते कि यह कैसे सोचता है। यह बस आपको एक उत्तर दे देता है, और आपको इस पर भरोसा करना होता है। यह 'डीप लर्निंग' की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ कंप्यूटर मानव मस्तिष्क की नकल करके सीखते हैं। लेकिन यहाँ एक पेंच है: क्योंकि ये रोबट इतने जटिल हैं, हम अक्सर नहीं जानते कि वे कुछ निर्णय क्यों लेते हैं। यह एक बड़ी समस्या है, खासकर यदि रोबोट कोई गलती करता है या यदि कोई कानून कहता है कि हमें यह जानने का अधिकार है कि निर्णय कैसे लिए गए।
इसे ठीक करने के लिए, वैज्ञानिकों ने 'एक्सप्लेनेबल एआई' (Explainable AI - XAI) नामक एक क्षेत्र बनाया। XAI को एक अनुवादक के रूप में समझें जो रोबोट की सोच को समझाने की कोशिश करता है। यह उन "सुरागों" को उजागर करता है जिनका उपयोग रोबोट ने अपने चुनाव के लिए किया था, जैसे कि किसी वाक्य में एक विशिष्ट शब्द की ओर इशारा करना या एक फोटो के एक विशिष्ट हिस्से की ओर। लेकिन पेचीदा बात यह है कि कभी-कभी अनुवादक झूठ बोलता है। यह ऐसे सुराग की ओर इशारा कर सकता है जो महत्वपूर्ण दिखता है लेकिन वास्तव में निर्णय से उसका कोई लेना-देना नहीं है, या यह वास्तविक सुराग को पूरी तरह से छोड़ सकता है। हमें एक तरीका चाहिए जिससे हम यह परीक्षण कर सकें कि क्या ये स्पष्टीकरण वास्तव में सच बोल रहे हैं या केवल मनगढ़ंत बातें बना रहे हैं।
यह शोध पत्र इन एआई स्पष्टीकरणों के लिए एक बेहतर "झूठ पकड़ने वाले यंत्र" (lie detector) के निर्माण के बारे में है। लेखक, क्रिश्चियन ओलिव और लुइस एफ. लागो-फर्नांडीज, एक नया टूल पेश करते हैं जिसे EPC स्कोर कहा जाता है। कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, और आपके पास संदिग्धों की एक सूची है। एक अच्छा स्पष्टीकरण आपको ठीक से बताएगा कि कौन से कुछ संदिग्ध दोषी हैं और कौन से निर्दोष हैं। EPC स्कोर इसे एक खेल खेलकर परीक्षण करता है: यह पूछता है, "यदि हम उन सुरागों को हटा दें जिन्हें एआई महत्वपूर्ण बताता है, तो क्या रोबोट काम करना बंद कर देगा? और यदि हम उन सुरागों को हटा दें जिन्हें वह महत्वहीन बताता है, तो क्या रोबोट ठीक से काम करता रहेगा?" यदि स्पष्टीकरण ईमानदार है, तो महत्वपूर्ण सुरागों को हटाने पर रोबोट क्रैश हो जाना चाहिए और बेकार के सुरागों को हटाने पर शांत रहना चाहिए। EPC स्कोर यह मापता है कि एक स्पष्टीकरण इस परीक्षण में कितनी अच्छी तरह पास होता है, जिससे उसे इसकी विश्वसनीयता दिखाने के लिए एक एकल संख्या मिलती है।
शोधकर्ताओं ने केवल एक सिद्धांत नहीं बनाया; उन्होंने अपने नए स्कोर को तीन बहुत अलग दुनियाओं में परखा: संख्याएँ (जैसे बैंक लोन डेटा), चित्र (जैसे अंकों या जटिल छवियों को पहचानना) और शब्द (जैसे यह पता लगाना कि मूवी रिव्यू सुखद है या दुखद)। उन्होंने विभिन्न स्पष्टीकरण विधियों को एक-दूसरे के खिलाफ खड़ा किया, सरल विधियों से लेकर जटिल विधियों तक जो रोबोट के अंदर देखे बिना उसके दिमाग का अनुमान लगाने की कोशिश करती हैं।
उन्होंने जो पाया वह एक दौड़ की तरह है जहाँ भारी वजन वाले खिलाड़ी लड़खड़ा गए और स्प्रिंटर जीत गए। जटिल, "मॉडल-एग्नोस्टिक" विधियाँ (जो किसी भी रोबोट पर काम करने की कोशिश करती हैं बिना उसके आंतरिक भाग को जाने) अविश्वसनीय रूप से धीमी साबित हुईं और अक्सर खराब स्पष्टीकरण देती थीं, विशेष रूप से जब डेटा जटिल हो गया। दूसरी ओर, इंटीग्रेटेड ग्रेडिएंट्स (Integrated Gradients - IG) नामक एक विधि लगातार शीर्ष पर रही। यह तेज़ थी, सटीक थी, और हर क्षेत्र में उच्चतम EPC स्कोर देती थी।
लेकिन असली जादू तब हुआ जब उन्होंने इन स्कोर की तुलना मानवीय अंतर्ज्ञान (human intuition) से की। टेक्स्ट की दुनिया में, उन्होंने एआई के "महत्वपूर्ण शब्दों" की तुलना मानवीय भावनाओं के शब्दकोश से की। उन्होंने पाया कि उच्चतम EPC स्कोर वाले स्पष्टीकरण वे थे जिन्होंने वास्तव में उन शब्दों को चुना जिन्हें मनुष्य सकारात्मक या नकारात्मक होने के लिए सहमत होंगे। इमेज की दुनिया में, उन्होंने जांचा कि क्या एआई चित्र के सही हिस्से (जैसे कुत्ते का चेहरा) को देख रहा था बनाम केवल बैकग्राउंड को। फिर से, उच्च स्कोर वाले स्पष्टीकरण वे थे जो केवल परिदृश्य पर नहीं, बल्कि वास्तविक वस्तु पर केंद्रित थे।
सबसे दिलचस्प खोजों में से एक यह थी कि सूचना को "मिटाने" का तरीका परिणामों को कैसे बदल देता है। जब उन्होंने इमेज स्पष्टीकरणों का परीक्षण किया, तो उन्होंने पाया कि पिक्सेल को काला करने (zero-masking) से अजीब, नकली किनारे बन गए जिन्होंने एआई को धोखा दिया। इसने कुछ स्पष्टीकरणों को इसलिए अच्छा दिखाया क्योंकि उन्होंने इन नकली किनारों से परहेज किया। लेकिन जब उन्होंने ब्लैक आउट करने के बजाय "ब्लर" (धुंधलापन) का उपयोग किया, तो परिणाम पूरी तरह से बदल गए। अचानक, वे स्पष्टीकरण जो हर छोटे पिक्सेल को देखते थे (जैसे इंटीग्रेटेड ग्रेडिएंट्स), स्पष्ट विजेता बनकर उभरे, जबकि वे जो बड़े, धुंधले धब्बों को देखते थे, वे पीछे रह गए। यह सुझाव देता है कि एआई के मन की सच्ची रीडिंग प्राप्त करने के लिए, आपको परीक्षण करते समय नकली सुराग पेश न करने के प्रति सावधान रहना होगा।
अंत में, यह पेपर सुझाव देता है कि EPC स्कोर एक अच्छे स्पष्टीकरण को बुरे से अलग करने का एक विश्वसनीय तरीका है। यह साबित करता है कि सबसे अच्छे स्पष्टीकरण केवल एक सामान्य क्षेत्र को उजागर करने के बारे में नहीं हैं; वे उस सटीक, आवश्यक साक्ष्य को खोजने के बारे में हैं जिसकी एआई को अपना निर्णय लेने के लिए आवश्यकता होती है। हालांकि लेखक यह दावा नहीं करते कि यह एआई के हर रहस्य को हल कर देता है, उनके प्रयोग दृढ़ता से सुझाव देते हैं कि यदि आप एक ऐसा स्पष्टीकरण चाहते हैं जिस पर आप भरोसा कर सकें, तो आपको उस पर ध्यान देना चाहिए जिसका EPC टेस्ट पर उच्च स्कोर हो, और वह विधि, इंटीग्रेटेड ग्रेडिएंट्स, इस दौड़ में वर्तमान चैंपियन प्रतीत होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।