Identifying Confusion Trends in Concept-based XAI for Multi-Label Classification
यह शोध पत्र MS-COCO डेटासेट का उपयोग करके मल्टी-लेबल वर्गीकरण के लिए प्रशिक्षित डीप न्यूरल नेटवर्क पर कॉन्सेप्ट-आधारित एक्सप्लेनेबल एआई (CXAI) विधियों, विशेष रूप से CRP और CRAFT का मूल्यांकन करता है, जो यह प्रकट करता है कि ये तकनीकें मॉडल की सीखने की कमजोरियों की प्रभावी ढंग से पहचान करती हैं, यह प्रदर्शित करती हैं कि कैसे कॉन्सेप्ट विशिष्टता भ्रम को कम करती है, और डेटासेट-प्रेरित पूर्वाग्रहों को उजागर करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर चित्र देखने और उनमें जो दिख रहा है उसका नाम बताने में उल्लेखनीय रूप से कुशल हो गए हैं। वे एक कुत्ते, एक कार या एक व्यक्ति की पहचान उस सटीकता के साथ कर सकते हैं जो अक्सर मानवीय दृष्टि से भी बेहतर होती है। फिर भी, इन प्रणालियों को सेल्फ-ड्राइविंग कारों या चिकित्सा निदान जैसे उच्च-जोखिम वाले स्थितियों में भरोसेमंद बनाने के लिए, हमें केवल सही उत्तर से अधिक की आवश्यकता है; हमें यह समझने की आवश्यकता है कि मशीन उस निष्कर्ष तक कैसे पहुँची। यह 'एक्सप्लेनेबल एआई' (व्याख्यात्मक एआई) का क्षेत्र है, जो डीप न्यूरल नेटवर्क के 'ब्लैक बॉक्स' को खोलने के लिए समर्पित है। इस क्षेत्र के भीतर, 'कॉन्सेप्ट-बेस्ड एक्सप्लेनेबिलिटी' (अवधारणा-आधारित व्याख्यात्मकता) नामक एक विशिष्ट दृष्टिकोण उभरा है। केवल उन पिक्सेल को हाइलाइट करने के बजाय जो सबसे महत्वपूर्ण थे, यह विधि उन सार्थक विचारों या "अवधारणाओं" (concepts) की पहचान करने का प्रयास करती है जिन्हें कंप्यूटर पहचानना सीख चुका है। यह न केवल यह पूछता है कि कंप्यूटर कहाँ देख रहा है, बल्कि यह भी कि वह क्या देख रहा है। चुनौती तब उत्पन्न होती है जब ये प्रणालियाँ जटिल, वास्तविक दुनिया के वातावरण में काम करती हैं जहाँ वस्तुएं एक-दूसरे के ऊपर होती हैं, पृष्ठभूमि अव्यवस्थित होती है, और एक ही छवि में कई अलग-अलग चीजें होती हैं। ऐसे परिदृश्यों में, अत्यधिक सटीक मॉडल भी सूक्ष्म गलतियाँ कर सकते हैं, एक वस्तु को दूसरी समझकर भ्रमित हो सकते हैं या भ्रामक पृष्ठभूमि के संकेतों पर निर्भर हो सकते हैं। इन भ्रमों के कारणों को समझना सुरक्षित, अधिक विश्वसनीय तकनीक बनाने के लिए महत्वपूर्ण है।
ड्रेसडेन तकनीकी विश्वविद्यालय के शोधकर्ताओं ने दो प्रसिद्ध कंप्यूटर विजन मॉडल, ResNet50 और VGG-16 को MS-COCO नामक छवियों के एक विशाल संग्रह पर प्रशिक्षित करके इन भ्रम के पैटर्न की जांच करने का निर्णय लिया। इस डेटासेट में रोजमर्रा के दृश्यों की एक लाख से अधिक तस्वीरें हैं, जिनमें से प्रत्येक को विभिन्न वस्तुओं का वर्णन करने के लिए कई लेबल दिए गए हैं। टीम ने अपना अध्ययन इन छवियों में सबसे अधिक बार दिखाई देने वाली बीस वस्तुओं पर केंद्रित किया, जैसे कि लोग, कारें और कुर्सियाँ। एक निष्पक्ष परीक्षण सुनिश्चित करने के लिए, उन्होंने मॉडलों को विभिन्न प्रदर्शन स्तरों पर प्रशिक्षित किया, जिससे ऐसी स्थितियाँ बनीं जहाँ कंप्यूटर या तो अत्यधिक सटीक थे या काफी संघर्ष कर रहे थे। फिर उन्होंने स्पष्टीकरण उत्पन्न करने के लिए दो अलग-अलग विधियों को लागू किया, एक जो विशिष्ट विशेषताओं के महत्व को ट्रैक करता है और दूसरा जो छवियों को छोटे, केंद्रित क्षेत्रों में विभाजित करता है। कंप्यूटर के अंतिम अनुमानों की उनके निर्णयों के लिए उपयोग किए गए आंतरिक 'कॉन्सेप्ट्स' के साथ तुलना करके, टीम देख सकी कि मॉडल कहाँ भ्रमित हो रहे थे।
जांच से पता चला कि जब एक मॉडल दो समान वस्तुओं के बीच अंतर करने में संघर्ष करता है, तो यह भ्रम यादृच्छिक नहीं होता; यह उन विशिष्ट अवधारणाओं में निहित होता है जिन्हें कंप्यूटर ने सीखा है। उन मामलों में जहाँ मॉडल अच्छा प्रदर्शन करते थे, आंतरिक अवधारणाएँ स्पष्ट और विशिष्ट थीं, जो एक व्यक्ति को कार या कुर्सी से स्पष्ट रूप से अलग करती थीं। हालाँकि, जब मॉडलों का प्रदर्शन खराब था, तो अवधारणाएँ धुंधली और आपस में जुड़ी हुई हो गईं। कंप्यूटर उन साझा विशेषताओं पर निर्भर होने लगा जो किसी एक वस्तु के लिए अद्वितीय नहीं थीं, जिससे त्रुटियाँ हुईं। उदाहरण के लिए, अध्ययन में पाया गया कि एक मॉडल एक व्यक्ति को बैकपैक (बस्ते) के साथ भ्रमित कर सकता है, इसलिए नहीं कि वह व्यक्ति को नहीं देख पा रहा है, बल्कि इसलिए क्योंकि उसने बैकपैक के दृश्य पैटर्न के साथ "व्यक्ति" की अवधारणा को गहराई से जोड़ना सीख लिया है, क्योंकि वे प्रशिक्षण डेटा में अक्सर एक साथ दिखाई देते हैं। इससे पता चलता है कि भ्रम वस्तु की वास्तविक पहचान के बजाय मॉडल द्वारा सीखे गए भ्रामक संबंधों से उपजा है।
इस शोध का एक प्रमुख निष्कर्ष यह है कि इन आंतरिक अवधारणाओं की स्पष्टता सीधे मॉडल की गलतियाँ करने से बचने की क्षमता से जुड़ी है। जब कंप्यूटर द्वारा सीखी गई अवधारणाएँ उनकी विशिष्ट श्रेणी के लिए स्पष्ट और अद्वितीय थीं, तो भ्रम की दर काफी कम हो गई। इसके विपरीत, जब अवधारणाएँ अस्पष्ट थीं या अन्य श्रेणियों के साथ बहुत अधिक जानकारी साझा करती थीं, तो मॉडल ने अधिक त्रुटियाँ कीं। शोधकर्ताओं ने इस "विशिष्टता" (distinctiveness) को मापा और पाया कि उच्च विशिष्टता स्कोर वाले मॉडलों में वस्तुओं की गलत पहचान करने के मामले कम थे। यह इंगित करता है कि बेहतर आर्टिफिशियल इंटेलिजेंस का मार्ग केवल अधिक बार सही उत्तर प्राप्त करने में नहीं है, बल्कि यह सुनिश्चित करने में भी है कि कंप्यूटर ऐसी विशेषताएं सीखे जो वास्तव में प्रत्येक वस्तु के लिए अद्वितीय हों, न कि सामान्य पृष्ठभूमि पैटर्न पर निर्भर हों।
अध्ययन ने यह भी उजागर किया कि वातावरण स्वयं कंप्यूटर को कैसे धोखा दे सकता है। कई वास्तविक दुनिया की छवियों में, कुछ वस्तुएं इतनी बार एक साथ दिखाई देती हैं कि कंप्यूटर उन्हें एक ही चीज़ का हिस्सा मानने लगता है। उदाहरण के लिए, ट्रेन स्टेशनों के एक डेटासेट में, कंप्यूटर प्लेटफॉर्म या सीढ़ी को देखकर "व्यक्ति" को पहचानना सीख सकता है, क्योंकि लोग प्रशिक्षण तस्वीरों में लगभग हमेशा उन्हीं संरचनाओं पर खड़े होते हैं। जब शोधकर्ताओं ने नए चित्रों पर मॉडल का परीक्षण किया, तो इसने एक व्यक्ति को तब भी पहचाना जब वह किसी अलग सतह पर खड़ा था, क्योंकि पृष्ठभूमि वही थी जो उसने सीखी थी। ये "पर्यावरणीय अवधारणाएँ" (environmental concepts) छिपे हुए पूर्वाग्रहों के रूप में कार्य करती हैं, जहाँ मॉडल वस्तु के बजाय परिवेश पर निर्भर रहता है। यह स्वायत्त ट्रेन ड्राइविंग के लिए एक डेटासेट में विशेष रूप से स्पष्ट था, जहाँ मॉडल के स्पष्टीकरणों ने दिखाया कि वह लोगों के बजाय बैकग्राउंड की पटरियों और प्लेटफार्मों पर केंद्रित था।
अंततः, यह कार्य प्रदर्शित करता है कि 'कॉन्सेप्ट-बेस्ड एक्सप्लेनेशन' (अवधारणा-आधारित स्पष्टीकरण) यह निदान करने के लिए शक्तिशाली उपकरण हैं कि एक मॉडल क्यों विफल होता है। कंप्यूटर द्वारा उपयोग की जाने वाली अवधारणाओं को देखकर, शोधकर्ता देख सकते हैं कि क्या एक मॉडल सही चीजें सीख रहा है या क्या उसे डेटा एकत्र करने के तरीके द्वारा गुमराह किया जा रहा है। निष्कर्षों का सुझाव है कि अधिक मजबूत प्रणालियों के निर्माण के लिए, हमें उन्हें दिए जाने वाले डेटा के प्रति सावधान रहना चाहिए, यह सुनिश्चित करते हुए कि वह इन भ्रामक संबंधों को रोकने के लिए पर्याप्त विविध हो। यदि एक मॉडल किसी व्यक्ति को केवल तभी पहचानता है जब वह कार के पास होता है, तो वह पार्क में उस व्यक्ति को पहचानने में विफल रहेगा। अध्ययन पुष्टि करता है कि सीखी गई अवधारणाओं की विशिष्टता में सुधार करना और पर्यावरणीय संकेतों पर निर्भरता को कम करना, जटिल और अप्रत्याशित वास्तविक दुनिया में भरोसेमंद आर्टिफिशियल इंटेलिजेंस बनाने की दिशा में आवश्यक कदम हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।