Measuring Explainer Stability via Attribution Separability
यह शोध पत्र रैंक किए गए एट्रिब्यूशन स्कोर की पृथक्करणीयता (separability) को मापने और फीचर रैंकिंग की विश्वसनीयता निर्धारित करके एट्रिब्यूशन विधियों की स्थिरता का मूल्यांकन करने के लिए एक वितरण-आधारित ढांचे (distribution-based framework) का प्रस्ताव करता है, जो विभिन्न व्याख्याकार (explainers) की मजबूती की तुलना करने के लिए एक पूरक मानदंड प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्यमय काले डिब्बे (ब्लैक बॉक्स) को समझने की कोशिश कर रहे हैं जो निर्णय लेता है, जैसे कि कोई रोबोट यह तय करता है कि ऋण (लोन) मंजूर करना है या नहीं या किसी बीमारी का निदान करना है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "एक्सप्लेनेबल एआई" (Explainable AI) कहा जाता है। इस डिब्बे के अंदर झाँकने के लिए, वैज्ञानिक विशेष उपकरणों का उपयोग करते हैं जिन्हें "एट्रिब्यूशन मेथड्स" (Attribution Methods) कहा जाता है। इन उपकरणों को एक स्पॉटलाइट की तरह समझें जो उन विशिष्ट सुरागों (या विशेषताओं) पर रोशनी डालता है जिनका उपयोग रोबोट ने अपने निर्णय के लिए किया था। यदि रोबोट लोन के लिए "ना" कहता है, तो स्पॉटलाइट "कम आय" और "उच्च ऋण" जैसे कारणों को उजागर कर सकती है।
हालाँकि, इसमें एक पेंच है। कुछ स्पॉटलाइट उपकरण थोड़े अस्थिर (jittery) होते हैं। क्योंकि वे उत्तर का पता लगाने के लिए यादृच्छिक (random) कदमों का उपयोग करते हैं, इसलिए यदि आप उनसे एक ही प्रश्न दो बार पूछते हैं, तो वे थोड़े अलग सुरागों की ओर इशारा कर सकते हैं या उन्हें एक अलग क्रम में रख सकते हैं। यह अपने दोस्तों के एक समूह से उनके पसंदीदा आइसक्रीम फ्लेवर को रैंक करने के लिए कहने जैसा है; यदि वे अनिर्णायक हैं या हवा चल रही है, तो एक दोस्त आज कह सकता है कि "चॉकलेट नंबर 1 है" और कल कह सकता है कि "स्ट्रॉबेरी नंबर 1 है।" यह "अस्थिरता" एक समस्या है क्योंकि यदि हर बार देखने पर स्पष्टीकरण बदल जाता है, तो क्या आप वास्तव में उस पर भरोसा कर सकते हैं? यह शोध पत्र ठीक इसी चिंता को संबोधित करता है: हम यह कैसे जान सकते हैं कि रोबोट द्वारा दिए गए कारणों की सूची स्थिर है, या यह केवल यादृच्छिकता का एक संयोग है?
इस शोध पत्र के लेखक, एडी कोंटी और उनकी टीम, इस स्थिरता को मापने का एक चतुर नया तरीका प्रस्तावित करते हैं। केवल यह पूछने के बजाय कि, "क्या उत्तर बदल गया?" वे पूछते हैं, "उत्तर कितने स्पष्ट रूप से अलग हैं?" वे प्रत्येक सुराग के महत्व को एक एकल निश्चित संख्या के रूप में नहीं, बल्कि संभावनाओं के एक बादल (cloud) के रूप में देखते हैं। यदि "कम आय" के लिए बादल "उच्च ऋण" के बादल से दूर है, तो रैंकिंग स्थिर और भरोसेमंद है। लेकिन यदि बादल दो धुंधले पैच की तरह आपस में मिल रहे हैं, तो रैंकिंग डगमगा रही है।
इसे विज़ुअलाइज़ करने के लिए, एक दौड़ की कल्पना करें जहाँ धावक सुराग हैं। यदि पहला धावक दूसरे से बहुत आगे दौड़ रहा है, और दूसरा तीसरे से बहुत आगे है, तो क्रम स्पष्ट है। लेकिन यदि सभी एक तंग समूह में दौड़ रहे हैं, तो यह कहना कठिन है कि वास्तव में कौन प्रथम है। शोधकर्ताओं ने इन धावकों के बीच की दूरी को मापने के लिए एक गणितीय "रूलर" (पैमाना) विकसित किया है। वे इसे "एट्रिब्यूशन सेपेरेबिलिटी" (attribution separability) कहते हैं। उन्होंने पाया कि वे एक विशिष्ट संख्या की गणना कर सकते हैं, जिसे वे k-स्टेबिलिटी कहते हैं। यह संख्या आपको बताती है कि आप सूची के कितने शीर्ष सुरागों पर भरोसा कर सकते हैं इससे पहले कि क्रम धुंधला होने लगे। उदाहरण के लिए, यदि आपकी k-स्टेबिलिटी 3 है, तो आप शीर्ष तीन कारणों के सही क्रम के प्रति आश्वस्त हो सकते हैं, लेकिन उसके बाद की सूची अव्यवस्थित हो सकती है।
जब उन्होंने अपने रूलर का परीक्षण SHAP, LIME और DiCE जैसे लोकप्रिय उपकरणों पर किया, तो उन्हें कुछ दिलचस्प पैटर्न मिले। उन्होंने पाया कि SHAP आम तौर पर सबसे स्थिर धावक था, जो अक्सर अपने शीर्ष सुरागों को एक स्पष्ट, गैर-अतिव्यापी रेखा में रखता है, विशेष रूप से सरल डेटासेट पर। LIME ठीक-ठाक था लेकिन कभी-कभी थोड़ा डगमगा जाता था, जबकि DiCE अक्सर इतने तंग समूह में दौड़ता था कि यह बताना कठिन था कि कौन आगे है। उन्होंने यह भी जांचा कि क्या इन उपकरणों को अधिक बार चलाने से मदद मिलती है। उन्होंने पाया कि अधिकांश उपकरणों के लिए, एक स्पष्ट तस्वीर पाने के लिए उन्हें 50 बार चलाना पर्याप्त था, और उन्हें और अधिक चलाने से परिणामों में कोई खास बदलाव नहीं आया, जो कंप्यूटर पावर बचाने के लिए अच्छी खबर है।
यह शोध पत्र यह दावा नहीं करता है कि कौन सा उपकरण ब्रह्मांड के हर काम के लिए "सर्वश्रेष्ठ" है। वास्तव में, लेखक सावधानी बरतते हुए कहते हैं कि कोई भी एक उपकरण हर बार नहीं जीतता; यह विशिष्ट डेटा और उपयोग किए जा रहे मॉडल पर निर्भर करता है। इसके बजाय, वे इस नए रूलर को उपकरणों की निष्पक्ष तुलना करने के तरीके के रूप में पेश करते हैं। उनका तर्क है कि स्थिरता, विश्वास की एक पूर्व शर्त है। यदि कोई उपकरण अपने स्वयं के शीर्ष कारणों पर लगातार सहमत नहीं हो सकता, तो महत्वपूर्ण निर्णयों के लिए उस पर भरोसा करना कठिन है। अपने तरीके का उपयोग करके, शोधकर्ता अब कह सकते हैं, "यह उपकरण शीर्ष 5 कारणों के लिए विश्वसनीय है, लेकिन बाकी के लिए सावधान रहें," जो हमें यह स्पष्ट और ईमानदार दृष्टिकोण देता है कि ये AI ब्लैक बॉक्स वास्तव में कैसे सोचते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।