On the Disagreement in Perturbation-based xAI -- Benchmarking Perturbation Choices for Flood Detection from SAR Images
यह शोध पत्र इस बात की जांच करता है कि कैसे व्यवधान-आधारित (perturbation-based) व्याख्या योग्य एआई (XAI) में महत्वपूर्ण पैरामीटर विकल्प, विशेष रूप से पैच ज्यामिति (patch geometry) और व्यवधान प्रकार (perturbation type), एसएआर (SAR) इमेजरी में बाढ़ का पता लगाने के लिए प्रासंगिकता मानचित्रों (relevance maps) को महत्वपूर्ण रूप से बदलते हैं, जो मजबूत और निष्ठावान मॉडल व्याख्याओं को सुनिश्चित करने के लिए इन सेटिंग्स का कड़ाई से मूल्यांकन करने की आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो एक तस्वीर को देखकर आपको बिल्कुल सटीक बता सकता है कि बाढ़ कहाँ हो रही है, भले ही वह फोटो घने बादलों के बीच से अंतरिक्ष से ली गई हो। यह रोबोट एक "डीप लर्निंग मॉडल" है, जो एक प्रकार का कंप्यूटर मस्तिष्क है जिसने हजारों उदाहरणों को देखकर पैटर्न पहचानना सीखा है। लेकिन यहाँ एक पेंच है: यह रोबोट एक "ब्लैक बॉक्स" की तरह है। यह सही उत्तर तो देता है, लेकिन यह नहीं बताता कि क्यों। क्या इसने गहरे, गीले पानी को देखा? या क्या यह पहाड़ पर एक छाया से भ्रमित हो गया जो गहरा दिखता है?
इस रहस्य को सुलझाने के लिए, वैज्ञानिक "एक्सप्लेनेबल एआई" (xAI) नामक चीज़ का उपयोग करते हैं। इसे एक जासूस की तरह समझें जो यह पता लगाने की कोशिश कर रहा है कि रोबोट ने किन सुरागों का उपयोग किया। एक लोकप्रिय तरीका "परटर्बेशन" (perturbation) है। कल्पना कीजिए कि आपके पास बाढ़ की एक फोटो है, और आप एक-एक करके एक ग्रे वर्ग (square) के साथ उसके छोटे-छोटे हिस्सों को ढंकना शुरू करते हैं ताकि यह देख सकें कि क्या रोबोट बाढ़ को पहचानना बंद कर देता है। यदि किसी विशिष्ट स्थान को ढंकने से रोबोट कहता है, "रुको, मुझे नहीं लगता कि यह अब बाढ़ है!", तो उस स्थान का महत्व रहा होगा। यह "क्या होगा अगर?" (What if?) का खेल खेलने जैसा है कि रोबोट किस बात पर ध्यान देता है। लेकिन क्या होगा अगर खेल ही पक्षपाती हो? क्या होगा अगर आपके ग्रे वर्ग का आकार या आप जिस रंग का उपयोग करके उस स्थान को ढंकते हैं, उससे उत्तर बदल जाता है? यही वह बड़ा सवाल है जो यह शोध पत्र पूछता है।
इस अध्ययन के पीछे के शोधकर्ताओं ने इस "क्या होगा अगर?" खेल को परखने का निर्णय लिया, विशेष रूप से बाढ़ के रडार चित्रों का उपयोग करते हुए। वे यह देखना चाहते थे कि खेल के नियमों को बदलने से—जैसे एक छोटे वर्ग बनाम एक विशाल वर्ग का उपयोग करना, या किसी स्थान को किसी अन्य फोटो के रैंडम पिक्सेल से ढंकना—क्या रोबोट के "तर्क" में बदलाव आता है। उन्होंने पाया कि उत्तर एक ज़ोरदार "हाँ" है।
अपने प्रयोगों में, टीम ने पाया कि रोबोट का "स्पष्टीकरण" इस बात के प्रति अविश्वसनीय रूप से संवेदनशील है कि आप खेल कैसे खेलते हैं। उन्होंने इमेज को ढंकने के लिए उपयोग किए जाने वाले पैच के विभिन्न आकार और आकारों का परीक्षण किया, जिसमें 8x8 पिक्सेल के छोटे वर्गों से लेकर 128x128 पिक्सेल के बड़े ब्लॉक तक शामिल थे। उन्होंने भरे जाने वाले स्थानों के लिए अलग-अलग तरीकों का भी परीक्षण किया: कुछ को सबसे गहरे संभव रंग से भरा गया था, कुछ को औसत बैकग्राउंड कलर से, और कुछ को अन्य छवियों के रैंडम पिक्सेल से।
परिणाम आश्चर्यजनक और थोड़े अराजक थे। जब उन्होंने छवि को ढंकने के लिए एक बड़े, ब्लॉक वाले वर्ग का उपयोग किया, तो रोबोट का "हीट मैप" (महत्वपूर्ण चीज़ों को दिखाने वाला विजुअल गाइड) धुंधला और मोटा हो गया, जैसे कि लो-रेज़ोल्यूशन वीडियो। वह एक पतली नदी और एक चौड़ी झील के बीच अंतर नहीं कर सका। लेकिन जब उन्होंने छोटे पैच या ऐसे आकार का उपयोग किया जो ज़मीन के प्राकृतिक घुमावों (जैसे सुपरपिक्सल्स) से मेल खाते थे, तो रोबोट का तर्क बहुत अधिक स्पष्ट और विस्तृत हो गया।
यहाँ तक कि और भी भ्रमित करने वाली बात यह थी कि उन्होंने स्थान को ढंकने के लिए जिस प्रकार के रंग का उपयोग किया, उसने पूरी कहानी ही बदल दी। उदाहरण के लिए, जब उन्होंने "न्यूनतम" (सबसे गहरा) मान के साथ एक स्थान को ढंका, तो रोबोट को ऐसा लगा कि बैकग्राउंड सबसे महत्वपूर्ण चीज़ है, जिससे पानी अनदेखा रह गया। लेकिन जब उन्होंने "औसत" बैकग्राउंड कलर का उपयोग किया, तो रोबोट अचानक पानी पर ध्यान केंद्रित करने लगा, और कुछ मामलों में, उसने अपनी राय भी बदल दी, यह कहते हुए कि पानी एक दृश्य में मददगार था लेकिन दूसरे में भटकाने वाला था। यह ऐसा था जैसे रोबोट कह रहा हो, "ओह, मुझे पानी की परवाह तभी है जब आप ज़मीन को इस विशिष्ट रंग से ढंकते हैं!"
शोधकर्ताओं ने यह भी जांचा कि क्या ये स्पष्टीकरण वास्तव में सच बोल रहे थे। उन्होंने एक "डिलीशन टेस्ट" (deletion test) का उपयोग किया, जहाँ उन्होंने छवि के उन हिस्सों को हटा दिया जिन्हें रोबोट सबसे महत्वपूर्ण बताता था, यह देखने के लिए कि क्या रोबोट वास्तव में भ्रमित होता है। उन्होंने पाया कि कुछ तरीकों के लिए, रोबोट तब तक भ्रमित नहीं हुआ जब तक कि उन्होंने लगभग पूरी छवि को हटा नहीं दिया, जिसका अर्थ था कि स्पष्टीकरण भ्रामक था। अन्य तरीकों के लिए, रोबोट ने बाढ़ का पता लगाने की अपनी क्षमता तुरंत खो दी, जिससे पता चला कि वह स्पष्टीकरण अधिक ईमानदार था।
मुख्य निष्कर्ष यह है कि रोबोट से यह पूछने का कोई एक "सही" तरीका नहीं है कि वह क्या सोच रहा है। आप इमेज को कैसे बाधित (perturb) करते हैं—आपका "ढकने वाला" हिस्सा कितना बड़ा है और आप उसकी जगह क्या रखते हैं—यह पूरी तरह से स्पष्टीकरण को दिशा देता है। लेखक सुझाव देते हैं कि हम केवल एक विधि को बेतरतीब ढंग से चुनकर और परिणाम पर भरोसा करके काम नहीं चला सकते। इसके बजाय, हमें बहुत सावधान रहना होगा, जैसे कि एक वैज्ञानिक काम के लिए सही उपकरण चुनता है। यदि हम बाढ़ का पता लगाने वाले मॉडल को समझना चाहते हैं, तो हमें यह समझना होगा कि हमें जो स्पष्टीकरण मिलता है वह मॉडल के मस्तिष्क और उस विशिष्ट नियम का मिश्रण है जिसका उपयोग हमने उसे परखने के लिए किया है। इन नियमों के बारे में सावधान रहे बिना, हम एक ऐसी कहानी पर भरोसा करने लग सकते हैं जो रोबोट ने वास्तव में नहीं सुनाई थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।