Inpainting Insights: Elevating Visual XAI with Photorealistic Perturbations

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक सुपर-स्मार्ट रोबोट दुनिया को कैसे देखता है। आप उससे पूछते हैं, "इस तस्वीर को कुत्ता क्या बनाता है?" और वह कहता है, "कान!" लेकिन आप कैसे जानेंगे कि वह सिर्फ एक अजीब छाया या किसी विशिष्ट रंग के कारण अनुमान नहीं लगा रहा है? यह एक्सप्लेनेबल एआई (Explainable AI - XAI) की दुनिया है। यह आर्टिफिशियल इंटेलिजेंस के भीतर के "ब्लैक बॉक्स" में झांकने और यह देखने का क्षेत्र है कि वास्तव में क्या हो रहा है। इसे करने का एक लोकप्रिय तरीका है परटर्बेशन (perturbation)। इसे एक फोटो के साथ "क्या होगा अगर?" खेलने जैसा समझें। आप छवि के हिस्सों को ढक देते हैं—शायद कुत्ते के कान या पूंछ—और रोबोट से पूछते हैं, "क्या यह अब भी इसे कुत्ता मानता है?" यदि आप कान ढकने पर रोबोट अचानक कुत्ते को पहचानना बंद कर देता है, तो आप जान जाते हैं कि कान महत्वपूर्ण हैं।

हालाँकि, इसमें एक पेंच है। यदि आप कुत्ते के कानों को एक बड़े, बदसूरत ग्रे (धूसर) वर्ग से ढक देते हैं, तो आप वास्तव में रोबोट की कुत्ते को समझने की क्षमता का परीक्षण नहीं कर रहे हैं; आप एक विशाल ग्रे धब्बे के प्रति उसकी प्रतिक्रिया का परीक्षण कर रहे हैं। रोबोट उस अजीब, अप्राकृतिक वर्ग से भ्रमित हो सकता है और आपको एक गलत उत्तर दे सकता है कि क्या महत्वपूर्ण है। यह शोध पत्र इसी समस्या पर प्रहार करता है। यह सुझाव देता है कि छवि के हिस्सों को छिपाने के लिए उबाऊ, नकली ग्रे वर्गों का उपयोग करने के बजाय, हमें एक "जादुई इरेज़र" का उपयोग करना चाहिए जो गायब स्थानों को ऐसे यथार्थवादी, फोटोरियलिस्टिक विवरणों से भर देता है जो वहां स्वाभाविक रूप से होने चाहिए। इस तरह, रोबोट केवल गायब वस्तु से भ्रमित होगा, न कि किसी अजीब आर्टिफैक्ट (artifact) से, जिससे हमें इस बारे में बहुत स्पष्ट उत्तर मिलेगा कि वह वास्तव में क्या देख रहा है।

---

समस्या: बदसूरत वर्ग और भ्रमित रोबोट

कंप्यूटर विजन की दुनिया में, एआई मॉडल चीजों को पहचानने में अविश्वसनीय रूप से अच्छे होते जा रहे हैं, लेकिन वे समझने में भी कठिन होते जा रहे हैं। इसे ठीक करने के लिए, शोधकर्ता LIME (लोकल इंटरप्रिटेबल मॉडल-एग्नोस्टिक एक्सप्लेनेशन) जैसे उपकरणों का उपयोग करते हैं। LIME एक छवि को लेता है, उसे "सुपरपिक्सेल्स" नामक छोटे पहेली के टुकड़ों में काटता है, और फिर यह देखने के लिए कि एआई की भविष्यवाणी कैसे बदलती है, उन टुकड़ों को छिपा देता है।

किसी टुकड़े को छिपाने का पारंपरिक तरीका उसे ग्रे या काले जैसे ठोस रंग से पेंट करना है। इस पेपर के लेखक तर्क देते हैं कि यह केक की फ्रॉस्टिंग को कंक्रीट के ब्लॉक से बदलने के समान है। कंक्रीट केक का हिस्सा नहीं है, और यह स्वाभाविक रूप से कुछ भी नहीं दिखता है। जब एआई इस "कंक्रीट" को देखता है, तो वह घबरा सकता है और एक ऐसी भविष्यवाणी कर सकता है जिसका केक से कोई लेना-देना नहीं है, जिससे एक भ्रमित करने वाला स्पष्टीकरण मिलता है।

यह पेपर दिखाता है कि ये "बदसूरत वर्ग" (डिटरमिनिस्टिक ऑक्लूजन) अक्सर विफल हो जाते हैं। उदाहरण के लिए, बैंड-एड की एक छवि के परीक्षण में, ग्रे वर्गों या अन्य सरल रंग प्रतिस्थापन का उपयोग करने वाले मानक तरीकों ने बैंड-एड को छवि के सबसे महत्वपूर्ण हिस्से के रूप में पहचानने में पूरी तरह से चूक कर दी। वे उनके द्वारा बनाए गए अप्राकृतिक ग्रे धब्बों से बहुत अधिक विचलित थे।

समाधान: "मैजिक इनपेंटिंग" ट्रिक

इसे हल करने के लिए, लेखक एक नया तरीका पेश करते हैं जिसे LILI (लेवरेजिंग इनपेंटिंग फॉर लोकल इंटरप्रिटेबिलिटी) कहा जाता है। छिपे हुए पहेली के टुकड़ों को ग्रे पेंट से रंगने के बजाय, LILI एक जनरेटिव एआई मॉडल जिसे LaMa कहा जाता है, का उपयोग करके छवि को "इनपेंट" (inpaint) करता है।

इनपेंटिंग को एक बहुत ही प्रतिभाशाली कलाकार के रूप में सोचें जो फोटो में एक छेद को देख सकता है और आसपास के आधार पर बिल्कुल वही पेंट कर सकता है जो वहां होना चाहिए। यदि आप एक बैंड-एड को छिपाते हैं, तो LaMa वहां ग्रे वर्ग नहीं रखता; वह त्वचा का एक ऐसा पैच पेंट करता है जो बिल्कुल आसपास की त्वचा जैसा दिखता है। यह एक "फोटोरिस्टिक परटर्बेशन" बनाता है। एआई मॉडल एक ऐसी तस्वीर देखता है जो प्राकृतिक दिखती है, सिवाय इसके कि बैंड-एड गायब है। यह एआई को उसके वास्तविक ज्ञान पर निर्भर रहने के लिए मजबूर करता है कि बैंड-एड कैसा दिखता है, न कि एक अजीब ग्रे वर्ग के प्रति प्रतिक्रिया करने के लिए।

लेकिन एक दूसरी समस्या भी थी। यहाँ तक कि जादुई कलाकार के साथ भी, छिपे हुए क्षेत्र के किनारे कभी-कभी सूक्ष्म, अदृश्य सुराग (आर्टिफैक्ट्स) छोड़ देते थे जिन्हें एआई अभी भी देख सकता था। इसे ठीक करने के लिए, लेखकों ने एक "मास्क एक्सपेंशन" चरण जोड़ा। कल्पना कीजिए कि केवल बैंड-एड को छिपाने के बजाय, आपने उसके आसपास की थोड़ी सी त्वचा को भी छिपा दिया। यह सुनिश्चित करता है कि जादुिका कलाकार को पूरे क्षेत्र को नए बैकग्राउंड स्किन के साथ भरना पड़े, जिससे मूल वस्तु का कोई भी निशान पूरी तरह से मिट जाए।

उन्होंने क्या पाया: वास्तविकता की जीत

टीम ने पुराने तरीके (ग्रे वर्गों के साथ LIME) और एक पिछले प्रयास (जो DeepFill नामक दूसरे इनपेंटिंग मॉडल का उपयोग करता था - LIME-G) के विरुद्ध LILI का परीक्षण किया। उन्होंने पहचान करने के लिए InceptionV3 नामक एक मानक एआई मॉडल का उपयोग करते हुए ImageNet डेटासेट की छवियों पर सैकड़ों परीक्षण किए।

1. छवियां बेहतर दिखती हैं
लेखकों ने एक स्कोर का उपयोग करके मापा कि नकली छवियां कितनी "वास्तविक" दिखती हैं, जिसे फ्रैचेट इनसेप्शन डिस्टेंस (FID) कहा जाता है। कम स्कोर का अर्थ है कि नकली छवियां वास्तविक तस्वीरों के अधिक समान हैं।

• पुराने LIME विधि (ग्रे वर्ग) का स्कोर 30.532 था।
• पिछले इनपेंटिंग विधि (LIME-G के साथ DeepFill) का स्कोर 56.524 था (जो आश्चर्यजनक रूप से खराब था, संभवतः इसलिए क्योंकि मॉडल उतना अच्छा नहीं था)।
• नए LILI विधि का स्कोर 6.727 था।
  स्कोर में यह बड़ी गिरावट साबित करती है कि LILI ऐसी छवियां बनाता है जो वास्तविक डेटा वितरण के बहुत करीब हैं। वे प्राकृतिक दिखते हैं, न कि एक फोटो जैसा जिस पर ग्रे धब्बा चिपका दिया गया हो।

2. स्पष्टीकरण अधिक सटीक हैं
यह देखने के लिए कि क्या स्पष्टीकरण वास्तव में बेहतर थे, उन्होंने एक "सैलिएंसी मेट्रिक" (saliency metric) का उपयोग किया। यह मापता है कि स्पष्टीकरण छवि के सबसे महत्वपूर्ण हिस्सों को कितनी अच्छी तरह उजागर करता है। यहाँ कम स्कोर बेहतर हैं।

• 3-पिक्सेल मास्क एक्सपेंशन के साथ LILI ने सर्वश्रेष्ठ स्कोर प्राप्त किया, जिसने पुराने LIME और LIME-G दोनों को पीछे छोड़ दिया।
• उदाहरण के लिए, बैंड-एड के उदाहरण में, केवल LILI ने ही बैंड-एड को सबसे महत्वपूर्ण विशेषता के रूप में सही ढंग से पहचाना। अन्य तरीके बैकग्राउंड या आर्टिफैक्ट्स से विचलित हो गए।

3. स्थिरता और गति
शोधकर्ताओं ने यह भी जांचा कि क्या स्पष्टीकरण सुसंगत (consistent) थे। यदि आप परीक्षण दस बार चलाते हैं, तो क्या आपको एक ही उत्तर मिलता है?

• पुराना LIME सबसे स्थिर था (समझौता स्कोर 0.889), जिसके ठीक बाद LILI (0.852) का स्थान था।
• LIME-G कम स्थिर था (0.723)।
• लेखक नोट करते हैं कि LILI, पुराने ग्रे-स्क्वायर विधि की तुलना में थोड़ा कम स्थिर है क्योंकि "जादुई कलाकार" (LaMa) सटीक मास्क के आधार पर कभी-कभी थोड़ा अलग बैकग्राउंड पेंट कर सकता है। हालांकि, सही उत्तर पाने के लिए यह एक छोटा मूल्य है।
• गति के मामले में, LILI थोड़ा अधिक समय लेता है। पुराने LIME को प्रति छवि लगभग 4.4 सेकंड लगे, जबकि LILI को 12.5 सेकंड लगे। ऐसा इसलिए है क्योंकि "जादुिक कलाकार" को गायब हिस्सों को पेंट करने के लिए अतिरिक्त काम करना पड़ता है, लेकिन यह अन्य हाई-टेक तरीकों की तुलना में बहुत तेज़ है जो डिफ्यूजन मॉडल का उपयोग करते हैं।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि बदसूरत, नकली ग्रे वर्गों को यथार्थवादी, एआई-जनरेटेड बैकग्राउंड फिलिंग से बदलकर, हम यह बेहतर स्पष्टीकरण प्राप्त कर सकते हैं कि एआई दुनिया को कैसे देखता है। LILI विधि बताती है कि फोटोरियलिस्टिक परटर्बेशन, जिस तरह से एआई को प्रशिक्षित किया गया था, उसके साथ बेहतर तालमेल बिठाते हैं, जिससे अधिक भरोसेमंद परिणाम मिलते हैं। हालांकि इसमें थोड़ा अधिक कंप्यूटिंग पावर लगता है और आर्टिफैक्ट्स के निशान छोड़ने से बचने के लिए "मास्क एक्सपेंशन" को सावधानीपूर्वक ट्यून करने की आवश्यकता होती है, लेकिन यह ट्रेड-ऑफ सार्थक है। लेखकों का सुझाव है कि यह दृष्टिकोण हमें एआई पर अधिक भरोसा करने में मदद करता है, विशेष रूप से उन स्थितियों में जहाँ हमें यह जानने की आवश्यकता होती है कि कंप्यूटर ने निर्णय क्यों लिया, बिना अप्राकृतिक आर्टिफैक्ट्स के भ्रम के।