🤖 AI

SketchXplain: Intuitive Visual Explanations of Image Classifiers with Sketches

यह शोध पत्र SketchXplain का प्रस्ताव करता है, जो एक अभिनव ढांचा है जो व्याख्यात्मकता के अंतर को पाटने और पारंपरिक तरीकों की तुलना में उपयोगकर्ता की समझ को गति देने के लिए सैलिएंसी मैप्स (saliency maps), कॉन्सेप्ट-बॉटलनेक मॉडल्स (concept-bottleneck models) और स्केच ऑप्टिमाइज़ेशन (sketch optimization) को एकीकृत करके इमेज क्लासिफायर के लिए सहज, स्केच-आधारित दृश्य स्पष्टीकरण उत्पन्न करता है।

मूल लेखक: Wencan Zhang, Mario Michelessa, Xuejun Zhao, Brian Y. Lim

प्रकाशित 2026-06-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wencan Zhang, Mario Michelessa, Xuejun Zhao, Brian Y. Lim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट AI से एक फोटो देखकर यह बताने के लिए कहते हैं कि वहां क्या हो रहा है। AI कहता है, "यह एक गुस्से वाला चेहरा है!" या "यह एक खतरनाक त्वचा का धब्बा है!" लेकिन जब आप पूछते हैं, "तुम्हें कैसे पता?", तो AI आमतौर पर इमेज पर एक धुंधले, चमकते हुए लाल धब्बे की ओर इशारा करता है। यह ऐसा है जैसे AI कह रहा हो, "यहाँ देखो!" लेकिन यह नहीं बता रहा है कि वह स्थान क्यों महत्वपूर्ण है। यह भ्रमित करने वाला है, और आप केवल अनुमान ही लगाते रह जाते हैं।

यह पेपर SketchXplain को पेश करता है, जो AI के निर्णयों को समझाने का एक नया तरीका है जो कंप्यूटर द्वारा पिक्सेल को हाईलाइट करने के बजाय एक इंसान द्वारा बनाया गया एक त्वरित स्केच (sketch) जैसा महसूस होता है।

यहाँ इसका सरल विवरण दिया गया है कि यह कैसे काम करता है और यह क्यों बेहतर है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:

समस्या: "धुंधला लाल धब्बा" (The "Blurry Red Blob")

वर्तमान AI स्पष्टीकरणों (जिन्हें Saliency Maps कहा जाता है) को एक अंधेरे कमरे में टॉर्च की तरह समझें। AI एक फोटो के एक विशिष्ट क्षेत्र पर तेज रोशनी डालता है ताकि यह कह सके, "मैं यहाँ देख रहा हूँ।"

समस्या: यह रोशनी अक्सर धुंधली होती है। यह आपको दिखाती है कि कहाँ देखना है, लेकिन यह नहीं दिखाती कि आप क्या देख रहे हैं। क्या वह लाल धब्बा एक झुर्री है? एक छाया है? या एक निशान? यह बताना मुश्किल है, जिससे समझ में एक कमी रह जाती है।

समाधान: "कार्टूनिस्ट का स्केच" (The "Cartoonist's Sketch")

लेखकों का तर्क है कि किसी चीज़ को समझाने का सबसे अच्छा तरीका एक सरल स्केच बनाना है, जैसा कि एक कार्टूनिस्ट करता है। एक अच्छा स्केच अनावश्यक विवरणों (जैसे त्वचा की बनावट या शर्ट का सटीक रंग) को छोड़ देता है और केवल उन आवश्यक रेखाओं पर ध्यान केंद्रित करता है जो कहानी बताती हैं।

SketchXplain एक ऐसा टूल है जो AI के निर्णय को इन सहायक स्केचों में बदल देता है।

SketchXplain कैसे काम करता है (3-चरणों का नुस्खा)

एक ऐसा स्केच बनाने के लिए जो वास्तव में AI की सोच को समझा सके, यह सिस्टम तीन चीजें करता है:

यह "शब्दावली" (Concepts) सीखता है:
कल्पना कीजिए कि आप एक बच्चे को "गुस्से" वाला चेहरा पहचानना सिखा रहे हैं। आप केवल "गुस्सा" नहीं कहते। आप विशिष्ट हिस्सों की ओर इशारा करते हैं: "भौंें नीचे की ओर हैं," "आंखें सिकुड़ी हुई हैं," और "होंठ कसे हुए हैं।"
SketchXplain पहले यही करता है। यह किसी भी चीज़ को खींचने से पहले इन विशिष्ट "कॉन्सेप्ट" भागों (जैसे नीचे की ओर झुकी हुई भौंह या त्वचा का टेढ़ा-मेढ़ा किनारा) की पहचान करता है।
यह "सुराग" (Clues) ढूंढता है:
यह फोटो को देखता है कि वे कॉन्सेप्ट्स ठीक कहाँ छिपे हैं। यह एक जासूस की तरह है जो मानचित्र पर उस सटीक स्थान को चिह्नित करता है जहाँ सुराग मिला था।
यह "स्केच" (Sketch) बनाता है:
यही जादू वाला हिस्सा है। पूरे चेहरे या त्वचा के धब्बे की रूपरेखा खींचने के बजाय, यह केवल उन रेखाओं को खींचता है जो मायने रखती हैं।

यदि AI को लगता है कि एक चेहरा गुस्से में है, तो SketchXplain सिकुड़ी हुई भौंहों और कसे हुए होंठों को खींचता है, लेकिन बालों या बैकग्राउंड को अनदेखा कर देता है।
यदि AI को लगता है कि त्वचा का धब्बा खतरनाक है, तो यह टेढ़े-मेढ़े, असमान किनारे और अजीब रंग के पैच को खींचता है, और आसपास की स्वस्थ त्वचा को छोड़ देता है।
यह सबसे महत्वपूर्ण सुरागों के लिए गहरी, मोटी रेखाओं और कम महत्वपूर्ण सुरागों के लिए हल्की रेखाओं का उपयोग करता है, जो एक विजुअल हाइलाइटर की तरह काम करता है।

यह बेहतर क्यों है? (परिणाम)

शोधकर्ताओं ने दो चीजों पर इसका परीक्षण किया: चेहरे (खुशी या गुस्से जैसी भावनाओं का अनुमान लगाना) और त्वचा के धब्बे (यह अनुमान लगाना कि तिल खतरनाक है या नहीं)।

गति (Speed): जब लोगों को ये स्केच एक पल के लिए (पलक झपकने से भी कम समय के लिए) दिखाए गए, तो वे धुंधले लाल धब्बों की तुलना में AI के उत्तर को बहुत तेज़ी से समझ गए। यह एक साधारण स्टिक-फिगर ड्राइंग बनाम एक धुंधली फोटो से अपने दोस्त के चेहरे को पहचानने जैसा है।
स्पष्टता (Clarity): लोग आसानी से कह सके, "आह, AI को लगता है कि यह गुस्से में है क्योंकि भौंहें ऐसी हैं," जबकि लाल धब्बे के साथ, वे केवल अनुमान लगा रहे थे।
विश्वास (Trust): स्केच अधिक "ईमानदार" लगे। उन्होंने केवल रैंडम पिक्सेल नहीं दिखाए; उन्होंने वास्तविक विशेषताओं (जैसे झुर्री या टेढ़ा किनारा) को दिखाया जिनका उपयोग एक इंसान भी उसी निर्णय को लेने के लिए करेगा।

मुख्य बात (The Takeaway)

SketchXplain को एक ऐसे दुभाषे (interpreter) के रूप में समझें जो AI की जटिल, भ्रमित करने वाली गणित को एक सरल, हाथ से बने डूडल में अनुवादित करता है।

पुराना तरीका: "मैं इस लाल चमकते क्षेत्र को देख रहा हूँ।" (भ्रमित करने वाला)
नया तरीका (SketchXplain): "मैं यहाँ के टेढ़े-मेढ़े किनारे और गहरे रंग को देख रहा हूँ, और इसीलिए मुझे लगता है कि यह खतरनाक है।" (स्पष्ट और सहज)

पेपर का दावा है कि यह विधि आम लोगों को AI के निर्णयों को तेज़ी से और सटीकता से समझने में मदद करती है, जिससे कंप्यूटर जो देखता है और इंसान जो समझता है, उसके बीच की दूरी को कम किया जा सके। यह एक "ब्लैक बॉक्स" को एक स्पष्ट, सरल ड्राइंग में बदल देता है।

तकनीकी सारांश: SketchXplain

समस्या विवरण

इमेज क्लासिफिकेशन के लिए वर्तमान व्याख्यात्मक AI (XAI) विधियाँ, विशेष रूप से सैलिएंसी मैप्स (saliency maps), एक "व्याख्यात्मक अंतराल" (interpretability gap) से ग्रस्त हैं। जबकि सैलिएंसी मैप्स प्रासंगिक पिक्सेल या न्यूरॉन्स को सटीकता से उजागर करते हैं, वे अक्सर अर्थ संबंधी संदर्भ (semantic context) की कमी के कारण अस्पष्ट और "अस्पष्ट धब्बों" (nebulous blobs) की तरह दिखाई देते हैं, जो यह बताने में विफल रहते हैं कि कोई क्षेत्र क्यों प्रासंगिक है। यह उपयोगकर्ताओं को मॉडल के व्यवहार की व्याख्या करने के लिए महत्वपूर्ण संज्ञानात्मक प्रयास (cognitive effort) करने के लिए मजबूर करता है, जिससे त्वरित और सटीक निर्णय लेने में बाधा आती है। मौजूदा अवधारणा-आधारित (concept-based) स्पष्टीकरण बेहतर अर्थपूर्ण संरेखण तो प्रदान करते हैं, लेकिन वे अक्सर विशिष्ट इमेज इंस्टेंस के साथ दृश्य सुसंगतता (visual coherence) की कमी रखते हैं, जबकि सरल रेखा चित्र या एज डिटेक्शन आवश्यक व्याख्यात्मक संकेतों को पकड़ने में विफल रहते हैं। लेखक तर्क देते हैं कि AI स्पष्टीकरण सहज (intuitive) होने चाहिए, जिसे तीन गुणों द्वारा परिभाषित किया गया है: सरलता (Simplicity) (स्पष्ट और संक्षिप्त), सुसंगतता (Coherence) (उपयोगकर्ता के ज्ञान और साक्ष्य के साथ संरेखित), और त्वरित व्याख्या (Quick Interpretation) (तीव्र आत्मसात करने में सक्षम)।

कार्यप्रणाली: SketchXplain

लेखक SketchXplain का प्रस्ताव करते हैं, जो एक डीप न्यूरल नेटवर्क फ्रेमवर्क है जो स्केच-आधारित दृश्य स्पष्टीकरण उत्पन्न करता है। केवल फोटो को स्केच में बदलने या पिक्सेल को हाइलाइट करने वाली विधियों के विपरीत, SketchXplain सैलिएंसी, कॉन्सेप्ट बॉटलनेक (concept bottlenecks), और स्केच ऑप्टिमाइज़ेशन को एकीकृत करके एक अमूर्त, संकेत-जागरूक (cue-aware) ड्राइंग बनाता है।

इसकी वास्तुकला (architecture) में तीन मुख्य मॉड्यूल शामिल हैं:

आधार भविष्यवाणी (Base Prediction): एक इमेज एनकोडर ( $M$ ) इनपुट इमेज ( $x$ ) से क्लास लेबल ( $\hat{y}$ ) की भविष्यवाणी करता है।
अवधारणा स्पष्टीकरण (Concept Explanations):
- कॉन्सेप्ट बॉटलनेक (Concept Bottleneck): मॉडल मल्टी-लेबल बाइनरी क्लासिफिकेशन के माध्यम से मध्यवर्ती, मानव-व्याख्या योग्य अवधारणाओं ( $\hat{\gamma}$ ) (जैसे, फेशियल एक्शन यूनिट्स या स्किन लीजन ABCD मानदंड) की भविष्यवाणी करता है। इन अवधारणाओं का उपयोग फिर अंतिम क्लास लेबल की भविष्यवाणी करने के लिए किया जाता है।
- संकेत स्थानीयकरण (Cue Localization): ट्रांसफॉर्मर्स के लिए अनुकूलित Grad-CAM का उपयोग करके, सिस्टम प्रत्येक अनुमानित अवधारणा के लिए सैलिएंसी मैप्स उत्पन्न करता है। इन मैप्स को अंतिम भविष्यवाणी के लिए प्रत्येक अवधारणा के महत्व ( $\hat{w}_\gamma$ ) द्वारा भारित (weighted) किया जाता है ताकि एक एकीकृत, कॉन्सेप्ट-वेटेड सैलिएंसी मैप ( $\hat{\epsilon}$ ) बनाया जा सके।
स्केच तर्कसंगतीकरण (Sketch Rationalization): यह मॉड्यूल दो चरणों के माध्यम से अंतिम स्केच तैयार करता है:
- स्ट्रोक इनिशियलाइजेशन (Stroke Initialization): एक प्री-ट्रेन्ड इमेज-टू-इमेज जनरेटर फोटो से विस्तृत रेखाएं (किनारे, झुर्रियां, बनावट) निकालता है। इन रेखाओं को केवल सबसे अधिक व्याख्यात्मक स्ट्रोक बनाए रखने के लिए कॉन्सेप्ट-वेटेड सैलिएंसी मैप द्वारा मास्क किया जाता है।
- स्ट्रोक ऑप्टिमाइजेशन (Stroke Optimization): सिस्टम मास्क की गई रेखाओं के आधार पर पैरामेट्रिक स्ट्रोक्स (क्वाड्रेटिक बेज़ियर कर्व्स) का एक सेट इनिशियलाइज़ करता है। इन स्ट्रोक्स को एक कंपोजिट लॉस फंक्शन ( $L$ $L$ ) को कम करने के लिए ग्रेडिएंट डिसेंट के माध्यम से पुनरावृत्ति (iteratively) रूप से अनुकूलित किया जाता है:
  $L = -\cos(\hat{z}_s, \hat{z}_x) - \lambda_t \cos(\hat{z}_s, \hat{z}_y) + \lambda_\kappa \kappa(\hat{s}_x)$
  जहाँ:
  - $\hat{z}_s, \hat{z}_x, \hat{z}_y$ क्रमशः स्केच, इनपुट फोटो और प्रेडिक्टेड लेबल के CLIP एम्बेडिंग्स हैं।
  - पहला पद फोटो संरेखण (Photo Alignment) (इमेज के प्रति निष्ठा) सुनिश्चित करता है।
  - दूसरा पद सिमेंटिक संरेखण (Semantic Alignment) (प्रेडिक्शन लेबल के प्रति निष्ठा) सुनिश्चित करता है।
  - तीसरा पद ( $\kappa$ ) उच्च वक्रता (high curvature) को दंडित करके सुगमता (Smoothness) (सरलता) को लागू करता है।

प्रमुख योगदान

नया मोडैलिटी (Novel Modality): यह विजुअल XAI के लिए सहज व्याख्यात्मक मोडैलिटी के रूप में स्केच का उपयोग करने वाला पहला कार्य है, जो साधारण एट्रिब्यूशन मैप्स या मौखिक अवधारणा विवरणों से आगे बढ़ता है।
SketchXplain फ्रेमवर्क: एक तकनीकी विधि जो कॉन्सेप्ट बॉटलनेक्स, सैलिएंसी लोकलाइजेशन और डिफरेंशिएबल स्केच रेंडरिंग को जोड़कर सरलता, सुसंगतता और त्वरित व्याख्या के गुणों को संतुष्ट करती है।
अनुभवजन्य सत्यापन (Empirical Validation): दो अलग-अलग डोमेन में व्यापक मूल्यांकन:
- फेशियल एक्सप्रेशन रिकग्निशन: एक्शन यूनिट्स (AUs) को अवधारणाओं के रूप में उपयोग करना।
- स्किन लीजन डायग्नोसिस: ABCD मानदंडों (Asymmetry, Border, Color, Diameter) को अवधारणाओं के रूप में उपयोग करना।

परिणाम

मॉडलिंग और प्रॉक्सी मेट्रिक्स

सरलता (Simplicity): SketchXexplain स्केच ने सैलिएंसी मैप्स और "सेलिएंट फोटोज" की तुलना में काफी कम विजुअल कॉम्प्लेक्सिटी (लोकल एंट्रॉपी और JPEG XL फाइल साइज द्वारा मापी गई) प्रदर्शित की, जबकि साधारण आउटलाइन्स की तुलना में अधिक जानकारी बनाए रखी।
सुसंगतता (Coherence): SketchXplain ने CLIPasso और सैलिएंसी मैप्स जैसे बेसलाइन्स की तुलना में AI प्रेडिक्शन लेबल्स और व्याख्यात्मक अवधारणाओं (AUs/ABCDs) दोनों के साथ उच्चतम संरेखण प्राप्त किया। इसने शोर (noise) को कम करते हुए कार्य-प्रासंगिक संकेतों को सफलतापूर्वक संरक्षित किया।

यूजर स्टडीज (फेशियल एक्सप्रेशंस)

गुणात्मक (Qualitative): प्रतिभागियों ने पाया कि SketchXplain, सैलिएंसी मैप्स (जिनमें अर्थ की कमी थी) और साधारण आउटलाइन्स (जिनमें विवरण की कमी थी) की तुलना में अधिक सहज है। उपयोगकर्ताओं ने रिपोर्ट किया कि SketchXplain ने प्रभावी ढंग से "सेलिएंट लाइन्स" (जैसे सैलिएंसी) को हाइलाइट किया जबकि पहचानने योग्य चेहरे की विशेषताओं (जैसे आउटलाइन्स) और अभिव्यंजक संकेतों (जैसे CLIPasso) को बनाए रखा।
मात्रात्मक (Quantitative - समय-बाधित): तीव्र धारणा परीक्षणों (33.3ms – 500ms डिस्प्ले ड्यूरेशन) में, SketchXplain ने सैलिएंसी मैप्स, CLIPasso और यहाँ तक कि बहुत कम अवधि के लिए मूल फोटो की तुलना में काफी उच्च AI एलाइनमेंट (सही भावना की पहचान करना) और कॉन्सेप्ट रिकॉल (विशिष्ट AUs की पहचान करना) को सक्षम किया। सैलिएंसी मैप्स का प्रदर्शन सबसे खराब रहा, जिसका कारण संभवतः फीचरल कॉन्टेक्स्ट की कमी थी।

यूजर स्टडीज (स्किन लीजन)

गुणात्मक (Qualitative): गैर-नैदानिक (non-clinical) प्रतिभागियों के साथ एक अध्ययन में, SketchXplain ने ABCD मानदंडों को पहचानने और मेलानोमा जोखिम का निदान करने में उपयोगकर्ताओं की मदद करने में अन्य विज़ुअलाइज़ेशन से बेहतर प्रदर्शन किया। प्रतिभागियों ने नोट किया कि SketchXplain में "डिस्कनेक्टेड लाइन्स" और "एम्फैसाइज़्ड स्क्रिबल्स" ने स्मूथ आउटलाइन्स या ब्लर्ड सैलिएंसी मास्क की तुलना में बॉर्डर अनियमितता और एसिमेट्री को अधिक प्रभावी ढंग से पुष्टि करने में मदद की।
ट्रेड-ऑफ (Trade-offs): हालांकि SketchXplain ने व्याख्यात्मकता में सुधार किया, इसने साधारण आउटलाइन्स की तुलना में थोड़ा अधिक संज्ञानात्मक भार (cognitive load) पेश किया, हालांकि उपयोगकर्ताओं ने नैदानिक अवधारणाओं के साथ बढ़ी हुई सुसंगतता के लिए इस ट्रेड-ऑफ को सार्थक पाया।

महत्व और दावे

पेपर का दावा है कि SketchXplain केवल विश्लेषणात्मक ऑडिटिंग से हटकर सहज व्याख्या (intuitive interpretation) की ओर बढ़कर व्याख्यात्मक अंतराल को संबोधित करता है। अमूर्त स्केच (एब्स्ट्रैक्ट स्केच) को तेजी से प्रोसेस करने की मानवीय क्षमता (सिस्टम 1 थिंकिंग) का लाभ उठाकर, यह विधि निम्नलिखित का समर्थन करती है:

त्वरित व्याख्या (Quicker Interpretation): उपयोगकर्ता पारंपरिक सैलिएंसी मैप्स की तुलना में प्रासंगिक संकेतों को तेजी से आत्मसात कर सकते हैं और भविष्यवाणियों का अनुमान लगा सकते हैं।
बढ़ा हुआ सुसंगतता (Enhanced Coherence): स्केच स्थानिक ज्यामिति (spatial geometry) और सिमेंटिक अवधारणाओं के बीच के अंतर को पाटते हैं, जिससे AI लॉजिक और मानव अवलोकन के बीच संरेखण होता है।
गोपनीयता संरक्षण (Privacy Preservation): एक उप-उत्पाद के रूप में, स्केच में निहित अमूर्तता पहचान योग्य जानकारी (जैसे पहचान, लिंग) को सुरक्षित रख सकती है जबकि नैदानिक उपयोगिता को बनाए रखती है।

लेखक SketchXplain को सभी XAI विधियों के विकल्प के रूप में नहीं, बल्कि एक पूरक दृष्टिकोण के रूप में प्रस्तुत करते हैं जो दृश्य अमूर्तता (visual abstraction) का लाभ उठाकर AI निर्णयों को आम उपयोगकर्ताओं के लिए अधिक सुलभ बनाता है, विशेष रूप से उन डोमेन में जहाँ त्वरित, सहज समझ महत्वपूर्ण है।