🤖 machine learning

Pulling Back the Curtain on Deep Networks

यह योगदान 'सिमेंटिक पुलबैक' (Semantic Pullbacks) को प्रस्तुत करता है, जो एक सैद्धांतिक रूप से आधारित विधि है जो गहरे नेटवर्क (deep networks) को इनपुट-कंडीशन्ड एफाइन ऑपरेटर्स (input-conditioned affine operators) के रूप में व्याख्यायित करती है ताकि लक्षित न्यूरॉन्स (target neurons) से सुसंगत स्थानीय संरचनाओं का पुनर्निर्माण करके धारणात्मक रूप से उपयुक्त, स्थिर और विश्वसनीय पोस्ट-हॉक स्पष्टीकरण उत्पन्न किए जा सकें।

मूल लेखक: Maciej Satkiewicz, Roberto Corizzo, Marcin Pietroń

प्रकाशित 2026-05-08✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maciej Satkiewicz, Roberto Corizzo, Marcin Pietroń

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, जटिल मशीन (एक डीप न्यूरल नेटवर्क) है जो किसी छवि को देखती है और निर्णय लेती है: "यह एक बिल्ली है!" फिर भी जब आप मशीन से पूछते हैं, "तुम्हें ऐसा क्यों लगा?", तो वह आमतौर पर केवल पिक्सेल के एक अराजक, शोर से भरे ढेर की ओर इशारा करती है। यह वैसा ही है जैसे आपने एक शेफ से पूछा कि सूप का स्वाद अच्छा क्यों है, और उसने बिना रेसिपी समझाए बस मुट्ठी भर यादृच्छिक मसाले आपकी ओर फेंक दिए।

यह कार्य इस प्रश्न को पूछने का एक नया तरीका पेश करता है, जिसे सिमेंटिक पुलबैक (Semantic Pullbacks - SP) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: "भंगुर" (Brittle) मानचित्र

सरल गणितीय मॉडलों में, हम "वेट्स" (knobs/बटन) की जांच कर सकते हैं कि मॉडल क्या पसंद करता है। हालांकि, डीप नेटवर्क्स में, उत्तर खोजने का मानक तरीका ग्रेडिएंट्स (gradients) का उपयोग करना है।

उपमा: कल्पना कीजिए कि आप कांपते हुए हाथ द्वारा बनाए गए मानचित्र को देखकर ऊपर की ओर जाने वाला रास्ता खोजने की कोशिश कर रहे हैं। रेखाएं टेढ़ी-मेढ़ी, शोर भरी और कभी-कभी गलत दिशा में संकेत करती हैं। वर्तमान तरीके यही करते हैं: वे "सेलिएंसी मैप्स" (Saliency Maps) बनाते हैं जो अक्सर केवल दृश्य शोर या एडवर्सरियल परटर्बेशन्स (अजीब पैटर्न जिनका मनुष्यों के लिए कोई अर्थ नहीं होता) की तरह होते हैं।

नया विचार: "एडजॉइंट" (Adjoint) पुलबैक

लेखकों का तर्क है कि कांपते हुए ग्रेडिएंट्स को देखने के बजाय, हमें पुलबैक (pullback) की जांच करनी चाहिए।

उपमा: न्यूरल नेटवर्क को फनहाउस मिरर (funhouse mirrors) और स्लाइडिंग दरवाजों की एक श्रृंखला के रूप में सोचें। जब एक सिग्नल (निर्णय "बिल्ली") पीछे से बाहर आता है, तो मानक तरीका हर एक मोड़ और घुमाव को ठीक वैसे ही वापस ट्रेस करने की कोशिश करता है जैसा कि वह हुआ था।
नवाचार: लेखक एक अलग दृष्टिकोण प्रस्तावित करते हैं। वे नेटवर्क को एफाइन ऑपरेटर्स (affine operators) (गणितीय मशीनें जो चीजों को खींचती और स्थानांतरित करती हैं) के एक सेट के रूप में देखते हैं। सटीक रूप से हर अराजक मोड़ को उलटने के बजाय, वे एक "सॉफ्ट" (soft) बैकवर्ड पथ का उपयोग करते हैं।
- गेटिंग को नरम बनाना (Softening the Gating): नेटवर्क के कई लेयर्स सख्त बाउंसरों की तरह कार्य करते हैं (जैसे, "यदि संख्या ऋणात्मक है, तो दरवाजा पूरी तरह से बंद कर दें")। मानक तरीका इसे सख्ती से मानता है और उस सिग्नल को काट देता है जो थोड़ा भी ऋणात्मक हो। नया तरीका एक "सॉफ्ट बाउंसर" (soft adjoint) का उपयोग करता है। यह कहता है: "यदि संख्या लगभग ऋणात्मक है, तो थोड़ा सा सिग्नल अंदर जाने दें।" यह छवि के उन हिस्सों को बहाल करता है जिन्हें सख्त बाउंसर ने हटा दिया होता, जिससे एक स्पष्ट तस्वीर मिलती है कि न्यूरॉन वास्तव में किस चीज़ पर ध्यान दे रहा है।

प्रक्रिया: "पुलबैक एसेंट" (Pullback Ascent)

एक बार जब हमारे पास यह "सॉफ्ट किया हुआ" बैकवर्ड सिग्नल आ जाता है, तो हम केवल वहीं नहीं रुकते। हम उस दिशा में कुछ छोटे कदम आगे बढ़ते हैं जिसका संकेत सिग्नल देता है।

उपमा: कल्पना कीजिए कि आप एक छिपे हुए रास्ते को खोजने के लिए एक धुंधले जंगल में हैं।
- पुराना तरीका: आप एक कांपते हुए कंपास (ग्रेडient) के आधार पर एक कदम उठाते हैं। आप शायद खाई में गिर सकते हैं।
  - नया तरीका: आप एक "सॉफ्ट कंपास" (soft pullback) का उपयोग करते हैं जो धुंध को ध्यान में रखता है। फिर आप उस दिशा में कुछ छोटे, सतर्क कदम (Pullback Ascent) उठाते हैं। यह आपको वास्तविक, सुसंगत पथ (सिमेंटिक फीचर) खोजने में मदद करता है, न कि केवल भटकने में।

उन्होंने क्या पाया

लेखकों ने हजारों छवियों का उपयोग करके प्रसिद्ध इमेज रिकग्निशन मॉडल्स (जैसे ResNet50 और PVT) पर इनका परीक्षण किया।

बेहतर मैप्स: नए मैप्स वास्तविक वस्तुओं (बिल्लियों, कुत्तों, कारों) की तरह दिखते हैं और न कि स्टैटिक शोर की तरह। वे मनुष्यों द्वारा देखी जाने वाली चीजों के साथ बहुत बेहतर तालमेल रखते हैं।
अधिक विश्वसनीय: यदि आप छवि को थोड़ा सा बदलते हैं, तो स्पष्टीकरण स्थिर रहता है। पुराने तरीके अक्सर छोटे बदलावों के साथ बहुत अधिक उतार-चढ़ाव करते हैं।
तेज़: अन्य तरीकों के विपरीत जिनमें औसत प्राप्त करने के लिए मॉडल को सैकड़ों बार चलाना पड़ता है (जैसे एक स्पष्ट फोटो पाने के लिए 100 फोटो लेना), यह तरीका कुछ अतिरिक्त चरणों के साथ एक ही पास में इसे पूरा कर लेता है। यह गणनात्मक रूप से कुशल है।
कोई रिट्रेनिंग नहीं: आप इसे किसी भी पहले से प्रशिक्षित (pre-trained) मॉडल पर लागू कर सकते हैं। आपको मशीन को फिर से बनाने या उसे नई चीजें सिखाने की आवश्यकता नहीं है।

बड़ी तस्वीर (The Big Picture)

यह कार्य दावा करता है कि डीप नेटवर्क्स को इनपुट-कंडीशन्ड एफाइन ऑपरेटर्स के रूप में बेहतर समझा जा सकता है। जर्मन में: नेटवर्क केवल गणना नहीं करता; यह इनपुट के आधार पर सूचना को संसाधित करने के तरीके को गतिशील रूप से बदलता है। इस "पुलबैक" पद्धति का उपयोग करके, वे पारंपरिक ग्रेडिएंट विधियों के शोर और भंगुरता के बिना मूल छवि तक न्यूरॉन की "पसंदीदा दिशा" को ट्रैक कर सकते हैं।

संक्षेप में: उन्होंने एक कांपती हुई, शोर भरी टॉर्च को एक चिकनी, स्थिर बीम से बदल दिया है जो बिना एआई को दोबारा बनाए, उस वस्तु के वास्तविक आकार को प्रकट करती है जिसे एआई देख रहा है।

तकनीकी सारांश: सिमेंटिक पुलबैक (SP)

समस्या विवरण (Problem Statement)

डीप लर्निंग में प्रगति के बावजूद, आधुनिक न्यूरल नेटवर्क के आंतरिक गणनाओं की व्याख्या करना चुनौतीपूर्ण बना हुआ है। पोस्ट-हॉक व्याख्यात्मकता (post-hoc explainability) का प्रचलित प्रतिमान इनपुट मान के सापेक्ष आउटपुट मान के ग्रेडिएंट (gradient) को विज़ुअलाइज़ करने पर निर्भर करता है। हालाँकि, आधुनिक आर्किटेक्चर (जैसे, ReLU, LayerNorm, या Self-Attention वाले मॉडल) में, ये ग्रेडिएंट अक्सर शोर वाले (noisy), अस्थिर और मानक सत्यापन परीक्षणों में विफल होते हैं। वे भंगुर (brittle), प्रतिकूल (adversarial) हो सकते हैं या अर्थपूर्ण विशेषताओं (semantically meaningful features) को पकड़ने में विफल हो सकते हैं।

इन समस्याओं को कम करने के मौजूदा प्रयास, जैसे स्मूथिंग (जैसे, SmoothGrad) या फीचर एक्सेंटुएशन (feature accentuation), अक्सर महंगी स्टोकेस्टिक सैंपलिंग, कड़े रेगुलाइजेशन, या बिना किसी एकीकृत सैद्धांतिक औचित्य के मनमाने संशोधनों पर निर्भर करते हैं। इसके अतिरिक्त, B-cos नेटवर्क जैसे तरीके सुझाव देते हैं कि समस्या अनुकूलन (optimization) की नहीं है, बल्कि उस दिशा की है जिसे अनुकूलित किया जा रहा है: ग्रेडिएंट गहरे नेटवर्क के लिए वेट वेक्टर्स (weight vectors) के माध्यम से स्पष्टीकरण के सही सामान्यीकरण (generalization) नहीं हो सकते हैं।

कार्यप्रणाली (Methodology)

यह लेख सिमेंटिक पुलबैक (Semantic Pullbacks - SP) का प्रस्ताव करता है, जो डीप नेटवर्क को इनपुट-कंडीशन्ड अफ़ाइन ऑपरेटर्स (input-conditioned affine operators) के रूप में पुनर्व्याख्या करता है। न्यूरॉन की प्राथमिकता को ग्रेडिएंट के माध्यम से देखने के बजाय, लेखक नेटवर्क के प्रभावी डायनेमिक लीनियर ऑपरेटर के एडजॉइंट एक्शन (adjoint action) का उपयोग करने का तर्क देते हैं।

मुख्य अवधारणा: पुलबैक बनाम ग्रेडिएंट (Core Concept: Pullback vs. Gradient)

एक लीनियर मॉडल में, वेट वेक्टर स्वाभाविक रूप से पसंदीदा इनपुट दिशा को प्रकट करता है। डीप नेटवर्क में, फॉरवर्ड पाथ को एक डायनेमिक अफ़ाइन मैपिंग $f(x) = W(x)x$ के रूप में मॉडल किया जा सकता है, जहाँ $W(x)$ फॉरवर्ड स्टेट (gating, routing, normalization) पर निर्भर करता है।

ग्रेडिएंट (Gradient): यह $W(x)$ के साथ $x$ की सभी निर्भरताओं (dependencies) के माध्यम से डिफरेंशिएट करता है, जिसमें गेटिंग और नॉर्मलाइजेशन स्टैटिस्टिक्स शामिल हैं। इससे गेटिंग और नॉर्मलाइजेशन के कारण शोर उत्पन्न होता है।
पुलबैक (Pullback): इसे डायनेमिक लीनियर घटक के एडजॉइंट के रूप में परिभाषित किया गया है, $\nu_u(x) = W(x)^\top u$ । यह आउटपुट स्पेस के वेक्टर $u$ को इनपुट स्पेस में वापस ले जाता है बिना $W(x)$ के स्टेट-डिपेंडेंट पैरामीटर्स के माध्यम से डिफरेंशिएट किए। लीनियर लेयर्स के लिए, पुलबैक और ग्रेडिएंट समान होते हैं; नॉन-लीनियर/रूटिंग लेयर्स (ReLU, MaxPool, Attention) के लिए, वे भिन्न होते हैं।

सिमेंटिक पुलबैक फ्रेमवर्क (The Semantic Pullback Framework)

लेखक सुसंगत स्थानीय संरचनाओं (coherent local structures) को बहाल करने के लिए दो मुख्य तंत्रों के माध्यम से मानक पुलबैक को परिष्कृत करते हैं:

सॉफ्ट एडजॉइंट (Soft Adjoint - Soft Pullback - SfP):
मानक पुलबैक अभी भी शोर वाले हो सकते हैं क्योंकि हार्ड गेटिंग (जैसे, ReLU मास्क) कमजोर लेकिन अर्थपूर्ण घटकों को अचानक दबा देती है। लेखक सॉफ्ट एडजॉइंट्स पेश करते हैं, जो हार्ड बैकवर्ड गेटिंग को एक सॉफ्ट फंक्शन से बदलते हैं जो तापमान पैरामीटर $\tau$ द्वारा नियंत्रित होता है।
- तंत्र (Mechanism): ReLU, SiLU, या MaxPool जैसी लेयर्स के लिए, बैकवर्ड पास के दौरान हार्ड गेट (जैसे, $1\{z>0\}$ ) को केवल एक सॉफ्ट फंक्शन (जैसे, Normal CDF $\Phi(z/\tau)$ या टेम्परेचर-स्केल्ड सिग्मॉइड) द्वारा प्रतिस्थापित किया जाता है।
- लक्ष्य (Goal): यह डेटा वितरण पर एक्सपेक्टेड लोकल पुलबैक (expected local pullback) का अनुमान लगाता है और बिना फॉरवर्ड पाथ को बदले या स्टोकेस्टिक सैंपलिंग की आवश्यकता के, कमजोर लेकिन सुसंगत फीचर घटकों को बहाल करता है।
पुलबैक एसेंट (Pullback Ascent - PA):
अधिक सुसंगत संरचनाओं को बेहतर बनाने के लिए, विशेष रूप से उन आर्किटेक्चरों में जिनमें मजबूत इंट्रा-लेयर डिपेंडेंसी (जैसे, Self-Attention) होती है, यह विधि एक इटरेटिव रिफाइनमेंट प्रक्रिया का उपयोग करती है।
- तंत्र (Mechanism): इनपुट $x$ से शुरू करते हुए, एल्गोरिदम सॉफ्ट पुलबैक वेक्टर फील्ड के साथ इटरेटिवली एसेंट करता है: $x^{(t+1)} = x^{(t)} + \alpha \cdot \text{Norm}(\tilde{\nu}_u(x^{(t)}))$ ।
- लक्ष्य (Goal): यह लक्षित न्यूरॉन द्वारा एनकोडेड फीचर्स को उभारने के लिए लोकलाइज्ड, क्लास-कंडीशन्ड परटर्बेशन्स उत्पन्न करता है। यह एक हल्का स्थानीय एसेंट प्रोसीजर है जिसमें केवल कुछ स्टेप्स ( $K \approx 5$ ) की आवश्यकता होती है और इसके लिए भारी फ्रीक्वेंसी-डोमेन रेगुलाइजेशन की आवश्यकता नहीं होती है।

सिमेंटिक पुलबैक्स (SP) लेयर-विशिष्ट एडजॉइंट रिफाइनमेंट्स के माध्यम से उत्पन्न स्पष्टीकरणों के लिए एक अम्ब्रेला टर्म है। यह विधि बिना आर्किटेक्चर परिवर्तन, रिट्रेनिंग या फाइन-ट्यूनिंग के मानक प्री-ट्रेंड मॉडल्स (CNNs और Transformers) पर सीधे काम करती है।

मुख्य योगदान (Main Contributions)

सिमेंटिक पुलबैक्स के लिए फ्रेमवर्क: सॉफ्टेड एडजॉइंट ट्रांसपोर्ट पर आधारित एक सिद्धांत आधारित पद्धति। यह ग्रेडिएंट स्मूथिंग, B-cos एलाइनमेंट और फीचर एक्सेंटुएशन की अवधारणाओं को इस दृष्टिकोण के तहत एकीकृत करता है कि न्यूरॉन्स स्थानीय डेटा वितरण पर 'एक्सपेक्टेशन' के रूप में फीचर्स का प्रतिनिधित्व करते हैं।
कुशल कार्यान्वयन (Efficient Implementation): एक लेयर-वाइज, क्लोज्ड-फॉर्म इम्प्लीमेंटेशन जो मानक प्री-ट्रेंड CNNs (ResNet, VGG) और ट्रांसफॉर्मर्स (PVT) पर काम करता है। इसके लिए किसी आर्किटेक्चर परिवर्तन या स्टोकेस्टिक सैंपलिंग की आवश्यकता नहीं है, जिससे यह कम्प्यूटेशनल रूप से कुशल बनता है।
पुलबैक एसेंट (Pullback Ascent): सुसंगत, क्लास-कंडीशन्ड काउंटरफैक्टुअल परटर्बेशन्स उत्पन्न करने के लिए एक हल्का प्रोसीजर, जो कुछ ही स्टेप्स में काम करता है और ग्रेडिएंट एसेंट में दिखने वाले शोर और एडवर्सरियल आर्टिफैक्ट्स से बचता है।
अनुभवजन्य सत्यापन (Empirical Validation): ResNet50, VGG, और PVT पर छह मेट्रिक्स (फिडेलिटी, रोबस्टनेस, टारगेट स्पेसिफिसिटी) का उपयोग करके 1,000 ImageNet वैलिडेशन इमेजेस पर व्यापक मूल्यांकन।

परिणाम (Results)

लेखकों ने Quantus टूलकिट का उपयोग करके स्थापित बेसलाइन्स (Gradient, SmoothGrad, Integrated Gradients, DeepLift, GuidedGrad-CAM, आदि) के विरुद्ध SP का मूल्यांकन किया।

फिडेलिटी (Fidelity): SP सभी आर्किटेक्चर में इन्फिडेलिटी (Infidelity) (एक मीट्रिक जो मापता है कि स्पष्टीकरण परटर्बेशन के बाद स्कोर परिवर्तनों की कितनी अच्छी तरह भविष्यवाणी करता है) में महत्वपूर्ण सुधार करता है। उदाहरण के लिए, PVT पर स्टैंडर्ड ग्रेडिएंट्स के 8.91 की तुलना में पुलबैक एसेंट ने 1.63 की इन्फिडेलिटी प्राप्त की।
स्थिरता और लक्ष्य संवेदनशीलता (Stability & Target Sensitivity): SP मेथड्स मैक्स सेंसिटिविटी (रोबस्टनेस) और रैंडम लॉजिट (टारगेट स्पेसिफिसिटी) में प्रतिस्पर्धी या बेहतर प्रदर्शन दिखाते हैं। GuidedGrad-CAM के विपरीत, जो अलग-अलग क्लासेस के लिए समान मैप्स बनाता है (उच्च Random Logit), SP विशिष्ट, टारगेट-स्पेसिफिक स्पष्टीकरण उत्पन्न करता है।
परसेप्चुअल एलाइनमेंट (Perceptual Alignment): गुणात्मक परिणाम दिखाते हैं कि SP हीटमैप्स और काउंटरफैक्टुअल परटर्बेशन्स विजुअली सुसंगत हैं और अर्थपूर्ण ऑब्जेक्ट रीजन को हाइलाइट करते हैं, बिना उन शोर वाले, एडवर्सरियल पैटर्न के जो अक्सर ग्रेडिएंट-आधारित तरीकों में देखे जाते हैं।
दक्षता (Efficiency): SP कम्प्यूटेशनल रूप से कुशल है। एक सिंगल सॉफ्ट पुलबैक के लिए अनिवार्य रूप से केवल एक बैकवर्ड पास की आवश्यकता होती है। पुलबैक एसेंट स्टेप्स $K$ की छोटी संख्या के साथ रैखिक रूप से स्केल करता है और SmoothGrad जैसी सैंपलिंग-आधारित विधियों या Integrated Gradients जैसी पाथ-इंटिग्रेशन विधियों की तुलना में काफी तेज़ रहता है।

महत्व और दावे (Significance and Claims)

लेख का दावा है कि एडजॉइंट ट्रांसपोर्ट को डीप लर्निंग में ग्रेडिएंट्स के साथ एक "फर्स्ट-क्लास प्रिमिटिव" के रूप में माना जाना चाहिए। लेखक तर्क देते हैं कि:

ग्रेडिएंट हमेशा सही सामान्यीकरण नहीं होते: डायनेमिक अफ़ाइन नेटवर्क में, ग्रेडिएंट में गेट्स और स्टैटिस्टिक्स के माध्यम से डिफरेंशिएशन से जुड़े टर्म्स होते हैं जो शायद न्यूरॉन के वास्तविक "एक्शन" या पसंदीदा दिशा को प्रतिबिंबित न करें।
न्यूरल फीचर्स स्थानीय रूप से अपेक्षित (locally expected) होते: सार्थक फीचर्स अक्सर पूरी तरह से साकार दिशाओं के बजाय आंशिक रूप से सक्रिय, स्थानीय अपेक्षाओं के रूप में व्यक्त किए जाते हैं। SP इन अपेक्षाओं का अनुमान लगाने के लिए सॉफ्ट एडजॉइंट्स का उपयोग करता है।
रिट्रेनिंग की आवश्यकता नहीं: B-cos नेटवर्क के विपरीत, जिसके लिए मॉडल ट्रांसफॉर्मेशन और फाइन-ट्यूनिंग की आवश्यकता होती है, SP को मौजूदा प्री-ट्रेंड नेटवर्क्स पर सीधे लागू किया जा सकता है ताकि अधिक निष्ठावान और परसेप्चुअली अलाइन्ड स्पष्टीकरण दिए जा सकें।
एकीकृत दृष्टिकोण: यह दृष्टिकोण न्यूरल कंप्यूटेशन के लिए एक पाथ-बेस्ड व्यू का सुझाव देता है, जहाँ पुलबैक को सॉफ्ट करने से गेटिंग कंपोनेंट स्मूथ हो जाता है और प्रभावी रूप से उन "स्ट्रॉन्ग पाथ्स" को हाइलाइट करता है जिनका नेटवर्क निर्णय लेने के लिए उपयोग करता है।

लेखक निष्कर्ष निकालते हैं कि सिमेंटिक पुलबैक्स व्यावहारिक, सैद्धांतिक रूप से ठोस तंत्र प्रदान करते हैं जो मॉडल के प्रेडिक्टिव व्यवहार के प्रति निष्ठावान, स्थिर और परसेप्चुअली अलाइन्ड स्पष्टीकरण उत्पन्न करते हैं, बिना सैंपलिंग के कम्प्यूटेशनल ओवरहेड या मॉडल रिट्रेनिंग की आवश्यकता के।