🤖 machine learning

Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers

यह शोध पत्र GradSkip को प्रस्तुत करता है, जो विजन ट्रांसफॉर्मर्स के लिए एक नवीन प्रासंगिकता प्रसार (relevance propagation) विधि है जो अटेंशन हेड्स को अनुकूल रूप से भारित करके और रेसिडुअल कनेक्शनों के माध्यम से प्रासंगिकता को गतिशील रूप से वितरित करके निष्ठा (faithfulness) और स्थानीयकरण (localization) में सुधार करती है, जिससे मौजूदा दृष्टिकोणों की तुलना में 14 गुना से अधिक कम GFLOPs के साथ अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग है जिसे विज़न ट्रांसफ़ॉर्मर (ViT) कहा जाता है। यह तस्वीरों को देखने और उनमें क्या है—जैसे कि एक लेडीबग या एक ट्रक को पहचानने में अद्भुत है। लेकिन समस्या यह है कि रोबोट थोड़ा "ब्लैक बॉक्स" जैसा है। आप उससे पूछ सकते हैं, "आपको क्यों लगा कि वह एक ट्रक था?" और वह बस इतना कहता है, "क्योंकि मैंने ऐसा कहा।" वह आपको यह नहीं दिखाता कि किस हिस्से ने उसे निर्णय लेने के लिए प्रेरित किया।

वैज्ञानिकों ने रोबोट के दिमाग के अंदर झाँकने की कोशिश की है कि वह कैसे सोचता है, लेकिन उनके पुराने उपकरण ऐसे थे जैसे अखरोट तोड़ने के लिए हथौड़े का उपयोग करना। उन्होंने रोबोट के दिमाग के हर हिस्से के साथ ऐसा व्यवहार किया जैसे कि वे सभी समान रूप से महत्वपूर्ण हों, और उन्होंने उन "शॉर्टकट" तारों को अनदेखा कर दिया जो सूचना को बिना बदले सीधे प्रवाहित होने देते हैं। इसने उनकी व्याख्याओं को अव्यवस्थित और अक्सर गलत बना दिया।

पेश है GradSkip, एक नया, शानदार टूल जिसे क्रिस्टोफर बुराटी और उनकी टीम ने इस गड़बड़ को ठीक करने के लिए बनाया है। GradSkip को एक स्मार्ट डिटेक्टिव (जासूस) के रूप में समझें जो केवल पूरे दिमाग को एक साथ नहीं देखता, बल्कि जानता है कि कौन से न्यूरॉन्स भारी काम कर रहे हैं और कौन से सिर्फ झपकी ले रहे हैं।

दो बड़ी गलतियाँ जो पुराने उपकरणों ने कीं

पेपर बताता है कि पिछले जासूसों के काम करने के तरीके में दो बड़ी त्रुटियाँ थीं:

"सब बराबर हैं" वाली गलती: एक गायक मंडली (choir) की कल्पना करें जहाँ कुछ गायक सोलोइस्ट (soloists) एकदम सटीक ऊंचे सुर लगा रहे हैं, जबकि अन्य केवल पृष्ठभूमि में गुनगुना रहे हैं। पुराने उपकरणों ने हर गायक के साथ ऐसा व्यवहार किया जैसे कि वे सभी एक ही वॉल्यूम में गा रहे हों। GradSkip समझता है कि कुछ "अटेंशन हेड्स" (गायक मंडली के हिस्से) निर्णय के लिए बहुत महत्वपूर्ण हैं, जबकि अन्य केवल शोर (noise) हैं। यह सोलोइस्ट को सुनने और गुनगुनाहट को अनदेखा करने के बारे में सीखता है।
"शॉर्टकट" वाली गलती: ट्रांसफॉर्मर्स के पास ये शानदार "स्किप कनेक्शन" होते हैं—जैसे एक गुप्त सुरंग जो एक संदेश को पूरे कमरे को छोड़कर सीधे अगले कमरे में जाने देती है। पुराने उपकरणों ने इन सुरंगों के साथ ऐसा व्यवहार किया जैसे कि वे केवल खाली गलियारे हैं जिनमें कुछ भी नहीं बदलता। लेकिन कभी-कभी, संदेश मुख्य कमरे में बदल जाता है, और कभी-कभी नहीं। GradSkip पहला है जो यह जाँचता है: "क्या इस संदेश ने सुरंग का रास्ता लिया, या इसे मुख्य कमरे में बदला गया?" यह पता लगाता है कि प्रत्येक पथ को कितना श्रेय दिया जाए।

GradSkip रहस्य को कैसे सुलझाता है

GradSkip रोबोट की सोच को समझने के लिए एक चतुर दो-चरणीय रणनीति का उपयोग करता है:

चरण 1: "कौन कौन है" फ़िल्टर: यह रोबोट के दिमाग को देखता है और पूछता है, "कौन से अटेंशन हेड्स वास्तव में काम कर रहे हैं?" यह एक विशेष गणितीय ट्रिक (ग्रेडिएंट फ्लो और एक "स्पैरसिटी" माप को मिलाना, जो कि एक स्पॉटलाइट के केंद्रित होने की जांच करने जैसा है) का उपयोग करके सबसे महत्वपूर्ण हेड्स को चुनता है। यह एक क्लब के बाउंसर की तरह है जो केवल कूल और प्रासंगिक न्यूरॉन्स को अंदर आने देता है और शोर मचाने वालों को बाहर निकाल देता है।
चरण 2: "पाथ स्प्लिटर" (पथ विभाजक): जब जासूस विचार प्रक्रिया को पीछे की ओर ट्रैक करता है, तो वह "प्रासंगिकता" (निर्णय के लिए श्रेय) को मुख्य पथ और स्किप पथ के बीच विभाजित करता है। यदि रोबोट ने जानकारी को बिना बदले बस आगे पहुँचा दिया, तो GradSkip स्किप पथ को अधिक श्रेय देता है। यदि रोबोट ने कुछ गहन सोच-विचार किया, तो वह मुख्य पथ को श्रेय देता है। यह श्रेय साझा करने का एक गतिशील और निष्पक्ष तरीका है।

प्रमाण: यह काम करता है, और यह तेज़ है!

टीम ने कई तस्वीरों पर GradSkip का परीक्षण किया, जिसमें एक मानक 1,000 छवियों (ImageNet1K) से लेकर मेडिकल ब्लड सेल फोटो (BloodMNIST) तक शामिल हैं। उन्होंने इसे एक कार्य पर भी आज़माया जहाँ रोबोट को छवि के हर हिस्से को कलर-कोड करना होता है (सेगमेंटेशन)।

यहाँ उन्हें क्या पता चला:

यह सबसे ईमानदार व्याख्या है: जब उन्होंने परीक्षण किया कि कितनी अच्छी तरह से व्याख्याएं रोबोट के वास्तविक निर्णयों से मेल खाती हैं, तो GradSkip सबसे अच्छा था। ImageNet1K टेस्ट पर, यह एक प्रमुख मीट्रिक में दूसरे सर्वश्रेष्ठ तरीके से 12.50% बेहतर था। मेडिकल ब्लड सेल टेस्ट पर, यह उतना ही अच्छा था।
यह अविश्वसनीय रूप से सटीक है: जब उन्होंने रोबiously रोबोट को वस्तु की ओर इशारा करने के लिए कहा, तो GradSkip सबसे सटीक था।
यह एक स्पीड डेमन (गति का सौदागर) है: यह सबसे कूल हिस्सा है। पुराने, सटीक तरीके एक टैंक चलाने की तरह थे—वे बहुत अच्छा काम करते थे लेकिन बहुत अधिक ईंधन खर्च करते थे। GradSkip एक चिकनी स्पोर्ट्स कार की तरह है। यह दूसरे सर्वश्रेष्ठ सटीक तरीके की तुलना में 14.45 गुना कम GFLOPs (कंप्यूटर कार्य का एक माप) का उपयोग करता है। क्लासिफिकेशन के लिए, इसे केवल 69.39 GFLOPs की आवश्यकता थी, और सेगमेंटेशन के लिए, केवल 28.52 GFLOPs।

GradSkip क्या नहीं है

पेपर बहुत स्पष्ट है कि GradSkip क्या नहीं करता है:

यह तब काम नहीं करता जब आप रोबोट के दिमाग के अंदर नहीं देख सकते। आपको एक "बैकवर्ड पास" (ग्रेडिएंट्स की जाँच करना) चलाने में सक्षम होना चाहिए, इसलिए इसका उपयोग उन मॉडलों पर नहीं किया जा सकता जहाँ आप उनके आंतरिक गियर नहीं देख सकते।
यह सब कुछ जादू से ठीक नहीं कर देता। कुछ पेचीदा मामलों में, जैसे कि जब एक तस्वीर में एक ही प्रकार की कई वस्तुएं होती हैं, तो यह अभी भी बहुत अच्छा है, लेकिन पेपर स्वीकार करता है कि इसमें परफेक्ट स्कोर पाना कठिन है।
यह "CLS टोकन" (एक विशेष टोकन जिसका उपयोग कुछ रोबोट पूरी छवि का सारांश देने के लिए करते हैं) को नहीं देखता है। लेखक नोट करते हैं कि मानक रोबोटों के लिए जो इस टोकन का उपयोग करते हैं, उन्हें अनदेखा करने से कुछ सुराग छूट सकते हैं, लेकिन अन्य प्रकार के (जैसे SegFormer) के लिए, यह पूरी तरह से काम करता है।

निचोड़

GradSkip केवल एक छोटा सा बदलाव नहीं है; यह रोबोट को सुनने का एक स्मार्ट तरीका है। यह महसूस करके कि मस्तिष्क के सभी भाग समान नहीं हैं और "शॉर्टकट" तारों का सम्मान करके, यह हमें एक स्पष्ट, ईमानदार और सुपर-फास्ट नज़र देता है कि विज़न ट्रांसफॉर्मर निर्णय कैसे लेते हैं। लेखक सुझाव देते हैं कि यह मेडिकल इमेजिंग जैसे क्षेत्रों के लिए गेम-चेंजर हो सकता है, जहाँ यह समझना कि रोबोट ने निदान (diagnosis) क्यों किया, निदान करने जितना ही महत्वपूर्ण है। और सबसे अच्छी बात? यह यह सब बिना किसी सुपरकंप्यूटर की आवश्यकता के करता है।

तकनीकी सारांश: विजन ट्रांसफॉर्मर के कुशल स्पष्टीकरण के लिए ग्रेडिएंट-स्किपिंग प्रासंगिकता प्रसार (Gradient-Skipping Relevance Propagation)

1. समस्या विवरण

विजन ट्रांसफॉर्मर्स (ViTs) ने कंप्यूटर विजन में अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन वे व्याख्या करने में कठिन बने हुए हैं। मौजूदा स्पष्टीकरण विधियाँ—जिन्हें ग्रेडिएंट-आधारित, अटेंशन-आधारित और परटर्बेशन-आधारित (perturbation-based) श्रेणियों में वर्गीकृत किया गया है—ट्रांसफॉर्मर आर्किटेक्चर पर लागू होने पर महत्वपूर्ण सीमाओं से ग्रस्त हैं।

पहचाने गए मुख्य मुद्दे हैं:

यूनिफॉर्म हेड ट्रीटमेंट (Uniform Head Treatment): अधिकांश अटेंशन-आधारित दृष्टिकोण यह मान लेते हैं कि सभी अटेंशन हेड्स समान महत्व रखते हैं। हालांकि, साहित्य यह संकेत देता है कि हेड्स विषम भूमिकाएँ निभाते हैं; कुछ अर्थपूर्ण केंद्रित पैटर्न को एनकोड करते हैं जबकि अन्य विसरित (diffuse) रूप से ध्यान केंद्रित करते हैं। उन्हें समान रूप से व्यवहार करने से सूचनात्मक और गैर-सूचनात्मक संकेतों के मिश्रण के कारण स्पष्टीकरण का प्रभाव कम हो जाता है।
रेसिडुअल कनेक्शन की उपेक्षा (Neglect of Residual Connections): मौजूदा विधियाँ अक्सर स्किप कनेक्शन को 'आइडेंटिटी पाथ' के रूप में मानती हैं या निश्चित ह्यूरिस्टिक्स का उपयोग करती हैं। यह सीखे गए रूपांतरणों (learned transformations) के प्रति प्रासंगिकता और केवल आइडेंटिटी रूट के माध्यम से संरक्षित प्रासंगिकता के बीच अंतर करने में विफल रहता है, जिससे गलत प्रासंगिकता एट्रिब्यूशन होता है।
दक्षता बनाम निष्ठा का समझौता (Efficiency vs. Faithfulness Trade-off): ग्रेडिएंट-आधारित विधियाँ गणनात्मक रूप से सस्ती हैं लेकिन गहरे ट्रांसफॉर्मर में अस्थिर एट्रिब्यूशन से ग्रस्त होती हैं। परटर्बेशन-आधारित विधियाँ उच्च निष्ठा (faithfulness) प्रदान करती हैं लेकिन उनके लिए भारी गणनात्मक लागत (हजारों फॉरवर्ड पास) की आवश्यकता होती है। अटेंशन-आधारित विधियाँ कुशल हैं लेकिन अक्सर कारण विश्वसनीयता (causal reliability) की कमी होती है।

2. कार्यप्रणाली: GradSkip

इन सीमाओं को दूर करने के लिए, लेखक GradSkip प्रस्तावित करते हैं, जो एक प्रासंगिकता प्रसार विधि है जो दो वैचारिक नवाचारों को पेश करती है: एडेप्टिव हेड वेटिंग और स्किप-कनेक्शन-अवेयर प्रोपेगेशन।

2.1 एडेप्टिव अटेंशन हेड वेटिंग (Adaptive Attention Head Weighting)

सभी हेड्स का औसत निकालने के बजाय, GradSkip दो पूरक मेट्रिक्स को मिलाकर गतिशील, हेड-विशिष्ट महत्व भार ( $\omega^l_q$ ) की गणना करता है:

ग्रेडिएंट-आधारित फ्लो मेट्रिक ( $\tilde{g}^l_q$ ): यह अटेंशन स्कोर द्वारा भारित ग्रेडिएंट परिमाण को मापकर मॉडल के निर्णय पर एक हेड के कारणत्मक प्रभाव (causal influence) को मात्रात्मक रूप से दर्शाता है। एक थ्रेशोल्डिंग तंत्र उन हेड्स को फ़िल्टर करता है जिनका ग्रेडिएंट फ्लो नगण्य है ताकि शोर (noise) को कम किया जा सके।
गिनी-आधारित स्पर्सिटी मेट्रिक ( $\tilde{s}^l_q$ ): यह हेड के स्थानिक-अर्थपूर्ण फोकस (spatial-semantic focus) को कैप्चर करता है। सॉर्ट किए गए अटेंशन मानों पर गिनी गुणांक (Gini coefficient) की गणना की जाती है; उच्च गिनी गुणांक "स्पाइक्ड" अटेंशन पैटर्न (विशिष्ट क्षेत्रों पर केंद्रित) को दर्शाते हैं, जो उन्हें विसरित वितरणों से अलग करते हैं।

अंतिम भार एक कॉनवेक्स कॉम्बिनेशन है: $\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$ , जहाँ $\alpha$ कारण प्रासंगिकता और स्थानिक सुसंगतता (spatial coherence) के बीच संतुलन बनाता है।

2.2 स्किप-कनेक्शन-अवेयर प्रासंगिकता प्रसार (Skip-Connection-Aware Relevance Propagation)

GradSkip बैकवर्ड प्रोपेगेशन के दौरान ट्रांसफॉर्मर ब्लॉक्स के रेसिडुअल स्ट्रक्चर को स्पष्ट रूप से मॉडल करता है। स्किप पाथ को एक फिक्स्ड आइडेंटिटी के रूप में मानने के बजाय, यह सापेक्ष कारण योगदान के आधार पर अटेंशन ट्रांसफॉर्मेशन पाथ और स्किप कनेक्शन पाथ के बीच प्रासंगिकता को गतिशील रूप से विभाजित करता है।

प्रत्येक पाथ के योगदान को ग्रेडिएंट-वेटेड एक्टिवेशन मैग्नीट्यूड का उपयोग करके मात्रात्मक रूप से निर्धारित किया जाता है:

$\beta^l_{main}$ : मुख्य अटेंशन पाथ के लिए सामान्यीकृत प्रासंगिकता गेट।
$\beta^l_{skip}$ : स्किप कनेक्शन के लिए पूरक गेट ( $1 - \beta^l_{main}$ )।

लेयर $l-1$ पर प्रासंगिकता की गणना इस प्रकार की जाती है:
$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$
जहाँ $\tilde{W}^l$ एक वेटेड अटेंशन मैट्रिक्स है जिसमें हेड इम्पोर्टेंस, ग्रेडिएंट मैग्नीट्यूड और एम्बेडिंग मैग्नीट्यूड शामिल हैं। यह सुनिश्चित करता है कि ब्लॉक जो मुख्य रूप से आइडेंटिटी मैपिंग के रूप में कार्य करते हैं, वे स्पष्टीकरण में न्यूनतम योगदान दें, जिससे स्किप कनेक्शन के माध्यम से प्रासंगिकता सुरक्षित रहती है।

2.3 कार्यान्वयन विवरण (Implementation Details)

इस प्रक्रिया में इंटरमीडिएट रिप्रेजेंटेशन, ग्रेडिएंट्स और अटेंशन मैप्स को कैप्चर करने के लिए एक सिंगल फॉरवर्ड पास, और उसके बाद प्रासंगिकता को प्रसारित करने के लिए एक सिंगल बैकवर्ड पास शामिल है। इसमें फ्लो इम्बैलेंस को संबोधित करने और FullGrad-completeness सुनिश्चित करने के लिए ग्रेडिएंट रीस्केलिंग शामिल है।

3. प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

एडेप्टिव हेड वेटिंग: एक तंत्र जो व्यक्तिगत अटेंशन हेड्स के कारणत्मक प्रभाव और चयनात्मकता (selectivity) को कैप्चर करने के लिए ग्रेडिएंट-आधारित फ्लो और गिनी-आधारित स्पर्सिटी को जोड़ता है, जो यूनिफॉर्म ट्रीटमेंट से आगे बढ़ता है।
स्किप-कनेक्शन-अवेयर प्रोपेगेशन: एक गतिशील नियम जो उनके सापेक्ष कारण योगदान के आधार पर अटेंशन और रेसिडुअल पाथ के बीच प्रासंगिकता को विभाजित करता है, जो ट्रांसफॉर्मर्स के मौलिक रेसिडुअल स्ट्रक्चर का सम्मान करता है।
व्यापक मूल्यांकन: वर्गीकरण (ImageNet1K, BloodMNIST) और सेगमेंटेशन (ADE20K-150) बेंचमार्क पर व्यापक प्रयोग जो काफी कम गणनात्मक लागत के साथ स्टेट-ऑफ-द-आर्ट निष्ठा (faithfulness) और लोकलाइजेशन प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम

4.1 वर्गीकरण प्रदर्शन

ViT-Base और DeiT-Base मॉडल्स का ImageNet1K और BloodMNIST पर मूल्यांकन किया गया:

निष्ठा (Faithfulness): GradSkip ने Insertion-Deletion मेट्रिक और Faithfulness Violation Test पर स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया। उदाहरण के लिए, ImageNet1K पर ViT-Base के साथ, इसने दूसरे सर्वश्रेष्ठ दृष्टिकोण (MUTEX) को Insertion-Deletion स्कोर में 12.50% तक पीछे छोड़ दिया।
लोकलाइजेशन (Localization): Pointing Game मेट्रिक पर, GradSkip ने ViT-Base (0.868) पर उच्चतम स्कोर प्राप्त किया और DeiT-Base (0.831) पर प्रतिस्पर्धी परिणाम दिए।
दक्षता (Efficiency): एक एट्रिब्यूशन मैप उत्पन्न करने के लिए GradSkip को 69.39 GFLOPs की आवश्यकता हुई। यह MUTEX की तुलना में 14.45 गुना कम और TIS की तुलना में 256.66 गुना कम ऑपरेशन्स है, जबकि अन्य कुशल विधियों (जैसे LRP वेरिएंट) की तुलना में बेहतर निष्ठा बनाए रखता है।

4.2 सेगमेंटेशन प्रदर्शन

SegFormer मॉडल का उपयोग करके ADE20K-150 पर मूल्यांकन किया गया:

GradSkip ने उच्चतम पिक्सेल एक्यूरेसी (PA) (0.815) और मीन इंटरसेक्शन ओवर यूनियन (mIoU) (0.371) प्राप्त किया।
इसने mIoU में दूसरे सर्वश्रेष्ठ दृष्टिकोण (MUTEX) को 53.94% से पछाड़ दिया।
Finer-CAM जैसे तरीकों के विपरीत, जो ओवर-एक्सटेंडेड सैलियंसी मैप्स के कारण उच्च PA लेकिन कम mIoU प्राप्त करते हैं, GradSkip ने क्लास-स्पेसिफिक क्षेत्रों को सटीक रूप से चित्रित करने की बेहतर क्षमता प्रदर्शित की।
दक्षता: इसे केवल 28.52 GFLOPs की आवश्यकता हुई, जो सबसे कुशल LRP-आधारित विधियों के तुलनीय है, लेकिन काफी उच्च सेगमेंटेशन सटीकता के साथ।

4.3 एब्लेशन और विश्लेषण (Ablation and Analysis)

हेड स्पर्सिटी (Head Sparsity): सांख्यिकीय विश्लेषण ने पुष्टि की कि अटेंशन स्पर्सिटी (गिनी गुणाफ़ंक द्वारा मापा गया) और निष्ठा स्कोर के बीच एक महत्वपूर्ण सहसंबंध है। स्पर्सिटी के आधार पर केवल शीर्ष 25% हेड्स को चुनने से प्रदर्शन में सुधार हुआ, जबकि निचले 25% के उपयोग से प्रदर्शन गिर गया।
हाइपरपैरामीटर्स: ग्रेडिएंट फ्लो और स्पर्सिटी के बीच इष्टतम संतुलन $\alpha = 0.50$ पर पाया गया। केवल एक मेट्रिक पर निर्भर रहने से प्रदर्शन में 26.67% तक की गिरावट आई।
गुणात्मक विश्लेषण: विज़ुअलाइज़ेशन ने दिखाया कि GradSkip केंद्रित, स्थानिक रूप से सटीक हीटमैप्स उत्पन्न करता है जो पृष्ठभूमि के शोर को दबाते हुए डिस्क्रिमिनेटिव क्षेत्रों (जैसे लेडीबग जैसी छोटी वस्तुएं या फ्लैगपोल जैसी पतली संरचनाएं) को सही ढंग से अलग करता है, जो प्रतिस्पर्धियों से बेहतर है जो विसरित या बिखरे हुए एक्टिवेशन दिखाते हैं।

5. महत्व और दावे

पेपर का दावा है कि GradSkip कुशलतापूर्वक विजन ट्रांसफॉर्मर्स के लिए गणनात्मक दक्षता और स्पष्टीकरण निष्ठा के बीच के अंतर को पाटता है। इसका महत्व निम्नलिखित में निहित है:

आर्किटेक्चरल अवेयरनेस: अटेंशन हेड्स की विषम भूमिकाओं और रेसिडुअल कनेक्शन की गतिशील प्रकृति को स्पष्ट रूप से मॉडल करके, GradSkip ऐसे स्पष्टीकरण प्रदान करता है जो बेहतर ढंग से दर्शाते हैं कि मॉडल इनपुट को कैसे प्रोसेस करता है।
व्यावहारिक परिनियोजन (Practical Deployment): यह महंगी परटर्बेशन-आधारित दृष्टिकोणों की विशिष्ट निष्ठा प्रदान करता है, लेकिन बहुत कम कंप्यूटेशनल बजट (LRP के तुलनीय) पर, जिससे यह उन व्यावहारिक अनुप्रयोगों के लिए उपयुक्त हो जाता है जहाँ संसाधन सीमित हैं।
मजबूती (Robustness): विधि विभिन्न डेटासेट (सामान्य और मेडिकल), मॉडल आर्किटेक्चर (ViT, DeiT, SegFormer) और कार्य प्रकारों (वर्गीकरण और सेगमेंटेशन) पर सुसंगत प्रदर्शन प्रदर्शित करती है।

लेखक सीमाओं का उल्लेख करते हैं, विशेष रूप से यह कि Grad-Skip के लिए मॉडल के आंतरिक भाग (ग्रेडिएंट्स और एक्टिवेशन्स) तक पहुंच की आवश्यकता होती है और इसे पूरी तरह से फॉरवर्ड, ग्रेडिएंट-फ्री सेटिंग्स में लागू नहीं किया जा सकता है। इसके अतिरिक्त, वर्तमान कार्यान्वयन CLS टोकन को हटा देता है, जो मानक ViTs के लिए इसकी प्रयोज्यता को सीमित कर सकता है जहाँ CLS टोकन ग्लोबल कॉन्टेक्स्ट को एकत्रित करता है, हालांकि यह SegFormer जैसे वेरिएंट्स के लिए सीधे तौर पर लागू है जो इस पर निर्भर नहीं हैं।