💻 computer science

Towards Explainability of SLMs by investigating Token Level Activation

यह शोध पत्र एक्टिवेशन फ्लो नेटवर्क (AFN) का प्रस्ताव करता है, जो एक हल्का और मॉडल-अज्ञेय (model-agnostic) ढांचा है जो लेयर-8 के हिडन-स्टेट एक्टिवेशन स्ट्रेंथ्स का विश्लेषण करके BERT में टोकन-स्तरीय महत्व को परिमाणित करता है, यह प्रदर्शित करते हुए कि अर्थपूर्ण टोकन संरचनात्मक टोकन की तुलना में काफी अधिक एक्टिवेशन मैग्नीट्यूड प्रदर्शित करते हैं और इस प्रकार अटेंशन-केंद्रित विधियों के लिए एक व्याख्या योग्य विकल्प प्रदान करते हैं।

मूल लेखक: Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास BERT नाम का एक बहुत ही बुद्धिमान, लेकिन रहस्यमयी रोबोट लाइब्रेरियन है। इस लाइब्रेरियन ने लगभग वह सब कुछ पढ़ लिया है जो कभी लिखा गया है और यह वाक्यों के माध्यम से सवालों के जवाब दे सकता है या भावनाओं को समझ सकता है। लेकिन इसमें एक पेंच है: कोई नहीं जानता कि यह वास्तव में कैसे सोचता है। यह एक "ब्लैक बॉक्स" की तरह है—आप एक वाक्य डालते हैं, और एक उत्तर बाहर आता है, लेकिन इसके अंदर के गियर छिपे हुए हैं।

लंबे समय तक, शोधकर्ताओं ने इसकी "अटेंशन" (ध्यान) को देखकर इसके अंदर झांकने की कोशिश की। उन्होंने सोचा, "यदि लाइब्रेरियन किसी शब्द को देख रहा है, तो वह शब्द महत्वपूर्ण होना चाहिए!" लेकिन उन्होंने एक चाल पकड़ी: लाइब्रेरियन अक्सर कॉमा, पूर्ण विराम या "the" या "is" जैसे उबाऊ शब्दों पर तीव्रता से घूरता रहता है, जबकि "beautiful," "disaster," या "Canada" जैसे वास्तविक रसीले शब्दों को अनदेखा कर देता है। यह एक सुरक्षा कैमरे की तरह था जो दरवाजे के हैंडल पर ज़ूम करता रहता है और उस व्यक्ति को अनदेखा कर देता है जो दरवाजे से अंदर आ रहा है।

नया विचार: "नज़र" के बजाय "ऊर्जा" को मापना

इस शोध पत्र के लेखकों ने एक अलग दृष्टिकोण अपनाने का निर्णय लिया। यह पूछने के बजाय कि "लाइब्रेरियन कहाँ देख रहा है?" उन्होंने पूछा, "लाइब्रेरियन प्रत्येक शब्द के बारे में सोचने में कितनी ऊर्जा का उपयोग कर रहा है?"

उन्होंने लाइब्रेरियन के मस्तिष्क के एक विशिष्ट कमरे पर ध्यान केंद्रित किया जिसे लेयर 8 (Layer 8) कहा जाता है। लाइब्रेरियन के मस्तिष्क को 12-मंजिला इमारत के रूप में सोचें:

फ्लोर 1–5: यह ग्राउंड फ्लोर है। यहाँ, लाइब्रेरियन केवल बुनियादी चीजें नोटिस करता है जैसे बड़े अक्षर (capital letters) या क्या कोई शब्द संज्ञा (noun) है या क्रिया (verb)।
फ्लोर 10–12: यह पेंटहाउस है। यहीं पर अंतिम उत्तर तय किया जाता है।
फ्लोर 8 (द स्वीट स्पॉट): यह "कंसोलिडेशन ज़ोन" है। यहाँ लाइब्रेरियन व्याकरण देखना बंद कर देता है और वास्तव में कहानी के अर्थ को समझने लगता है।

शोधकर्ताओं ने एक्टिवेशन फ्लो नेटवर्क (AFN) नामक एक उपकरण बनाया। लाइब्रेरियन की आँखों को देखने के बजाय, उन्होंने फ्लोर 8 के माध्यम से प्रत्येक शब्द के गुजरने के दौरान बहने वाली "बिजली" (जिसे गणितीय रूप से L2 Norm कहा जाता है) को मापा।

उन्होंने क्या पाया: "हाई-वोल्टेज" शब्द

जब उन्होंने इस ऊर्जा को मापा, तो उन्हें एक स्पष्ट पैटर्न मिला:

"हाई-वोल्टेज" शब्द: "prime," "minister," "Canada," "beautiful," या "enjoying" जैसे सामग्री-युक्त (content-rich) शब्दों ने नियॉन साइन की तरह चमक पैदा की। उनकी ऊर्जा सबसे अधिक थी।
"लो-वोल्टेज" शब्द: "the," "of," या प्रश्नवाचक चिह्न "?" जैसे संरचनात्मक शब्द मंद थे। वे वहां थे, लेकिन वे मुख्य अर्थ का भार नहीं उठा रहे थे।

उपमा: कल्पना कीजिए कि घर पैक करने वाले मूवर्स (सामान ले जाने वालों) की एक टीम है। "हाई-वोल्टेज" शब्द सोफे और पियानो जैसे भारी सामान हैं—उन्हें हिलाने के लिए सबसे अधिक प्रयास की आवश्यकता होती है। "लो-वोल्टेज" शब्द खाली डिब्बे या टेप हैं; वे काम के लिए आवश्यक हैं, लेकिन वे बहुत अधिक जगह या ऊर्जा नहीं लेते हैं। शोधकर्ताओं ने पाया कि फ्लोर 8 वह जगह है जहाँ भारी काम (heavy lifting) होता है।

"रिपल इफेक्ट" (लहरों का प्रभाव) प्रयोग

इसे साबित करने के लिए, शोधकर्ताओं ने "अंतर पहचानो" का खेल खेला। उन्होंने लाइब्रेरियन को दो बहुत समान वाक्य दिए:

"Enjoying a beautiful day at the park!"
"Enjoying a beautiful walk at the beach!"

उन्होंने देखा कि जब उन्होंने "day" को "walk" से और "park" को "beach" से बदला, तो "ऊर्जा" कैसे बदली।

स्पष्ट बात: जिन शब्दों को बदला गया था ("day" और "park"), उनमें ऊर्जा में भारी उछाल आया।
आश्चर्यजनक बात: यहाँ तक कि वे शब्द भी जो नहीं बदले थे (जैसे "beautiful" या "at"), उनमें ऊर्जा का महत्वपूर्ण बदलाव देखा गया!

उपमा: यह तालाब में पत्थर फेंकने जैसा है। जब आप एक शब्द (पत्थर) बदलते हैं, तो लहरें (ऊर्जा के बदलाव) फैल जाती हैं और उसके आसपास के पानी को बदल देती हैं, यहाँ तक कि उन हिस्सों को भी जिन्हें सीधे नहीं छुआ गया था। इससे पता चला कि फ्लोर 8 गहराई से जुड़ा हुआ है; वाक्य के एक हिस्से को बदलने से पूरे वाक्य को अपने अर्थ पर फिर से विचार करने के लिए मजबूर होना पड़ता है।

"बकेट" (बाल्टी) टेस्ट

अंत में, उन्होंने एक सरल नियम का उपयोग करके "महत्वपूर्ण" शब्दों को "बैकग्राउंड" शब्दों से अलग करने की कोशिश की। उन्होंने एक रेखा (threshold) खींची और सभी उच्च ऊर्जा वाले शब्दों को एक HIGH बाल्टी में और बाकी को एक LOW बाल्टी में डाल दिया।

उन्होंने पाया कि:

HIGH बाल्टी में केवल लगभग 25% शब्द थे (महत्वपूर्ण शब्द)।
लेकिन, इन कुछ शब्दों के लिए कुल अर्थ परिवर्तनों की 76% जिम्मेदारी थी।

उपमा: यह एक कॉन्सर्ट की तरह है जहाँ संगीतकारों का 25% हिस्सा (सोलोइस्ट) उस धुन को बजा रहा है जिसे हर कोई याद रखता है, जबकि बाकी 75% बैकग्राउंड रिदम बजा रहे हैं। यदि आप सोलोइस्ट को चुप कर देते हैं, तो गाना अपनी आत्मा खो देता है। यदि आप बैकग्राउंड को चुप कर देते हैं, तो आप अभी भी गाना सुन सकते हैं, भले ही वह थोड़ा खाली महसूस हो।

मुख्य निष्कर्ष

यह शोध पत्र केवल यह नहीं कहता कि "BERT स्मार्ट है।" यह हमें यह देखने का एक नया तरीका देता है कि वह कैसे सोचता है। "ऊर्जा" के माध्यम से प्रक्रिया के बीच में (लेयर 8 में) शब्दों को मापकर, उन्होंने "ब्लैक बॉक्स" को एक "ग्लास बॉक्स" में बदल दिया।

उन्होंने दिखाया कि BERT केवल विराम चिह्नों को घूर नहीं रहा है; वह वास्तव में अपना मानसिक ध्यान उन शब्दों पर केंद्रित कर रहा है जो वास्तविक अर्थ वहन करते हैं। यह हमें समझने में मदद करता है कि जब मॉडल एक वाक्य को प्रोसेस करता है, तो वह दुनिया को समझने के लिए "कंटेंट" शब्दों पर बहुत अधिक मेहनत (heavy lifting) कर रहा होता है, जबकि "स्ट्रक्चर" वाले शब्द केवल ढांचे को थामे रखते हैं।

तकनीकी सारांश: टोकन स्तर के एक्टिवेशन की जांच करके SLMs की व्याख्यात्मकता की ओर

समस्या विवरण
BERT जैसे ट्रांसफॉर्मर-आधारित मॉडलों के क्रांतिकारी प्रभाव के बावजूद, उनकी आंतरिक कार्यप्रणाली काफी हद तक अपारदर्शी बनी हुई है। अटेंशन वेट्स (attention weights) पर निर्भर पारंपरिक व्याख्यात्मक विधियाँ अक्सर वास्तविक अर्थपूर्ण स्पष्टीकरण प्रदान करने में विफल रहती हैं, और अक्सर अर्थपूर्ण सामग्री के बजाय संरचनात्मक रूप से महत्वपूर्ण लेकिन अर्थहीन टोकन (जैसे विराम चिह्न, फंक्शन वर्ड्स) को उजागर करती हैं। इसके अलावा, मौजूदा व्याख्यात्मक दृष्टिकोण अक्सर मॉडल-अज्ञेयवादी (model-agnostic) नहीं होते, उनके लिए महंगे ग्रेडिएंट गणनाओं की आवश्यकता होती है, या वे विशिष्ट मध्यवर्ती प्रसंस्करण गतिकी (intermediate processing dynamics) को अलग करने में विफल रहते हैं, विशेष रूप से मध्य परतों (6–9) के भीतर जहाँ सिंटैक्टिक और सिमेंटिक जानकारी को संचित माना जाता है। अटेंशन सहसंबंधों के बजाय आंतरिक सक्रियण शक्ति (internal activation strengths) के आधार पर व्यक्तिगत टोकनों के प्रतिनिधित्व के महत्व को मापने के लिए एक हल्के, कुशल तरीके की महत्वपूर्ण आवश्यकता है।

कार्यप्रणाली
लेखक एक नया, मॉडल-अज्ञेयवादी ढांचा प्रस्तावित करते हैं जिसे एक्टिवेशन फ्लो नेटवर्क (AFN) कहा जाता है, जो विशेष रूप से bert-base-uncased मॉडल के लेयर 8 पर ध्यान केंद्रित करता है। कार्यप्रणाली निम्नलिखित चरणों के माध्यम से आगे बढ़ती है:

टोकन-स्तरीय सक्रियण शक्ति का परिमाणीकरण (Quantification):
अटेंशन हेड्स का विश्लेषण करने के बजाय, यह ढांचा लेयर 8 पर प्रत्येक टोकन के हिडन स्टेट वेक्टर्स ( $h_i$ ) को निकालता है। प्रत्येक टोकन की प्रतिनिधित्व शक्ति ( $S_i$ ) को प्रत्येक टोकन के 768-आयामी हिडन स्टेट वेक्टर के L2 नॉर्म (यूक्लिडियन नॉर्म) के रूप में परिभाषित किया गया है:
$S_i = \|h_i\|_2$
यह स्केलर मान टोकन के सक्रियण परिमाण और प्रतिनिधित्व प्राथमिकता के प्रत्यक्ष माप के रूप में कार्य करता है।
थ्रेशोल्ड-आधारित सक्रियण बकेट फॉर्मूलेशन:
प्रमुख अर्थपूर्ण सक्रियणों और संरचनात्मक बैकग्राउंड नॉइज़ के बीच अंतर करने के लिए, लेखक दिए गए वाक्य के सक्रियण वितरण के अपर-क्वार्टाइल (75वें पर्सेंटाइल) का उपयोग करके एक अनुभवजन्य सक्रियण सीमा ( $\tau$ ) को परिभाषित करते हैं:
$\tau = Q_{0.75}(S)$
टोकनों को दो समूहों में विभाजित किया जाता है:

HIGH-activation: $S_i > \tau$ (अर्थपूर्ण रूप से महत्वपूर्ण टोकन)।
LOW-activation: $S_i \leq \tau$ (संरचनात्मक रूप से सहायक टोकन)।
ढांचा यह निर्धारित करने के लिए एक योगदान अनुपात ( $R_H$ ) की गणना करता है कि क्या HIGH-activation टोकन प्रतिनिधित्व परिवर्तनों पर हावी हैं।

तुलनात्मक सक्रियण शिफ्ट विश्लेषण:
संदर्भ और कार्य निर्देशों के प्रति संवेदनशीलता की जांच करने के लिए, लेखक टोकन-स्तरीय सक्रियण शिफ्ट ( $\Delta_i$ ) पेश करते हैं, जिसकी गणना दो समान वाक्यों या विभिन्न प्रॉम्प्ट स्थितियों के तहत संगत टोकनों के हिडन स्टेट वेक्टर्स के बीच L2 नॉर्म के रूप में की जाती है:
$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$
यह मीट्रिक संदर्भ संबंधी व्यवधानों (जैसे "day" को "walk" में बदलना) या लक्ष्य-उन्मुख प्रॉम्प्ट्स (जैसे "Summarize" बनाम "Translate") के कारण वेक्टर स्पेस में होने वाले ज्यामितीय विस्थापन को परिमाणित करता है।

मुख्य योगदान

लेयर 8 एक सिमेंटिक कंसोलिडेशन ज़ोन के रूप में: यह अध्ययन लेयर 8 को एक महत्वपूर्ण संक्रमण बिंदु के रूप में पहचानता है जहाँ संरचनात्मक जानकारी सिमेंटिक कंसोलिडेशन को जगह देती है, जो सिंटैक्टिक और सिमेंटिक प्रोसेसिंग के बीच संतुलन बनाती है।
अटेंशन के ऊपर सक्रियण परिमाण: यह कार्य प्रदर्शित करता है कि हिडन-स्टेट नॉर्म्स (L2) अटेंशन वेट्स की तुलना में अर्थपूर्ण महत्व के लिए अधिक विश्वसनीय संकेत प्रदान करते हैं, जो अक्सर विराम चिह्नों पर ध्यान केंद्रित करके भ्रमित करते हैं।
हल्की व्याख्यात्मकता (Lightweight Interpretability): AFN ढांचा ग्रेडिएंट-आधारित एट्रिब्यूशन विधियों का एक कम्प्यूटेशनल रूप से कुशल, गैर-हस्तक्षेप वाला विकल्प प्रदान करता है, जिसमें हिडन स्टेट्स निकालने के लिए केवल एक सिंगल फॉरवर्ड पास की आवश्यकता होती है।
सिमेंटिक शिफ्ट का परिमाणीकरण: सक्रियण शिफ्ट मीट्रिक का परिचय यह मापने की अनुमति देता है कि कैसे विशिष्ट शब्द परिवर्तन या कार्य निर्देश मॉडल के आंतरिक प्रतिनिधित्व प्रक्षेपवक्र (representation trajectory) को बदलते हैं।

परिणाम
732 सेंटीमेंट-बियरिंग वाक्यों के कॉर्पस और विशिष्ट केस स्टडीज पर प्रयोगात्मक विश्लेषण निम्नलिखित अवलोकनों को प्रस्तुत करता है:

सिमेंटिक डोमिनेंस: अर्थपूर्ण शब्द (जैसे "prime," "minister," "Canada," "beautiful") लगातार लेयर 8 में उच्चतम सक्रियण शक्ति प्रदर्शित करते हैं, जो आर्टिकल्स या विराम चिह्नों जैसे संरचनात्मक टोकनों की तुलना में काफी उच्च रैंक रखते हैं।
लेयर तुलना: लेयर 8 और लेयर 9 के बीच तुलना ने पुष्टि की कि लेयर 8 अधिक कंटेंट-रिच टोकनों के प्रति संवेदनशील है, जबकि लेयर 9 इन समान टोकनों के लिए अपेक्षाकृत कम सक्रियण दिखाती है, जो गहरे परतों में सिंटैक्टिक संरचना की ओर झुकाव का सुझाव देती है।
एक्टिवेशन बकेटिंग: अपर-क्वार्टाइल थ्रेशोल्ड ने टोकनों को सफलतापूर्वक अलग किया, जहाँ HIGH-activation टोकन (कंटेंट वर्ड्स) लगातार शीर्ष रैंकों पर रहे। व्यवधान प्रयोगों (perturbation experiments) में, HIGH-activation टोकनों ने कुल सिमेंटिक सक्रियण शिफ्ट में लगभग 76% का योगदान दिया, जबकि वे केवल ~25% टोकन संख्या का हिस्सा थे।
कॉन्टेक्स्टुअल रिपल इफेक्ट (Contextual Ripple Effect): अपरिवर्तित संरचनात्मक टोकन (जैसे "at," "the") ने महत्वपूर्ण सक्रियण शिफ्ट दिखाया जब संदर्भ बदला (जैसे "day at the park" बनाम "walk at the beach"), जो यह दर्शाता है कि लेयर 8 सिमेंटिक निरंतरता बनाए रखने के लिए पूरे वाक्यांश को गतिशील रूप से पुन: एनकोड करता है।
प्रॉम्प्ट संवेदनशीलता: जब इनपुट को विभिन्न कार्य निर्देशों ("Summarize" बनाम "Translate") के साथ प्रीफिक्स किया गया, तो [CLS] टोकन और अन्य टोकनों में सक्रियण शिफ्ट देखा गया, जो दर्शाता है कि उच्च-स्तरीय प्रॉम्प्ट्स मध्यवर्ती प्रतिनिधित्व स्थान को निर्देशित करते हैं।

महत्व और दावे
यह शोध दावा करता है कि यह BERT को एक "ब्लैक बॉक्स" से एक अधिक पारदर्शी "ग्लास बॉक्स" में बदल देता है, जिससे पता चलता है कि सक्रियण परिमाण अर्थपूर्ण सूचनात्मक टोकनों के आसपास केंद्रित होते हैं। लेखक का तर्क है कि उनका ढांचा एक कम्प्यूटेशनल रूप से कुशल और व्याख्यात्मक विकल्प प्रदान करता है जो अटेंशन-केंद्रित विश्लेषण के बजाय सक्रियण परिमाणों का उपयोग करता है। लेयर 8 को अलग करके और L2 नॉर्म का उपयोग करके, यह शोध एक सीधा तरीका प्रदान करता है जिससे यह पहचाना जा सके कि सिमेंटिक प्रोसेसिंग के दौरान कौन से टोकन अधिकतम प्रतिनिधित्व शक्ति वहन करते हैं। यह कार्य बताता है कि सक्रियण प्रवाह (activation flows) को समझना शोधकर्ताओं को यह समझने में मदद कर सकता है कि BERT कैसे संरचनात्मक और सिमेंटिक जानकारी को संतुलित करता है और कार्य निर्देश मॉडल के आंतरिक प्रक्षेपवक्र को कैसे प्रभावित करते हैं, और इसके लिए जटिल ग्रेडिएंट गणनाओं या मॉडल-विशिष्ट प्रोबिंग क्लासिफायर की आवश्यकता नहीं है।

नया विचार: "नज़र" के बजाय "ऊर्जा" को मापना

उन्होंने क्या पाया: "हाई-वोल्टेज" शब्द

"रिपल इफेक्ट" (लहरों का प्रभाव) प्रयोग

"बकेट" (बाल्टी) टेस्ट

मुख्य निष्कर्ष

इसी तरह के और पेपर