तकनीकी सारांश: योगदान भार (Contribution Weights): सेल्फ-अटेंशन ट्रांसफॉर्मर का एक ज्यामितीय विश्लेषण

1. समस्या विवरण

अटेंशन वेट्स ($\alpha_{ij}$) का विश्लेषण करना लार्ज लैंग्वेज मॉडल्स (LLMs) में सूचना प्रवाह की व्याख्या करने के लिए एक मानक दृष्टिकोण बन गया है। हालांकि, यह दृष्टिकोण इस अंतर्नि phép धारणा पर निर्भर करता है कि बड़ा अटेंशन मास कार्यात्मक महत्व (functional importance) के बराबर है। लेखक तर्क देते हैं कि यह दृष्टिकोण अधूरा है क्योंकि यह एग्रीगेट किए जा रहे वैल्यू वेक्टर्स के ज्यामितीय गुणों (geometric properties) की उपेक्षा करता है। विशेष रूप से, अटेंशन वेट्स अकेले निम्नलिखित कारकों को समझाने में विफल रहते हैं:

1. वैल्यू वेक्टर्स का परिमाण (norm)।
2. वैल्यू वेक्टर्स और अंतिम लेयर आउटपुट के बीच दिशात्मक संरेखण (directional alignment)।

इन कारकों की उपेक्षा करने से भ्रामक निष्कर्ष निकलते हैं, जैसे कि "अटेंशन सिंक" (शुरुआती टोकन जो उच्च अटेंशन प्राप्त करते हैं लेकिन आउटपुट में बहुत कम योगदान देते हैं) की गलत व्याख्या, और उच्च-अटेंशन वाले टोकनों के महत्व का अतिरंजित अनुमान। मौजूदा वैल्यू-अवेयर उपाय नॉर्म्स या दूरियों को शामिल करते हैं, लेकिन वे अक्सर दिशात्मक संरेखण (constructive या destructive) के कारण होने वाले इंटर-टोकन इंटरफेरेंस (inter-token interference) के महत्वपूर्ण प्रभाव को पकड़ने में विफल रहते हैं।

2. कार्यप्रणाली

2.1. सैद्धांतिक ढांचा

यह पेपर मल्टी-हेड अटेंशन (MHA) को केवल कच्चे टोकन के भारित योग के रूप में नहीं, बल्कि प्रोजेक्टेड वैल्यू वेक्टर्स (projected value vectors) के भारित योग के रूप में पुनर्गठित करता है।
एक इनपुट सीक्वेंस के लिए, स्थिति $i$ पर एक लेयर $l$ का आउटपुट इस प्रकार व्यक्त किया जाता है:
$$o^{(l)}_i = \sum_{h=1}^H \sum_{j=1}^i \alpha^{(l,h)}_{ij} \tilde{v}^{(l,h)}_j$$
जहाँ $\tilde{v}^{(l,h)}_j = x_j W^{(l,h)}_V W^{(l,h)}_O$ प्रोजेक्टेड वैल्यू वेक्टर को दर्शाता है। लेखक मानते हैं कि एक टोकन का प्रभाव तीन कारकों पर निर्भर करता है:

1. चयन शक्ति (Selection Strength): अटेंशन वेट $\alpha_{ij}$।
2. परिमाण (Magnitude): प्रोजेक्टेड वैल्यू वेक्टर का नॉर्म $\|\tilde{v}_j\|$।
3. दिशात्मक संरेखण (Directional Alignment): प्रोजेक्टेड वैल्यू और आउटपुट दिशा के बीच कोसाइन समानता (cosine similarity), $\cos(o_i, \tilde{v}_j)$।

2.2. योगदान भार (Contribution Weights)

टोकन के महत्व को निष्ठापूर्वक मापने के लिए, लेखक योगदान भार (Contribution Weights) ($c_{ij}$) पेश करते हैं, जो एक प्रोजेक्शन-आधारित मीट्रिक है जिसे भारित वैल्यू वेक्टर और आउटपुट दिशा के नॉर्मलाइज्ड इनर प्रोडक्ट के रूप में परिभाषित किया गया है:
$$c_{ij} = \frac{\langle o_i, \alpha_{ij} \tilde{v}_j \rangle}{\|o_i\|^2} = \alpha_{ij} \frac{\|\tilde{v}_j\|}{\|o_i\|} \cos(o_i, \tilde{v}_j)$$
यह मीट्रिक टोकन के प्रभाव को अटेंशन वेट, सापेक्ष परिमाण और दिशात्मक संरेखण के गुणनफल में विभाजित करता है।

• इंट्रा-हेड (Intra-head): एक एकल हेड के भीतर योगदान को मापता है।
• इंटर-हेड (Inter-head): संयुक्त मल्टी-हेड आउटपुट पर हेड-विशिष्ट भारित वेक्टर्स को प्रोजेक्ट करके सभी हेड्स में योगदान को मापता है।
• विशेषताएं: अटेंशन वेट्स (जो गैर-ऋणात्मक होते हैं और जिनका योग 1 होता है) के विपरीत, योगदान भार ऋणात्मक हो सकते हैं (जो विनाशकारी हस्तक्षेप/destructive interference का संकेत देते हैं) और अनुक्रम आयाम (sequence dimension) में 1 के योग के बराबर होते हैं।

2.3. प्रयोगात्मक मूल्यांकन

लेखक मौजूदा मीट्रिक्स (रॉ अटेंशन, वैल्यू-वेटेड अटेंशन, वैल्यू-वेटेड आउटपुट-नॉर्मलाइज्ड अटेंशन) के विरुद्ध योगदान भार की निष्ठा का मूल्यांकन निम्नलिखित का उपयोग करके करते हैं:

• कॉज़ल इंटरवेंशन (Causal Interventions): महत्व के आधार पर रैंक किए गए टोकनों के प्रोजेक्टेड वैल्यूज को मास्क करना और भाषा मॉडलिंग कार्यों (GSM8K, FineWeb-Edu) और डाउनस्ट्रीम कार्यों (MMLU, Winogrande, BoolQ) पर परप्लेक्सिटी में परिवर्तन ($\Delta$PPL) को मापना।
• मीट्रिक्स:
  • व्यापकता (Comprehensiveness): उच्च-महत्व वाले टोकनों को हटाने पर प्रदर्शन में गिरावट (अधिक गिरावट = बेहतर मीट्रिक)।
  • पर्याप्तता (Sufficiency): निम्न-महत्व वाले टोकनों को हटाने पर प्रदर्शन में गिरावट (कम गिरावट = बेहतर मीट्रिक)।
• मॉडेल्स: Mistral-7B, LLaMA-3.1-8B, Qwen3-8B, और Deepseek-7B।

3. मुख्य निष्कर्ष और योगदान

3.1. योगदान भारों की निष्ठा (Faithfulness)

योगदान भार सेमिंटिक रूप से महत्वपूर्ण टोकनों की पहचान करने में अटेंशन-आधारित मीट्रिक्स की तुलना में लगातार बेहतर प्रदर्शन करते हैं।

• व्यापकता: योगदान भारों द्वारा महत्वपूर्ण बताए गए टोकनों को हटाने से मॉडल के प्रदर्शन में काफी अधिक गिरावट ($\Delta$PPL) आती है, जो रॉ अटेंशन या वैल्यू-वेटेड अटेंशन द्वारा पहचाने गए टोकनों की तुलना में अधिक है।
• पर्याप्तता: निम्न-महत्व वाले टोकनों (जैसा कि योगदान भार द्वारा परिभाषित किया गया है) को हटाने पर मॉडल उच्च सटीकता बनाए रखते हैं, और उच्च रिमूवल रेट पर भी बेसलाइन प्रदर्शन बनाए रखते हैं।
• ज्यामितीय प्रगति (Geometric Progression): अध्ययन एक स्पष्ट पदानुक्रम प्रदर्शित करता: रॉ अटेंशन < वैल्यू-वेटेड अटेंशन < वैल्यू-वेटेड आउटपुट-नॉर्मलाइज्ड अटेंशन < योगदान भार। यह पुष्टि करता है कि दिशात्मक संरेखण (कोसाइन समानता) को शामिल करना मीट्रिक सटीकता में सुधार करने वाला सबसे महत्वपूर्ण कारक है।

3.2. वैल्यू ज्योमेट्री की यांत्रिक भूमिका (Mechanistic Role of Value Geometry)

यह पेपर विभिन्न प्रकार के टोकनों के लिए अलग-अलग व्यवहार प्रकट करने के लिए टोकन योगदान को विभाजित करता है:

• सिंक टोकन्स (प्रारंभिक टोकन): इनका योगदान अटेंशन वेट्स द्वारा संचालित नहीं होता है। इसके बजाय, यह वैल्यू ज्योमेट्री (सापेक्ष नॉर्म और कोसां समानता) द्वारा प्रधान होता है। शुरुआती टोकन बाद के सेमिंटिक टोकनों के साथ एंटी-अलाइनमेंट (ऋणात्मक कोसाइन समानता) प्रदर्शित करते हैं।
• टेल टोकन्स (Tail Tokens): इनका योगदान अटेंशन वेट्स और दिशात्मक संरेखण द्वारा संयुक्त रूप से निर्धारित होता है।

3.3. अटेंशन सिंकों का पुनर्व्याख्या (Reinterpretation of Attention Sinks)

लेखक अटेंशन सिंकों को अतिरिक्त अटेंशन के निष्क्रिय "भंडार" (repositories) के रूप में देखने वाली दृष्टि को चुनौती देते हैं। इसके बजाय, वे सिंकों को सक्रिय सूचना दमनकर्ता (active information suppressors) के रूप में प्रकट करते हैं:

• विनाशकारी हस्तक्षेप (Destructive Interference): सिंक टोकन्स के पास ऐसे वैल्यू वेक्टर्स होते हैं जो व्यवस्थित रूप से सेमिंटिक टोकनों के साथ एंटी-अलाइन (anti-aligned) होते हैं। यह विनाशकारी हस्तक्षेप पैदा करता है, जो सक्रिय रूप से आउटपुट नॉर्म को दबा देता है।
• कॉन्वेक्स संबंध (Convex Relationship): सिंक रेट (पहले टोकन पर अटेंशन मास) और आउटपुट नॉर्म के बीच का संबंध कॉन्वेक्स (convex) है, न कि मोनोटोनिक। न्यूनतम आउटपुट नॉर्म एक मध्यवर्ती सिंक रेट ($\alpha < 1$) पर होता है, न कि तब जब सिंक सारा अटेंशन कैप्चर कर लेता है।
• सेमिंटिक ड्रिफ्ट काउंटरैक्शन (Semantic Drift Counteraction): गैर-सिंक टोकनों के सेमिंटिक दिशा के विरोध में रहकर, सिंक 'सेमिंटिक ड्रिफ्ट' को शून्य कर देते हैं जो कई छोटे, कमजोर अटेंशन वेट्स के संचय से उत्पन्न होता है। वे हस्तक्षेप जो सिंक के वेक्टर नॉर्म को हटा देते हैं, वे लो-नॉर्म हेड आउटपुट्स के सेमिंटिक कोन (semantic cone) में ढहने का कारण बनते हैं, जिससे शोर और परप्लेक्सिटी बढ़ जाती है।

4. महत्व और दावे

यह पेपर दावा करता है कि योगदान भार (Contribution Weights) अटेंशन वेक्टर सम के पूर्ण ज्यामिति को ध्यान में रखकर टोकन के कार्यात्मक महत्व का अधिक निष्ठावान माप प्रदान करते हैं।

• यांत्रिक अंतर्दृष्टि (Mechanistic Insight): यह कार्य अटेंशन सिंकों को निष्क्रिय अवशोषकों के बजाय सक्रिय दमनकर्ताओं के रूप में समझने के दृष्टिकोण को बदल देता है, जो दिशात्मक विरोध के माध्यम से दिशात्मक स्थिरता प्रदान करके सेमिंटिक ड्रिफ्ट को नियंत्रित करते हैं।
• सामान्यीकरण (Generalizability): हालांकि प्रयोग डिकोडर-ओनली मॉडल्स पर केंद्रित हैं, लेखक कहते हैं कि योगदान भार केवल अटेंशन मैकेनिज्म की संरचना पर निर्भर करते हैं और किसी भी अटेंशन-आधारित आर्किटेक्चर (जैसे, एनकोडर-ओनली मॉडल, ViTs) के लिए लागू हैं।
• सीमाएं: अध्ययन डिकोडर-ओनली ट्रांसफॉर्मर्स और विशिष्ट डेटासेट्स (GSM8K, FineWeb-Edu) पर केंद्रित है। लेखक नोट करते हैं कि हालांकि उनका मीट्रिक डोमेन में मजबूत है, लेकिन विशिष्ट ज्यामितीय व्यवहार (जैसे, सिंक एंटी-अलाइनमेंट) मूल्यांकित मॉडल्स में देखे गए हैं।

लेखक निष्कर्ष निकालते हैं कि ट्रांसफॉर्मर की निष्ठापूर्ण यांत्रिक समझ के लिए वैल्यू ज्योमेट्री का विश्लेषण करना आवश्यक है, जो "अटेंशन-एज़-एक्सप्लेनेशन" प्रतिमान से आगे बढ़कर एक "जियोमेट्री-अवेयर" व्याख्या की ओर बढ़ता है।