💬 NLP

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

यह शोध पत्र "बैंक ऑफ वैल्यूज़" (BoV) का प्रस्ताव करता है, जो डीप ट्रांसफॉर्मर परतों के लिए एक नवीन अटेंशन मैकेनिज्म है जो एक लुकअप टेबल में संग्रहीत संदर्भ-मुक्त, टोकन-विशिष्ट वैल्यू वेक्टर्स का उपयोग करता है, और विभिन्न मॉडल आकारों और बेंचमार्क पर मानक संदर्भ-निर्भर वैल्यू वेक्टर्स की तुलना में बेहतर प्रदर्शन और दक्षता प्रदर्शित करता है।

मूल लेखक: Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

प्रकाशित 2026-06-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल पुस्तकालय की कल्पना करें जहाँ हर किताब (एक शब्द या "टोकन") के पास इस बात के विशिष्ट निर्देश हैं कि कहानी में उसे कैसे समझा जाना चाहिए। आधुनिक एआई (लार्ज लैंग्वेज मॉडल्स) में, इन किताबों को पुस्तकालयाध्यक्षों ( "अटेंशन लेयर्स") की एक टीम द्वारा पढ़ा जाता है जो अब तक चली आ रही कहानी के संदर्भ के आधार पर यह तय करती है कि प्रत्येक किताब पर कितना ध्यान देना है।

आमतौर पर, ये पुस्तकालयाध्यक्ष किताब को लेते हैं, कहानी के वर्तमान संदर्भ को देखते हैं, और फिर उस किताब के लिए नोट्स का एक नया सेट (जिसे "वैल्यू वेक्टर" कहा जाता है) लिखते हैं, इससे पहले कि उसे आगे भेजा जाए। यह प्रक्रिया ऐसी है जैसे कोई पुस्तकालयाध्यक्ष हर बार किताब को पढ़ने पर, पिछले पन्नों में जो कुछ भी हुआ उसके आधार पर, किताब का एक नया सारांश लिख रहा हो।

बड़ी खोज
शोधकर्ताओं ने इस शोध पत्र में एक आश्चर्यजनक बात पाई: पुस्तकालय के पिछले कमरों (एआई के गहरे स्तरों/डीपर लेयर्स) में काम करने वाले पुस्तकालयाध्यक्षों के लिए, उन्हें वास्तव में कहानी के संदर्भ के आधार पर नोट्स को फिर से लिखने की आवश्यकता नहीं होती है।

इसके बजाय, ये गहरे स्तरों वाले पुस्तकालयाध्यक्ष तब सबसे अच्छा काम करते हैं जब वे किताब का एक पूर्व-लिखित, पूर्ण सारांश ले लेते हैं जो कभी नहीं बदलता, चाहे जो भी कहानी सुनाई जा रही हो। यह साबित हुआ कि इन विशिष्ट स्तरों के लिए, शब्द के बारे में "मूल, संदर्भ-मुक्त" जानकारी, उस "संदर्भ-निर्भर" नोट से अधिक मूल्यवान है जो वे आमतौर पर बनाते हैं।

समाधान: "बैंक ऑफ वैल्यूज" (Bank of Values)
इसी के आधार पर, लेखकों ने बैंक ऑफ वैल्यूज (BoV) नामक एक नई प्रणाली बनाई।

पुराना तरीका (मानक अटेंशन): हर बार जब एआई एक शब्द पढ़ता है, तो वह उस शब्द के लिए अब तक की पूरी कहानी को ध्यान में रखते हुए एक नया, जटिल नोट सेट तैयार करता है। यह गणनात्मक रूप से महंगा है और इन अस्थायी नोट्स को स्टोर करने के लिए बहुत अधिक मेमोरी की आवश्यकता होती है।
नया तरीका (BoV): गहरे स्तरों के लिए, एआई इन नोट्स को चलते-फिरते (ऑन द फ्लाई) बनाना बंद कर देता है। इसके बजाय, इसके पास एक विशाल, स्थिर "बैंक" (एक लुकअप टेबल) है जहाँ शब्दावली के प्रत्येक संभावित शब्द के लिए उसका पूर्ण, पूर्व-गणना किया गया नोट स्थायी रूप से संग्रहीत है।
- जब एआई को किसी शब्द के नोट की आवश्यकता होती है, तो यह केवल बैंक में उसे ढूंढ लेता है (लुक अप करता है)।
- यह एक ऐसे शब्दकोश की तरह है जहाँ परिभाषा पहले से ही लिखी और छपी हुई है, बजाय इसके कि विशेषज्ञों की एक टीम हर बार आपसे कोई शब्द पूछने पर एक नई परिभाषा रचने के लिए बैठ जाए।

यह बेहतर क्यों है?

यह तेज़ और सस्ता है: क्योंकि एआई को गहरे स्तरों के लिए नोट्स को "फिर से लिखने" की भारी गणितीय गणना नहीं करनी पड़ती, इसलिए यह भारी मात्रा में कंप्यूटिंग शक्ति (FLOPs) बचाता है।
यह मेमोरी बचाता है: पुराने तरीके में, एआई को वर्तमान कहानी के लिए लिखे गए सभी नोट्स का एक "कैश" (एक अस्थायी भंडारण क्षेत्र) रखना पड़ता था। नए तरीके में, चूंकि नोट्स "बैंक" में स्थायी रूप से संग्रहीत हैं, इसलिए एआई को उस भारी कैश को ढोने की आवश्यकता नहीं है। वह बस जो चाहिए उसे शेल्फ से उठा लेता है।
यह बेहतर काम करता है: शोधकर्ताओं ने विभिन्न आकार के एआई मॉडलों पर इसका परीक्षण किया। उन्होंने पाया कि इस "बैंक" पद्धति का उपयोग करने से एआई वास्तव में अधिक स्मार्ट (कम त्रुटि दर) और कुशल बना, भले ही वह कम काम कर रहा था।

चुनौती (और उसका समाधान)
शोध पत्र नोट करता है कि आप यह पुस्तकालय के प्रत्येक पुस्तकालयाध्यक्ष के लिए नहीं कर सकते। बिल्कुल सामने वाले (उथले स्तरों/शैलो लेयर्स) के पुस्तकालयाध्यक्षों को अभी भी शब्दों को समझने के लिए कहानी के संदर्भ को देखने की आवश्यकता होती है। लेकिन पीछे के गहरे स्तरों के लिए, "बैंक" पद्धति एक गेम-चेंजर है।

सारांश में
यह शोध पत्र तर्क देता है कि एआई के मस्तिष्क के गहरे हिस्सों में, शब्दों को कहानी के आधार पर फिर से व्याख्या करने की आवश्यकता नहीं होती; उन्हें केवल अपनी मूल, शुद्ध पहचान की आवश्यकता होती है। इन पहचानों को एक स्थायी "बैंक" में संग्रहीत करके और उन्हें गणना करने के बजाय ढूंढकर, एआई तेज़, कम मेमोरी उपयोग करने वाला और बेहतर प्रदर्शन करने वाला बन जाता है।

तकनीकी सारांश: बैंक ऑफ वैल्यूज़ (BoV)

समस्या विवरण
ट्रांसफॉर्मर आर्किटेक्चर, जो आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) की रीढ़ है, अटेंशन लेयर्स पर निर्भर करता है जहाँ क्वेरी (query), की (key) और वैल्यू (value) वेक्टर्स को रेसिडुअल स्ट्रीम (residual stream) से कंप्यूट किया जाता है। जबकि रेसिडुअल स्ट्रीम क्वेरी और की के लिए संदर्भ (context) को प्रभावी ढंग से संचित करती है, गहरे लेयर्स में वैल्यू वेक्टर्स के लिए संदर्भ की आवश्यकता का गहन परीक्षण नहीं किया गया है। मानक अटेंशन रेसिडुअल स्ट्रीम ( $x_i$ ) का उपयोग करके वैल्यू वेक्टर्स ( $V = x_i W_V$ ) की गणना करता है, जो मूल टोकन जानकारी को संचित संदर्भ के साथ मिला देता है। संदर्भ-मुक्त (context-free) टोकन जानकारी को वैल्यू वेक्टर्स में इंजेक्ट करने का प्रयास करने वाले हालिया कार्य (जैसे, वैल्यू रेसिडुअल लर्निंग, SVFormer) मिश्रित परिणाम दिखाते हैं, जो अक्सर संदर्भ-मुक्त घटकों के विशिष्ट योगदान को अलग करने में विफल रहते हैं या उन्हें सभी लेयर्स में अक्षम रूप से लागू करते हैं। मुख्य समस्या यह है कि क्या गहरे लेयर्स को वास्तव में संदर्भ-निर्भर (context-dependent) वैल्यू वेक्टर्स की आवश्यकता है, या क्या उन्हें रेसिडुअल स्ट्रीम के प्रोजेक्शन के कम्प्यूटेशनल ओवरहेड के बिना मूल, संदर्भ-मुक्त टोकन जानकारी को संरक्षित करने से अधिक लाभ होगा।

कार्यप्रणाली
लेखक वैल्यू वेक्टर्स की संरचना की एक व्यवस्थित जांच के बाद, एक नया आर्किटेक्चरल डिज़ाइन प्रस्तावित करते हैं जिसे बैंक ऑफ वैल्यूज़ (BoV) कहा जाता है।

व्यवस्थित एब्लेशन अध्ययन (Systematic Ablation Study):
एक 12-लेयर, 135M पैरामीटर मॉडल का उपयोग करते हुए, लेखकों ने गहरे लेयर्स में वैल्यू वेक्टर्स की इष्टतम संरचना निर्धारित करने के लिए चार अक्षों (axes) पर प्रयोग किए:

एडिटिव बनाम सब्स्टिट्यूटिव (Additive vs. Substitutive): मानक वैल्यू वेक्टर को पूरी तरह से एक संदर्भ-मुक्त स्रोत से बदलने बनाम उन्हें रैखिक रूप से संयोजित करने की तुलना करना।
गुणांक (Coefficients): सीखे गए (unbounded) गुणांकों की तुलना फिक्स्ड गुणांकों से करना।
संदर्भ-मुक्त जानकारी का स्रोत: प्रारंभिक एम्बेडिंग ( $x_0 W_V$ ) के लेयर-विशिष्ट प्रोजेक्शन बनाम पहली लेयर के साझा वैल्यू वेक्टर ( $V_1$ ) की तुलना करना।
लक्ष्य लेयर्स (Target Layers): इन परिवर्तनों को सभी लेयर्स, हर दूसरी लेयर, या केवल अंतिम एक-तिहाई लेयर्स पर लागू करने के प्रभाव का मूल्यांकन करना।

एब्लेशन से मुख्य निष्कर्ष:

गहरे लेयर्स संदर्भ-निर्भर वेक्टर्स ( $V$ ) के बजाय संदर्भ-मुक्त घटकों ( $\tilde{V}$ ) को दृढ़ता से प्राथमिकता देते हैं। एडिटिव वेरिएंट्स में, $\tilde{V}$ के लिए सीखे गए गुणांक अक्सर $V$ के लिए सीखे गए गुणांकों (जो अक्सर 0 की ओर जाते हैं) की तुलना में काफी बड़े (अक्सर >10) थे।
$\tilde{V}$ के साथ $V$ को प्रतिस्थापित करने से केवल अंतिम एक-तिहाई लेयर्स में महत्वपूर्ण प्रदर्शन लाभ मिलता है; इसे उथली (shallow) लेयर्स पर लागू करने से प्रदर्शन गिर जाता है।
एक बार जब गहरे लेयर्स के पास उच्च-गुणवत्ता वाला संदर्भ-मुक्त घटक होता है, तो संदर्भ-निर्भर घटक को जोड़ने से नगण्य लाभ होता है।
लेयर-विशिष्ट संदर्भ-मुक्त वेक्टर्स ( $x_0 W_V$ ), साझा वेक्टर्स ( $V_1$ ) की तुलना में बेहतर प्रदर्शन करते हैं, क्योंकि वे प्रत्येक लेयर को टोकन को एक अद्वितीय सबस्पेस में प्रोजेक्ट करने की अनुमति देते हैं।

बैंक ऑफ वैल्यूज़ (BoV) आर्किटेक्चर:
इस निष्कर्ष के आधार पर कि गहरे लेयर्स को ऐसे संदर्भ-मुक्त वैल्यू वेक्टर्स की आवश्यकता होती है जो नियत (deterministic) और इनपुट सीक्वेंस से स्वतंत्र हों, लेखक BoV प्रस्तावित करते हैं।

तंत्र (Mechanism): अंतिम एक-तिहाई लेयर्स में, मानक डेंस वैल्यू मैट्रिक्स प्रोजेक्शन ( $x_i W_V$ ) को एक स्पार्स लुकअप टेबल ( $E_V$ ) द्वारा बदल दिया जाता है।
कार्यान्वयन (Implementation): टोकन ID $i$ के लिए, वैल्यू वेक्टर सीधे रिट्रीव किया जाता है $v_i = \gamma_v E_V[i]$ , जहाँ $E_V \in \mathbb{R}^{|V| \times d}$ एक सीखे जाने योग्य पैरामीटर टेबल है जो हर टोकन के लिए प्री-कंप्यूटेड वैल्यू वेक्टर्स को स्टोर करती है, और $\gamma_v$ एक सीखे जाने योग्य स्केलिंग गुणांक है।
इन्फरेंस दक्षता (Inference Efficiency): मानक अटेंशन के विपरीत, जो सभी पिछले टोकनों के लिए वैल्यू वेक्टर्स को कैश (cache) करता है (जिसके लिए प्रति लेयर $O(Td)$ मेमोरी की आवश्यकता होती है), BoV वैल्यूज को कैश नहीं करता है। इसके बजाय, यह फॉरवर्ड पास के दौरान स्टैटिक पैरामीटर टेबल $E_V$ से एक $O(Td)$ गेदर (gather) ऑपरेशन करता है। $E_V$ टेबल को होस्ट मेमोरी में ऑफलोड किया जा सकता है, जिसमें केवल आवश्यक प्रविष्टियों को प्रीफेच (prefetch) किया जाता है।

मुख्य योगदान

अंतर्दृष्टि (Insight): यह पेपर प्रदर्शित करता है कि डीप ट्रांसफॉर्मर लेयर्स मुख्य रूप से संदर्भ-मुक्त, मूल टोकन जानकारी से लाभान्वित होते हैं, और रेसिडुअल स्ट्रीम से प्राप्त संदर्भ-निर्भर घटक इन लेयर्स में काफी हद तक अनावश्यक है।
आर्किटेक्चर: बैंक ऑफ वैल्यूज़ (BoV) का परिचय, जो गहरे लेयर्स में वैल्यू वेक्टर्स की गणना को एक टोकन-विशिष्ट टेबल से स्टैटिक लुकअप के साथ बदल देता है।
दक्षता: BoV लंबे-कॉन्टेक्स्ट इन्फरेंस के लिए मेमोरी उपयोग को समाप्त करता है और प्रति टोकन FLOPs को कम करता है।

परिणाम
लेखकों ने 135M और 780M पैरामीटर्स वाले मॉडल्स पर, कंप्यूट-नियंत्रित बजट ( $1.50 \times 10^{18}$ और $3.91 \times 10^{19}$ FLOPs) के तहत BoV का मूल्यांकन किया।

वैलिडेशन लॉस: BoV ने दोनों मॉडल स्केल्स पर होल्ड-आउट स्प्लिट (held-out split) के ClimbMix डेटासेट पर स्टैंडर्ड अटेंशन बेसलाइन की तुलना में कम वैलिडेशन लॉस प्राप्त किया।
बेंचमार्क प्रदर्शन: 780M स्केल पर, BoV ने स्टैंडर्ड अटेंशन बेसलाइन की तुलना में 21 DCLM CORE बेंचमार्क पर औसत स्कोर में सुधार किया।
तुलना: BoV ने उन मौजूदा तरीकों (जैसे, वैल्यू रेसिडुअल लर्निंग) की बराबरी की या उनसे बेहतर प्रदर्शन किया जो वैल्यू वेक्टर्स में टोकन जानकारी इंजेक्ट करते हैं, जबकि यह कम मेमोरी और कम FLOPs का उपयोग करता है। विशेष रूप से, इसने उन तरीकों से बेहतर प्रदर्शन किया जो रेसिडुअल स्ट्रीम गणना में टोकन जानकारी जोड़ते हैं, क्योंकि उनमें अभी भी संदर्भ-निर्भर वैल्यूज को कंप्यूट और कैश करने की लागत शामिल थी।

महत्व
पेपर का दावा है कि BoV गहरे लेयर्स के लिए स्टैंडर्ड अटेंशन का एक अधिक कुशल विकल्प प्रदान करता है क्योंकि यह इस अंतर्दृष्टि का लाभ उठाता है कि इन लेयर्स को वैल्यू वेक्टर्स की गणना के लिए संदर्भ की आवश्यकता नहीं होती है। वैल्यू वेक्टर्स को डायनेमिक गणनाओं के बजाय स्पार्स मॉडल पैरामीटर्स के रूप में बनाए रखकर, BoV प्रदर्शन से समझौता किए बिना लंबे-कॉन्टेक्स्ट इन्फरेंस के लिए मेमोरी फुटप्रिंट और कम्प्यूटेशनल लागत को कम करता है। यह सभी अटेंशन वेक्टर्स को रेसिडुअल स्ट्रीम से कंप्यूट करने के डिफ़ॉल्ट प्रतिमान को चुनौती देता है और अधिक कुशल ट्रांसफॉर्मर आर्किटेक्चर की ओर एक मार्ग सुझाता है।

तकनीकी सारांश: बैंक ऑफ वैल्यूज़ (BoV)

इसी तरह के और पेपर