🤖 machine learning

Variational Linear Attention: Stable Associative Memory for Long-Context Transformers

यह शोध पत्र वेरिएशनल लीनियर अटेंशन (VLA) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो मेमोरी अपडेट को एक ऑनलाइन रेगुलराइज्ड लीस्ट-स्क्वेयर्स समस्या के रूप में पुनर्गठित करता है ताकि $\mathcal{O}(T)$ जटिलता के साथ एक स्थिर, स्व-सीमित एसोसिएटिव मेमोरी प्राप्त की जा सके, जो प्रतिस्पर्धी इन्फरेंस गति बनाए रखते हुए लॉन्ग-कॉन्टेक्स्ट रिट्रीवल सटीकता में मौजूदा लीनियर अटेंशन विधियों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Vishal Pandey, Gopal Singh

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vishal Pandey, Gopal Singh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Variational Linear Attention" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "बिखरी हुई मेज़" (The Cluttered Desk)

कल्पना कीजिए कि आप एक लंबी कहानी (एक टेक्स्ट सीक्वेंस) पढ़ते समय उसे याद रखने की कोशिश कर रहे हैं।

स्टैंडर्ड AI (Softmax Attention): यह एक विशाल मेज़ होने जैसा है जहाँ आप पढ़ी गई हर एक बात को एक अलग स्टिकी नोट (sticky note) पर लिख देते हैं। बाद में किसी विशेष शब्द को खोजने के लिए, आपको उन सभी स्टिकी नोट्स को देखना पड़ता है जो आपने कभी लिखे थे। जैसे-जैसे कहानी लंबी होती जाती है, आपकी मेज़ बहुत बड़ी हो जाती है, और ज़रूरत की चीज़ खोजने में बहुत समय लगता है। यह सटीक तो है, लेकिन बहुत लंबी कहानियों के लिए यह बहुत धीमा और महंगा है।
पुराना "लीनियर" AI: गति की समस्या को ठीक करने के लिए, शोधकर्ताओं ने "Linear Attention" बनाया। यह एक एकल, जादु적인 नोटबुक होने जैसा है। हर नए शब्द के लिए नया नोट लिखने के बजाय, आप बस नए शब्द को पेज के नीचे जोड़ देते हैं। यह बहुत तेज़ है!
- कमी: क्योंकि आप कभी कुछ मिटाते नहीं हैं, इसलिए नोटबुक भरती जाती है। लेकिन इससे भी बुरा यह है कि जो नए शब्द आप लिखते हैं, वे पुराने शब्दों को धुंधला करने लगते हैं और उन्हें ढक लेते हैं। जब तक आप एक लंबी कहानी के अंत तक पहुँचते हैं, शुरुआत इतनी अस्त-व्यết और ओवरराइट हो चुकी होती है कि आप उसे याद नहीं रख पाते। पेपर इसे "प्रोग्रेसिव इंटरफेरेंस" (progressive interference) कहता है।

समाधान: "स्मार्ट लाइब्रेरियन" (VLA)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे Variational Linear Attention (VLA) कहा जाता है। जानकारी को केवल नोटबुक में अंधाधुंध जोड़ने के बजाय, VLA एक स्मार्ट लाइब्रेरियन की तरह काम करता है जिसे पता होता है कि नई किताबों को कहाँ रखना है ताकि वे पुरानी किताबों को न गिराएँ।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "मेमोरी अपडेट" (लिखने की प्रक्रिया)

पुरानी विधि में, हर नई जानकारी को एक ही वजन (weight) के साथ नोटबुक में डालने के लिए मजबूर किया जाता था, चाहे पहले से वहाँ क्या मौजूद हो।

VLA का दृष्टिकोण: नई जानकारी लिखने से पहले, VLA पूछता है: "मेरी मेमोरी में खाली जगह कहाँ है?"
यह एक विशेष गणितीय उपकरण (जिसे Sherman-Morrison formula कहा जाता है) का उपयोग करता है ताकि यह मानचित्र रख सके कि मेमोरी के कौन से दिशाओं में पहले से भीड़ है।
यदि कोई नई जानकारी किसी भीड़ वाले स्थान में जाने की कोशिश करती है, तो VLA उसे धीरे से एक ताज़ा, खाली दिशा में धकेल देता है। यह एक लाइब्रेरियन के ऐसा कहने जैसा है, "हम इस नई किताब को इतिहास की किताबों वाली शेल्फ पर नहीं रख सकते क्योंकि वह भरी हुई है; चलिए इसे विज्ञान विभाग में रखते हैं।"

2. "स्व-सीमित" विकास (Self-Limiting Growth)

पुरानी लीनियर विधि में, मेमोरी का "आकार" (नोटबुक कितनी अव्यवस्थित होती है) कहानी लंबी होने के साथ हमेशा बढ़ता जाता था।

VLA की ट्रिक: VLA में एक इन-बिल्ट ब्रेक (brake) है। जैसे-जैसे यह सीखता है और मेमोरी में जानकारी फिट करता है, नई चीजों को लिखने के लिए यह जो "बल" (force) लगाता है, वह छोटा होता जाता है।
परिणाम: पेपर यह सिद्ध करता है कि कहानी चाहे कितनी भी लंबी क्यों न हो, नोटबुक का "अव्यवस्थित होना" (messiness) छोटा और स्थिर रहता है। यह अनियंत्रित रूप से नहीं बढ़ता। यह पुराने अनुभवों को नए अनुभवों द्वारा दबाए जाने से रोकता है।

3. "स्थिर प्रवाह" (कोई विस्फोट नहीं - No Explosions)

जब AI मॉडल सीखते हैं, तो वे समय के माध्यम से "ग्रेडिएंट्स" (सुधार के संकेत) पास करते हैं।

खतरा: कुछ मॉडलों में, ये संकेत बार-बार गुणा होकर इतने बड़े हो सकते हैं कि वे कंप्यूटर को ही तोड़ दें (इसे "ग्रेडिएंट एक्सप्लोजन" कहते है)।
VLA की सुरक्षा: लेखकों ने गणितीय रूप से सिद्ध किया है कि क्योंकि VLA अपनी लिखने की दिशा को सामान्य (normalize) रखता है (उसे एक मानक आकार में रखता है), ये संकेत कभी भी बहुत बड़े या बहुत छोटे नहीं होते। वे पूरी तरह से संतुलित रहते हैं, जैसे पाइप में बहता हुआ पानी एक स्थिर दबाव बनाए रखता है, चाहे पाइप कितना भी लंबा क्यों न हो।

परिणाम: लैब में क्या हुआ?

शोधकर्ताओं ने इस नई विधि का परीक्षण पुराने तरीकों के मुकाबले MQAR (Multi-Query Associative Recall) नामक एक खेल के माध्यम से किया। कल्पना कीजिए कि आपको "Key" और "Value" (जैसे एक फोन बुक) के 24 जोड़े दिए जाते हैं, और फिर आपसे बाद में एक विशिष्ट की (key) के लिए वैल्यू खोजने को कहा जाता है।

पुरानी लीनियर विधि: जैसे-जैसे सूची लंबी होती गई, यह चीजें भूलने लगी। जब सूची में 24 आइटम हो गए, तब तक यह रैंडमली अंदाज़ा लगाने लगा था।
DeltaNet (एक पिछला प्रयास): इसने जगह बनाने के लिए पुरानी चीजों को "भूलने" की कोशिश की, लेकिन इसने सब कुछ समान रूप से भुला दिया। यह नहीं बता सका कि "महत्वपूर्ण पुरानी जानकारी" और "नई जानकारी" में क्या अंतर है, इसलिए इसने पुरानी चीज़ों को भी बहुत तेज़ी से खो दिया।
VLA (नई विधि):
- परफेक्ट रिकॉल (Perfect Recall): जब सूची में 24 आइटम थे (जो मेमोरी सीमा के भीतर है), तब VLA का स्कोर 100% सही था। इसने हर एक जोड़े को पूरी तरह से याद रखा।
- स्थिरता (Stability): इसकी मेमोरी की "अव्यवस्था" पुरानी लीनियर विधि की तुलना में 109 गुना कम थी।
- गति (Speed): उन्होंने एक विशेष कंप्यूटर चिप कोड (एक Triton kernel) बनाया जिसने VLA को मानक कंप्यूटर कोड की तुलना में 14 गुना तेज़ बना दिया। यह बहुत लंबी टेक्स्ट (लगभग 43,000 शब्द) को संभालने के लिए धीमे, भारी "स्टैंडर्ड AI" तरीके की तुलना में बहुत तेज़ है।

निचोड़ (The Bottom Line)

पेपर का तर्क है कि लंबी AI मेमोरी की समस्या केवल गति (हम कितनी तेज़ी से गणना करते हैं) के बारे में नहीं है; यह ज्यामिति (geometry - हम स्थान को कैसे व्यवस्थित करते हैं) के बारे में है।

पुराना तरीका: "बस चीज़ें जोड़ते जाओ जब तक कि शेल्फ टूट न जाए।"
VLA का तरीका: "शेल्फ की जाँच करो, खाली जगह ढूँढो, और नई चीज़ को वहाँ रखो ताकि पुरानी चीज़ें सुरक्षित रहें।"

यह AI को बहुत लंबे दस्तावेज़ पढ़ने की अनुमति देता है बिना कहानी की शुरुआत को खोए, और यह सब करते हुए मेमोरी का आकार छोटा और गणनाओं को स्थिर रखता है।

तकनीकी सारांश: वेरिएशनल लीनियर अटेंशन (VLA)

1. समस्या विवरण (Problem Statement)

लंबे-संदर्भ वाले अनुक्रम मॉडलिंग (Long-context sequence modeling) में एक मौलिक ट्रेड-ऑफ (trade-off) का सामना करना पड़ता है: कम्प्यूटेशनल दक्षता और मेमोरी स्थिरता के बीच। मानक ट्रांसफार्मर अटेंशन इष्टतम एसोसिएटिव रिट्रीवल (associative retrieval) प्राप्त करता है, लेकिन यह $O(T^2)$ समय जटिलता और $O(Td) $मेमोरी उपयोग से ग्रस्त है, जिससे यह$ 10^5$ टोकन से अधिक लंबे अनुक्रमों के लिए अव्यवहार्य हो जाता है। लीनियर अटेंशन कर्नेल फीचर मैप्स (kernel feature maps) और रिकरेंट स्टेट अपडेट के माध्यम से जटिलता को $O(T)$ तक कम करके कम्प्यूटेशनल बाधा को दूर करता है। हालाँकि, यह एक महत्वपूर्ण विफलता मोड पेश करता है: आंतरिक मेमोरी स्टेट $S_t$ बिना किसी शर्त के योगात्मक संचय (unconditional additive accumulation) के कारण फ्रोबेनियस नॉर्म (Frobenius norm) में अनिश्चित रूप से ( $O(T)$ ) बढ़ता है। यह अनियंत्रित वृद्धि संग्रहीत जुड़ावों (associations) के बीच क्रमिक हस्तक्षेप (interference) का कारण बनती है, जिससे संदर्भ लंबाई बढ़ने के साथ रिट्रीवल सटीकता कम हो जाती है।

जबकि DeltaNet इसे एक स्केलर गेटिंग तंत्र के माध्यम से कम करने का प्रयास करता है जो स्टेट को समान रूप से क्षय (decay) करता है, इसमें दिशा-विशिष्ट नियंत्रण (direction-selective control) का अभाव है। एक स्केलर गेट हाल ही में ओवरराइट किए गए दिशाओं को प्राथमिकता से भूलने के बजाय पुराने, स्थिर जुड़ावों को संरक्षित नहीं कर सकता है, जिससे उच्च मेमोरी लोड के तहत सटीकता तेजी से गिर जाती है। लेखक तर्क देते हैं कि मुख्य मुद्दा कम्प्यूटेशनल लागत नहीं बल्कि मेमोरी स्थिरता (memory stability) है, विशेष रूप से मेमोरी अपडेट की ज्यामिति (geometry)।

2. कार्यप्रणाली: वेरिएशनल लीनियर अटेंशन (VLA)

यह शोध पत्र वेरिएशनल लीनियर अटेंशन (VLA) प्रस्तावित करता है, जो लीनियर अटेंशन मेमोरी अपडेट को एक ऑनलाइन रेगुलराइज्ड लीस्ट-स्क्वायर्स समस्या (online regularised least-squares problem) के रूप में पुनर्गठित करता है।

2.1 मुख्य सूत्रीकरण (Core Formulation)

अनकंडीशनल एक्यूमुलेशन ( $S_t = S_{t-1} + v_t k_t^\top$ ) के बजाय, VLA एक ऐसी मेमोरी मैट्रिक्स $S_t$ चाहता है जो दंडित भविष्यवाणी त्रुटि (penalized prediction error) को कम करे:
$S^*_t = \arg \min_S \sum_{s=1}^t \|v_s - S\hat{k}_s\|^2 + \text{tr}(S M_t S^\top)$
जहाँ $\hat{k}_s$ सामान्यीकृत (normalized) की (key) है और $M_t$ पहले देखे गए कीज़ की ज्यामिति को एनकोड करने वाला एक समय-परिवर्तनीय पेनल्टी मैट्रिक्स है।

2.2 एडेप्टिव पेनल्टी ज्योमेट्री (Adaptive Penalty Geometry)

VLA प्रति स्टेप $O(d^2)$ लागत पर शेरमैन-मोरिसन रैंक-1 फॉर्मूला (Sherman-Morrison rank-1 formula) का उपयोग करके एक इनवर्स पेनल्टी मैट्रिक्स $A_t = M_t^{-1}$ को सटीक रूप से बनाए रखता है।

तंत्र (Mechanism): $M_t$ सीखे गए पेनल्टी दिशाओं के आउटर प्रोडक्ट्स (outer products) को संचित करता है। फलस्वरूप, $A_t$ उन दिशाओं में संकुचित (contract) होता है जिन्हें हाल ही में "पेनल्टी मास" (अर्थात, जहाँ लिखा गया है) प्राप्त हुआ है।
प्रभाव: वे सबस्पेस (subspaces) जिन्हें हाल ही में लिखा गया है, उन्हें छोटे अपडेट प्राप्त होते हैं, जबकि अछूते सबस्पेस उपलब्ध रहते हैं। यह DeltaNet के स्केलर गेट के मैट्रिक्स-वैल्यूड एनालॉग (matrix-valued analogue) के रूप में कार्य करता है, जो दिशा-विशिष्ट मेमोरी अपडेट को सक्षम बनाता है।

2.3 रिकर्सिव अपडेट नियम (Recursive Update Rule)

इस सूत्रीकरण से प्राप्त सटीक रिकर्सिव अपडेट है:

इनवर्स पेनल्टी अपडेट करें: $A_t = A_{t-1} - \frac{z_t z_t^\top}{1 + u_t^\top z_t}$ (Sherman-Morrison)।
गेटिंग वेक्टर की गणना करें: $\hat{\alpha}_t = \frac{A_t \hat{k}_t}{\|A_t \hat{k}_t\|}$ ।
स्टेट अपडेट करें: $S_t = S_{t-1} + (v_t - S_{t-1}\hat{k}_t) \hat{\alpha}_t^\top$ ।

महत्वपूर्ण रूप से, की ( $\hat{k}_t$ ) और गेटिंग वेक्टर ( $\hat{\alpha}_t$ ) दोनों को यूनिट लेंथ (unit length) के लिए सामान्यीकृत किया गया है। आउटपुट को ELU+1 फीचर मैप का उपयोग करते हुए रिकरेंस के अनुपात के रूप में कंप्यूट किया जाता है, जो मानक लीनियर अटेंशन के समान है।

2.4 कार्यान्वयन दक्षता (Implementation Efficiency)

हालाँकि शेरमैन-मोरिसन अपडेट एक निरंतर कारक ओवरहेड (मानक लीनियर अटेंशन की तुलना में लगभग $5\times$ अधिक ऑपरेशन) पेश करता है, लेखक एक समानांतर बलेलो-स्कैन फॉर्मूलेशन (parallel Blelloch-scan formulation) और एक फ्यूज्ड ट्राइटन कर्नेल (fused Triton kernel) लागू करते हैं। यह सभी $T$ स्टेप्स को एक सिंगल GPU कर्नेल लॉन्च में फ्यूज करता है, जिससे प्रति-टोकन डिस्पैच ओवरहेड समाप्त हो जाता है और क्रमिक पायथन कार्यान्वयन की तुलना में $14\times$ की गति मिलती है।

3. प्रमुख योगदान (Key Contributions)

3.1 सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर दो स्थिरता गुणों के लिए कठोर प्रमाण प्रदान करता है:

बाउंडेड स्टेट ग्रोथ (Proposition 1): बाउंडेड इनपुट्स के तहत, फ्रोबेनियस नॉर्म $\|S_t\|_F$ स्व-सीमित (self-limiting) है। मानक लीनियर अटेंशन के विपरीत जहाँ $\|S_T\|_F = O(T)$ होता है, VLA का स्टेट जैसे ही प्रेडिक्शन रेजिडुअल्स (prediction residuals) कम होते हैं, एक परिमित पठार (finite plateau) पर अभिसरित (converge) हो जाता है।
यूनिट जैकोबियन स्पेक्ट्रल नॉर्म (Proposition 2): रिकरेंस जैकोबियन $J_t = \partial S_t / \partial S_{t-1} = I - \hat{\alpha}_t \hat{k}_t^\top$ का स्पेक्ट्रल नॉर्म सभी अनुक्रम लंबाई और हेड आयामों के लिए सटीक रूप से 1 है, बशर्ते वेक्टर्स यूनिट-नॉर्मलाइज्ड हों। यह मनमाने ढंग से गहराई पर स्थिर ग्रेडिएंट फ्लो (कोई विस्फोट या लुप्त होना नहीं) की गारंटी देता है। बिना नॉर्मलाइजेशन के, स्पेक्ट्रल नॉर्म $d_h/\lambda_0$ के रूप में बढ़ता है, जिससे ग्रेडिएंट मैग्निफिकेशन (जैसे, $d_h=96$ के लिए 25 स्टेप्स के बाद $10^{32}$ ) होता है।

3.2 एसोसिएटिव मेमोरी क्षमता (Associative Memory Capacity)

VLA प्रति हेड $d_h$ जुड़ावों की सैद्धांतिक क्षमता बनाए रखता है (जहाँ $d_h$ हेड डायमेंशन है)। हालाँकि, योगात्मक संचय के विपरीत, VLA नई राइट्स (writes) को हाल ही में उपयोग किए गए सबस्पेस के लंबवत (orthogonal) दिशाओं में रूट करता है। यह इसे पुराने जुड़ावों को बिना समान क्षरण (uniform dilution) के संरक्षित करने की अनुमति देता है, जिससे क्षमता सीमा तक सटीक रिकॉल बनाए रखा जा सकता है।

3.3 दक्षता (Efficiency)

प्रस्तावित ट्राइटन-फ्यूज्ड कर्नेल $O(T)$ स्केलिंग प्राप्त करता है और लगभग 43,000 टोकन पर सॉफ्टमैक्स अटेंशन लेटेंसी से नीचे आ जाता है, जिससे यह लंबे-संदर्भ वाले इन्फरेंस के लिए व्यवहार्य बन जाता है।

4. अनुभवजन्य परिणाम (Empirical Results)

प्रयोग मल्टी-क्वेरी एसोसिएटिव रिकॉल (MQAR) कार्य और एक कॉपी कार्य का उपयोग करके एक साझा दो-परत ट्रांसफार्मर बैकबोन पर किए गए।

स्टेट नॉर्म स्थिरता (State Norm Stability): $T=1,000$ पर, मानक लीनियर अटेंशन $\|S_T\|_F \approx 1,600$ तक पहुँच जाता है, जबकि VLA 15 से नीचे रहता है (एक $109\times$ की कमी)। DeltaNet भी बाउंडेड है लेकिन इसमें VLA जैसी दिशात्मक चयनात्मकता (directional selectivity) का अभाव है।
एसोसिएटिव रिकॉल (क्षमता): उस स्थिति में जहाँ जोड़ों की संख्या $n_{pairs} < d_h$ $n_{p ai r s} < d_{h}$ है (विशेष रूप से $n=24, d_h=32$ $n = 24, d_{h} = 32$ ):
- VLA: 1.000 सटीक-मिलान सटीकता बनाए रखता है।
- DeltaNet: 0.010 तक गिर जाता है।
- Standard Linear Attention: 0.074 तक गिर जाता है।
- Softmax: 0.26 तक गिर जाता है।
लॉन्ग-कॉन्टेक्स्ट रिटेंशन (Long-Context Retention): $n=8$ को स्थिर रखते हुए और $T$ को 512 तक बढ़ाते हुए, VLA 1.000 सटीकता बनाए रखता है। DeltaNet सभी लंबाई के लिए $\approx 0.01$ तक गिर जाता है क्योंकि इसका स्केलर गेट क्वेरी आने से पहले पुराने जुड़ावों को क्षय कर देता है।
ओवरलोड रिजीम (Overload Regime): जब $n > d_h$ होता है, तो VLA योगात्मक लीनियर अटेंशन की तुलना में अधिक सहजता से घटता है क्योंकि एडेप्टिव पेनल्टी मैट्रिक्स हाल ही में लिखी गई दिशाओं को प्राथमिकता से ओवरराइट करता है, जिससे पुराने जुड़ावों को आंशिक रूप से संरक्षित किया जा सके।

5. महत्व और दावे (Significance and Claims)

ज्यामितीय नियंत्रण (Geometric Control): प्राथमिक योगदान यह प्रदर्शित करना है कि यह नियंत्रित करना कि स्टेट को किन दिशाओं में अपडेट करने की अनुमति दी जानी चाहिए, केवल अपडेट की कम्प्यूटेशनल लागत को कम करने से अधिक महत्वपूर्ण है। एक एडेप्टिव पेनल्टी इनवर्स द्वारा शासित रेजिडुअल-एरर अपडेट के साथ अनकंडीशनल एक्यूमुलेशन को बदलकर, VLA एक संख्यात्मक रूप से स्थिर, निरंतर-मेमोरी अनुक्रम मॉडलिंग प्राप्त करता है।
शास्त्रीय सिद्धांत से संबंध (Connection to Classical Theory): VLA लीनियर अटेंशन को रिकर्सिव लीस्ट स्क्वायर्स (RLS) एडेप्टिव फिल्टर से जोड़ता है, जो एक सिद्धांत-आधारित व्युत्पत्ति और स्थिरता सिद्धांत प्रदान करता है जो पिछले "फास्ट-वेट" दृष्टिकोणों में अनुपस्थित था।
व्यावहारिक दायरा (Practical Scope): लेखक दावा करते हैं कि VLA $d_h$ सबसे हाल ही में सुदृढ़ किए गए जुड़ावों का एक निश्चित-आकार का, संख्यात्मक रूप से स्थिर सारांश प्रदान करता है, जो KV-कैश इंफ्रास्ट्रक्चर के बिना स्ट्रीमिंग इन्फरेंस के लिए उपयुक्त है। वे स्पष्ट रूप से उल्लेख करते हैं कि VLA $d_h$ जुड़ावों की मौलिक क्षमता सीमा को पार नहीं करता है, बल्कि उस सीमा के भीतर बेहतर स्थिरता और रिट्रीवल प्रदान करता है।

कार्य निष्कर्ष निकालता है कि हालांकि VLA एक निरंतर-कारक ओवरहेड वहन करता है, स्थिरता (यूनिट जैकोबियन, बाउंडेड स्टेट) और अनुभवजन्य प्रदर्शन (क्षमता तक पूर्ण रिकॉल) का संयोजन इसे एक मजबूत समाधान के रूप में स्थापित करता है जहाँ मानक लीनियर अटेंशन हस्तक्षेप के कारण विफल हो जाता है।