💻 computer science

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

Gated DeltaNet-2 एक नवीन लीनियर अटेंशन मैकेनिज्म पेश करता है जो पिछले मॉडलों में स्केलर-टाइड एडिटिंग की सीमाओं को दूर करने के लिए अलग-अलग गेट्स के माध्यम से चैनल-वार इरेज़ (erase) और राइट (write) ऑपरेशन्स को डिकपल करता है, जिससे लैंग्वेज मॉडलिंग और लॉन्ग-कॉन्टेक्स्ट रिट्रीवल कार्यों में अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Ali Hatamizadeh, Yejin Choi, Jan Kautz

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ali Hatamizadeh, Yejin Choi, Jan Kautz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "बहुत अधिक मेमोरी" की समस्या

कल्पना कीजिए कि एक सुपर-स्मार्ट लाइब्रेरियन (AI मॉडल) है जिसे किसी सवाल का जवाब देने के लिए एक बहुत लंबी किताब पढ़नी है।

पुराना तरीका (स्टैंडर्ड ट्रांसफॉर्मर्स): लाइब्रेरियन ने जितने भी शब्द पढ़े हैं, उनके लिए कार्ड्स का एक विशाल, बढ़ता हुआ ढेर रखता है। अगर किताब 1,00,000 शब्दों की है, तो वह ढेर बहुत बड़ा हो जाता है। इसमें डेस्क की बहुत जगह (मेमोरी) लगती है और चीजों को ढूँढना धीमा हो जाता है।
नया तरीका (लीनियर अटेंशन): जगह बचाने के लिए, लाइब्रेरियन एक सिंगल, फिक्स्ड-साइज़ नोटबुक का उपयोग करता है। सब कुछ लिखने के बजाय, वे कहानी का सारांश बनाते चलते हैं। अगर नोटबुक भर जाती है, तो उन्हें कुछ नया लिखने के लिए कुछ मिटाना पड़ता है।

इस "फिक्स्ड नोटबुक" के साथ समस्या इंटरफेरेंस (हस्तक्षेप) की है। यदि लाइब्रेरियन एक नई कहानी लिखने के लिए एक पन्ना मिटा देता है, तो वे अनजाने में अतीत के किसी महत्वपूर्ण विवरण को मिटा सकते हैं जिसकी उन्हें बाद में अभी भी आवश्यकता हो सकती है। यह वैसा ही है जैसे अपनी स्टिकी नोट पर नई किराने की सूची लिखने की कोशिश करना जिस पर पहले से ही आपका फोन नंबर लिखा हो; यदि आप नंबर के ऊपर कुछ लिख देते हैं, तो आप उसे खो देते हैं।

पिछला समाधान: "एक ही आकार के लिए उपयुक्त" इरेज़र (One-Size-Fits-All Eraser)

शोधकर्ताओं ने KDA और Gated DeltaNet जैसे मॉडल्स के साथ इसे ठीक करने की कोशिश की। उन्होंने लाइब्रेरियन को एक विशेष "इरेज़र" और एक "पेन" दिया।

हालाँकि, इन मॉडल्स में एक दोष था: इरेज़र और पेन आपस में जुड़े हुए थे।
कल्पना कीजिए कि एक सिंगल स्विच है जो दो चीजों को एक साथ नियंत्रित करता है:

कितनी पुरानी लिखावट को मिटाया जाना है।
कितनी नई लिखावट को दर्ज किया जाना है।

यदि लाइब्रेरियन अतीत के एक विशिष्ट शब्द को मिटाना चाहता था लेकिन बाकी पन्ने को सुरक्षित रखना चाहता था, तो वह ऐसा नहीं कर सकता था। स्विच ने उन्हें मजबूर किया कि या तो वे पूरा पन्ना मिटा दें या पूरी नई कहानी लिखें। वे सटीक नहीं हो सकते थे। वे "एक-दूसरे से बंधे हुए" थे।

नया समाधान: Gated DeltaNet-2

Gated DeltaNet-2 इस लाइब्रेरियन की नोटबुक प्रणाली का एक नया संस्करण है। इसका मुख्य नवाचार इरेज़र को पेन से डिकपलिंग (अलग करना/अनटैंगल करना) है।

एक स्विच के बजाय, अब मॉडल के पास दो स्वतंत्र नियंत्रण हैं:

"इरेस गेट" (The Eraser - मिटाने वाला द्वार): यह नियंत्रण पुरानी जानकारी को देखता है। यह तय करता है कि पुरानी कहानी के कौन से विशिष्ट हिस्सों को मिटाया जाना है। यह एक सटीक इरेज़र की तरह है जो "ऑरेंज" शब्द को छुए बिना केवल "एप्पल" शब्द को हटा सकता है।
"राइट गेट" (The Write Gate - लिखने वाला द्वार): यह नई जानकारी को देखता है। यह तय करता है कि नई कहानी के कौन से हिस्से लिखे जाने चाहिए। यह एक पेन की तरह है जो केवल आपके खरीदे गए नए सामान को लिख सकता है, बिना पूरी लिस्ट को दोबारा लिखे।

उपमा (Analogy):
नोटबुक के पन्ने को एक डिजिटल व्हाइटबोर्ड के रूप में सोचें।

पुराना मॉडल: आपके पास एक रिमोट कंट्रोल है। यदि आप "अपडेट" दबाते हैं, तो यह बोर्ड का 50% मिटा देता है और 50% नया लिख देता है। आप यह नहीं चुन सकते कि क्या मिटाया जाए या क्या लिखा जाए।
Gated DeltaNet-2: आपके पास एक लेजर पॉइंटर और एक मार्कर है। आप लेजर का उपयोग करके केवल उन विशिष्ट पुराने तथ्यों को मिटाने के लिए कर सकते हैं जो गलत हैं ("इरेस गेट"), और फिर मार्कर का उपयोग करके केवल उन नए तथ्यों को लिखने के लिए कर सकते हैं जो महत्वपूर्ण हैं ("राइट गेट")।

यह क्यों मायने रखता है (परिणाम)

पेपर ने इस नए "दो-गेट" सिस्टम का परीक्षण अन्य स्मार्ट मॉडल्स (जैसे Mamba-2, Mamba-3, और मूल KDA) के खिलाफ एक 1.3-बिलियन-पैरामीटर वाले मॉडल पर किया, जिसे भारी मात्रा में शैक्षिक टेक्स्ट पर प्रशिक्षित किया गया था।

यहाँ उन्हें क्या मिला:

"हे स्टैक में सुई" (Needle in a Haystack) खोजने में बेहतर:
कल्प_िए एक टेस्ट जहाँ लाइब्रेरियन को 100 पन्नों के दस्तावेज़ के भीतर छिपी एक विशिष्ट वाक्य को खोजना है।
- पुराने मॉडल्स कभी-कभी भ्रमित हो जाते थे क्योंकि "जुड़े हुए" इरेज़र ने नई जानकारी लिखने की कोशिश में अनजाने में "सुई" को भी मिटा दिया था।
- Gated DeltaNet-2 इसमें सबसे अच्छा था। क्योंकि यह केवल विचलित करने वाली जानकारी को चुनिweise मिटा सकता था जबकि महत्वपूर्ण "सुई" को सुरक्षित रख सकता था, इसने बहुत लंबे दस्तावेजों में भी सही उत्तर को बेहतर ढंग से याद रखा।
बेहतर तर्क क्षमता (Reasoning):
कॉमन सेंस (जैसे "अगर मैं मेज पर एक कप रखता हूँ, तो कप कहाँ है?") से जुड़े परीक्षणों पर, नए मॉडल ने अपने प्रतिस्पर्धियों की तुलना में अधिक स्कोर किया। ऐसा लगता है कि मेमोरी को सटीकता से एडिट करने की क्षमता मॉडल को संबंधों को बेहतर ढंग से समझने में मदद करती है।
गति और दक्षता:
अपने अधिक जटिल नियंत्रणों (एक के बजाय दो गेट) के बावजूद, मॉडल काफी धीमा नहीं हुआ। यह अभी भी अन्य कुशल मॉडल्स की गति के समान गति से टेक्स्ट प्रोसेस करता है, जिससे यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बनता है।

सारांश

Gated DeltaNet-2 AI के लिए उसकी शॉर्ट-टर्म मेमोरी को मैनेज करने का एक स्मार्ट तरीका है। भूलने (पुराने डेटा को मिटाना) की क्रिया को सीखने (नया डेटा लिखना) से अलग करके, मॉडल "कोलेटरल डैमेज" (आस-पास के नुकसान) से बचता है, जिससे महत्वपूर्ण जानकारी को गलती से डिलीट करने का खतरा कम हो जाता है। यह इसे लंबे किस्से और जटिल कार्यों को अधिक सटीकता के साथ संभालने की अनुमति देता है, जबकि मेमोरी का उपयोग कम और गति उच्च बनी रहती है।

तकनीकी सारांश: Gated DeltaNet-2

समस्या विवरण (Problem Statement)

लीनियर अटेंशन मैकेनिज्म (Linear attention mechanisms) मानक सॉफ्टमैक्स अटेंशन के एक आकर्षक विकल्प के रूप में उभरते हैं, जो अनबाउंडेड कैश (unbounded cache) को एक निश्चित आकार के रिकरेंट स्टेट (fixed-size recurrent state) से बदलकर, सीक्वेंस मिक्सिंग को लीनियर टाइम में और डिकोडिंग को कांस्टेंट मेमोरी में बदल देते हैं। हालाँकि, एक मौलिक बाधा अभी भी डेल्टा-रूल मॉडल्स (जैसे DeltaNet, Gated DeltaNet, और Kimi Delta Attention/KDA) में बनी हुई है। जबकि ये मॉडल लक्षित ओवरराइट्स (targeted overwrites) की अनुमति देकर मेमोरी प्रबंधन में सुधार करते हैं, वे एक स्केलर गेट ( $\beta_t$ ) पर निर्भर करते हैं जो दो अलग-अलग ऑपरेशन्स को एक साथ नियंत्रित करता है:

इरेज़िंग (Erasing): यह तय करना कि पुराने कंटेंट (जो की-साइड से पढ़ा गया है) का कितना हिस्सा हटाया जाना चाहिए।
राइटिंग (Writing): यह तय करना कि नए कंटेंट (जो वैल्यू-साइड से आया है) का कितना हिस्सा दर्ज किया जाना चाहिए।

पेपर का तर्क है कि इन दोनों को एक ही स्केलर निर्णय के रूप में मानना एक मॉडलिंग प्रतिबंध (modeling restriction) है। इरेज़िंग 'की' एक्सिस (key axis) पर कार्य करती है (यह निर्धारित करती है कि पुराने रीड के किन कोऑर्डिनेट्स को हटाना है), जबकि राइटिंग 'वैल्यू' एक्सिस (value axis) पर कार्य करती है (यह निर्धारित करती है कि आने वाले वैल्यू के किन कोऑर्डिनेट्स को कमिट करना है)। इन निर्णयों को जोड़ने से मॉडल की क्षमता सीमित हो जाती है कि वह मौजूदा एसोसिएशंस को बाधित किए बिना संपीड़ित मेमोरी (compressed memory) को चुनिंदा रूप से एडिट कर सके, विशेष रूप से लंबे-कॉन्टेक्स्ट (long-context) परिदृश्यों में जहाँ कई एसोसिएशंस एक ही सीमित स्टेट स्पेस के लिए प्रतिस्पर्धा करते हैं।

कार्यप्रणाली: Gated DeltaNet-2 (Methodology: Gated DeltaNet-2)

लेखक Gated DeltaNet-2 प्रस्तावित करते हैं, जो एक रिकरेंट अटेंशन लेयर है जो डेल्टा रूल के भीतर इरेज़ और राइट ऑपरेशन्स को अलग (decouple) करती है।

1. Gated Delta Rule-2

मुख्य नवाचार स्केलर गेट को दो स्वतंत्र, चैनल-वाइज गेट्स में विभाजित करना है:

इरेज़ गेट ( $b_t \in [0, 1]^{d_k}$ ): एक चैनल-वाइज वेक्टर जो की डायमेंशन (key dimension) पर लागू होता है। यह वर्तमान रीड के कोऑर्डिनेट्स को वेट करता है ( $e_t = b_t \odot k_t$ ) ताकि यह निर्धारित किया जा सके कि पुराने स्टेट के कौन से हिस्से को मिटाया जाना है।
राइट गेट ( $w_t \in [0, 1]^{d_v}$ ): एक चैनल-वाइज वेक्टर जो वैल्यू डायमेंशन (value dimension) पर लागू होता है। यह इनकमिंग वैल्यू के कोऑर्डिनेट्स को वेट करता ( $z_t = w_t \odot v_t$ ) ताकि यह निर्धारित किया जा सके कि नए वैल्यू के कितने हिस्से को कमिट किया जाना है।

स्टेट अपडेट समीकरण इस प्रकार है:
$S_t = (I - k_t(b_t \odot k_t)^\top) D_t S_{t-1} + k_t(w_t \odot v_t)^\top$
जहाँ $D_t = \text{Diag}(\alpha_t)$ KDA से विरासत में मिला चैनल-वाइज डिके (decay) को दर्शाता है।

यह फॉर्मूलेशन पिछले मॉडल्स को सामान्य बनाता है:

यदि $b_t$ और $w_t$ एक ही स्केलर $\beta_t$ से जुड़े हैं, तो यह KDA को रिकवर करता है।
यदि डिके $\alpha_t$ भी एक स्केलर से जुड़ा है, तो यह Gated DeltaNet को रिकवर करता है।

2. फास्ट-वेट अपडेट परिप्रेक्ष्य (Fast-Weight Update Perspective)

लेखक इस अपडेट को एक लोकल रिग्रेशन लॉस पर ऑनलाइन ऑप्टिमाइज़ेशन स्टेप के रूप में व्याख्यायित करते हैं। मॉडल एक डिकेड मेमोरी और एक नए स्टेट के बीच की दूरी को न्यूनतम करता है, जो एक एसोसिएटिव एडिट के अधीन है जो रीड वैल्यू ( $\bar{S}_{t-1}^\top e_t$ ) को गेटेड टारगेट ( $z_t$ ) की ओर सही करता है। यह दृष्टिकोण स्पष्ट करता है कि अपडेट dekaed (घटे हुए) पुराने रीड को घटाता है और फिर गेटेड नए वैल्यू को जोड़ता है।

3. कुशल चंकवाइज पैरेलल ट्रेनिंग (Efficient Chunkwise Parallel Training)

ट्रेनिंग दक्षता बनाए रखने के लिए, लेखक एक WY एल्गोरिदम (KDA के समान) निकालते हैं जो संचयी चैनल-वाइज डिके को रैंक-वन इरेज़ फैक्टर्स में अवशोषित (absorb) करता है।

डिके एब्जॉर्प्शन (Decay Absorption): चैनल-वाज़ डिके को इरेज़ ( $\bar{E}$ ) और राइट ( $Z$ ) मैट्रिसेस में नॉर्मलाइज़ किया जाता है, जिससे रिकरेंस को एक शुद्ध एसिमेट्रिक डेल्टा अपडेट के रूप में व्यक्त किया जा सकता है।
ट्रायंगुलर सॉल्व (Triangular Solve): चंकवाइज कंप्यूटेशन में सहायक मैट्रिसेस $Y$ (इरेज़-साइड) और $U$ (राइट-साइड) को कंप्यूट करने के लिए एक लोअर ट्रायंगुलर सिस्टम $(I+T)^{-1}$ को हल करना शामिल है।
गेट-अवेयर बैकवर्ड पास (Gate-Aware Backward Pass): एक महत्वपूर्ण तकनीकी योगदान बैकवर्ड पास का व्युत्पन्न (derivation) है। स्केलर-गेटेड मॉडल्स के विपरीत जहाँ गेट फैक्टर को डॉट प्रोडक्ट्स से बाहर निकाला जा सकता है, Gated DeltaNet-2 के लिए चैनल-वाइज गेट्स ( $b_t$ और $w_t$ ) को सहायक मैट्रिसेस के ग्रेडिएंट एकत्रीकरण में सीधे शामिल करना आवश्यक है। यह सुनिश्चित करता है कि कुशल चंकवाइज संरचना को तोड़े बिना सही ग्रेडिएंट फ्लो बना रहे।

4. आर्किटेक्चर (Architecture)

मॉडल को एक स्टैंडर्ड ट्रांसफार्मर-स्टाइल ब्लॉक में टोकन मिक्सर के रूप में लागू किया गया है। यह रिकरेंट-ओनली (recurrent-only) और हाइब्रिड (hybrid) दोनों कॉन्फ़िगरेशन का समर्थन करता है। हाइब्रिड वेरिएंट सटीक लोकल इंटरैक्शन को संभालने के लिए स्लाइडिंग-विंडो अटेंशन (SWA) के साथ Gated DeltaNet-2 मिक्सर को इंटरलीव करता है, जबकि रिकरेंट लेयर लॉन्ग-रेंज डिपेंडेंसीज़ को मैनेज करती है।

मुख्य परिणाम (Key Results)

मॉडल का मूल्यांकन 1.3B पैरामीटर्स के साथ 100B FineWeb-Edu टोकन्स पर किया गया, जिसकी तुलना Mamba-2, Gated DeltaNet, KDA, Mamba-3 (SISO/MIMO), और ट्रांसफॉर्मर्स से की गई।

लैंग्वेज मॉडलिंग और रीजनिंग: Gated DeltaNet-2 ने पर्सप्लेक्सिटी (WikiText, LAMBADA) और ज़ीरो-शॉट कॉमन सेंस रीजनिंग बेंचमार्क्स (PIQA, HellaSwag, आदि) दोनों में रिकरेंट और हाइब्रिड सेटिंग्स में सबसे मजबूत समग्र परिणाम प्राप्त किए।
लॉन्ग-कॉन्टेक्स्ट रिट्रीवल (RULER): सबसे महत्वपूर्ण लाभ मल्टी-की नीडल-इन-ए-हेस्टैक (MK-NIAH) कार्यों में देखे गए। इन परिदृश्यों में, जहाँ एक निश्चित आकार के स्टेट को प्रतिस्पर्धी एसोसिएशंस को अलग करना होता है, Gated DeltaNet-2 ने सभी बेसलाइन्स को पीछे छोड़ दिया, विशेष रूप से जैसे-जैसे कॉन्टेक्स्ट लेंथ (8K टोकन्स तक) बढ़ी।
रियल-वर्ल्ड रिट्रीवल: निष्कर्षण (extraction) और प्रश्न उत्तर (SQuAD, TriviaQA, DROP) से जुड़े कार्यों पर, हाइब्रिड Gated DeltaNet-2 मॉडल ने उच्चतम औसत सटीकता प्राप्त की, जो शोर वाले, वास्तविक दुनिया के संदर्भों में मजबूती प्रदर्शित करता है।
दक्षता (Efficiency): H100 GPUs पर थ्रूपुट विश्लेषण ने दिखाया कि Gated DeltaNet-2 सीक्वेंस लेंथ बढ़ने के साथ लगभग फ्लैट स्केलिंग बनाए रखता है, जिसमें अतिरिक्त चैनल-वाइज गेट्स के कारण KDA की तुलना में केवल मामूली कांस्टेंट ओवरहेड होता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि एक्टिव मेमोरी एडिट को अलग करना (decoupling the active memory edit) सीधे फिक्स्ड-स्टेट रिकरेंस के प्राथमिक दबाव बिंदु को लक्षित करता है: कई संपीड़ित एसोसिएशंस के बीच हस्तक्षेप।

मॉडलिंग लचीलापन (Modeling Flexibility): इरेज़ और राइट को अलग करके, मॉडल डिके के माध्यम से व्यापक कॉन्टेक्स्ट को साफ़ कर सकता है, इरेज़ गेट के माध्यम से विशिष्ट पुराने एसोसिएशंस को हटा सकता है, और राइट गेट के माध्यम से केवल आवश्यक वैल्यू चैनल्स को डाल सकता है। यह लचीलापन इसे KDA और Gated DeltaNet को विशेष मामलों के रूप में रिकवर करने की अनुमति देता है और आवश्यकता पड़ने पर अधिक जटिल चैनल स्ट्रक्चर सीखने में सक्षम बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): एब्लेशन स्टडीज पुष्टि करती हैं कि दोनों गेट्स प्रदर्शन में योगदान देते हैं, जिसमें चैनल-वाइज इरेज़ गेट ( $b_t$ ) लैंग्वेज मॉडलिंग और रिट्रीवल में अधिकांश लाभ प्रदान करता है।
व्यावहारिकता (Practicality): यह कार्य प्रदर्शित करता है कि उन्नत मेमोरी कंट्रोल मैकेनिज्म को बड़े पैमाने पर ट्रेनिंग के लिए आवश्यक कुशल पैरेलल ट्रेनिंग दक्षता से समझौता किए बिना लीनियर अटेंशन में एकीकृत किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि Gated DeltaNet-2 "रिकरेंट अटेंशन फ्रंटियर" की दिशा में एक कदम है, जो लंबे-कॉन्टेक्स्ट परिदृश्यों में संपीड़ित मेमोरी को प्रबंधित करने के लिए एक अधिक अभिव्यंजक और कुशल तंत्र प्रदान करता है।