तकनीकी सारांश: लॉग-लीनियर अटेंशन के लिए एडेप्टिव मेमोरी डिके (Adaptive Memory Decay)

समस्या विवरण (Problem Statement)

अनुक्रम मॉडल (Sequence models) मेमोरी क्षमता और कम्प्यूटेशनल दक्षता के बीच एक मौलिक ट्रेड-ऑफ का सामना करते हैं। जबकि मानक ट्रांसफॉर्मर समृद्ध संदर्भ मॉडलिंग (context modeling) प्रदान करते हैं, उनकी द्विघाती कम्प्यूटेशनल लागत ($O(T^2)$) स्केलेबिलिटी को सीमित करती है। इसके विपरीत, लीनियर अटेंशन और स्टेट-स्पेस मॉडल (SSMs) एक निश्चित-आकार के हिडन स्टेट में पिछले पूरे संदर्भ को संकुचित करके लीनियर टाइम कॉम्प्लेक्सिटी ($O(T)$) प्राप्त करते हैं। हालांकि, यह निश्चित-स्टेट संपीड़न एक "रिकॉल बॉटलनेक" (recall bottleneck) बनाता है, जहाँ मॉडल लंबे अनुक्रमों से सटीक जानकारी बनाए रखने में संघर्ष करते हैं, जिससे रिकॉल-गहन कार्यों पर प्रदर्शन में गिरावट आती है।

लॉग-लीनियर अटेंशन [Guo et al., 2026] इस अंतर को भरने का प्रयास करता है, जो मेमोरी को एक फेनविक ट्री (Fenwick tree) पदानुक्रम में व्यवस्थित करता है। यह संरचना हिडन स्टेट को अनुक्रम की लंबाई के साथ लॉगरिदमिक रूप से बढ़ने ($O(\log T)$) की अनुमति देती है, जो लीनियर और क्वाड्रेटिक कॉम्प्लेक्सिटी के बीच एक मध्य मार्ग प्रदान करती है। इस आर्किटेक्चर में, प्रत्येक टाइमस्टेप पर आउटपुट मेमोरी स्तरों का एक भारित योग (weighted sum) होता है, जिसे डिके गुणांक $\lambda^{(\ell)}_t$ द्वारा नियंत्रित किया जाता है।

इस कार्य में पहचाना गया मुख्य मुद्दा यह है कि मूल लॉग-लीनियर अटेंशन फॉर्मूलेशन इनपुट हिडन स्टेट के माध्यम से $\lambda$ की गणना एक लगभग-स्थिर लीनियर प्रोजेक्शन के जरिए करता है। इसके परिणामस्वरूप वेट्स (weights) काफी हद तक इनपुट-स्वतंत्र (input-independent) होते हैं, जो टोकन की सामग्री की परवाह किए बिना पदानुक्रम स्तरों में समान डिके असाइन करते हैं। लेखक तर्क देते हैं कि मेमोरी वेटिंग स्वाभाविक रूप से एक नॉन-लीनियर, कंटेंट-डिपेंडेंट निर्णय है: एक टोकन जो लंबी दूरी की निर्भरता को समाप्त करता है उसे मोटे (coarse), दूर के सारांशों को प्राथमिकता देनी चाहिए, जबकि एक टोकन जो तत्काल संदर्भ के प्रति प्रतिक्रिया देता है उसे सूक्ष्म (fine-grained), हालिया स्टेट्स को प्राथमिकता देनी चाहिए। मूल कठोर पैरामीट्राइजेशन इस लचीलेपन को व्यक्त करने में विफल रहता है, जिससे उच्च मेमोरी लोड के तहत ऑप्टिमाइजेशन अस्थिरता और प्रदर्शन पतन (performance collapse) होता है।

कार्यप्रणाली (Methodology)

लेखक एडेप्टिव मेमोरी डिके (Adaptive Memory Decay) का प्रस्ताव करते हैं, जो $\lambda$ के स्टैटिक लीनियर प्रोजेक्शन को एक हल्के, इनपुट-डिपेंडेंट मैकेनिज्म से बदल देता है।

LambdaMLPSoftplus

प्रस्तावित विधि बेसलाइन प्रोजेक्शन को एक दो-परत वाले मल्टी-लेयर पर्सपेप्ट्रॉन (MLP) से बदल देती है जो बेसलाइन द्वारा उत्पादित इंटरमीडिएट रिप्रेजेंटेशन $d_t$ पर कार्य करता है।

• आर्किटेक्चर: MLP बेसलाइन रिप्रेजेंटेशन को लेता है और Softplus एक्टिवेशन फंक्शन के साथ दो लीनियर लेयर्स लागू करता है:
  $$h_t = d_t W_1$$
  $$\lambda_t = \text{softplus}(h_t W_2 + b)$$
• कंटेंट-एडेप्टिव वेट्स: यह प्रत्येक टोकन, प्रत्येक अटेंशन हेड और प्रत्येक पदानुक्रम स्तर के लिए एक अद्वितीय डिके वेट $\lambda^{(\ell)}_t$ उत्पन्न करता है, जिससे मॉडल टोकन की स्थिति के बजाय विशिष्ट सामग्री के आधार पर मेमोरी एक्सेस रणनीतियों को अनुकूलित करने में सक्षम होता है।
• एक्टिवेशन का चुनाव (Softplus बनाम Softmax): लेखक स्पष्ट रूप से Softmax के ऊपर Softplus को चुनते हैं। Softmax स्तरों के बीच वेट्स को नॉर्मलाइज़ करता है, जिससे एक प्रतिस्पर्धा पैदा होती जहाँ एक स्तर पर जोर देने से दूसरे दब जाते हैं। यह कृत्रिम प्रतिस्पर्धा मॉडल को हालिया और दूर के संदर्भ दोनों का एक साथ उपयोग करने से रोक सकती है। Softplus ऐसा कोई प्रतिबंध नहीं लगाता है, जिससे प्रत्येक पदानुक्रम स्तर स्वतंत्र रूप से स्केल हो सकता है।
• इनिशियलाइजेशन: प्रशिक्षण को स्थिर करने के लिए, $W_2$ को जीरो के रूप में और बायस को 0.54 के रूप में इनिशियलाइज किया गया है, ताकि $\text{softplus}(0.54) \approx 1.0$ हो। यह MLP को शुरुआत में एक 'नियर-आइडेंटिटी ट्रांसफॉर्मेशन' बनाता है, जो अडैप्टिव पैटर्न सीखने से पहले बेसलाइन व्यवहार से मेल खाता है।

कॉम्प्लेक्सिटी का संरक्षण (Complexity Preservation)

संशोधन को मूल लॉग-लीनियर अटेंशन की एसिम्प्टोटिक कॉम्प्लेक्सिटी को बनाए रखने के लिए डिज़ाइन किया गया है:

• ट्रेनिंग कॉम्प्लेक्सिटी: $O(T \log T)$ बनी रहती है। MLP, $O(\log T)$ डायमेंशनल लेवल एक्सिस पर कार्य करता है, जिससे नगण्य कंप्यूट ओवरहेड जुड़ता है।
• डिकोडिंग मेमोरी: $O(\log T)$ बनी रहती है।
• पैरामीटर ओवरहेड: $2L$ हिडन डायमेंशन के साथ, MLP पूरे मॉडल में 0.007% से भी कम अतिरिक्त पैरामीटर्स जोड़ता है।

मुख्य योगदान (Key Contributions)

1. कंटेंट-एडेप्टिव मेमोरी वेटिंग: पेपर यह प्रदर्शित करता है कि लीनियर $\lambda$ प्रोजेक्शन को हल्के MLP से बदलकर, मेमोरी डिके टोकन की सामग्री के अनुकूल हो सकता है, जो मूल फॉर्मूलेशन की कठोरता को हल करता है।
2. सिद्धांत-आधारित एक्टिवेशन फंक्शन: सॉफ्टप्लस (Softplus) के रूप में एक्टिवेशन फंक्शन का परिचय यह सुनिश्चित करता है कि मेमोरी स्तरों का स्वतंत्र स्केलिंग संभव हो, जो Softmax द्वारा पेश की गई हानिकारक इंटर-लेवल प्रतिस्पर्धा से बचता है।
3. कॉम्प्लेक्सिटी-प्रिजर्विंग डिज़ाइन: यह विधि $O(T \log T)$ ट्रेनिंग कॉम्प्लेक्सिटी या $O(\log T)$ डिकोडिंग मेमोरी को बदले बिना, नगण्य पैरामीटर ओवरहेड के साथ प्रदर्शन में सुधार करती है।
4. अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक रिकॉल कार्यों और नेचुरल लैंग्वेज मॉडलिंग पर इस दृष्टिकोण का मूल्यांकन किया गया है, जो बेसलाइन की तुलना में निरंतर सुधार दिखाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क पर विधि का मूल्यांकन किया:

1. मल्टी-क्वेरी एसोसिएटिव रिकॉल (MQAR)

• कार्य: एक अनुक्रम में पहले प्रस्तुत की गई कुंजियों (keys) से जुड़े मानों (values) को पुनः प्राप्त करना।
• निष्कर्ष: बेसलाइन लॉग-लीनियर अटेंशन ने उच्च वेरिएंस और "कोलैप्स" (की-वैल्यू पेयर्स बढ़ने पर रैंडम एक्यूरेसी के करीब गिर जाना) प्रदर्शित किया (जैसे, $k=32$ पर, बेसलाइन मीन एक्यूरेसी 2.9% बनाम प्रस्तावित विधि के लिए 57.9%)। प्रस्तावित MLP-$\lambda$ (Softplus) ने उच्च एक्यूरेसी (99.6% पीक) बनाए रखी और बेहतर लेंथ जनरलाइजेशन दिखाया, जो सीक्वेंस लेंथ 256 पर बेसलाइन के 3.3% की तुलना में 33.2% एक्यूरेसी बनाए रखता है।
• अवलोकन: Softmax वेरिएंट मध्यम लोड पर अच्छा प्रदर्शन करता है लेकिन उच्च लोड ($k=32$) पर विफल हो जाता है, जो इस परिकल्पना का समर्थन करता है कि Softmax-प्रेरित प्रतिस्पर्धा हानिकारक है।

2. सिलेक्टिव कॉपीइंग (Selective Copying)

• कार्य: एक नॉइजी सीक्वेंस से विशिष्ट टोकन की पहचान करना और उन्हें पुनरुत्पादित करना।
• निष्कर्ष: सीक्वेंस लेंथ 1024 पर, बेसलाइन काफी गिर गया (40.6% एक्यूरेसी और उच्च वेरिएंस के साथ), जबकि MLP-$\lambda$ (Softplus) वेरिएंट ने 54.8% के साथ स्थिर अभिसरण (stable convergence) प्राप्त किया। यह पुष्टि करता है कि एडेप्टिव वेटिंग उच्च मेमोरी दबाव के तहत ट्रेनिंग इंस्टेबिलिटी को कम करती है।

3. लैंग्वेज मॉडलिंग (WikiText-103)

• कार्य: नेचुरल लैंग्वेज कॉर्पस पर नेक्स्ट-टोकन प्रेडिक्शन।
• निष्कर्ष: 512 हिडन साइज वाले मॉडल पर, सॉफ्टप्लस वेरिएंट ने 218.57 की परप्लेक्सिटी प्राप्त की, जो बेसलाइन (224.71) और सॉफ्टमैक्स वेरिएंट (226.06) से बेहतर है। छोटे मॉडल्स (हिडन साइज 256) पर भी लाभ देखे गए, हालांकि मार्जिन छोटा था, जो बताता है कि लाभ रिप्रेजेंटेशनल कैपेसिटी के साथ बढ़ता है।

विज़ुअलाइज़ेशन (Visualization)

सीखे गए $\lambda$ वेट्स के विज़ुअलाइज़ेशन से पता चला कि बेसलाइन ने सभी स्तरों पर लगभग समान वेट्स लागू किए। इसके विपरीत, MLP-$\lambda$ (Softplus) ने स्ट्रक्चर्ड, कंटेंट-डिपेंडेंट पैटर्न सीखे: की-वैल्यू और क्वेरी टोकन्स के लिए फाइन-ग्रेन्ड लेवल्स को मजबूती से सक्रिय किया गया, जबकि डीपर लेवल्स को दबा दिया गया, जो यह दर्शाता है कि मॉडल ने मेमोरी एक्सेस को डायनेमिक रूप से रूट करना सीख लिया है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि इनपुट-स्वतंत्र मेमोरी डिके की कठोरता लॉग-लीनियर अटेंशन में एक महत्वपूर्ण सीमा है, जो लॉन्ग-रेंज मेमोरी सेटिंग्स में ऑप्टिमाइजेशन अस्थिरता और प्रदर्शन पतन का कारण बनती है। एक हल्के, कंटेंट-एडेप्टिव मैकेनिज्म का उपयोग करके सॉफ्टप्लस के साथ, लेखक प्रदर्शित करते हैं कि उस कम्प्यूटेशनल दक्षता से समझौता किए बिना, जो लॉग-लीनियर अटेंशन को आकर्षक बनाती है, रिकॉल और स्थिरता में महत्वपूर्ण सुधार करना संभव है।

लेखक इस कार्य को लॉग-लीनियर अटेंशन के मेमोरी वेटिंग मैकेनिज्म के एक लक्षित सुधार के रूप में देखते हैं, न कि मूल फेनविक ट्री संरचना या एसिम्प्टोटिक कॉम्प्लेक्सिटी में बदलाव के रूप में। वे निष्कर्ष निकालते हैं कि कुशल सीक्वेंस मॉडल्स के लिए एडेप्टिव मेमोरी कंट्रोल आवश्यक है और इसी तरह के एडेप्टिव मैकेनिज्म वाली पदानुक्रमित अटेंशन आर्किटेक्चर में अन्वेषण को प्रोत्साहित करते हैं। यह कार्य स्पष्ट रूप से स्वीकार करता है कि मूल लॉग-लीनियर अटेंशन लेखकों ने इस पैरामीट्राइजेशन को एक खुली सीमा और भविष्य के कार्य के लिए एक आशाजनक दिशा के रूप में पहचाना था, जिसे यह पेपर संबोधित करता है।