💬 NLP

Higher-order Linear Attention

यह शोध पत्र हायर-ऑर्डर लीनियर अटेंशन (HLA) को प्रस्तुत करता है, जो एक स्केलेबल, कॉज़ल मैकेनिज्म है जो कॉम्पैक्ट प्रीफ़िक्स पर्याप्त सांख्यिकी (prefix sufficient statistics) को बनाए रखकर लीनियर टाइम कॉम्प्लेक्सिटी के साथ हायर-ऑर्डर इंटरैक्शन प्राप्त करता है, जिससे रिकरेंट आर्किटेक्चर की अभिव्यक्ति क्षमता को संरक्षित करते हुए मानक अटेंशन की क्वाड्रेटिक लागत पर विजय प्राप्त की जा सकती है।

मूल लेखक: Yifan Zhang, Zhen Qin, Quanquan Gu

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifan Zhang, Zhen Qin, Quanquan Gu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी किताब पढ़ने की कोशिश कर रहे हैं, लेकिन आपका एक बहुत सख्त नियम है: आप केवल वही याद रख सकते हैं जो आपने अब तक पढ़ा है, और आपको प्रत्येक शब्द को एक-एक करके प्रोसेस करना होगा जैसे-जैसे वह आता है।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे करने का मानक तरीका (जिसे "ट्रांसफॉर्मर अटेंशन" कहा जाता है) ऐसा है जैसे आप हर नए शब्द के मिलने पर अब तक पढ़ी गई पूरी किताब को याद करने की कोशिश करते हैं। वर्तमान शब्द को समझने के लिए, AI पिछले हर एक शब्द को देखता है, उन सभी की तुलना करता है, और एक स्कोर निकालता है। यदि किताब में 10,000 शब्द हैं, तो यह "पीछे देखने" की प्रक्रिया अविश्वसनीय रूप से धीमी और मेमोरी-भारी हो जाती है क्योंकि AI हर शब्द की तुलना हर दूसरे शब्द से करता है। यह भीड़ में किसी विशिष्ट व्यक्ति को खोजने के लिए हर एक व्यक्ति से यह पूछने जैसा है कि क्या वे उस व्यक्ति को जानते हैं, और यह बार-बार करना।

हायर-ऑर्डर लीनियर अटेंशन (HLA) एक नया तरीका है जिसे शोधकर्ताओं द्वारा इस समस्या को हल करने के लिए प्रस्तावित किया गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग करें:

1. समस्या: "क्वाड्रेटिक" बाधा (The "Quadratic" Bottleneck)

पुराना तरीका एक ग्रुप चैट की तरह है जहाँ हर किसी को एक-दूसरे को जवाब देना पड़ता है। यदि $N$ लोग हैं, तो बातचीत की संख्या $N \times N$ है। जैसे-जैसे ग्रुप बड़ा होता है, चैट प्रबंधित करना असंभव हो जाता है। यही कारण है कि वर्तमान AI मॉडल बहुत लंबे संदर्भों (जैसे एक बार में पूरी उपन्यास पढ़ने) के साथ संघर्ष करते हैं।

2. समाधान: "स्मार्ट नोटबुक" (लीनियर अटेंशन)

पिछले समाधानों ने एक "सारांश" या "नोटबुक" का उपयोग करके इसे ठीक करने की कोशिश की। हर विशिष्ट बातचीत को याद रखने के बजाय, AI केवल सबसे महत्वपूर्ण चीजों का एक चलता-फिरता हिसाब रखता है।

फर्स्ट-ऑर्डर (बेसिक नोटबुक): कल्पना कीजिए कि आपके पास एक नोटबुक है जहाँ आप केवल देखे गए लाल कारों और नीली कारों की कुल संख्या लिखते हैं। जब कोई नई कार आती है, तो आप बस गिनती अपडेट कर देते हैं। यह तेज़ है, लेकिन यह थोड़ा कम बुद्धिमान है। इसे यह नहीं पता होता कि कारें एक-दूसरे से कैसे संबंधित हैं, बस यह कि वे मौजूद हैं।

3. नवाचार: "एडवांस्ड डैशबोर्ड" (हायर-ऑर्डर HLA)

लेखक कहते हैं, "क्या होगा अगर हमारी नोटबुक स्मार्ट हो सके? क्या होगा अगर यह न केवल गिनती, बल्कि यह भी याद रख सके कि कारें एक-दूसरे से कैसे संबंधित हैं?"

वे हायर-ऑर्डर लीनियर अटेंशन (HLA) पेश करते हैं।

उपमा: केवल गणनाओं की सूची के बजाय, एक डैशबोर्ड की कल्पना करें जो ट्रैक करता है:
1. कारों की कुल संख्या।
2. कारों के बीच का "संबंध" (जैसे, "एक नीली कार के बाद कितनी लाल कारें देखी गई हैं?")।
3. यहाँ तक कि अधिक जटिल पैटर्न (जैसे, "लाल कारें उन नीली कारों के साथ कैसे इंटरैक्ट करती हैं जो एक हरी कार के बाद आईं?")।

यह डैशबोर्ड हायर-ऑर्डर कहलाता है क्योंकि यह केवल सरल योग के बजाय इन जटिल, बहु-स्तरीय संबंधों (इंटरेक्शन) को देखता है।

4. यह तेज़ कैसे रहता है ("स्ट्रीमिंग" का जादू)

HLA का जादू यह है कि यह यह सारा जटिल गणित बिना धीमा किए करता है।

पुराना तरीका: कारों के बीच संबंध की गणना करने के लिए, आपको शायद हर कार बनाम हर कार का एक विशाल ग्रिड लिखना पड़ सकता है (एक विशाल $N \times N$ मैट्रिक्स)। इसमें बहुत समय लगता है।
HLA का तरीका: AI एक कॉम्पैक्ट, कांस्टेंट-साइज़ स्टेट बनाए रखता है। इसे एक डैशबोर्ड गेज की तरह समझें। चाहे आपने 10 मील की यात्रा की हो या 10,000 मील की, डैशबोर्ड में केवल कुछ सुइयां और नंबर होते हैं। जब एक नई कार गुजरती है, तो AI बस उन सुइयों को थोड़ा सा ट्यून करता है। इसे पूरे इतिहास को पीछे देखने की आवश्यकता नहीं होती; यह बस वर्तमान सारांश को अपडेट करता है।
परिणाम: इसे जटिल संबंधों (जैसे पुराने तरीके) को देखने के "स्मार्ट" लाभ मिलते हैं, लेकिन यह सरल नोटबुक विधि की "तेज़" गति को भी बनाए रखता है।

5. "स्ट्रिक्टली कॉज़ल" (Strictly Causal) नियम

पेपर इस बात पर जोर देता है कि यह सिस्टम स्ट्रिक्टली कॉज़ल है।

उपमा: कल्पना कीजिए कि आप एक फिल्म देख रहे हैं। आप केवल उन दृश्यों से जानकारी का उपयोग कर सकते हैं जिन्हें आप पहले ही देख चुके हैं। आप अंत में झाँक नहीं सकते।
HLA यह सुनिश्चित करता है कि वर्तमान क्षण के लिए "डैशबोर्ड" की गणना करते समय, यह भविष्य में होने वाली किसी भी चीज़ को पूरी तरह से अनदेखा कर दे। यह एक विशेष "करेक्शन समरी" (गणितीय ट्रिक) का उपयोग करके यह सुनिश्चित करता है कि भविष्य की कोई भी जानकारी गलती से शामिल न हो जाए। यह इसे रीयल-टाइम स्ट्रीमिंग (जैसे लाइव चैट या लाइव वीडियो फीड) में पूरी तरह से काम करने योग्य बनाता है।

6. समानांतर में प्रशिक्षण (टीमवर्क की ट्रिक)

आमतौर पर, यदि आप एक AI को यह "एक-एक करके" स्ट्रीमिंग करने के लिए प्रशिक्षित करना चाहते हैं, तो आपको इसे धीरे-धीरे, स्टेप-बाय-स्टेप करना होगा, जो शक्तिशाली कंप्यूटरों (GPUs) पर धीमा होता है।

पेपर की ट्रिक: लेखकों ने एक गणितीय तरीका खोजा जिससे वे लंबी किताब को चंक्स (टुकड़ों) (जैसे अध्याय) में तोड़ सकें।
उन्होंने एक विशेष "गोंद" (जिसे एसोसिएटिव स्कैन कहा जाता है) बनाया जो कंप्यूटर को अध्याय 1, अध्याय 2 और अध्याय 3 के सारांश को एक साथ गणना करने और फिर उन्हें पूरी तरह से जोड़ने की अनुमति देता है।
उपमा: एक रिले रेस की कल्पना करें। आमतौर पर, धावक को पिछले धावक के समाप्त करने का इंतजार करना पड़ता है। लेकिन HLA के साथ, टीम पूरी दौड़ के परिणाम को छोटे-छोटे स्प्रिंट के परिणामों को जोड़कर तुरंत निकाल सकती है, और अंतिम परिणाम बिल्कुल वही होता है जैसा कि यदि उन्होंने इसे एक-एक करके चलाया होता।

उनके दावे का सारांश

उन्होंने क्या बनाया: उन्होंने डेटा के लंबे अनुक्रमों (जैसे टेक्स्ट) पर ध्यान देने का एक नया तरीका बनाया जो स्मार्ट (जटिल पैटर्न को समझता है) और तेज़ (टेक्स्ट लंबा होने पर धीमा नहीं होता) दोनों है।
यह कैसे काम करता है: यह सांख्यिकी (मोमेंट्स) के एक "डैशबोर्ड" का उपयोग करता है जो हर नए शब्द के साथ तुरंत अपडेट होता है, जिससे इतिहास के विशाल ग्रिड को स्टोर करने की आवश्यकता नहीं होती।
"हायर-ऑर्डर" वाला हिस्सा: यह केवल एकल शब्दों के बजाय शब्दों के बीच दूसरे-क्रम (जोड़े) और तीसरे-क्रम (त्रिक) के संबंधों को देखता है।
गारंटी: उन्होंने गणितीय रूप से सिद्ध किया कि यह तेज़, चंक्ड (टुकड़ों में किया गया) तरीका, धीमे, स्टेप-बाय-स्टेप तरीके के बिल्कुल समान परिणाम देता है।

संक्षेप में, HLA एक कार को साधारण स्पीडोमीटर से हाई-टेक डैशबोर्ड में अपग्रेड करने जैसा है जो जटिल इंजन इंटरैक्शन को ट्रैक करता है, लेकिन यह ऐसा करता है बिना कार को भारी या धीमा बनाए, जिससे यह बिना ईंधन (मेमोरी) खत्म हुए हमेशा के लिए चलने में सक्षम होता है।

तकनीकी सारांश: हायर-ऑर्डर लीनियर अटेंशन (HLA)

समस्या विवरण

ट्रांसफॉर्मर आर्किटेक्चर में मानक स्केल्ड डॉट-प्रोडक्ट अटेंशन मैकेनिज्म अनुक्रम लंबाई $n$ के संबंध में $O(n^2)$ कम्प्यूटेशनल और मेमोरी जटिलता (complexity) उत्पन्न करता है। यह द्विघातीय (quadratic) लागत लंबे संदर्भों (long contexts) के लिए ऑटो-रिग्रेसिव लैंग्वेज मॉडल्स को स्केल करने में एक प्राथमिक बाधा है। जबकि मौजूदा विकल्प जैसे लीनियर अटेंशन और स्टेट स्पेस मॉडल्स (SSMs) $O(n)$ या $O(1)$ प्रति-टोकन जटिलता प्रदान करते हैं, वे आमतौर पर फर्स्ट-ऑर्डर एप्रोक्सिमेशन या कर्नेल-आधारित विधियों तक सीमित होते हैं। ये प्रतिबंध मॉडल की अभिव्यक्ति (expressivity) को सीमित कर देते हैं, जिससे वे उन जटिल, हायर-ऑर्डर इंटरैक्शन को कैप्चर करने में असमर्थ हो जाते हैं जिन्हें स्टैंडर्ड अटेंशन मैकेनिज्म मॉडल कर सकते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र हायर-ऑर्डर लीनियर अटेंशन (HLA) पेश करता है, जो एक कॉज़ल (causal), स्ट्रीमिंग मैकेनिज्म है जो कॉम्पैक्ट प्रीफिक्स सफिशिएंट स्टैटिस्टिक्स (prefix sufficient statistics) के माध्यम से हायर-ऑर्डर इंटरैक्शन को साकार करता है। मुख्य अंतर्दृष्टि यह है कि हायर-ऑर्डर अटेंशन-जैसे ऑपरेटर्स को लो-ऑर्डर मोमेंट्स (जैसे, कीज़ के आउटर प्रोडक्ट्स के योग) में फैक्टराइज़ किया जा सकता है, जिससे $n \times n$ अटेंशन मैट्रिसेस को मैटेरियलाइज़ किए बिना सटीक कॉज़ल स्ट्रीमिंग संभव होती है।

1. सेकंड-ऑर्डर HLA

सेकंड-ऑर्डर वेरिएंट लीनियर अटेंशन का सामान्यीकरण करता है, जो एक स्थिर आकार का स्टेट (constant-size state) बनाए रखता है जो सेकंड-ऑर्डर मोमेंट्स को कैप्चर करता है।

स्टेट मेंटेनेंस (State Maintenance): एक सिंगल रनिंग सम के बजाय, HLA प्रीफिक्स समरीज़ बनाए रखता है जिसमें की मोमेंट $S^K_t = \sum_{i \le t} k_i k_i^\top$ , क्वेरी-वैल्यू एक्यूम्युलेटर $C^{QV}_t = \sum_{i \le t} q_i v_i^\top$ , और क्वेरी मास $m^Q_t = \sum_{i \le t} q_i$ शामिल हैं।
स्ट्रिक्ट कॉज़लिटी (Strict Causality): पूर्ण अटेंशन मैट्रिक्स बनाए बिना स्ट्रिक्ट ऑटो-रिग्रेसिव कॉज़लिटी (भविष्य के टोकन को वर्तमान आउटपुट को प्रभावित करने से रोकने) को लागू करने के लिए, लेखक एक्सटेंडेड समरीज़ (extended summaries) व्युत्पन्न करते हैं। विशेष रूप से, वे क्रॉस-समरीज़ $G_t$ और $h_t$ पेश करते हैं जो नेइव (naive) प्रोडक्ट $S^K_t C^{QV}_t$ में भविष्य के टर्म्स के समावेश को ठीक करते हैं।
आउटपुट फॉर्मुलेशन: समय $t$ पर अननॉर्मलाइज्ड आउटपुट $o_t = q_t^\top (S^K_t C^{QV}_t - G_t)$ द्वारा कंप्यूट किया जाता है। यह फॉर्मुलेशन प्रति-टोकन $O(d^2 + d d_v)$ कम्प्यूटेशन की अनुमति देता है, जो अनुक्रम लंबाई से स्वतंत्र है।
नॉर्मलाइजेशन: एक रेशियो-नॉर्मलाइज्ड वेरिएंट भी परिभाषित किया गया है, जो समान एक्सटेंडेड समरीज़ से प्राप्त मास्क्ड डिनोमिनेटर द्वारा अंश (numerator) को विभाजित करता है।

2. एसिमेट्रिक हायर-ऑर्डर लीनियर अटेंशन (AHLA)

यह शोध पत्र एक पूरक एसिमेट्रिक वेरिएंट, AHLA प्रस्तावित करता है, जो ऑपरेटर $Q(K^\top Q)(K^\top V)$ को लागू करता है। यह संरचना वैल्यूज़ को एक इंटरमीडिएट की इंडेक्स द्वारा रूट किए गए सिंगल पास के माध्यम से वेट करती है, जो स्टैंडर्ड HLA की सिमेट्रिक $AA^\top V$ संरचना से भिन्न है। यह विशिष्ट स्ट्रीमिंग समरीज़ ( $P^{KV}_t, m^K_t, E_t, n_t$ ) का उपयोग करता है और समान लीनियर प्रति-टोकन जटिलता प्राप्त करता है।

3. थर्ड-ऑर्डर HLA

इस फ्रेमवर्क को थर्ड-ऑर्डर इंटरैक्शन के लिए विस्तारित किया गया है, जिसे मैट्रिक्स प्रोडक्ट $AA^\top A$ के माध्यम से परिभाषित किया गया है जहाँ $A = QK^\top$ है।

स्ट्रीमिंग अलजेब्रा: थर्ड-ऑर्डर मास्क्ड आउटपुट के लिए तीन प्राथमिक प्रीफिक्स मोमेंट्स ( $S^K_t, S^Q_t, P^{KV}_t$ ) और छह अतिरिक्त क्रॉस-समरीज़ ( $G^{(1)}_t, \dots, G^{(3)}_t$ और $h^{(1)}_t, \dots, h^{(3)}_t$ ) को बनाए रखना आवश्यक है ताकि स्ट्रिक्ट कॉज़लिटी सुनिश्चित की जा सके।
जटिलता: ऑनलाइन अपडेट कॉस्ट फीचर डायमेंशन्स में लीनियर रहती है, हालांकि हायर-ऑर्डर मोमेंट्स को समाहित करने के लिए स्टेट का आकार बढ़ जाता है।

4. एसोसिएटिव स्कैन्स के माध्यम से पैरेलल ट्रेनिंग

GPUs पर विशुद्ध रूप से रिकरेंट मॉडल्स की अक्षमता को दूर करने के लिए, लेखक एक चंक-पैरेलल ट्रेनिंग स्कीम विकसित करते हैं।

एसोसिएटिव ऑपरेटर्स: वे टोकन के सेगमेंट को जोड़ने के लिए एसोसिएटिव ऑपरेटर्स (विशेष रूप से सेमीडायरेक्ट प्रोडक्ट्स) को परिभाषित करते हैं। ये ऑपरेटर्स सेगमेंट के बीच के क्रॉस-टर्म्स (जैसे, $S^K_B C^{QV}_A$ ) को ध्यान में रखते हैं जो चंक्स को संयोजित करते समय उत्पन्न होते हैं।
स्कैन इक्विवेलेंस: इन सेगमेंट समरीज़ पर एक एक्सक्लूसिव ब्लेलो स्कैन (Blelloch scan) लागू करके, यह विधि ऐसे फॉरवर्ड एक्टिवेशन्स उत्पन्न करती है जो सीरियल रिकरेंस के बिल्कुल समान होते हैं। यह अनुमानित बैकप्रोपैगेशन थ्रू टाइम (BPTT) के बजाय कुशल पैरेलल ट्रेनिंग की अनुमति देता है।
थर्ड-ऑर्डर स्कैन्स: थर्ड-ऑर्डर केस के लिए, स्कैन ऑपरेटर को सेगमेंट-लेवल लीनियर मैप्स ( $M^{KQP}, M^{KQm}$ ) के साथ संवर्धित किया जाता है ताकि थर्ड-ऑर्डर स्टेट्स को सटीक रूप से कंपोज़ किया जा सके।

प्रमुख योगदान

सेकंड ऑर्डर पर सटीक मास्क्ड स्ट्रीमिंग: यह पेपर एक्सटेंडेड समरीज़ का एक पूर्ण अलजेब्रा प्रदान करता है जो स्ट्रिक्टली कॉज़ल सेकंड-ऑर्डर HLA के साथ निरंतर प्रति-टोकन लागत वाला परिणाम देता है। इसमें अननॉर्मलाइज्ड और रेशियो-नॉर्मलाइज्ड वेरिएंट्स के बीच अंतर करते हुए, मास्क्ड स्ट्रीमिंग आइडेंटिटीज़ और ऑनलाइन अपडेट्स को स्थापित करने वाले औपचारिक प्रमाण शामिल हैं।
सीरियल एक्टिवेशन्स से मेल खाते एसोसिएटिव स्कैन्स: लेखक अनमास्क्ड और मास्क्ड सेटिंग्स (एक्सपोनेंशियल डिके के साथ और बिना) के लिए एसोसिएटिव ऑपरेटर्स को परिभाषित करते हैं। वे सिद्ध करते हैं कि इन ऑपरेटर्स पर स्टैंडर्ड एक्सक्लूसिव स्कैन्स, सीरियल रिकरेंस के समान फॉरवर्ड एक्टिवेशन्स उत्पन्न करते हैं, जिससे कुशल पैरेलल ट्रेनिंग संभव होती है।
थर्ड-ऑर्डर विस्तार: यह कार्य पूर्ण मास्क्ड थर्ड-ऑर्डर स्टेट, ऑनलाइन अपडेट्स, एक स्ट्रिक्टली कॉज़ल स्ट्रीमिंग कर्नेल और एक सटीक चंक-पैरेलल एल्गोरिदम प्रस्तुत करता है। इसमें थर्ड-ऑर्डर स्टेट्स को सटीक रूप से कंपोज़ करने के लिए आवश्यक सेगमेंट मैप्स का व्युत्पन्न शामिल है।
एसिमेट्रिक वेरिएंट (AHLA): एक नया एसिमेट्रिक हायर-ऑर्डर अटेंशन मैकेनिज्म पेश किया गया है, जो एक अलग इंडक्टिव बायस (inductive bias) प्रदान करता है जबकि समान स्ट्रीमिंग और जटिलता गुण बनाए रखता है।

परिणाम और दावे

यह शोध पत्र विशिष्ट डेटासेट्स पर एम्पिरिकल बेंचमार्क्स के बजाय मुख्य रूप से एल्गोरिथमिक संरचना और सैद्धांतिक गुणों पर केंद्रित है। दावे गणितीय व्युत्पत्ति पर आधारित हैं:

जटिलता: HLA इंफरेंस के लिए $O(d^2 + d d_v)$ समय और मेमोरी प्राप्त करता है, जहाँ $d$ क्वेरी/की डायमेंशन है और $d_v$ वैल्यू डायमेंशन है। यह अनुक्रम लंबाई $n$ से स्वतंत्र है।
सटीकता (Exactness): चंक-पैरेलल ट्रेनिंग स्कीम को सीरियल रिकरेंस के एक्टिवेशन्स को बिल्कुल दोहराने के लिए प्रमाणित किया गया है, जो अन्य लीनियर अटेंशन ट्रेनिंग विधियों में सामान्य अनुमानित त्रुटियों (approximation errors) से बचता है।
कॉज़लिटी: प्रस्तावित मास्क्ड फॉर्मुलेशन स्ट्रिक्टली ऑटो-रिग्रेसिव कॉज़लिटी को लागू करता है, यह सुनिश्चित करता है कि समय $t$ पर आउटपुट केवल $j \le t$ के टोकन पर निर्भर करता है।
स्केलेबिलिटी: $n \times n$ मैट्रिक्स मैटेरियलाइजेशन से बचकर और एसोसिएटिव स्कैन्स का उपयोग करके, HLA को लॉन्ग-कॉन्टेक्स्ट मॉडल्स के लिए एक स्केलेबल बिल्डिंग ब्लॉक के रूप में रखा गया है।

महत्व

यह पेपर HLA को एक "सिद्धांतिक, स्केलेबल बिल्डिंग ब्लॉक" के रूप में स्थापित करता है जो अटेंशन-लाइक, डेटा-डिपेंडेंट मिक्सिंग और आधुनिक रिकरेंट आर्किटेक्चर की दक्षता के बीच के अंतर को पाटता है।

अभिव्यक्ति बनाम दक्षता: फिक्स्ड फीचर मैप्स पर निर्भर फर्स्ट-ऑर्डर लीनियर अटेंशन के विपरीत, HLA एक डेटा-डिपेंडेंट मेट्रिक ( $S^K_t$ के माध्यम से) सीखता है और $O(1)$ प्रति-टोकन स्टेट अपडेट पैराडाइम को बरकरार रखते हुए हायर-ऑर्डर इंटरैक्शन (डिग्री-2 या डिग्री-3 पॉलिनोमिअल्स) को कैप्चर करता है।
इम्प्लीमेंटेशन: यह कार्य इस बात पर जोर देता है कि HLA ट्रांसफॉर्मर ब्लॉक्स में स्टैंडर्ड अटेंशन सबलेयर के लिए एक 'ड्रॉप-इन रिप्लेसमेंट' के रूप में कार्य कर सकता है, जिसके लिए केवल एक कर्नेल स्वैप की आवश्यकता होती है और यह पोजीशनल एनकोडिंग और मास्किंग लॉजिक को सुरक्षित रखता है।
सैद्धांतिक आधार: सटीक स्ट्रीमिंग आइडेंटिटीज़ और एसोसिएटिव स्कैन ऑपरेटर्स के लिए एसोसिएटिव स्कैन्स प्रदान करके, यह पेपर कॉज़ल कंस्ट्रेंट्स या ट्रेनिंग एफिशिएंसी से समझौता किए बिना लीनियर अटेंशन को फर्स्ट-ऑर्डर से आगे बढ़ाने के लिए एक कठोर बीजगणितीय ढांचा स्थापित करता है।