🤖 machine learning

Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers

यह शोध पत्र Looped Latent Attention (LLA) प्रस्तुत करता है, जो एक पोस्ट-ट्रेनिंग कोडेक है जो वेट-टाइड ट्रांसफॉर्मर्स में लूप-इंडेक्स्ड KV कैश की लो-रैंक संरचना का लाभ उठाकर SVD इनिशियलाइजेशन और डिस्टिलेशन के माध्यम से नियर-लॉसलेस प्रदर्शन बनाए रखते हुए अत्यधिक संपीड़न (32x तक) प्राप्त करता है और बैच क्षमता को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: James O' Neill, Fergal Reid

प्रकाशित 2026-07-20

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: James O' Neill, Fergal Reid

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

AI दिमागों में मेमोरी की समस्या

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। रोबोट के पास लाखों छोटे स्विचों (पैरामीटर्स) से बना एक दिमाग है जो जानते हैं कि शब्द आपस में कैसे जुड़ते हैं। लेकिन यहाँ एक पेंच है: एक लंबी कहानी लिखने के लिए, रोबोट केवल अपने दिमाग को नहीं देख सकता; उसे एक रफ-नोटबुक (स्क्रैचपैड) की आवश्यकता होती है। हर बार जब वह एक नया शब्द लिखता है, तो उसे यह याद रखना पड़ता है कि उसने अभी तक क्या लिखा है ताकि वह खुद को दोहरा न दे या कहानी का संदर्भ न खो दे। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस स्क्रैचपैड को KV कैश (KV cache) कहा जाता है। यह हर एक बातचीत के लिए एक निजी नोटबुक है, और जैसे-जैसे रोबोट बोलता जाता है, यह बड़ा होता जाता है।

अब, एक विशेष प्रकार के रोबोट की कल्पना करें जिसे बेहद कुशल बनने के लिए डिज़ाइन किया गया है। अलग-अलग कार्यों के लिए कई अलग-अलग कमरों (लेयर्स) वाले विशाल दिमाग के बजाय, इस रोबोट के पास एक छोटा, चतुर कमरा है जहाँ वह बार-बार जाता है। वह निर्देशों के एक ही सेट का पुन: उपयोग करता है, गहराई से सोचने के लिए उन्हें बार-बार दोहराता है। इसे लूपड ट्रांसफार्मर (Looped Transformer) कहा जाता है। यह दिमाग के स्थान को बचाता है, जो कि बहुत अच्छी बात है। लेकिन एक छिपी हुई समस्या है: भले ही रोबोट एक ही कमरे का पुन: उपयोग करता है, फिर भी वह हर बार लूप करने पर अपने स्क्रैचपैड में एक नया पन्ना लिखता है। यदि रोबोट गणित की समस्या हल करने के लिए चार बार लूप करता है, तो उसके पास कहानी के उसी क्षण के लिए नोट्स के चार अलग-अलग पन्ने हो जाते हैं। इसका मतलब है कि "लूप वाला" रोबोट चलाने के लिए अभी भी बहुत अधिक मेमोरी की आवश्यकता रखता है, जिससे कुशलता का उद्देश्य ही समाप्त हो जाता है। वैज्ञानिकों के सामने बड़ा सवाल यह है: क्या हम उस स्क्रैचपैड को छोटा कर सकते हैं बिना यह भुलाए कि रोबोट को कैसे सोचना है?

शोध का निष्कर्ष: नोट्स में एक गुप्त शॉर्टकट

यह पेपर उस मेमोरी समस्या को हल करने के लिए लूपड लेटेंट अटेंशन (Looped Latent Attention - LLA) नामक एक चतुर तकनीक पेश करता है। शोधकर्ताओं ने पाया कि रोबोट के नोट्स उतने अस्त-व्यस्त नहीं हैं जितने वे दिखते हैं। जब रोबोट अपनी सोचने की प्रक्रिया के माध्यम से लूप करता है, तो एक ही शब्द के लिए उसके द्वारा लिखे गए नोट्स बेतरतीब ढंग से नहीं बदलते; वे एक सुचारू, अनुमानित पथ का पालन करते हैं, जैसे एक कंचा एक ढलान वाली पहाड़ी से नीचे लुढ़क रहा हो। रोबोट के स्क्रैचपैड के हर एक पन्ने को बचाने के बजाय, यह नई विधि उस पथ का केवल एक छोटा सा "सारांश" और उन निर्देशों का एक सेट सहेजती है कि जब रोबोट को वास्तव में उन्हें पढ़ने की आवश्यकता हो, तो विशिष्ट पन्नों को कैसे फिर से बनाया जाए।

इसे ऐसे समझें: कल्पना कीजिए कि आप एक फिल्म देख रहे हैं जहाँ मुख्य पात्र एक गलियारे में चल रहा है। एक सामान्य कंप्यूटर में, आप हर एक कदम पर पात्र की एक पूर्ण, हाई-डेफिनिशन फोटो सहेजेंगे। इसमें बहुत अधिक स्टोरेज लगता है। लेकिन LLA के साथ, आप महसूस करते हैं कि पात्र बस एक सीधी रेखा में चल रहा है। इसलिए, हजारों फोटो सहेजने के बजाय, आप एक फोटो और एक सरल नोट सहेजते हैं: "चरण 2 के लिए 1 इंच आगे बढ़ें, चरण 3 के लिए 2 इंच आगे बढ़ें।" जब कंप्यूटर को चरण 3 पर पात्र को देखने की आवश्यकता होती है, तो वह उस नोट का उपयोग करके जल्दी से वह चित्र बना लेता है। AI के लिए यह पेपर बिल्कुल यही करता है: यह मेमोरी के "लूप" वाले हिस्से को संकुचित (compress) करता है, चार पन्नों के ढेर को एक एकल, छोटे सारांश में बदल देता है जिसे तुरंत पूर्ण पन्नों में वापस विस्तारित किया जा सकता है।

शोधकर्ताओं ने इसे Ouro-1.4B जैसे कई AI मॉडलों पर परखा। उन्होंने पाया कि यह तरीका अविश्वसनीय रूप से अच्छा काम करता है। वास्तव में, H200 नामक एक शक्तिशाली कंप्यूटर चिप पर, वे एक साथ 768 अलग-अलग बातचीत को मेमोरी में फिट करने में सक्षम थे, जबकि पहले वे केवल 32 ही फिट कर सकते थे। यह इस बात में एक बड़ी छलांग है कि कितने लोग एक ही समय में AI का उपयोग कर सकते हैं। उन्होंने यह भी दिखाया कि यह ट्रिक तब भी काम करती है जब AI बहुत लंबी, कठिन गणितीय समस्याओं को हल कर रहा होता है, हालांकि इसे यह सुनिश्चित करने के लिए थोड़े अतिरिक्त प्रशिक्षण की आवश्यकता होती है कि यह भ्रमित न हो जाए जब यह केवल शिक्षक की नकल करने के बजाय अपनी खुद की कहानी लिख रहा हो।

यह पेपर किस बात को "ना" कहता है

यह जानना महत्वपूर्ण है कि यह विधि क्या नहीं है। शोधकर्ताओं ने पहले एक बहुत ही सरल विचार का परीक्षण किया: "क्या होगा यदि हम नोट्स के पहले तीन पन्नों को फेंक दें और केवल अंतिम पन्ने को रखें?" उन्होंने सोचा कि शायद रोब de कुछ लूप्स के बाद एक अंतिम उत्तर पर स्थिर हो जाता है, इसलिए शुरुआती नोट्स मायने नहीं रखते। उन्होंने इसे आजमाया, और यह एक आपदा साबित हुआ। AI ने गणित करना पूरी तरह से भूल गया, और परीक्षणों में शून्य स्कोर किया। यह साबित करता है कि नोट्स जो "पथ" लेते हैं वह महत्वपूर्ण है; आप केवल अंत बिंदु को नहीं पकड़ सकते। आपको यात्रा को पकड़ना होगा।

उन्होंने अन्य तरीकों की भी तुलना की जिनसे मेमोरी को छोटा किया जाता है, जैसे नोट्स को दबाना (क्वांटाइजेशन) या मस्तिष्क के विभिन्न हिस्सों के बीच नोट्स साझा करना (हेड-एक्सिस कंप्रेशन)। हालांकि वे तरीके थोड़ा मदद करते हैं, लेकिन पेपर दिखाता है कि लूप अक्ष (loop axis) को संकुचित करना ही असली सफलता है। यदि आप लूप के बजाय अन्य हिस्सों को संकुचित करने की कोशिश करते हैं, तो AI तर्क करने की अपनी क्षमता खो देता है। पेपर बहुत स्पष्ट है: लूप मेमोरी का सबसे अनावश्यक हिस्सा है, और यही एकमात्र जगह है जहाँ आपको दबाव डालना चाहिए।

वे कितने आश्वस्त हैं?

लेखक इन परिणामों को लेकर काफी आश्वस्त हैं क्योंकि उन्होंने उन्हें सीधे मापा है। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने वास्तविक कार्यों जैसे गणित की समस्याओं (GSM8K) को हल करने और कोड लिखने (HumanEval) पर AI चलाया। उन्होंने दिखाया कि 4x संपीड़न (मेमोरी को 4 गुना छोटा करना) के साथ, AI अभी भी मूल, असंकुचित संस्करण के लगभग समान प्रदर्शन करता है। जब उन्होंने इसे अत्यधिक संपीड़न (21.3x) तक धकेला, तो AI अभी भी कई कार्य संभाल सकता था, हालांकि यह बहुत लंबे, जटिल तर्क चरणों के साथ संघर्ष करने लगा।

उन्होंने इसे Huginn-3.5B नामक एक अलग प्रकार के AI मॉडल पर भी परखा, जिसका मस्तिष्क संरचना अलग है और जो 32 बार लूप करता है। वहां भी, यह तरीका काम कर गया, जिससे साबित हुआ कि यह केवल एक विशिष्ट रोबोट के लिए कोई इत्तेफाक नहीं है। पेपर सुझाव देता है कि यह "लो-रैंक ट्राजेक्टरी" (नोट्स का सुचारू पथ) कि कैसे ये लूपिंग रोबोट सोचते हैं, इसकी एक मौलिक विशेषता है। हालांकि उन्होंने यह सिद्ध किया है कि यह मेमोरी बचाने और क्षमता बढ़ाने के लिए काम करता है, वे नोट करते हैं कि बहुत लंबे कार्यों पर सर्वोत्तम प्रदर्शन के लिए, AI को प्रशिक्षण के दूसरे दौर की आवश्यकता होती है जहाँ वह केवल एक शिक्षक की नकल करने के बजाय अपने स्वयं के संकुचित नोट्स के साथ अभ्यास करता है। यह "ऑन-पॉलिसी" प्रशिक्षण उन छोटी त्रुटियों को ठीक करता है जो तब होती हैं जब रोबोट अपनी खुद की कहानी लिखना शुरू करता है।

संक्षेप में, यह पेपर दिखाता है कि हम लूपिंग AI मॉडलों को बहुत अधिक कुशल बना सकते हैं क्योंकि उनकी मेमोरी एक विशिष्ट तरीके से दोहराव वाली होती है। इस दोहराव के एक छोटे से सारांश को संग्रहीत करके, हम एक ही कंप्यूटर चिप पर सैकड़ों गुना अधिक बातचीत को फिट कर सकते हैं, जिससे महंगे हार्डवेयर की आवश्यकता के बिना शक्तिशाली AI अधिक लोगों के लिए उपलब्ध हो जाता है।

तकनीकी सारांश: लूप्ड लेटेंट अटेंशन (LLA)

समस्या विवरण (Problem Statement)

लूप्ड, वेट-टाइड ट्रांसफॉर्मर्स (Looped, weight-tied Transformers) में, पैरामीटर संख्या को कम करने के लिए एक ही ब्लॉक को बार-बार (पुनरावृत्ति/recurrence) लागू किया जाता है। हालांकि यह मॉडल के वेट्स को प्रभावी ढंग से संकुचित करता है, लेकिन इन्फरेंस मेमोरी का बॉटलनेक की/वैल्यू (KV) कैश बना रहता है। मानक लूप्ड इन्फरेंस में, मॉडल प्रत्येक पुनरावृत्ति चरण (recurrence step) के लिए अटेंशन को फिर से कंप्यूट करता है, और प्रत्येक स्टेप, लेयर और हेड के लिए एक अलग KV कैश स्टोर करता है। इसके परिणामस्वरूप, एक मॉडल जो $D$ लेयर्स पर $T$ लूप चलाता है, उसका KV कैश एक $T \times D$ लेयर डिकोडर के बराबर होता है, जो वेट टायिंग (weight tying) के मेमोरी लाभों को निष्प्रभावी कर देता है।

पेपर यह प्रतिपादित करता है कि यह लूप-इंडेक्स्ड कैश अत्यधिक संरचित (structured) है। एक निश्चित टोकन, लेयर और हेड के लिए, पुनरावृत्ति चरणों के दौरान K/V वेक्टर्स एक छोटी, लो-रैंक प्रक्षेपवक्र (short, low-rank trajectory) का अनुसरण करते हैं, न कि एक उच्च-आयामी स्थान (high-dimensional space) की खोज करते हैं। रेडंडेंसी (redundancy) विशेष रूप से लूप एक्सिस (loop axis) के प्रति विशिष्ट है; हेड और लेयर एक्सिस के साथ स्पेक्ट्रा काफी फ्लैट (उच्च रैंक) बना रहता है। चुनौती इस पुनरावृत्ति एक्सिस को संकुचित करने की है बिना इस प्रक्षेपवक्र को एक स्थिर बिंदु (fixed point) में ढहाए, जिससे प्रदर्शन गिर सकता है।

कार्यप्रणाली: लूप्ड लेटेंट अटेंशन (LLA)

लेखक लूप्ड लेटेंट अटेंशन (LLA) पेश करते हैं, जो एक पोस्ट-ट्रेनिंग कैश कोडेक है जो $T$ प्रति-लूप K/V वेक्टर्स को एक कॉम्पैक्ट लेटेंट रिप्रेजेंटेशन और लूप-विशिष्ट रिकंस्ट्रक्शन मैप्स से बदल देता है।

मुख्य तंत्र (Core Mechanism)

लेटेंट स्टोरेज (Latent Storage): एक विशिष्ट टोकन, लेयर और हेड के लिए $T$ $T$ वेक्टर्स ( $x_1, \dots, x_T$ $x_{1}, \dots, x_{T}$ ) स्टोर करने के बजाय, LLA एक एकल सेंटर्ड लो-रैंक लेटेंट वेक्टर $c \in \mathbb{R}^r$ $c \in R^{r}$ स्टोर करता है।
- $c = (x - \mu)W_{\text{down}}$
- यहाँ, $\mu$ एक कैलिब्रेशन-सेट मीन (mean) है, और $W_{\text{down}}$ एक डाउन-प्रोजेक्शन मैट्रिक्स है।
लूप-विशिष्ट रिकंस्ट्रक्शन (Loop-Specific Reconstruction): पुनरावृत्ति चरण $t$ $t$ के लिए विशिष्ट K/V वेक्टर को एक लूप-विशिष्ट अप-प्रोजेक्शन का उपयोग करके पुनर्निर्मित किया जाता है:
- $\hat{x}_t = c W_{\text{up},t}^\top + \mu_t$
एसिमेट्रिक रैंक्स (Asymmetric Ranks): विधि कीज़ (Keys) के लिए अलग रैंक ( $r_k$ ) और वैल्यूज (Values) के लिए अलग रैंक ( $r_v$ ) का उपयोग करती है। अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि वैल्यू वेक्टर्स, की वेक्टर्स की तुलना में लूप्स के दौरान अधिक धीरे-धीरे स्थिर होते हैं, जो $r_v > r_k$ को प्रेरित करता है।
LLA-2D वेरिएंट: अत्यधिक संपीड़न के लिए, LLA-2D हेड एक्सिस (head axis) को लेटेंट में फोल्ड कर देता है, जिससे सभी $H$ हेड्स को पुनर्निर्मित करने के लिए प्रति टोकन और लेयर एक एकल लेटेंट स्टोर किया जाता है। यह कैश साइज को $H$ के कारक से कम करता है लेकिन हेड्स को आपस में जोड़ (couple) देता है।

ट्रेनिंग और इनिशियलाइजेशन

SVD इनिशियलाइजेशन: कोडेक को एक कैलिब्रेशन सेट पर टीचर एक्टिवेशन्स के सिंगुलर वैल्यू डीकंपोजिशन (SVD) के माध्यम से इनिशियलाइज किया जाता है। डाउन-प्रोजेक्शन को टॉप- $r$ राइट सिंगुलर वेक्टर्स के रूप में सेट किया जाता है। यह इनिशियलाइजेशन महत्वपूर्ण है; रैंडम इनिशियलाइजेशन के परिणामस्वरूप काफी अधिक KL डाइवर्जेंस होता है।
डिस्टिलेशन (Distillation): कोडेक को टीचर मॉडल को फ्रीज करके और टीचर के डिस्ट्रीब्यूशन और स्वैप्ड मॉडल के डिस्ट्रीब्यूशन के बीच फॉरवर्ड KL डाइवर्जेंस को मिनिमाइज करके रिफाइन किया जाता है, जिसे एक अटेंशन-आउटपुट मैचिंग टर्म के साथ बढ़ाया गया है।
ऑन-पॉलिसी रिफाइनमेंट (On-Policy Refinement): लंबे ऑटोरिग्रेसिव रोलआउट्स (जहाँ मॉडल अपने स्वयं के जेनरेटेड प्रीफिक्स पर कंडिशन करता है न कि टीचर पर) में एक्सपोजर बायस को संबोधित करने के लिए, दूसरे चरण में ऑन-पॉलिसी डिस्टिलेशन का उपयोग किया जाता है। कोडेक को स्वयं स्टूडेंट मॉडल द्वारा सैंपल किए गए प्रीफिक्स का उपयोग करके अपडेट किया जाता है, जो लॉन्ग-जेनरेशन परफॉरमेंस को स्थिर करता है।

मुख्य योगदान (Key Contributions)

LLA की परिभाषा: वेट-टाइड ट्रांसफॉर्मर्स के लिए एक क्रॉस-लूप लेटेंट K/V कोडेक जो एक कंप्रेशन रेशियो $\rho = \frac{2Td_{\text{head}}}{r_k + r_v}$ प्राप्त करता है। यह प्रति टोकन प्रति लेयर $2Td_{\text{head}}$ के बजाय $(r_k + r_v)H$ स्केलर स्टोर करता है।
एक्सिस-विशिष्ट संपीड़न: पेपर प्रदर्शित करता है कि लूप्ड मॉडल्स (Ouro-1.4B, Ouro-2.6B-Thinking, और Huginn-3.5B) में पुनरावृत्ति (लूप) एक्सिस सबसे अधिक संकुचित करने योग्य आयाम है। लूप एक्सिस को कंप्रेस करना हेड एक्सिस (MLA), लेयर एक्सिस (क्रॉस-लेयर शेयरिंग), या मैचिंग कैश बजट पर क्वांटाइजेशन लगाने की तुलना में बेहतर प्रदर्शन करता है।
फिक्स्ड-पॉइंट कोलैप्स का खंडन: लेखक दिखाते हैं कि लूप प्रक्षेपवक्र को एक एकल स्टेट (अंतिम लूप) द्वारा बदला नहीं जा सकता है। एक जीरो-पैरामीटर कंट्रोल जो केवल अंतिम-लूप K/V का पुन: उपयोग करता है, जेनरेशन परफॉरमेंस को ध्वस्त कर देता है (GSM8K एक्यूरेसी 0.000 तक गिर जाती है), जो यह सिद्ध करता है कि "शॉर्ट लो-रैंक प्रक्षेपवक्र" आवश्यक है।
डिप्लॉयमेंट इम्पैक्ट: सटीक स्केलर रिडक्शन सीधे सर्विंग क्षमता को बढ़ाता है। एक सिंगल H200 GPU पर, LLA 4k कॉन्टेक्स्ट पर Ouro-1.4B के लिए मैक्सिमम बैच साइज को 32 से बढ़ाकर 768 सीक्वेंस (21.3× कंप्रेशन पर) कर देता है।

प्रयोगात्मक परिणाम (Experimental Results)

कंप्रेशन बनाम एक्यूरेसी

GSM8K परफॉरमेंस: Ouro-1.4B पर, हल्का कंप्रेशन (1.33× से 2×) टीचर की एक्यूरेसी (लगभग 0.79–0.80) से मेल खाता है। 4× कंप्रेशन पर, LLA 0.59 एक्यूरेसी बनाए रखता है, जो हेड-एक्सिस कंप्रेशन (0.52) और फाइनल-लूप रियूज (0.00) से काफी बेहतर है।
स्केल जनरलाइजेशन: Ouro-2.6B-Thinking पर, LLA 4× से 10.67× कंप्रेशन के बावजूद लगभग लॉसलेस (0.81–0.83) रहता है, जबकि हेड-एक्सिस बेसलाइन्स काफी एक्यूरेसी खो देते हैं।
Huginn पर ट्रांसफर: यह विधि Huginn-3.5B (32 पुनरावृत्ति स्टेप्स) पर भी काम करती है। एक ट्रेनिंग-फ्री SVD कोडेक डिकोडर-इंडिपेंडेंट मेट्रिक्स में 32× तक लगभग लॉसलेस फिडेलिटी प्राप्त करता है।

लॉन्ग-जेनरेशन स्टेबिलिटी

MATH-500: लंबे गणितीय रोलआउट्स प्रीफिक्स ड्रिफ्ट के प्रति संवेदनशील होते हैं। ऑफ-पॉलिसी ट्रेनिंग (टीचर प्रीफिक्स का उपयोग करके) जेनरेशन की लंबाई बढ़ने के साथ एक्यूरेसी में गिरावट और उच्च "नो-आंसर" रेट की ओर ले जाती है।
ऑन-पॉलिसी गेन: ऑन-पॉलिसी रिफाइनमेंट लागू करने से 4× कंप्रेशन पर MATH-500 एक्यूरेसी 0.43 से बढ़कर 0.66 हो जाती है और "नो-आंसर" जेनरेशन को काफी कम कर देती है।

सर्विंग कैपेसिटी

मेमोरी रिडक्शन: कैश रिडक्शन सटीक है। 21.3× कंप्रेशन पर, 1M कॉन्टेक्स्ट के लिए Ouro-1.4B का KV कैश 768 GiB से घटकर 3-6 GiB रह जाता है।
थ्रूपुट: "लेटेंट-स्टोर कैपेसिटी पाथ" (केवल लेटेंट्स को कैश करना) कंप्यूट-बाउंड है लेकिन उन बैचेस और कॉन्टेक्स्ट को सक्षम बनाता है जो पहले OOM (आउट ऑफ मेमोरी) के कारण असंभव थे। "फास्ट पाथ" (पूरे K/V को पुनर्निर्मित और कैश करना) थ्रूपुट को सुरक्षित रखता है लेकिन मेमोरी बचत को साकार नहीं करता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि पुनरावृत्ति (recurrence) वेट-टाइड लूप्ड ट्रांसफॉर्मर्स में सबसे अधिक संकुचित करने योग्य कैश एक्सिस है। इसका महत्व निम्नलिखित है:

मैकेनिस्टिक इनसाइट: यह पहचानता है कि लूप एक्सिस हेड और लेयर एक्सिस की तुलना में स्पेक्ट्रली विशिष्ट (लो-रैंक) है, जो मॉडल के डायनेमिक व्यवहार को एक स्टैटिक फिक्स्ड पॉइंट में बदले बिना कुशल संपीड़न की अनुमति देता है।
व्यावहारिक डिप्लॉयमेंट: यह एक पोस्ट-ट्रेनिंग समाधान प्रदान करता है जो बिना मूल मॉडल आर्किटेक्चर को फिर से ट्रेन किए मौजूदा हार्डवेयर पर बैच साइज और कॉन्टेक्स्ट लेंथ क्षमताओं को सीधे बढ़ाता है।
भविष्य की दिशा: परिणाम बताते हैं कि नेटिव रिकरेंट आर्किटेक्चर डेकप्ल्ड लेटेंट कैश से लाभान्वित हो सकते हैं, जहाँ पुनरावृत्ति साझा कंटेंट प्लस सस्ते प्रति-लूप डेल्टा को कंप्यूट करती है, बजाय पूर्ण K/V स्टेट्स को फिर से बनाने के।

लेखक इस बात पर जोर देते हैं कि उनकी एक्यूरेसी क्लेम्स के लिए विधि एब्जॉर्ब्ड अटेंशन इम्प्लीमेंटेशन पर निर्भर नहीं है; मुख्य परिणाम लो-रैंक प्रक्षेपवोटरी धारणा की वैधता और सख्त मेमोरी बाधाओं के तहत टीचर के व्यवहार को बनाए रखने में कोडेक की प्रभावकारिता है।