⚡ electrical engineering

Runtime-Certified Bounded-Error Quantized Attention

यह शोध पत्र एक टियर्ड (tiered) KV कैश आर्किटेक्चर प्रस्तुत करता है जो ऑनलाइन एरर बाउंड्स की गणना करके एडेप्टिव प्रिसिजन सिलेक्शन और डिटरमिनिस्टिक FP16 फॉलबैक को ट्रिगर करने के माध्यम से रनटाइम-सर्टिफाइड बाउंडेड-एरर क्वांटाइज्ड अटेंशन को सक्षम बनाता है, जिससे लॉन्ग-कॉन्टेक्स्ट LLM इन्फरेंस के लिए उच्च संपीड़न बनाए रखते हुए सटीक डेंस अटेंशन आउटपुट में रिकवरी की गारंटी मिलती है।

मूल लेखक: Dean Calver

प्रकाशित 2026-05-21✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dean Calver

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छोटी, महंगी टैबलेट (आपके कंप्यूटर का GPU) पर एक विशाल पुस्तकालय की किताबें (एक "लॉन्ग-कॉन्टेक्स्ट" बातचीत) पढ़ने की कोशिश कर रहे हैं। समस्या यह है कि टैबलेट में अब तक लिए गए आपके नोट्स को रखने के लिए जगह कम पड़ रही है। इसे ठीक करने के लिए, आप उन नोट्स को एक संक्षिप्त कोड (क्वांटाइजेशन) में लिखने का निर्णय लेते हैं ताकि वे कम जगह घेरें।

शॉर्टहैंड के साथ समस्या
आमतौर पर, जब लोग शॉर्टहैंड का उपयोग करते हैं, तो वे बस इस उम्मीद में काम चलाते हैं कि यह काम कर जाएगा। वे नोट्स लिखते हैं, उन्हें वापस पढ़ते हैं, और यदि कहानी अभी भी समझ में आती है, तो वे आगे बढ़ते रहते हैं। लेकिन कभी-कभी, शॉर्टहैंड बहुत अधिक आक्रामक हो जाता है। एक महत्वपूर्ण विवरण बिगड़ सकता है, जिससे गलतफहमी हो सकती है। AI की दुनिया में, इसका मतलब है कि कंप्यूटर अचानक भ्रमित (hallucinate) हो सकता है या किसी मुख्य तथ्य को भूल सकता है, और किसी को पता भी नहीं चलेगा कि यह कब हुआ।

समाधान: एक "प्रमाणित" सुरक्षा जाल
यह शोध पत्र एक नई प्रणाली पेश करता है जिसे रनटाइम-सर्टिफाइड बाउंडेड-एरर क्वांटाइज्ड अटेंशन (Runtime-Certified Bounded-Error Quantized Attention) कहा जाता है। इसे एक "स्मार्ट लाइब्रेरियन" के रूप में सोचें जो केवल शॉर्टहैंड पर भरोसा नहीं करता; उसके पास एक सुरक्षा जाल भी है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

1. दो-स्तरीय पुस्तकालय (टियर्ड स्टोरेज)

शॉर्टहैंड (VRAM): AI अपने मुख्य नोट्स को अपने तेज़, महंगे टैबलेट पर एक संकुचित, शॉर्टहैंड प्रारूप (INT8 keys और INT4 values) में रखता है। यह मूल से लगभग 44% कम जगह बचाता है।
ओरिजिनल्स (सिस्टम RAM): महत्वपूर्ण रूप से, सिस्टम मूल, पूर्ण-लंबाई वाले नोट्स को फेंकता नहीं है। यह उन्हें पास के एक धीमे, सस्ते स्टोरेज रूम (सिस्टम RAM) में रखता है।
जादू: यदि शॉर्टहैंड बहुत अधिक गड़बड़ हो जाता है, तो लाइब्रेरियन तुरंत स्टोरेज रूम से मूल नोट ले सकता है और उसे बदल सकता है। यह सुनिश्चित करता है कि AI कभी भी सच्चाई न खोए, भले ही शॉर्टहैंड विफल हो जाए।

2. "मैथ चेक" (त्रुटि सीमाएं)

केवल यह अनुमान लगाने के बजाय कि शॉर्टहैंड अच्छा है या नहीं, सिस्टम हर बार एक नोट पढ़ते समय एक त्वरित गणितीय जांच करता है।

चेक: यह बिल्कुल गणना करता है कि शॉर्टहैंड ने अर्थ को कितना विकृत किया होगा। यह इसे दो भागों में विभाजित करता है:
1. की डिस्टॉर्शन (Key Distortion): क्या शॉर्टहैंड ने उस नोट को बदल दिया जिसे AI देख रहा था?
2. वैल्यू डिस्टॉर्शन (Value Distortion): क्या शॉर्टहैंड ने नोट की सामग्री को ही बदल दिया?
गारंटी: यदि गणित कहता है कि विरूपण (distortion) बहुत अधिक है, तो सिस्टम को तुरंत पता चल जाता है। यह AI द्वारा गलती करने का इंतज़ार नहीं करता; यह गलती होने से पहले ही उसे पकड़ लेता है।

3. "स्मार्ट सेलेक्टर" (अनुकूली सटीकता)

सिस्टम इतना स्मार्ट है कि वह जानता है कि सभी नोट्स समान रूप से महत्वपूर्ण नहीं होते हैं।

रणनीति: यह बातचीत को देखता है और पूछता है, "अभी कौन से नोट्स सबसे महत्वपूर्ण हैं?"
कार्रवाई: सबसे महत्वपूर्ण नोट्स के लिए (जिन पर AI ध्यान केंद्रित कर रहा है), यह स्टोरेज रूम से ओरिजिनल संस्करण पर स्विच हो जाता है। कम महत्वपूर्ण नोट्स के लिए (बातचीत की "लॉन्ग टेल" के लिए), यह शॉर्टहैंड का उपयोग करना जारी रखता है।
परिणाम: आपको अधिकांश चीजों के लिए शॉर्टहैंड की गति और स्थान की बचत मिलती है, लेकिन जो चीजें मायने रखती हैं उनके लिए मूल संस्करण की पूर्ण सटीकता मिलती है।

4. "रेस्क्यू लैडर" (बचाव की सीढ़ी)

यदि गणितीय जांच कहती है, "यह बहुत जोखिम भरा है," तो सिस्टम बचाव के विकल्पों की एक सीढ़ी पर चढ़ता है:

स्तर 1: महत्वपूर्ण हिस्सों के लिए बस अधिक ओरिजिनल्स का उपयोग करें।
स्तर 2: यदि नोट की सामग्री अभी भी धुंधली है, तो मूल सामग्री भी प्राप्त करें।
स्तर 3: यदि महत्व का रैंकिंग गलत है (उदाहरण के लिए, AI एक उबाऊ नोट को महत्वपूर्ण नोट से अधिक महत्वपूर्ण समझता है), तो यह उस विशिष्ट भाग को ओरिजिनल्स का उपयोग करके पुन: गणना करता है।
स्तर 4 (अंतिम सुरक्षा जाल): यदि सब कुछ विफल हो जाता है, तो यह पूरे लेयर को मूल, बिना कंप्रेस किए गए नोट्स में बदल देता है। यह गारंटी देता है कि आउटपुट 100% सही है, ठीक मानक, धीमे संस्करण की तरह।

इस शोध पत्र ने वास्तव में क्या पाया

शोधकर्ताओं ने LLaMA 3.1-8B नामक मॉडल पर बहुत लंबी बातचीत (128,000 शब्दों तक) के साथ इसका परीक्षण किया।

भाषा कार्य (Language Tasks): कहानियाँ लिखने या टेक्स्ट का सारांश निकालने के मामले में, नया सिस्टम धीमे, पूर्ण संस्करण के समान ही था। इसने वही गलतियाँ (या कमी) कीं जो मूल संस्करण ने की थीं।
रिट्रीवल कार्य (खोज कार्य - "नीडल इन अ हेस्टैक"): जब एक विशाल टेक्स्ट में छिपे किसी विशिष्ट तथ्य को खोजने के लिए पूछा गया, तो नए सिस्टम ने इसे मूल संस्करण की तरह ही अच्छी तरह से खोजा।
"नाइव" ट्रैप (The "Naive" Trap): उन्होंने यह भी परीक्षण किया कि क्या होता है यदि आप इस सुरक्षा जाल का उपयोग नहीं करते हैं (बिना चेक्स के केवल शॉर्टहैंड का उपयोग करना)। वह संस्करण बुरी तरह विफल रहा, जिससे तथ्यों को खोजने या सही ढंग से तर्क करने की क्षमता खो गई। यह साबित करता है कि "सुरक्षा जाल" केवल अतिरिक्त काम नहीं है; यही कारण है कि सिस्टम काम करता है।

ट्रेड-ऑफ (समझौता)

इसकी एक लागत है। क्योंकि सिस्टम लगातार गणितीय जांच करता है और कभी-कभी धीमे स्टोरेज रूम से नोट्स निकालता है, इसलिए यह मानक तेज़ संस्करण की तुलना में 2.7 से 4.8 गुना धीमा है।

हालांकि: यह महंगे GPU पर बहुत कम मेमोरी का उपयोग करता है।
स्वीट स्पॉट (Sweet Spot): बहुत लंबी बातचीत (64K+ शब्द) के लिए, नया सिस्टम मानक संस्करण की तुलना में वास्तव में कम कुल मेमोरी का उपयोग करता है, क्योंकि मानक संस्करण के पास नोट्स को टैबलेट पर रखने के लिए पर्याप्त जगह ही नहीं होती।

संक्षेप में

यह शोध पत्र एक तरीका प्रस्तुत करता है जिससे AI मेमोरी को सटीकता खोए बिना आक्रामक रूप से कंप्रेस किया जा सकता है। यह ऐसा इसलिए करता है क्योंकि यह मूल डेटा का बैकअप रखता है और वास्तविक समय में त्रुटियों का पता लगाने के लिए एक गणितीय "स्पीडोमीटर" का उपयोग करता है। यदि कंप्रेशन बहुत जोखिम भरा हो जाता है, तो यह तुरंत उच्च-गुणवत्ता वाले बैकअप को बदल देता है। यह गति के बदले सटीकता का समझौता करता है, ताकि यह गारंटी दी जा सके कि AI भ्रमित नहीं होगा या भूलेगा नहीं, जिससे यह बहुत लंबी बातचीत के लिए सुरक्षित हो जाता है।

तकनीकी सारांश: रनटाइम-प्रमाणित बाउंडेड-एरर क्वांटाइज्ड अटेंशन (Runtime-Certified Bounded-Error Quantized Attention)

समस्या विवरण

लंबे कॉन्टेक्स्ट लेंथ पर ऑटोरेग्रेसिव लार्ज लैंग्वेज मॉडल (LLM) का इन्फरेंस (inference), GPU मेमोरी से की-वैल्यू (KV) कैश को पढ़ने की मेमोरी बैंडविड्थ लागत द्वारा नियंत्रित होता है। जबकि KV कैश क्वांटाइजेशन (जैसे, INT8 कीज़, INT4 वैल्यूज़) पर्याप्त मेमोरी बचत प्रदान करता है, यह अनुमानित त्रुटियों (approximation errors) को पेश करता है जिन्हें आमतौर पर केवल अनुभवजन्य (empirically) रूप से सत्यापित किया जाता है। मौजूदा सिस्टम औसत-मामले की मजबूती (average-case robustness) पर निर्भर करते हैं, जिनमें रनटाइम पर विफलताओं का पता लगाने या उनसे उबरने के लिए तंत्रों का अभाव है। एक सिस्टम निम्न औसत पर्प्लेक्सिटी डिग्रेडेशन (perplexity degradation) प्राप्त कर सकता है, फिर भी अटेंशन डिस्ट्रीब्यूशन में विनाशकारी स्टेप-वाइज विचलन प्रदर्शित कर सकता है, विशेष रूप से रिट्रीवल कार्यों में, और इसमें इन त्रुटियों को पहचानने या सुधारने के लिए कोई तंत्र नहीं होता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक टियर्ड (tiered) KV कैश आर्किटेक्चर प्रस्तावित करता है जो क्वांटाइजेशन को एक निश्चित सन्निकटन (fixed approximation) के बजाय एक रनटाइम-वेरिफाइड कंप्यूटेशन के रूप में पुनर्गठित करता है। सिस्टम तीन मुख्य स्तंभों पर कार्य करता है:

1. नियततम फॉलबैक के साथ टियर्ड स्टोरेज (Tiered Storage with Deterministic Fallback)

टियर 1 (VRAM): संपीड़ित डेटा संग्रहीत करता है: प्रति-चैनल INT8 कीज़ और प्रति-ग्रुप INT4 वैल्यूज़, साथ ही क्वांटाइजेशन मेटाडेटा (स्केल्स/ऑफसेट्स) और प्रति-ब्लॉक एरर एनोटेशन। यह VRAM फुटप्रिंट को डेंस FP16 कैश के लगभग 56% तक कम कर देता है।
टियर 2 (System RAM): पिन किए गए सिस्टम रैम में मूल अनक्वांटाइज्ड FP16 कीज़ और वैल्यूज़ को बनाए रखता है। ये एक बिना शर्त फॉलबैक तंत्र के लिए ग्राउंड ट्रुथ के रूप में कार्य करते हैं।
फॉलबैक तंत्र (Fallback Mechanism): यदि रनटाइम मॉनिटर यह पता लगाते हैं कि एरर बाउंड्स (error bounds) पार हो गए हैं, तो सिस्टम एक "फॉलबैक लैडर" (fallback ladder) के माध्यम से ऊपर की ओर बढ़ता है, और अंततः प्रभावित हेड या लेयर के लिए सटीक डेंस अटेंशन (torch.scaled_dot_product_attention) निष्पादित करने के लिए टियर 2 से FP16 डेटा को पेज-इन करता है।

2. टू-टर्म एरर डिकम्पोजिशन (Two-Term Error Decomposition)

सिस्टम क्वांटाइजेशन त्रुटि को दो स्वतंत्र, गणना योग्य पदों में विभाजित करता है:

की कंप्रेशन एरर ( $E_{key}$ ): की क्वांटाइजेशन के कारण अटेंशन डिस्ट्रीबशन के विरूपण (distortion) को सीमित करता है। इसे सटीक और अनुमानित सॉफ्टमैक्स डिस्ट्रीब्यूशन के बीच टोटल वेरिएशन डिस्टेंस से प्राप्त किया जाता है, जो प्रति-टोकन स्कोर परर्बेशन ( $\Delta$ ) द्वारा सीमित है।
वैल्यू रिकंस्ट्रक्शन एरर ( $E_{val}$ ): INT4 से वैल्यूज़ को पुनर्गठित करने से होने वाली त्रुटि को सीमित करता है। यह प्रति-ब्लॉक रिकंस्ट्रक्शन एरर्स ( $\eta_b$ ) और अटेंशन मासेस के भारित योग (weighted sum) द्वारा सीमित है।
रनटाइम मॉनिटरिंग: दोनों बाउंड्स को ऑनलाइन उन्हीं मात्राओं का उपयोग करके कंप्यूट किया जाता है जो पहले से ही ट्रैक की जा रही हैं (क्वांटाइजेशन स्केल्स, क्वेरी नॉर्म्स, वैल्यू रेंज), जिससे प्रति-हेड, प्रति-स्टेप परिशुद्धता निर्णय संभव होते हैं।

3. एडेप्टिव प्रिसिजन और फॉलबैक लैडर (Adaptive Precision and Fallback Ladder)

एडेप्टिव टॉप-K सिलेक्शन: सिस्टम अनुमानित मास (mass) के ब्लॉक्स के अटेंशन मास का अनुमान लगाने के लिए एक हल्का स्कोरिंग पास निष्पादित करता है जिसका उपयोग INT8 कीज़ के साथ किया जाता है। यह उन टॉप- $K^*$ ब्लॉक्स को प्रमोट करता है (जो अनुमानित मास के एक थ्रेशोल्ड $\tau_{cov}$ को कवर करते हैं, जैसे, 99.5%), उन्हें टियर 2 से FP16 की प्रिसिजन के लिए पेज-इन किया जाता है। शेष "टेल" (tail) ब्लॉक्स INT8 में रहते हैं।
रैंकिंग-कंसिस्टेंसी चेक (Ranking-Consistency Check): एक महत्वपूर्ण रनटाइम चेक प्रमोट किए गए ब्लॉक्स के लिए INT8 स्कोर से प्राप्त रैंकिंग की तुलना FP16 स्कोर से प्राप्त रैंकिंग से करता है। यदि रैंकिंग असंगत है (जो इंगित करता है कि INT8 शोर ने अटेंशन डिस्ट्रीब्यूशन को विकृत कर दिया है), तो यह सिस्टम को विशिष्ट हेड के लिए डेंस अटेंशन के लिए फॉलबैक करने के लिए ट्रिगर करता है।
चार-रंग फॉलबैक लैडर (Four-Rung Fallback Ladder):
1. कवरेज बढ़ाना (Expand Coverage): INT8 टेल को कम करने के लिए $K^*$ को बढ़ाना।
2. वैल्यू प्रमोट करना (Promote Values): उन ब्लॉक्स के लिए FP16 वैल्यूज़ को पेज-इन करना जहाँ अनुमानित वैल्यू एरर योगदान एक थ्रेशोल्ड से अधिक है।
3. प्रति-हेड फॉलबैक (Per-Head Fallback): यदि रैंकिंग कंसिस्टेंसी विफल हो जाती है, तो पूर्ण FP16 KV का उपयोग करके उस विशिष्ट हेड के लिए अटेंशन को पुन: कंप्यूट करना।
4. पूर्ण फॉलबैक (Full Fallback): मानक डेंस FP16 अटेंशन का उपयोग करके पूरे लेयर को पुन: कंप्यूट करना।

मुख्य योगदान (Key Contributions)

टियर्ड आर्किटेक्चर: एक व्यावहारिक सिस्टम जो VRAM में INT8/INT4 संग्रहीत करता है जबकि रिकवरी के लिए सिस्टम RAM में मूल FP16 को बनाए रखता है।
फॉर्मल रनटाइम बाउंड्स: एक टू-टर्म एरर डिकम्पोजिशन जो की और वैल्यू कंप्रेशन एरर के स्वतंत्र, प्रति-हेड, प्रति-स्टेप बाउंड्स प्रदान करता है, जो मुख्य अटेंशन पास के दौरान मूल FP16 डेटा तक पहुँचे बिना गणना योग्य हैं।
एडेप्टिव प्रिसिजन: एक तंत्र जो वर्तमान डिकोड स्टेप के वास्तविक अटेंशन पैटर्न के आधार पर गतिशील रूप से चुनता है कि किन ब्लॉक्स को FP16 कीज़ की आवश्यकता है।
रैंकिंग-कंसिस्टेंसी चेक: एक अभिनव डिटेक्शन मैकेनिज्म जो पहचानता है कि कब क्वांटाइजेशन शोर अटेंशन डिस्ट्रीब्यूशन को विकृत करता है (जो कि नैव (naive) क्वांटाइजेशन का एक साइलेंट फेल्योर मोड है) और रिकवरी को ट्रिगर करता है।
डिटरमिनिस्टिक रिकवरी: एक फॉलबैक लैडर जो गारंटी देता है कि सिस्टम सटीक डेंस बेसलाइन आउटपुट ( $O_{dense}$ ) पर वापस आ जाएगा यदि प्रमाणित बाउंड्स को संतुष्ट नहीं किया जा सकता है, जिससे अनसुलझे विफलता मोड को रिकवरेबल इवेंट्स में बदल दिया जाता है।

प्रयोगात्मक परिणाम (Experimental Results)

सिस्टम का मूल्यांकन LLaMA 3.1-8B पर 8K, 32K, 64K, और 128K के कॉन्टेक्स्ट के साथ PG-19 (लैंग्वेज मॉडलिंग), NIAH (नीडल-इन-ए-हेस्टैक रिट्रीवल), और RULER (स्ट्रक्चर्ड रीजनिंग) पर किया गया।

लैंग्वेज मॉडलिंग (PG-19): प्रमाणित सिस्टम सभी कॉन्टेक्स्ट लेंथ में शोर के भीतर डेंस FP16 पर्प्लेक्सिटी से मेल खाता है ( $\Delta_{ppl} \approx \pm 0.001$ )।
रिट्रीवल (NIAH): प्रमाणित सिस्टम 8K, 32K, और 64K पर डेंस एक्यूरेसी से मेल खाता है। सांख्यिकीय परीक्षण (McNemar) दिखाते हैं कि कोई महत्वपूर्ण अंतर नहीं है ( $p=1.0$ 8K/64K पर, $p=0.727$ 32K पर)। इसके विपरीत, एक नैव (naive) INT8/INT4 बेसलाइन (बिना सर्टिफिकेशन के) 5–10% एक्यूरेसी पर गिर जाती है।
स्ट्रक्चर्ड रीजनिंग (RULER):
- 64K और 128K पर, सिस्टम डेंस प्रदर्शन से मेल खाता है या उससे थोड़ा बेहतर प्रदर्शन करता है।
- 8K और 32K पर, एक डिग्रेडेशन देखा गया है, जो मुख्य रूप से वैल्यू-सेंसिटिव सबटास्क (Variable Tracking, Word Extraction) में होता है। एब्लेशन स्टडीज पुष्टि करती हैं कि यह INT4 वैल्यू रिकंस्ट्रक्शन एरर के कारण है। INT4 वैल्यूज़ को FP16 वैल्यूज़ से बदलने या वैल्यू टॉलरेंस ( $v_{tol}$ ) को कड़ा करने से यह गैप समाप्त हो जाता है।
परफॉरमेंस ओवरहेड: सिस्टम डेंस फ्लैश अटेंशन की तुलना में 2.7× से 4.8× का लेटेंसी ओवरहेड लेता है, जो मुख्य रूप से रैंकिंग-कंसिस्टेंसी चेक (स्टेप टाइम का 28%) और होस्ट-टू-डिवाइस पेज-इन ट्रैफिक द्वारा संचालित होता है। हालांकि, एसिमेट्रिक कैश कॉन्फ़िगरेशन के साथ 128K कॉन्टेक्स्ट पर, सिस्टम डेंस FP16 की तुलना में 28% कम VRAM उपयोग प्राप्त करता है, जबकि सिमेट्रिक कैश कॉन्फ़िगरेशन के समान लेटेंसी बनाए रखता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि इसका प्राथमिक योगदान स्वयं कंप्रेशन नहीं, बल्कि सर्टिफिकेशन फ्रेमिंग है। औपचारिक प्रति-हेड, प्रति-स्टेप एरर बाउंड्स को रनटाइम मॉनिटरिंग और एक बिना शर्त फॉलबैक पाथ के साथ जोड़कर, सिस्टम सख्त गुणवत्ता बाधाओं के तहत आक्रामक KV कंप्रेशन के सुरक्षित परिनियोजन (deployment) को सक्षम बनाता है।

क्वांटाइजेशन को नया रूप देना: यह कार्य प्रतिमान को "फिक्स्ड एप्रोक्सिमेशन" से "रनटाइम-वेरिफाइड कंप्यूटेशन" में बदल देता है।
स्पीड के बजाय सुरक्षा: लक्ष्य रॉ स्पीडअप नहीं है, बल्कि वहां सुरक्षित परिनियोजन को सक्षम बनाना है जहां गुणवत्ता में गिरावट अस्वीकार्य है। सिस्टम यह गारंटी देता है कि प्रत्येक अटेंशन कंप्यूटेशन या तो एक FP16 रेफरेंस के सापेक्ष बाउंडेड है या ठीक से रिकवर किया गया है।
सीमाएं: लेखक स्पष्ट रूप से कहते हैं कि प्रमाणन स्थानीय (प्रति-हेड, प्रति-स्टेप) है और यह एंड-टू-एंड मॉडल शुद्धता की गारंटी नहीं देता है। मॉडल की गुणवत्ता पर समग्र प्रभाव का मूल्यांकन अनुभवजन्य रूप से किया जाता है। इसके अतिरिक्त, सिस्टम के लिए सिस्टम रैम में पूर्ण FP16 ओरिजिनल्स को बनाए रखने की आवश्यकता होती है, जिसमें डेंस कैश के आकार के बराबर मेमोरी लागत आती है, और वर्तमान कार्यान्वयन में ऑर्केस्ट्रेशन और मेमोरी ट्रांसफर के कारण महत्वपूर्ण लेटेंसी ओवरहेड है।

शोध पत्र निष्कर्ष निकालता है कि वर्तमान ऑपरेटिंग रिजीम लंबे कॉन्टेक्स्ट वाले इन्फरेंस (64K+) के लिए सबसे उपयुक्त है जहाँ VRAM एक बाधा है, हालांकि आर्किटेक्चर सामान्य है और मॉडल विशिष्टताओं के प्रति उदासीन है, जो डेंस बेसलाइन्स की शुद्धता गारंटीों से समझौता किए बिना कंप्रेस्ड-डोमेन अटेंशन को सत्यापित करने का मार्ग प्रदान करता है।