🤖 machine learning

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

यह शोध पत्र "बैक फ्रॉम द फ्यूचर" (Back from the Future) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) की-वैल्यू (Key-Value) कैश इविक्शन रणनीति है जो काउंटर-कॉज़ल अटेंशन (counter-causal attention) का लाभ उठाकर यह मापने के लिए कि भविष्य के संदर्भ से पिछले टोकनों की कितनी अच्छी तरह भविष्यवाणी की जा सकती है, अनावश्यक टोकनों की पहचान करती है और उन्हें हटाती है, जिससे विभिन्न लार्ज लैंग्वेज मॉडल्स में प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए मेमोरी उपयोग और इन्फरेंस लेटेंसी को कम किया जाता है।

मूल लेखक: Stephen Gould, Anton van den Hengel

प्रकाशित 2026-07-31

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stephen Gould, Anton van den Hengel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी, जटिल कहानी को याद करने की कोशिश कर रहे हैं ताकि आप उसका अगला भाग सुना सकें। आपका मस्तिष्क अद्भुत है, लेकिन इसकी एक सीमा है कि यह एक बार में कितना कुछ रख सकता है। यदि कहानी बहुत लंबी हो जाती है, तो आपको नई चीज़ों के लिए जगह बनाने के लिए कुछ हिस्सों को भूलना पड़ता है। यह बिल्कुल वही समस्या है जिसका सामना आधुनिक "लार्ज लैंग्वेज मॉडल्स" (वे सुपर-स्मार्ट AI चैटबॉट्स जिनका हम आज उपयोग करते हैं) कर रहे हैं। ये मॉडल अब तक पढ़े गए सब कुछ को देखकर अगले शब्द का अनुमान लगाने का काम करते हैं। इसे तेज़ी से करने के लिए, वे अपने कंप्यूटर मेमोरी में एक "रफ नोटबुक" रखते हैं जिसे की-वैल्यू (KV) कैश कहा जाता है। इस कैश को कहानी के सबसे महत्वपूर्ण सुरागों को लिखने के लिए एक मानसिक नोटपैड की तरह समझें।

समस्या यह है कि जैसे-जैसे कहानी लंबी होती जाती है, यह नोटबुक बड़ी और बड़ी होती जाती है। अंततः, यह कंप्यूटर की मेमोरी को भर देती है, जिससे AI क्रैश हो जाता है या बहुत धीमा हो जाता है। वैज्ञानिक इसे हल करने के लिए यह पता लगाने की कोशिश कर रहे हैं कि नोटबुक पर कौन से नोट्स रखना सबसे महत्वपूर्ण है और किन्हें फेंक देना चाहिए। कुछ तरीके पुराने नोट्स को फेंक देते हैं (जैसे एक स्लाइडिंग विंडो), जबकि अन्य उन नोट्स को रखने की कोशिश करते हैं जिन्हें मॉडल सबसे अधिक "देखता" है। लेकिन इन पुराने तरीकों में एक दोष है: यदि मॉडल किसी नोट को बहुत अधिक देखता है, तो वह उसे और भी अधिक देखता रहता है, जिससे एक लूप बन जाता है जहाँ महत्वपूर्ण लेकिन शांत तथ्य इसलिए हटा दिए जाते हैं क्योंकि वे ध्यान खींचने के लिए पर्याप्त "ज़ोरदार" नहीं थे।

यह पेपर एक नया और चतुर तरीका पेश करता है जिसे काउंटर-कॉज़ल सरप्राइज़ (Counter-Causal Surprise) कहा जाता है। यह पूछने के बजाय कि, "मॉडल ने सबसे अधिक क्या देखा?", यह पूछता है, "यदि मैं इस नोट को हटा दूँ, तो क्या मॉडल अभी भी भविष्य के नोट्स के आधार पर इसका अनुमान लगा सकता है?" यदि मॉडल भविष्य के शब्दों को पढ़कर पिछले शब्द का आसानी से अनुमान लगा सकता है, तो वह शब्द बहुत खास नहीं है—वह अनावश्यक (redundant) है। लेकिन अगर मॉडल पूरी तरह से हैरान है और भविष्य के शब्दों से पिछले शब्द का अनुमान नहीं लगा पा रहा है, तो वह शब्द अनूठा और महत्वपूर्ण जानकारी रखता है और उसे सहेजना चाहिए। लेखकों ने विभिन्न AI मॉडलों पर इसका परीक्षण किया और पाया कि यह "सरप्राइज़" विधि पुराने तरीकों की तुलना में मॉडल को अधिक स्मार्ट और सटीक बनाए रखती है, भले ही मेमोरी कम हो। उन्होंने यह भी पाया कि एक "फास्ट मोड" है जो गणित को बहुत तेज़ी से करता है, जिससे यह बिना बहुत अधिक धीमा किए वास्तविक दुनिया में उपयोग के लिए व्यावहारिक बन जाता है।

"पीछे की ओर" देखने का जादू

तो, यह "काउंटर-कॉज़ल सरप्राइज़" वास्तव में कैसे काम करता है? आइए कल्पना करें कि AI एक रहस्यमयी उपन्यास पढ़ रहा है। आमतौर पर, मॉडल एक सामान्य व्यक्ति की तरह बाएं से दाएं पढ़ता है। वह देखता है "बटलर (नौकर)," फिर "ने उठाया," फिर "कैंडलस्टिक (मोमबत्ती का स्टैंड)।" अगले शब्द की भविष्यवाणी करने के लिए, यह अब तक देखी गई हर चीज़ का उपयोग करता है। यह AI के काम करने का मानक तरीका है।

लेकिन अपनी मेमोरी से क्या फेंकना है, यह तय करने के लिए, यह नया तरीका कुछ अजीब करता है: यह पीछे की ओर देखता है। यह कहानी का एक हिस्सा लेता जिसे यह पहले ही पढ़ चुका है और पूछता है, "यदि मैं अपनी मेमोरी से शब्द 'कैंडलस्टिक' को छिपा दूँ, तो क्या मैं केवल 'बटलर ने उठाया...' को देखकर इसका अनुमान लगा सकता हूँ?"

कम सरप्राइज़ (इसे फेंक दें): यदि वाक्य था "बटलर ने उठाया द [कैंडलस्टिक]," और अगले शब्द हैं "और रसोई में चला गया," तो मॉडल बटलर और रसोई के संदर्भ से "कैंडलस्टिक" का अनुमान लगा सकता है। यदि मॉडल आसानी से अनुमान लगा सकता है, तो उस शब्द ने बहुत अधिक नई जानकारी नहीं जोड़ी। यह वाक्य में शब्द "द" (the) को याद रखने जैसा है; आपको "द" के लिए विशेष नोट रखने की आवश्यकता नहीं है क्योंकि यह हर जगह है। पेपर सुझाव देता है कि इन आसानी से अनुमान लगाने वाले शब्दों को बचाने के लिए कैश से हटा दिया जाए।
उच्च सरप्राइज़ (इसे रखें!): अब, कल्पना करें कि वाक्य है "बटलर ने उठाया द [टीपॉट (चायदानीी)]." और अगले शब्द हैं "और रसोई में चला गया," तो मॉडल पूरी तरह से भ्रमित हो सकता है। "टीपॉट?" क्यों? यह एक सरप्राइज़ है! यह तथ्य कि बटलर ने टीपॉट उठाया, एक अनूठी जानकारी है जिसे भविष्य के शब्द नहीं बता सके। यह "सरप्राइज़" बताता है कि शब्द में एक रहस्य है जिसे बाकी कहानी नहीं जानती। पेपर का तर्क है कि ये "आश्चर्यजनक" शब्द सबसे मूल्यवान हैं और उन्हें ही मेमोरी कैश में रखा जाना चाहिए।

"फास्ट मोड" का शॉर्टकट

हर एक शब्द के लिए यह "पीछे की ओर देखने" का काम करना कठिन है। यह एक पूरी किताब पढ़ने, फिर नोट्स चेक करने के लिए उसे उल्टा पढ़ने जैसा है। लेखकों ने महसूस किया कि इसमें बहुत अधिक कंप्यूटर पावर लगती है। इसलिए, वे एक फास्ट सिंगल-लेयर एप्रोक्सिमेशन (Fast Single-Layer Approximation) लेकर आए।

एक गहरे न्यूरल नेटवर्क (AI का मस्तिष्क) को एक बहु-मंजिला इमारत के रूप में सोचें। सूचना अंतिम उत्तर आने से पहले कई मंजिलों (लेयर्स) से होकर गुजरती है। पूर्ण विधि हर मंजिल की जांच करती है कि क्या वहां कोई सरप्राइज़ है। "फास्ट मोड" कहता है, "अरे, चलो बस सबसे ऊपरी मंजिल की जांच करते हैं।" उन्होंने पाया कि AI के मस्तिष्क की केवल अंतिम लेयर को देखने से लगभग वही परिणाम मिलता है जो पूरी इमारत की जांच करने से मिलता है, लेकिन यह 7 से 9 गुना तेज़ है।

उनके परीक्षणों में, इस तेज़ संस्करण ने 512 टोकन (टेक्स्ट का एक छोटा हिस्सा) के कैश के लिए मेमोरी को रिफ्रेश करने में केवल 7.9 मिलीसेकंड का समय लिया, जबकि पूर्ण जांच में 54 मिलीसेकंड लगे। 4,096 टोकन के विशाल कैश के लिए भी, तेज़ संस्करण केवल 52.6 मिलीसेकंड में पूरा हो गया, जबकि पूर्ण संस्करण में 496 मिलीसेकंड लगे। यह एक बहुत बड़ा स्पीडअप है जो इस विधि को बिना AI को धीमा किए वास्तविक समय में उपयोग करने योग्य बनाता है।

क्या यह वास्तव में काम करता है?

लेखकों ने केवल कल्पना नहीं की; उन्होंने Qwen2.5 और LLaMA 3.1 जैसे कुछ सबसे स्मार्ट ओपन-सोर्स AI मॉडलों पर जटिल गणितीय समस्याओं को हल करने, लंबे मेडिकल रिकॉर्ड पढ़ने और लंबी बातचीत का पालन करने जैसे कठिन कार्यों का परीक्षण किया।

गणित की समस्याएं: MATH500 नामक एक बेंचमार्क पर, जहाँ AI को जटिल गणितीय समस्याओं को हल करना होता है, नया तरीका AI को ट्रैक पर रखने में सबसे अच्छा रहा। Qwen2.5-7B मॉडल के लिए, नए तरीके ने 74.4% सटीकता प्राप्त की, जो "हैवी-हिटर" (Heavy-Hitter) पद्धति (जिसने 76.2% प्राप्त किया था) के बहुत करीब थी, लेकिन अन्य मॉडलों जैसे 3B और 14B संस्करणों पर यह बेहतर था। Llama-3.1-8B मॉडल पर, नए तरीके ने 48.2% प्राप्त किया, जो सभी "फेंकने वाले" तरीकों में सबसे अच्छा था और "नो-लिमिट" बेसलाइन (48.8%) के बहुत करीब था।
लंबी बातचीत: यहाँ पुराने तरीके वास्तव में संघर्ष करते थे। LoCoMo नामक एक डेटासेट में, जिसमें बहुत लंबी बातचीत शामिल है, पुराने "अटेंशन-आधारित" तरीके (जैसे H2O) विफल होने लगे। वे भ्रमित हो जाते थे और सवाल को दोहराने लगते थे या अप्रासंगिक चित्रों के बारे में बात करने लगते थे क्योंकि उन्होंने बातचीत की शुरुआत में हुई अनूठी जानकारियों को हटा दिया था। नया "काउंटर-कॉज़ल" तरीका यह गलती नहीं करता है। इसने अनूठे, आश्चर्यजनक तथ्यों को बनाए रखा, जिससे AI लंबे समय के बाद भी सही उत्तर देने में सक्षम रहा।
थिंकिंग मोड (सोचने का तरीका): उन्होंने AIME गणित की समस्याओं पर भी परीक्षण किया जहाँ AI को उत्तर देने से पहले लंबे समय तक "सोचना" पड़ता है। पुराने तरीके अक्सर बहुत अधिक जानकारी हटाने के कारण इतने भ्रमित हो जाते थे कि AI अपनी विचार प्रक्रिया पूरी नहीं कर पाता था। नया तरीका रीजनिंग चेन (तर्क श्रृंखला) को बहुत बेहतर तरीके से बनाए रखता है, जिससे 36.7% सटीकता प्राप्त हुई, जबकि अन्यों की तुलना में यह काफी अधिक थी।

यह क्यों महत्वपूर्ण है

बड़ी बात यह है कि जानकारी को भूलने का पुराना तरीका त्रुटिपूर्ण था। यह इस बात पर निर्भर करता था कि AI किसी जानकारी को कितना "देखता" है, जिससे एक ऐसा पूर्वाग्रह पैदा होता था जहाँ लोकप्रिय शब्द और भी लोकप्रिय होते जाते थे, और शांत लेकिन महत्वपूर्ण तथ्य हटा दिए जाते थे। यह नया तरीका इस धारणा को बदल देता है। यह पूछता है, "क्या यह जानकारी अनुमान लगाने योग्य है?" यदि यह है, तो इसकी आवश्यकता नहीं है। यदि यह एक सरप्राइज़ है, तो यह सोना है।

लेखक सुझाव देते हैं कि यह दृष्टिकोण AI मॉडलों को फिर से प्रशिक्षित किए बिना मेमोरी प्रबंधित करने का एक ठोस और सिद्धांत आधारित तरीका है। यह हमारे पास मौजूद मॉडलों के साथ काम करता है। हालांकि पूर्ण संस्करण में "सरप्राइज़" की गणना करने में थोड़ा अतिरिक्त समय लगता है, लेकिन तेज़ संस्करण इतना त्वरित है कि यह कुछ भी धीमा नहीं करता है। यह एक ऐसे लाइब्रेरियन की तरह है जो केवल उन किताबों को नहीं रखता जिन्हें हर कोई मांगता है, बल्कि उन किताबों को रखता है जिनमें ऐसे रहस्य हैं जिनका कोई अनुमान नहीं लगा सकता, जिससे यह सुनिश्चित होता है कि कहानी अपने सबसे महत्वपूर्ण मोड़ कभी न खोए।

तकनीकी सारांश: भविष्य से वापस: काउंटर-कॉज़ल सरप्राइज द्वारा की-वैल्यू कैश प्रबंधन

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) ऑटो-रिग्रेसिव जनरेशन के दौरान कुशल स्केल्ड डॉट-प्रोडक्ट अटेंशन को सक्षम करने के लिए पहले से कंप्यूट किए गए कीज़ (keys) और वैल्यूज़ (values) को स्टोर करने के लिए की-वैल्यू (KV) कैश पर निर्भर करते हैं। हालाँकि, KV कैश का आकार कॉन्टेक्स्ट लेंथ के साथ रैखिक रूप से बढ़ता है, जिससे लंबे प्रॉम्प्ट्स या विस्तारित जनरेशन के लिए उपलब्ध GPU मेमोरी जल्दी समाप्त हो जाती है। जबकि स्लाइडिंग विंडो (पुराने टोकन को हटाना) या कंप्रेशन जैसी रणनीतियाँ मौजूद हैं, वे अक्सर महत्वपूर्ण जानकारी को बनाए रखने में विफल रहती हैं।

मौजूदा डायनेमिक इविक्शन (eviction) विधियों (जैसे H2O, TOVA) की एक महत्वपूर्ण सीमा यह है कि वे अटेंशन-आधारित स्कोर पर निर्भर करती हैं। ये विधियाँ एक स्व-सुदृढ़ पूर्वाग्रह (self-reinforcing bias) से ग्रस्त होती हैं: कैश में रखे गए टोकन अगले डिकोडिंग स्टेप्स में लगातार अटेंशन प्राप्त करते रहते हैं, जिससे उनके संचयी स्कोर (cumulative scores) बढ़ते जाते हैं और उनके बने रहने की संभावना और अधिक बढ़ जाती है। इसके विपरीत, तथ्यात्मक रूप से महत्वपूर्ण लेकिन कम-आवृत्ति वाले टोकन, जो केवल एक बार उल्लेखित होते हैं, पर्याप्त अटेंशन आकर्षित नहीं कर पाते जिससे वे इविक्शन (हटाए जाने) से बच नहीं पाते, जिसके परिणामस्वरूप सटीकता में गिरावट आती है, विशेषकर उन कार्यों में जिनमें मल्टी-हॉप रीजनिंग या सटीक सूचना पुनर्प्राप्ति (retrieization) की आवश्यकता होती है।

कार्यप्रणाली (Methodology)

लेखक काउंटर-कॉज़ल सरप्राइज (Counter-Causal Surprise) पर आधारित एक नया, ट्रेनिंग-फ्री इविक्शन स्ट्रैटेजी प्रस्तावित करते हैं। मुख्य अंतर्दृष्टि यह है कि यदि किसी पिछले टोकन का पूर्वानुमान उसके बाद आने वाले टोकन्स द्वारा अच्छी तरह से लगाया जा सकता है, तो वह जो जानकारी वह ले जाता है वह रेडंडेंट (redundant) है और उसे हटाया जा सकता है। इसके विपरीत, टोकन्स जिन्हें भविष्य के कॉन्टेक्स्ट से प्रेडिक्ट करना कठिन है, उनमें अद्वितीय और आवश्यक जानकारी होती है और उन्हें बनाए रखा जाना चाहिए।

काउंटर-कॉज़ल तंत्र (The Counter-Causal Mechanism)

इसे संचालित करने के लिए, विधि एक स्कोरिंग पास पेश करती है जो मूल टोकन क्रम (original token order) में चलता है लेकिन एक काउंटर-कॉज़ल (अपर-ट्राइएंगुलर) अटेंशन मास्क लागू करता है।

प्रक्रिया: मॉडल मानक फॉरवर्ड पास ऑर्डर का उपयोग करके टोकन्स $x_1, \dots, x_t$ को प्रोसेस करता है।
मास्किंग: मानक कॉज़ल मास्क (जो अतीत की ओर ध्यान देता है) के बजाय, एक काउंटर-कॉज़ल मास्क लागू किया जाता है, जो स्थिति $i$ को केवल भविष्य की स्थितियों $j > i$ पर ध्यान देने की अनुमति देता है।
पुन: उपयोग (Reuse): यह विधि प्रारंभिक फॉरवर्ड पास से पहले से स्टोर किए गए की (K) और वैल्यू (V) रिप्रेजेंटेशन्स का पुन: उपयोग करती है। यह रिलेटिव ऑफसेट्स को सही ढंग से कंप्यूट करने के लिए मूल पोजीशन आईडी का उपयोग करके नए क्वेरीज (Q) उत्पन्न करती है।
स्कोरिंग: टोकन $x_i$ के लिए सरप्राइज स्कोर $s_i$ को $1 - P(x_i | x_{i+1:t})$ के रूप में परिभाषित किया गया है। व्यवहार में, इस संभाव्यता के मोनोटोन प्रॉक्सी के रूप में $x_i$ के लॉजिट (logit) का उपयोग किया जाता है।
इविक्शन (Eviction): मेमोरी रिफ्रेश चक्र के दौरान, वे टोकन्स जिनका सरप्राइज स्कोर सबसे कम है (सबसे अधिक अनुमानित), उन्हें हटा दिया जाता है, जबकि उच्च सरप्राइज वाले टोकन्स को रखा जाता है। अंतिम टोकन को हमेशा बनाए रखा जाता है क्योंकि उसके पास कोई भविष्य का कॉन्टेक्स्ट नहीं होता।

फास्ट सिंगल-लेयर एप्रोक्सिमेशन (Fast Single-Layer Approximation)

एक पूर्ण काउंटर-कॉज़ल पास की कम्प्यूटेशनल लागत (जो $O(Ln^2)$ है, जहाँ $L$ परतों की संख्या है और $n$ कैश का आकार है) को संबोधित करने के लिए, लेखक एक फास्ट एप्रोक्सिमेशन प्रस्तावित करते हैं। यह काउंटर-कॉज़ल पास को केवल अंतिम ट्रांसफार्मर लेयर तक सीमित करता है।

यह पेनल्टीमेट लेयर (penultimate layer) से हिडन एक्टिवेशन्स $H^{(L-1)}$ को मानक फॉरवर्ड पास के दौरान रिकॉर्ड करता है।
रिफ्रेश के दौरान, यह इन स्टोर किए गए एक्टिवेशन्स से क्वेरीज कंप्यूट करता है और केवल अंतिम लेयर पर काउंटर-कॉज़ल मास्क लागू करता है।
यह जटिलता को $O(n^2)$ तक कम कर देता है, जिससे मामूली सटीकता हानि के साथ प्रति रिफ्रेश साइकिल 7-9 गुना स्पीडअप प्राप्त होता है।
यह सिस्टम चंक्ड साइकिल्स (chunked cycles) में काम करता है, जो एक इंफरेंस फेज ( $h$ टोकन्स को प्रोसेस करना) और एक मेमोरी रिफ्रेश फेज (कैश को आकार $J$ तक मूल्यांकन और छंटनी करना) के बीच बारी-बारी से चलता है।

मुख्य योगदान (Key Contributions)

काउंटर-कॉज़ल सरप्राइज मेट्रिक: भविष्य के कॉन्टेक्स्ट से प्रेडिक्टेबिलिटी के आधार पर टोकन उपयोगिता का अनुमान लगाने के लिए एक सिद्धांत-आधारित, ट्रेनिंग-फ्री विधि, जो अटेंशन-आधारित स्कोर के स्व-सुदृढ़ पूर्वाग्रह से बचती है।
इन-डिस्ट्रीब्यूशन स्कोरिंग: स्कोरिंग मैकेनिज्म मौजूदा कैश्ड रिप्रेजेंटेशन्स का पुन: उपयोग करता है और मूल टोकन क्रम में चलता है, जिससे यह सुनिश्चित होता है कि मूल्यांकन सीधे वास्तविक कैश कंटेंट से जुड़ा है और इसके लिए अतिरिक्त ट्रेनिंग या आउट-ऑफ-डिस्ट्रीब्यूशन धारणाओं की आवश्यकता नहीं है।
कुशल एप्रोक्सिमेशन: इसका सिंगल-लेयर एप्रोक्सिमेशन रिफ्रेश लेटेंसी को नाटकीय रूप से कम करता है (सैकड़ों मिलीसेकंड से घटाकर 512-टोकन कैश के लिए 10ms से कम) और प्रतिस्पर्धी प्रदर्शन बनाए रखता है।
व्यापक मूल्यांकन: विभिन्न मॉडल परिवारों (Qwen2.5, LLaMA 3.1) और विविध कार्यों (गणितीय तर्क, लॉन्ग-कॉन्टेक्स्ट QA, मल्टी-हॉप डायलॉग) पर व्यापक बेंचमार्क।

प्रयोगात्मक परिणाम (Experimental Results)

इस विधि का मूल्यांकन MATH500, AIME (थिंकिंग मोड), LongHealth, Qasper, और LoCoMo बेंचमार्क पर किया गया।

सटीकता (Accuracy): MATH500 पर, काउंटर-कॉज़ल विधि ने चार में से तीन मॉडल्स (Qwen2.5-3B, 7B, 14B) पर स्लाइडिंग विंडो, इम्पोर्टेंस सैंपलिंग और H2O को पछाड़ दिया। Llama-3.1-8B पर, इसने 48.2% सटीकता प्राप्त की, जो सभी इविक्शन स्ट्रैटेजीज में सर्वश्रेष्ठ है और फुल-कैश बेसलाइन (48.8%) के लगभग बराबर है।
रीजनिंग कोहेरेंस (Reasoning Coherence): AIME "थिंकिंग मोड" बेंचमार्क (जिसमें लॉन्ग चेन्स ऑफ थॉट की आवश्यकता होती है) में, काउंटर-कॉज़ल विधि ने इविक्शन स्ट्रैटेजीज में उच्चतम सटीकता (36.7%) प्राप्त की, जो H2O (33.3%) और इम्पोर्टेंस (26.7%) से काफी बेहतर है। इसमें "pred=None" (रीजनिंग पूरा करने में विफलता) की दर भी सबसे कम थी, जो बेहतर रीजनिंग कोहेरेंस के संरक्षण को दर्शाती है।
लॉन्ग-कॉन्टेक्स्ट कार्य: LoCoMo (मल्टी-हॉप डायलॉग) पर, H2O छोटे कैश साइज पर विफल रहा, जो अक्सर प्रश्न को दोहराता है या अप्रासंगिक इमेज कैप्शन इंजेक्ट करता है क्योंकि यह हाई-अटेंशन टोकन्स की ओर पक्षपाती है। काउंटर--कॉज़ल इविक्शन ने सफलतापूर्वक एक बार उल्लेखित अद्वितीय तथ्यों को बनाए रखा, जिससे इन विफलता मोड से बचा जा सका।
दक्षता (Efficiency): फास्ट सिंगल-लेयर एप्रोक्सिमेशन ने रिफ्रेश लेटेंसी को $n=4096$ पर 496ms से घटाकर 52.6ms और $n=512$ पर 54ms से घटाकर 7.9ms कर दिया। रिफ्रेश ओवरहेड के बावजूद, एंड-टू-एंड जनरेशन समय फुल-कैश बेसलाइन के तुलनीय रहा क्योंकि कम कैश साइज ने डिकोड फेज के दौरान अटेंशन लागत को कम कर दिया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि काउंटर-कॉज़ल सरप्राइज टोकन सूचना सामग्री का एक सिद्धांत-आधारित माप प्रदान करता है जो अटेंशन-आधारित इविक्शन स्ट्रैटेजीज में निहित स्व-सुदृढ़ पूर्वाग्रहों के प्रति मजबूत है। भविष्य के कॉन्टेक्स्ट से रेडंडेंट टोकन्स की पहचान करके, यह विधि बिना किसी मॉडल रिट्रेनिंग या जटिल सहायक नेटवर्क के मेमोरी को प्रभावी ढंग से प्रबंधित करती है।

लेखक नोट करते हैं कि हालांकि पूर्ण काउंटर-कॉज़ल पास कम्प्यूटेशनल ओवरहेड जोड़ता है, लेकिन फास्ट सिंगल-लेयर एप्रोक्सिमेशन एक व्यावहारिक ट्रेड-ऑफ प्रदान करता है, जो न्यूनतम सटीकता हानि के साथ महत्वपूर्ण स्पीडअप प्राप्त करता है। इस विधि को किसी भी ऑटो-रिग्रेसिव मॉडल के लिए एक सामान्य समाधान के रूप में प्रस्तुत किया गया है जिसका उपयोग KV कैश के लिए किया जाता है, जो विशेष रूप से उन लॉन्ग-कॉन्टेक्स्ट जनरेशन कार्यों के लिए फायदेमंद है जहाँ तथ्यात्मक सटीकता और रीजनिंग कोहेरेंस बनाए रखना महत्वपूर्ण है। पेपर निष्कर्ष निकालता है कि जबकि टोकन-स्तरीय स्कोरिंग स्वाभाविक है, भविष्य के कार्य को मोटे-दाने वाले (coarser-grained) स्ट्रैटेजी (जैसे फ्रेज या सेंटेंस लेवल) को एक्सप्लोर करना चाहिए ताकि उन मामलों को संबोधित किया जा सके जहाँ व्यक्तिगत टोकन आसानी से प्रेडिक्टेबल होते हैं लेकिन पूरा फ्रेज महत्वपूर्ण होता है।