🤖 machine learning

Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention

यह शोध पत्र डिरिचलेट-प्रोसेस क्लस्टरिंग (Dirichlet-process clustering) पर आधारित एक सीखने योग्य, विरल कैश (sparse cache) प्रस्तुत करता है जो केवल नवीन वस्तुओं के लिए मेमोरी स्लॉट आवंटित करता है, जिससे स्टेट-स्पेस मॉडल कुल टोकन के बजाय विशिष्ट वस्तुओं को ट्रैक करते हुए फुल-अटेंशन रिकॉल दक्षता प्राप्त करने में सक्षम होते हैं और फिक्स्ड-बजट इविक्शन रणनीतियों से बेहतर प्रदर्शन करते हैं।

मूल लेखक: Siddharth Pal, Viktoria Rojkova

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Siddharth Pal, Viktoria Rojkova

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक दोस्त द्वारा सुनाई जा रही एक लंबी, उबाऊ कहानी को याद करने की कोशिश कर रहे हैं जो बार-बार अपनी ही बातें दोहराता रहता है। "बिल्ली चटाई पर बैठी थी। बिल्ली चटाई पर बैठी थी। बिल्ली चटाई पर बैठी थी।"

अधिकांश कंप्यूटर मस्तिष्क इसे दो चरम तरीकों में से एक से संभालते हैं। पहला तरीका एक अति-व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह है जो आपके दोस्त द्वारा कहे गए हर एक शब्द को एक नई इंडेक्स कार्ड पर लिख देता है। यदि आपका दोस्त एक घंटे तक बोलता है, तो आपके पास कार्डों का एक ढेर होगा जो एक गगनचुंबी इमारत जितना ऊँचा है। इसे "फुल अटेंशन" (पूर्ण ध्यान) कहा जाता है। यह सब कुछ पूरी तरह से याद रखता है, लेकिन यह धीमा है और कार्डों का ढेर बहुत बड़ा और भारी हो जाता है।

दूसरा तरीका एक शॉर्ट-टर्म मेमोरी गेम की तरह है जहाँ आप केवल कार्डों की एक निश्चित संख्या रख सकते हैं, मान लीजिए 32। जैसे ही आपको एक नया कार्ड मिलता है, आपको जगह बनाने के लिए एक पुराना कार्ड फेंकना पड़ता है। इसे "फिक्स्ड-स्टेट मॉडल" (जैसे Mamba या S4) कहा जाता है। यह बहुत तेज़ और हल्का है, लेकिन यदि आपका दोस्त आपको एक राज बताता है और फिर उसे 100 बार दोहराता है, तो आपका मस्तिष्क शोर से इतना भ्रमित हो सकता है कि आप उस राज को पूरी तरह भूल सकते हैं क्योंकि स्टैक बहुत भर गया है।

मध्य मार्ग: "नोवेल्टी" (नवीनता) डिटेक्टिव

यह पेपर एक चतुर तीसरा विकल्प पेश करता है: एक स्मार्ट डिटेक्टिव (जासूस) जो केवल तभी एक कार्ड लिखता है जब वह कुछ नया सुनता है।

यदि आपका दोस्त कहता है, "बिल्ली चटाई पर बैठी थी," तो डिटेक्टिव इसे लिख लेता है। यदि वे इसे फिर से कहते हैं, तो डिटेक्टिव बस सिर हिलाता है और कहता है, "मुझे यह पहले से पता है," और कागज बर्बाद नहीं करता है। वे केवल उन विशिष्ट चीजों के लिए अपनी स्मृति में एक नया स्लॉट बनाते हैं जो वे सुनते हैं, न कि उन चीजों के लिए जो बार-बार दोहराई जाती हैं।

लेखक इसे डिरिचलेट-प्रोसेस कैश (Dirichlet-Process Cache) कहते हैं। यह एक फैंसी नाम है जो एक नियम बताता है: "यदि यह नई जानकारी मेरे पास पहले से मौजूद चीज़ों से बहुत अलग है, तो एक नया स्लॉट बनाएं। यदि यह समान है, तो बस पुराने वाले को अपडेट करें।"

"सरप्राइज" थर्मोस्टेट

पेपर एक दूसरा, और भी स्मार्ट संस्करण का सुझाव देता है। कल्पना कीजिए कि डिटेक्टिव के पास एक सरप्राइज थर्मोस्टेट है।

यदि आपका दोस्त बहुत सारे नए पात्रों के साथ एक नई, रोमांचक कहानी सुनाना शुरू करता है, तो डिटेक्टिव का "सरप्राइज" स्तर बढ़ जाता है। वे सभी नए विवरणों को पकड़ने के लिए अपनी स्मृति में अधिक स्लॉट खोल देते हैं।
एक बार जब कहानी स्थिर हो जाती है और वे वही पुराने चुटकुले दोहराने लगते हैं, तो डिटेक्टिव का "सरप्राइज" स्तर गिर जाता है। वे अतिरिक्त स्लॉट बंद कर देते हैं और व्यवस्था करते हैं, जिससे उनकी स्मृति छोटी और कुशल बनी रहती है।

यह स्मृति को तब बढ़ता है जब इसकी आवश्यकता होती है और जब नहीं होती तब सिकुड़ जाता है, बिना कभी एक निश्चित सीमा या कार्डों के अनियंत्रित ढेर में फंसे।

इस पेपर ने वास्तव में क्या साबित किया (और क्या नहीं)

शोधकर्ताओं ने इस विचार का परीक्षण एक बहुत ही नियंत्रित तरीके से किया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने सिमुलेशन और प्रयोग चलाए यह देखने के लिए कि क्या यह काम करता है।

बड़ी जीत: अपने परीक्षणों में, यह "नोवेल्टी" डिटेक्टिव उस लाइब्रेरियन की तरह ही कहानी को पूरी तरह से याद रख सका जिसने हर शब्द लिखा था। लेकिन यहाँ मुख्य बात यह है कि जब कहानी में बहुत अधिक दोहराव था (जैसे अद्वितीय विचारों की तुलना में 4 गुना अधिक शब्द), तो डिटेक्टिव को केवल एक-चौथाई मात्रा में स्मृति की आवश्यकता थी।
वास्तविक दुनिया की जाँच: उन्होंने वास्तविक दुनिया के डेटा स्ट्रीम के चार अलग-अलग प्रकारों पर इसका परीक्षण किया: मूवी सिफारिशें, कंप्यूटर सिस्टम लॉग, अस्पताल के रोगी रिकॉर्ड, और बीमा दावे। हर मामले में, डिटेक्टिव ने अद्वितीय वस्तुओं (जैसे अद्वितीय फिल्में या अद्वितीय मेडिकल कोड) को सफलतापूर्वक ट्रैक किया जबकि दोहराए गए हजारों प्रविष्टियों को अनदेखा कर दिया। उदाहरण के लिए, 150,000 बीमा दावों के स्ट्रीम पर, डिटेक्टिव को सब कुछ महत्वपूर्ण याद रखने के लिए केवल 3,933 अद्वितीय कोड स्टोर करने की आवश्यकता थी, जबकि एक मानक "फिक्स्ड बजट" सिस्टम जो चीजों को फेंक देता है, दुर्लभ, महत्वपूर्ण विवरणों को याद रखने में विफल हो जाएगा।
सीखने वाला हिस्सा: लेखकों ने यह भी दिखाया कि यह "नोवेल्टी" नियम किसी इंसान द्वारा हार्ड-कोडेड नहीं किया जाता है। उन्होंने इस नियम को अपने आप सीखने के लिए एक छोटा, सरल गेट (केवल दो नंबरों वाला) प्रशिक्षित किया। आश्चर्यजनक रूप से, एक बड़ा, अधिक जटिल गेट इसे सीखने में विफल रहा। यह सुझाव देता है कि रहस्य एक विशाल मस्तिष्क होने में नहीं है, बल्कि सही प्रकार के "इंडक्टिव बायस" (प्रेरक पूर्वाग्रह) में है—सोचने का एक विशिष्ट तरीका जो नवीनता को प्राथमिकता देता है।

यह पेपर किसे खारिज करता है

पेपर बहुत स्पष्ट है कि यह क्या नहीं है।

यह हर चीज़ के लिए एक जादुई समाधान नहीं है। लेखक स्पष्ट रूप से कहते हैं कि यह नियंत्रित डेटा पर चलाया गया एक "मैकेनिज्म स्टडी" (तंत्र अध्ययन) है। उन्होंने अभी तक इसे एक पूर्ण, वास्तविक दुनिया के लैंग्वेज मॉडल (जैसे एक चैटबॉट) द्वारा एक विशाल पुस्तक पढ़ने के लिए टेस्ट नहीं किया है। वह भविष्य के "कंपैनियन स्टडी" का काम है।
यदि कहानी कभी नहीं बदलती है, तो यह "फिक्स्ड बजट" से बेहतर नहीं है। यदि इनपुट स्थिर और पूर्वानुमानित है, तो एक साधारण निश्चित आकार की स्मृति भी उतना ही अच्छा काम करती है। "सरप्राइज" वाला संस्करण केवल तभी चमकता है जब कहानी अराजक हो जाती है और अपना मन बदलती है।
यह हर स्थिति में "लाइब्रेरियन" (फुल अटेंशन) का विकल्प नहीं है। यदि आपको एक कहानी एक बार पढ़नी है और फिर कभी नहीं, तो लाइब्रेरियन ठीक हो सकता है। लेकिन यदि आपको एक लंबी कहानी पढ़नी है और बाद में उसके बारे में उत्तर देने हैं, तो डिटेक्टिव बहुत अधिक कुशल है।

निष्कर्ष

पेपर सुझाव देता है कि स्मृति को "शब्द गणनाв" के बजाय एक "नवीनता डिटेक्टर" के रूप में मानकर, हम ऐसे AI बना सकते हैं जो दोहराव से अभिभूत हुए बिना एक लंबी कहानी के महत्वपूर्ण, अद्वितीय हिस्सों को याद रख सकता है। यह लाइब्रेरियन की तुलना में सस्ता और शॉर्ट-टर्म मेमोरी गेम की तुलना में स्मार्ट एक मध्य मार्ग है।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह एक आशाजनक कदम है, कोई तैयार उत्पाद नहीं। उन्होंने सिद्ध किया है कि यह तंत्र विशिष्ट कार्यों और वास्तविक डेटा स्ट्रीम पर काम करता है, लेकिन अंतिम परीक्षण—एक विशाल, वास्तविक दुनिया के लैंग्वेज मॉडल में इसका उपयोग करना—अभी भी क्षितिज पर है। फिलहाल, उन्होंने दिखाया है कि कभी-कभी, कम याद रखना (दोहराव को अनदेखा करके) वास्तव में अधिक याद रखने का सबसे अच्छा तरीका होता है।

तकनीकी सारांश: विशिष्ट वस्तुओं को याद रखना, टोकन को नहीं

1. समस्या और अंतराल

अनुक्रम मॉडल (Sequence models) मेमोरी दक्षता और साहचर्य पुनरोcall (associative recall) क्षमता के बीच एक मौलिक समझौते का सामना करते हैं।

फिक्स्ड-स्टेट मॉडल (जैसे S4, Mamba): एक असीमित इतिहास को एक सीमित अवस्था (bounded state) में संकुचित करते हैं। हालांकि ये गणनात्मक रूप से सस्ते हैं (रैखिक समय, स्थिर अनुमान आकार), ये "अवस्था आयाम" (state dimension) द्वारा सीमित हैं। वे अपने स्टेट के आकार के लगभग बराबर से अधिक कंटेंट-एड्रेस्ड रिकॉल करने में सक्षम नहीं हैं, जिससे रिकॉल प्रदर्शन पर एक कठिन सीमा लग जाती है।
फुल अटेंशन (Full Attention): प्रत्येक टोकन के लिए एक की-वैल्यू एंट्री बनाए रखकर इस सीमा से बाहर निकलता है। यह पूर्ण रिकॉल सक्षम करता है लेकिन द्विघातीय (quadratic) कंप्यूट लागत और एक कैश उत्पन्न करता है जो अनुक्रम की लंबाई के साथ रैखिक रूप से बढ़ता है।

यह शोध पत्र एक ऐसे "मध्य मार्ग" की पहचान करता है जिसे अक्सर अनदेखा कर दिया जाता है: विशिष्ट वस्तुओं पर आधारित स्पार्स कैशिंग (sparse caching)। वास्तविक दुनिया के स्ट्रीम्स में महत्वपूर्ण अतिरेक (redundancy) होता है (दोहराए गए टोकन)। लेखक तर्क देते हैं कि साहचर्य पुनरोcall (associative recall) के लिए, महत्वपूर्ण जानकारी विशिष्ट वस्तुओं द्वारा वहन की जाती है, न कि हर टोकन द्वारा। एक ऐसी मेमोरी प्रणाली जो केवल तभी एक नया स्लॉट आवंटित करती है जब इनपुट वास्तव में नवीन (novel) हो, और रेडंडेंट इनपुट्स को मौजूदा स्लॉट्स में मर्ज कर देती है, वह कुल टोकन संख्या ( $L$ ) के बजाय विशिष्ट वस्तुओं की संख्या ( $K$ ) के अनुपात में जानकारी संग्रहीत कर सकती है, जिससे फुल अटेंशन के तुल्य रिकॉल प्राप्त होता है और मेमोरी का एक छोटा हिस्सा उपयोग होता है।

2. कार्यप्रणाली

लेखक एक डिरिचलेट-प्रोसेस (DP) कैश का प्रस्ताव करते हैं जो एक गहरे रिकरेंट बैकबोन के लिए मेमोरी ऑपरेटर के रूप में कार्य करता है। मुख्य तंत्र DP-means क्लस्टरिंग (डिरिचलेट-प्रोसेस मिश्रण का लघु-विचरण, अधिकतम-ए-पोस्टीरियर सीमा) से प्राप्त एक ऑनलाइन आवंटन नियम है।

मुख्य तंत्र: नवीनता-पर-आवंटन (Allocate-on-Novelty)

एक आने वाले टोकन $(k_t, v_t)$ के लिए, सिस्टम भरे हुए स्लॉट्स के विरुद्ध नवीनता (novelty) की गणना करता है:
$\text{nov}_t = 1 - \max_{i \in \text{slots}} \text{sim}(k_t, \kappa_i)$
जहाँ $\text{sim}$ कोसाइन समानता (cosine similarity) है।

आवंटन नियम: यदि $\text{nov}_t > \tau$ (एक थ्रेशोल्ड), तो एक नया स्लॉट बनाया जाता है। अन्यथा, टोकन को निकटतम मौजूदा स्लॉट में मर्ज कर दिया जाता है।
परिणाम: कैश का आकार अनुक्रम की लंबाई ( $L$ ) के बजाय विशिष्ट वस्तुओं की संख्या ( $K$ ) के अनुरूप अभिसरित (converge) होता है।
रीडिंग (Reading): क्वेरीज़ को (छोटे) स्लॉट्स के सेट पर अटेंशन के माध्यम से उत्तर दिया जाता है, न कि पूरे टोकन स्ट्रीम पर।

दो दृष्टिकोण

दृढ़ (Static) डिरिचलेट-प्रोसेस कैश: एक निश्चित एकाग्रता पैरामीटर (थ्रेशोल्ड $\tau$ ) का उपयोग करता है। कैश का आकार स्ट्रीम के विशिष्ट आइटमों को ट्रैक करता है।
सरप्राइज-एडेप्टिव (Surprise-Adaptive) कैश: एकाग्रता गतिशील है। एक "सरप्राइज सिग्नल" (तापमान $T_t$ $T_{t}$ ), जो हालिया आवंटन दर द्वारा संचालित होता है, स्लॉट बजट ( $M_t$ $M_{t}$ ) को समायोजित करता है।
- नवीन सामग्री के उछाल (bursts) के दौरान, बजट का विस्तार होता है।
- जब स्ट्रीम अनुमानित हो जाती है (दोहराव हावी हो जाते हैं), तो बजट सिकुड़ जाता है, और सबसे कम उपयोग किए गए स्लॉट्स को हटा (evict) दिया जाता है।
- यह कैश को गैर-स्थिर मांग (non-stationary demand) को ट्रैक करने की अनुमति देता है जबकि वह सीमित रहता है।

सीखने की क्षमता (Learnability)

शोध पत्र इस बात की जांच करता है कि क्या आवंटन नियम को एंड-टू-एंड सीखा जा सकता है। वे हार्ड थ्रेशोल्ड को एक डिफरेंशिएबल नवीनता-थ्रेशोल्ड गेट ( $g_t = \sigma(a(\text{nov}_t - b))$ ) से बदल देते हैं।

निष्कर्ष: केवल टास्क लॉस पर प्रशिक्षित एक न्यूनतम दो-पैरामीटर गेट आवंटन नियम को सटीक रूप से रिकवर करता है।
निहितार्थ: सफलता इस बात पर निर्भर करती है कि इंडक्टिव बायस (एक नवीनता फीचर का उपयोग करना) ही मुख्य कारक है, न कि गेट की क्षमता। बिना इस विशिष्ट बायस के ओवर-पैरामीटराइज्ड गेट इस नियम को सीखने में विफल रहते हैं।

3. प्रमुख योगदान और दावे

शोध पत्र निम्नलिखित योगदानों का दावा करता है, जो नियंत्रित तंत्र अध्ययनों तक सीमित हैं:

अंतराल की पहचान: एक DP-आधारित, अलोकेट-ऑन-नोवेलिटी स्पार्स मेमोरी को फिक्स्ड-स्टेट रिकरेंस और फुल अटेंशन के बीच स्थित करता है।
विशिष्ट-आइटम दक्षता: कैश फुल-अटेंशन रिकॉल के स्तर पर प्रदर्शन करता है, जबकि मेमोरी का एक छोटा हिस्सा उपयोग करता है (उदाहरण के लिए, 4x रेडंडेंसी पर 4x मेमोरी की कमी)।
श्रेष्ठ सीमा (Superior Frontier): यह फिक्स्ड-बजट इविक्शन कैश (जैसे H2O, StreamingLLM, Recency) पर रिकॉल-बनाम-साइज़ फ्रंटियर पर हावी है, विशेष रूप से हेवी-टेल्ड डिस्ट्रीब्यूशन पर जहाँ फिक्स्ड बजट लोकप्रिय आइटम्स पर क्षमता बर्बाद करते हैं और दुर्लभ 'टेल्स' को मिस कर देते हैं।
हाइब्रिड आर्किटेक्चर: जब इसे स्टेट-स्पेस बैकबोन के साथ जोड़ा जाता है, तो मॉडल लंबी दूरी के एकीकरण (SSM के माध्यम से) और कंटेंट-एड्रेस्ड रिकॉल (कैश के माध्यम से) दोनों को न्यूनतम मेमोरी लागत पर प्राप्त करता है।
सीखने योग्य आवंटन: आवंटन नीति को एक न्यूनतम सीखे गए गेट के माध्यम से एंड-टू-एंड रिकवर किया जा सकता है, जो सिद्ध करता है कि सही इंडक्टिव बायस दिए जाने पर यह नियम टास्क लॉस का एक उभरता हुआ गुण है।
वास्तविक-विश्व वैधता: "विशिष्ट-आइटम" गुण बिना किसी प्रति-डोमेन ट्यूनिंग के चार असंबंधित वास्तविक डोमेन (सिफारिश, सिस्टम लॉग, क्लिनिकल इवेंट्स, बीमा दावे) में बना रहता है।

4. प्रयोगात्मक परिणाम

सिंथेटिक साहचर्य पुनरोcall (Synthetic Associative Recall)

सेटअप: $K$ विशिष्ट आइटमों वाले स्ट्रीम जिन्हें $r$ बार दोहराया गया है ($L = rK$)।
प्रदर्शन: DP कैश ने केवल $K$ स्लॉट्स स्टोर करते हुए 1.00 रिकॉल (फुल अटेंशन के बराबर) प्राप्त किया।
तुलना:
- फिक्स्ड-स्टेट SSM: ~0.83 रिकॉल (स्टेट डायमेंशन द्वारा सीमित)।
- फिक्स्ड-बजट इविक्शन (H2O/Recency): ~0.70–0.92 रिकॉल (समान बजट पर सभी विशिष्ट आइटमों को कवर करने में विफल रहे)।
- DP कैश: विशिष्ट-आइटम बजट पर पूर्ण रिकॉल।

वास्तविक-विश्व हेवी-टेल्ड कार्य

मूवीलेंस (शैली रिकॉल): DP कैश ने ~1,370 स्लॉट्स (एक प्रति विशिष्ट मूवी) का उपयोग करके 0.99 रिकॉल प्राप्त किया। फिक्स्ड-बजेट कैश (H2O, StreamingLLM, SnapKV) समान बजट पर केवल 0.23–0.61 रिकॉल प्राप्त कर सके क्योंकि उन्होंने लोकप्रिय फिल्मों को प्राथमिकता दी और दुर्लभ को छोड़ दिया।
सिस्टम लॉग्स (Loghub): आवंटन नियम एक ऑनलाइन पार्सर के रूप में कार्य करता है, जो 2,000 लॉग लाइनों को 15 टेम्पलेट्स (ग्राउंड ट्रुथ: 14) में समूहित करता है, जो 0.89 सटीकता के साथ 143x कंप्रेशन प्राप्त करता है।
क्लिनिकल और बीमा डेटा: समान परिणाम देखे गए, जहाँ कैश घटनाओं के बजाय विशिष्ट संस्थाओं (दवाओं, निदान कोड) को स्टोर करता है, ~0.99 रिकॉल प्राप्त करता है।

सीखने की क्षमता और लागत

सीखा गया गेट: एक दो-पैरामीटर नॉवेलिटी गेट ने 1.00 रिकॉल प्राप्त किया, जो नियम-आधारित दृष्टिकोण से मेल खाता है। एक ओवर-पैरामीटराइज्ड MLP गेट विफल रहा (0.37 रिकॉल), जो पुष्टि करता है कि इंडक्टिव बायस ही मुख्य घटक है, न कि क्षमता।
लागत ट्रेड-ऑफ:
- बिल्ड कॉस्ट: $O(N \cdot K)$ (अटेंशन के $O(N)$ अपेंड से भारी है) निकटतम-स्लॉट खोज के कारण।
- रीड कॉस्ट: $O(K)$ (अनुक्रम लंबाई के सापेक्ष स्थिर) बनाम अटेंशन के लिए $O(N)$ ।
- निष्कर्ष: ट्रेड-ऑफ लंबे-संदर्भ वाले इन्फरेंस के लिए कैश के पक्ष में है, जहाँ बार-बार रीड किए जाने के मामले में मेमोरी मुख्य बाधा होती है।

एडेप्टिव कंसंट्रेशन (गैर-स्थिर मांग)

उन स्ट्रीम्स पर जहाँ वर्किंग सेट का आकार उतार-चढ़ाव करता है, एडेप्टिव कैश ने समान औसत लागत पर फिक्स्ड-बजट कैश की तुलना में बेहतर प्रदर्शन किया।
इसने "कठिन" चरणों (उच्च नवीनता) के दौरान क्षमता का विस्तार किया और "आसान" चरणों के दौरान इसे सुदृढ़ (consolidate) किया, जबकि एक फिक्स्ड बजट या तो संसाधन बर्बाद करता था (वर्स्ट-केस के लिए प्रावधानित) या रिकॉल करने में विफल रहता था (औसत के लिए प्रावधानित)।

5. महत्व और दायरा

यह शोध पत्र स्पष्ट रूप से अपने योगदान को एक नवीन मेमोरी ऑपरेटर के रूप में (ऑनलाइन DP-means, क्लस्टर्ड अटेंशन, ग्रोइंग कैश के मौजूदा घटकों के संश्लेषण के रूप में) फ्रेम करता है।

दायरा: साक्ष्य नियंत्रित तंत्र अध्ययनों (संश्लेषित प्रोब्स और वास्तविक-स्ट्रीम सांख्यिकी) से प्राप्त किए गए हैं। बेसलाइन पुन: कार्यान्वित तंत्र हैं, पूर्ण उत्पादन सिस्टम नहीं (जैसे पूर्ण Mamba या Memorizing Transformers नहीं)।
सीमाएं: अध्ययन में कीज़ (keys) संरचनात्मक रूप से अच्छी तरह से अलग की गई हैं। शोध पत्र स्वीकार करता है कि वास्तविक, ओवरलैपिंग डेटा पर, थ्रेशोल्ड और मर्ज स्टेप के लिए सावधानीपूर्वक इंजीनियरिंग की आवश्यकता होगी।
भविष्य का कार्य: लेखक कहते हैं कि एक "वास्तविक-बैकबोन, वास्तविक-कॉर्पस वैलिडेशन" (जैसे enwik8 या WikiText-103 पर एक Mamba बैकबोन के साथ यह कैश) आवश्यक अगला कदम है और इसे एक साथी अध्ययन में किया जा रहा है।

निष्कर्ष: यह शोध पत्र स्थापित करता है कि एक स्पार्स कैश, जो डिरिचलेट-प्रोसेस आवंटन नियम के माध्यम से विशिष्ट वस्तुओं की संख्या द्वारा आकारबद्ध है, बाउंडेड स्टेट-स्पेस मॉडल्स और फुल अटेंशन के बीच एक कुशल, सीखने योग्य मध्य मार्ग प्रदान करता है, जो रेडंडेंसी और हेवी-टेल्ड डिस्ट्रीब्यूशन वाले रिकॉल कार्यों पर फिक्स्ड-बजट इविक्शन रणनीतियों पर हावी है।