🤖 machine learning

Tensor Cache: Eviction-conditioned Associative Memory for Transformers

यह शोध पत्र टेंसर कैश (Tensor Cache) का परिचय देता है, जो एक दो-स्तरीय साहचर्य स्मृति (two-level associative memory) प्रणाली है जो स्लाइडिंग-विंडो अटेंशन को एक निश्चित-आकार के आउटर-प्रोडक्ट फास्ट-वेट मेमोरी के साथ जोड़ती है ताकि निष्कासित टोकनों को बनाए रखने और संकुचित करने में मदद मिल सके, जिससे लंबे-संदर्भ वाले ट्रांसफॉर्मर्स के लिए मेमोरी-क्वालिटी फ्रंटियर में सुधार होता है और एक सामान्य प्रशिक्षण शॉर्टकट को सुधारा जा सके जो स्प्यूरियस क्रॉस-टोकन इंटरैक्शन पेश करता है।

मूल लेखक: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, Antonio Torralba

प्रकाशित 2026-05-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, Antonio Torralba

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक मित्र को एक बहुत लंबी कहानी सुना रहे हैं और उसे याद रखने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपका मस्तिष्क (AI) आपके द्वारा कहे गए सबसे हालिया शब्दों का एक "रफ नोट" (scratchpad) रखता है ताकि आप उन पर वापस जाकर संदर्भ ले सकें। आज के मानक AI मॉडल इसी तरह काम करते हैं।

हालाँकि, एक समस्या है:

पूर्ण स्मृति की समस्या (The Full Memory Problem): यदि आप अपने रफ नोट में आपके द्वारा कहे गए हर एक शब्द को रखते हैं, तो वह अंततः इतना बड़ा हो जाएगा कि उसे संभालना मुश्किल हो जाएगा। आपका मस्तिष्क अभिभूत हो जाएगा, और प्रक्रिया धीमी हो जाएगी।
"स्लाइडिंग विंडो" की समस्या (The "Sliding Window" Problem): इस आकार की समस्या को ठीक करने के लिए, कुछ मॉडल "स्लाइडिंग विंडो" का उपयोग करते हैं। वे केवल पिछले, मान लीजिए, 1,000 शब्दों को ही रखते हैं। जैसे ही कोई शब्द इस विंडो से बाहर फिसलता है, उसे हमेशा के लिए फेंक दिया जाता है। यदि आपके वर्तमान प्रश्न का उत्तर 5,000 शब्द पहले दिया गया था, तो मॉडल को इसके बारे में कोई जानकारी नहीं होगी। यह ऐसा है जैसे कुछ मिनटों से पुराने किसी भी विषय के लिए आपको स्मृति लोप (amnesia) हो गया हो।

टेंसर कैश (Tensor Cache) एक नया आविष्कार है जो इसे एक दो-भाग वाली स्मृति प्रणाली देकर हल करता है, जैसे कि एक डेस्क और एक फाइलिंग कैबिनेट।

दो-भाग वाली प्रणाली

1. डेस्क (लेवल 1 कैश):
यह "स्लाइडिंग विंडो" है। मॉडल अपने डेस्क पर सबसे हालिया शब्दों (टोकन) को रखता है। यह उन्हें तुरंत और पूरी तरह से देख सकता है। यह तत्काल अतीत के लिए है।

2. फाइलिंग कैबिनेट (लेवल 2 कैश):
यही जादुई हिस्सा है। जब कोई शब्द डेस्क से फिसलकर बाहर जाता है और सामान्यतः उसे कचरे में फेंक दिया जाता है, तो टेंसर कैश उस शब्द को फेंकता नहीं है। इसके बजाय, यह उस शब्द को लेता है और एक निश्चित आकार के फाइलिंग कैबिनेट में एक सारांश नोट (summary note) लिख देता है।

यह कैसे काम करता है: यह पूरे शब्द को सहेजता नहीं है। यह एक "संपीड़ित फिंगरप्रिंट" (शब्द के की (key) और वैल्यू (value) का गणितीय संयोजन) को सहेजता है।
पुनर्प्राप्ति (The Retrieval): जब मॉडल बाद में कोई प्रश्न पूछता है, तो वह पहले डेस्क को देखता है। यदि उत्तर वहां नहीं है, तो वह फाइलिंग कैबिनेट से पूछता है: "क्या आपके पास इस विषय के बारे में कोई नोट है?" कैबिनेट एक विशेष गणितीय ट्रिक का उपयोग करके अपने सभी सारांश नोट्स को तेज़ी से स्कैन करता है और कहता है: "हाँ, मेरे पास बहुत पहले का उस विषय के बारे में एक संकेत है।"

"स्मार्ट" फाइलिंग ट्रिक

पेपर इस बात पर प्रकाश डालता है कि मॉडल इस कैबिनेट को भरने के लिए कैसे सीखता है। आमतौर पर, जब आप एक बार में पूरे टेक्स्ट का सारांश लिखने की कोशिश करते हैं, तो आप अनजाने में विवरणों को मिला सकते हैं (जैसे यह सोचना कि दो अलग-अलग लोगों ने एक ही बात कही क्योंकि आपने उनके शब्दों का औसत निकाल लिया)।

लेखकों ने एक विशिष्ट गणितीय शॉर्टकट विकसित किया जो इस तरह के मिश्रण को रोकता है। उन्होंने इन नोट्स को कैबिनेट में एक-एक करके लिखने का एक तरीका विकसित किया (प्रशिक्षण के दौरान भी), ताकि मॉडल कभी भी यह लेकर भ्रमित न हो कि कौन सा नोट किस शब्द का है। यह सुनिश्चित करता है कि जब मॉडल पीछे मुड़कर देखता है, तो "फिंगरप्रिंट" सटीक होता है।

यह बेहतर क्यों है?

पेपर ने अन्य विधियों के विरुद्ध इसका परीक्षण किया और पाया कि:

मेमोरी दक्षता (Memory Efficiency): यह पूर्ण इतिहास को रखने की तुलना में बहुत कम कंप्यूटर मेमोरी का उपयोग करता है। यह छोटा और तेज़ बना रहता है, भले ही कहानी बहुत लंबी हो जाए।
बेहतर रिकॉल (Better Recall): "स्लाइडिंग विंडो" वाले मॉडलों के विपरीत जो विंडो के बाहर की हर चीज़ को भूल जाते हैं, टेंसर कैश बहुत गहरे अतीत की चीजों को भी याद रख सकता है। परीक्षणों में, यह सैकड़ों शब्दों पहले की विशिष्ट विवरणों को लगभग पूर्ण सटीकता के साथ याद रख सका, जबकि अन्य "छोटी स्मृति" वाले मॉडल विफल रहे।
गति (Speed): यह पूर्ण इतिहास को रखने की तुलना में तेज़ है, और यह अन्य "संपीड़ित स्मृति" (compressed memory) विधियों की तुलना में आम तौर पर तेज़ है।

निचोड़ (The Bottom Line)

टेंसर कैश को एक स्मार्ट लाइब्रेरियन के रूप में सोचें।

पुराना तरीका: लाइब्रेरियन अलमारियों पर हर एक किताब रखता है (बहुत भारी) या केवल अंतिम कुछ किताबें रखता है और बाकी को जला देता है (आप कहानी खो देते हैं)।
टेंसर कैश का तरीका: लाइब्रेरियन आसान पहुंच के लिए डेस्क पर अंतिम कुछ किताबें रखता है। जब एक किताब डेस्क से हटाई जाती है, तो लाइब्रेरियन उसके बारे में एक सटीक, संपीड़ित इंडेक्स कार्ड लिखता है और उसे एक छोटे, निश्चित आकार के बॉक्स में रख देता है। जब आप कोई प्रश्न पूछते हैं, तो लाइब्रेरियन डेस्क की जांच करता है, और यदि उत्तर वहां नहीं है, तो वे उत्तर खोजने के लिए बॉक्स में मौजूद इंडेक्स कार्डों को तेज़ी से स्कैन करते हैं।

यह AI को एक "बाउंडेड" (सीमित) मेमोरी आकार रखने की अनुमति देता है जो हमेशा के लिए बढ़ता नहीं है, फिर भी यह एक बहुत लंबी बातचीत के महत्वपूर्ण हिस्सों को याद रखता है।

तकनीकी सारांश: टेंसर कैश (Tensor Cache)

समस्या विवरण
ऑटोरेग्रेसिव ट्रांसफॉर्मर इन्फरेंस (Autoregressive Transformer inference) में की-वैल्यू (KV) पेयर्स को कैश करने पर निर्भर किया जाता है ताकि प्रीफिक्स को पुन: गणना (recompute) करने से बचा जा सके। हालांकि, रिटेन किया गया KV स्टेट, कॉन्टेक्स्ट लेंथ, डेप्थ और कंकरेंसी के साथ रैखिक रूप से बढ़ता है, जो एक मेमोरी बॉटलनैक (memory bottleneck) पैदा करता है। स्लाइडिंग-विंडो कैशिंग (Sliding-window caching) केवल हाल के $W$ टोकन को बनाए रखकर मेमोरी उपयोग को सीमित करती है, लेकिन इस दृष्टिकोण के साथ "हार्ड फॉरगेटिंग" (hard forgetting) की समस्या होती है: एक बार जब कोई टोकन विंडो से बाहर निकल जाता है, तो उसकी जानकारी पूरी तरह से हटा दी जाती है, जिससे विंडो के बाहर की प्रासंगिक साक्ष्य (evidence) अप्राप्य हो जाते हैं। मौजूदा बाउंडेड-स्टेट विधियाँ या तो हटाए गए टोकन को पूरी तरह से त्याग देती हैं या हर टोकन को रनिंग एवरेज में संकुचित (compress) करने का प्रयास करती हैं, जो शोर (noise) उत्पन्न कर सकता है या हाल के और दूर के कॉन्टेक्स्ट के बीच प्रभावी ढंग से अंतर करने में विफल हो सकता है।

कार्यप्रणाली: टेंसर कैश (TC)
टेंसर कैश एक दो-स्तरीय बाउंडेड-स्टेट आर्किटेक्चर पेश करता है जो KV इविक्शन (eviction) को एक डिलीशन इवेंट के बजाय एक एसोसिएटिव-मेमोरी राइट ऑपरेशन में बदल देता है।

दो-स्तरीय आर्किटेक्चर:
- L1 (प्रथम-स्तरीय कैश): एक निश्चित आकार का KV रिंग बफर जो सबसे हाल के $W$ टोकन रखता है। यह स्थानीय कॉन्टेक्स्ट के लिए सटीक सॉफ्टमैक्स अटेंशन (exact softmax attention) का समर्थन करता है।
- L2 (द्वितीय-स्तरीय कैश): एक निश्चित आकार का आउटर-प्रोडक्ट मैट्रिक्स $A$ (फास्ट-वेट मेमोरी) जो विशेष रूप से L1 विंडो से हटाए गए (evicted) टोकनों से जानकारी संग्रहीत करता है।
- राइट मैकेनिज्म (Write Mechanism): जब रिंग बफर किसी एंट्री को ओवरराइट करता है, तो विस्थापित (displaced) $(k, v)$ पेयर को हटाया नहीं जाता है। इसके बजाय, इसे एक आउटर-प्रोडक्ट अपडेट के माध्यम से L2 मैट्रिक्स $A$ में लिखा जाता है: $A \leftarrow \lambda A + \eta (k \otimes v)$ । यहाँ $\lambda$ (डिके/decay) और $\eta$ (राइट रेट) प्रति-हेड स्केलर हैं जिन्हें सीखा (learned) जाता है।
- रीड मैकेनिज्म (Read Mechanism): भविष्य के क्वेरीज़ $q_t$ संकुचित अतीत तक पहुँचने के लिए $q_t A$ की गणना करते हैं। लीनियर-अटेंशन आइडेंटिटी $q(k \otimes v) = \langle q, k \rangle v$ का लाभ उठाते हुए, यह ऑपरेशन व्यक्तिगत रूप से स्टोर किए बिना सभी हटाए गए टोकनों से जानकारी को प्रभावी ढंग से प्राप्त करता है।
- फ्यूजन (Fusion): एक सीखा गया स्केलर गेट $g$ , लोकल अटेंशन (L1) और मेमोरी रीड (L2) के आउटपुट को फ्यूज करता है: $y_t = y_{local} + \sigma(g) m_t$ ।
ट्रेनिंग ऑप्टिमाइज़ेशन (पैरेलल स्कैन):
पेपर स्टैंडर्ड चंक्ड ट्रेनिंग शॉर्टकट्स (chunked training shortcuts) के साथ एक महत्वपूर्ण समस्या की पहचान करता है। एक साधारण दृष्टिकोण एक चंक को उसके मीन (mean) $\bar{k} \otimes \bar{v}$ द्वारा सारांशित करता है, जो $C^2 - C$ स्प्यूरियस क्रॉस-टोकन आउटर प्रोडक्ट्स ( $k_i \otimes v_j$ जहाँ $i \neq j$ ) पेश करता है जो स्ट्रीमिंग इन्फरेंस के दौरान मौजूद नहीं होते हैं।
- समाधान: लेखक एक पैरेलल वेटेड-सम स्कैन (parallel weighted-sum scan) लागू करते हैं जो गणितीय रूप से अनुक्रमिक प्रति-टोकन राइट्स (sequential per-token writes) के समान है। यह फ्लोट32 एप्सिलॉन ( $< 10^{-7}$ रिलेटिव एरर) के भीतर ट्रेनिंग और इन्फरेंस के बीच के अंतर को पाट देता है, जिससे यह सुनिश्चित होता है कि मॉडल क्रॉस-टोकन इंटरफेरेंस के शोर के बिना सही एसोसिएटिव डायनेमिक्स सीखता है।

मुख्य योगदान

इविक्शन-कंडीशन्ड एसोसिएटिव मेमोरी: अन्य आउटर-प्रोडक्ट मेमोरीज (जैसे Infini-attention, mLSTM) के विपरीत, जो हर टोकन को इनजेस्ट करती हैं, TC आउटर-प्रोडक्ट मैट्रिक्स का उपयोग विशेष रूप से केवल स्लाइडिंग-विंडो इविक्शंस द्वारा फीड किए गए L2 कैश के रूप में करता है। यह "L1 में रेजिडेंट" और "L2 में संकुचित" टोकनों को स्पष्ट रूप से विभाजित करता है।
ट्रेनिंग आर्टिफैक्ट्स का सुधार: पेपर ने एक पहले से अनदेखी की गई ट्रेनिंग शॉर्टकट (chunked-mean) की पहचान की और उसे हल किया जो स्प्यूरियस क्रॉस-टोकन प्रोडक्ट्स पेश करता है। प्रस्तावित पैरेलल वेटेड-सम स्कैन समान कंप्यूटेशनल लागत पर इस मिसमैच को समाप्त करता है।
बाउंडेड-स्टेट एफिशिएंसी: TC एक ऐसा तंत्र प्रदान करता है जहाँ पुराना कॉन्टेक्स्ट भविष्यवाणियों को प्रभावित करता है, बिना व्यक्तिगत हटाए गए एंट्रीज को रिटेन किए, जो फुल KV रिटेंशन का एक व्यावहारिक विकल्प प्रदान करता है।

प्रायोगिक परिणाम
लेखकों ने सिस्टम स्केलिंग, सिंथेटिक एसोसिएटिव रिकॉल, और वास्तविक-टेक्स्ट लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडलिंग (OpenWebText और Shakespeare) में TC का मूल्यांकन किया।

सिंथेटिक एसोसिएटिव रिकॉल: उन कार्यों में जिनमें स्लाइडिंग विंडो से परे जानकारी की आवश्यकता होती है, TC ने 100% सटीकता प्राप्त की, जो फुल KV प्रदर्शन से मेल खाती है। इसने फुल KV की तुलना में रिटेन किए गए इन्फरेंस स्टेट को 72–84% कम कर दिया, जबकि Infini-attention (जो अंतराल बढ़ने पर डिग्रेड हो गया) और स्लाइडिंग-विंडो बेसलाइन्स (जो चांस लेवल पर प्रदर्शन कर रहे थे) की तुलना में काफी बेहतर प्रदर्शन किया।
लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडलिंग: OpenWebText पर, TC ने 1,024 से 32,768 टोकन की प्रत्येक मूल्यांकन कॉन्टेक्स्ट लेंथ पर सबसे कम मीन नेगेटिव लॉग-लाइक्लीहुड (NLL) प्राप्त किया, केवल $L=2,048$ को छोड़कर जहाँ यह Infini-attention के साथ सांख्यिकीय रूप से अविभेदित था। $L=32,768$ पर, TC ने 5.14 का NLL प्राप्त किया, जो फुल KV (6.00) और Infini-attention (5.42) से बेहतर था, जबकि इसने फुल KV की तुलना में 2.4 $\times$ कम पीक GPU मेमोरी का उपयोग किया।
थ्रूपुट (Throughput): TC ने प्योर स्लाइडिंग-विंडो मेथड्स की तुलना में ~30% थ्रूपुट ओवरहेड (L2 रीड/अपडेट के कारण) लिया लेकिन सभी परीक्षण किए गए कॉन्टेक्स्ट लेंथ में Infini-attention से लगातार तेज़ रहा।
कैपेसिटी डायग्नोस्टिक्स: रॉ एसोसिएटिव मेमोरी कैपेसिटी पर किए गए प्रयोगों ने दिखाया कि जैसे-जैसे अधिक असंबंधित एसोसिएशन को फिक्स्ड स्टेट में संकुचित किया जाता है, रिट्रीवल प्रदर्शन कम हो जाता है, जो मेमोरी की बाउंडेड प्रकृति की पुष्टि करता है।

महत्व और दावे
पेपर का दावा है कि टेंसर कैश सफलतापूर्वक स्लाइडिंग-विंडो अटेंशन की मेमोरी एफिशिएंसी और फुल-कॉन्टेक्स्ट अटेंशन की रिकॉल क्षमताओं के बीच के अंतर को पाटता है। यह दावा करते हुए कि KV इविक्शन को एक विनाशकारी डिलीशन के बजाय एक स्ट्रक्चर्ड मेमोरी ऑपरेशन के रूप में मानकर, TC ट्रांसफॉर्मर्स को तत्काल विंडो के बाहर प्रासंगिक साक्ष्य तक पहुँचने में सक्षम बनाता है, बिना फुल KV कैश की लीनियर मेमोरी लागत के। लेखक इस बात पर जोर देते हैं कि उनका प्राथमिक योगदान स्वयं आउटर-प्रोडक्ट मेमोरी का आविष्कार करना नहीं है, बल्कि इसका विशिष्ट अनुप्रयोग—एक इविक्शन-कंडीशन्ड L2 कैश के रूप में—और उन ट्रेनिंग आर्टिफैक्ट्स का कठोर सुधार है जिन्होंने पहले ऐसी विधियों को बाधित किया था। TC को एक व्यावहारिक, बाउंडेड-स्टेट विकल्प के रूप में प्रस्तुत किया गया है जो लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के लिए मेमोरी-क्वालिटी फ्रंटियर में सुधार करता है।

दो-भाग वाली प्रणाली

"स्मार्ट" फाइलिंग ट्रिक

यह बेहतर क्यों है?

निचोड़ (The Bottom Line)

इसी तरह के और पेपर