💬 NLP

EntmaxKV: Support-Aware Decoding for Entmax Attention

EntmaxKV एक सपोर्ट-अवेयर स्पार्स डिकोडिंग फ्रेमवर्क है जो इन्फरेंस से पहले KV कैश पेजों को चुनिंदा रूप से लोड करने के लिए $\alpha$ -entmax अटेंशन की सटीक स्पर्सिटी का लाभ उठाता है, जिससे मेमोरी ट्रैफिक काफी कम हो जाता है और फुल-कैश बेसलाइन्स के समान सटीकता बनाए रखते हुए लॉन्ग-कॉन्टेक्स्ट जनरेशन में पर्याप्त स्पीडअप प्राप्त होता है।

मूल लेखक: Gonçalo Duarte, Miguel Couceiro, Marcos V. Treviso

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gonçalo Duarte, Miguel Couceiro, Marcos V. Treviso

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ EntmaxKV पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: "अनंत पुस्तकालय" की बाधा (The "Infinite Library" Bottleneck)

कल्पना कीजिए कि आप एक लाइब्रेरियन (AI मॉडल) हैं जो एक कहानी लिखने की कोशिश कर रहे हैं। जैसे-जैसे आप हर नया वाक्य लिखते हैं, आपको यह सुनिश्चित करने के लिए कि नया वाक्य सही अर्थ दे रहा है, पहले लिखी गई हर चीज़ को पीछे मुड़कर देखना पड़ता है।

एक मानक AI में, यह "याददाश्त" (memory) एक बढ़ते हुए पुस्तकालय की तरह है। हर बार जब आप एक नया शब्द लिखते हैं, तो पुस्तकालय एक किताब और बड़ा हो जाता है।

समस्या: जब कहानी बहुत लंबी हो जाती है (लाखों शब्द), तो पुस्तकालय विशाल हो जाता है।
बाधा (Bottleneck): अगला शब्द लिखने के लिए, लाइब्रेरियन को शेल्फ तक दौड़ना पड़ता है, पुस्तकालय की हर एक किताब को उठाना पड़ता है, उनके स्पाइन (spine) को पढ़ना पड़ता है, और तय करना पड़ता है कि कौन सी प्रासंगिक (relevant) हैं। भले ही 99% किताबें अप्रासंगिक हों, लाइब्रेरियन को उन्हें शारीरिक रूप से हिलाना ही पड़ेगा। इससे बहुत समय और ऊर्जा लगती है, जिससे सब कुछ धीमा हो जाता है।

पुराना समाधान: "Softmax" ("सबको टिकट देने" वाला दृष्टिकोण)

वर्तमान AI मॉडल Softmax नामक विधि का उपयोग करते हैं।

यह कैसे काम करता है: जब लाइब्रेरियन पुस्तकालय को देखता है, तो Softmax हर एक किताब को एक छोटा, गैर-शून्य (non-zero) "टिकट" (एक प्रायिकता स्कोर) देता है। "ब्रेड कैसे बनाएं" वाली किताब को भी एक छोटा टिकट मिलता है, भले ही कहानी "अंतरिक्ष यात्रा" के बारे में हो।
दोष: क्योंकि हर किताब के पास एक टिकट है, लाइब्रेरियन अप्रासंगिक किताबों को अनदेखा नहीं कर सकता। उन्हें चेक करने के लिए उन सभी को कमरे में लाना ही पड़ता है। यदि वे समय बचाने के लिए अप्रासंगिक किताबों को छोड़ने की कोशिश करते हैं, तो वे अनजाने में उन छोटे टिकटों को फेंक देते हैं जो Softmax ने दिए थे, जिससे गणित बिगड़ जाता है और कहानी खराब हो जाती है।
परिणाम: यह घास के ढेर में सुई खोजने जैसा है, जहाँ आप घास के हर एक तिनके को देखते हैं, भले ही आप जानते हों कि सुई केवल एक छोटे से कोने में है।

नया विचार: "Entmax" ("सटीक शून्य" वाला दृष्टिकोण)

लेखक $\alpha$ -entmax नामक एक नया गणितीय उपकरण पेश करते हैं।

जादुई ट्रिक: Softmax के विपरीत, Entmax सख्त है। यदि कोई किताब प्रासंगिक नहीं है, तो उसे बिल्कुल शून्य टिकट मिलता है। यह "छोटा" नहीं है; यह कुछ भी नहीं है।
लाभ: यदि किसी किताब के पास शून्य टिकट है, तो वह कहानी में बिल्कुल भी योगदान नहीं देती है। आप उसे बिना परिणाम बदले बाहर निकाल सकते हैं।
लक्ष्य: "घास के ढेर" का अनुमान लगाने के बजाय, लक्ष्य विशिष्ट "सुई" (support) को खोजना बन जाता है। यदि आप उन कुछ किताबों को खोज लेते हैं जिनके पास गैर-शून्य टिकट हैं, तो आपको बाकी पुस्तकालय को देखने की आवश्यकता नहीं है।

समाधान: EntmaxKV ("स्मार्ट लाइब्रेरियन")

पेपर EntmaxKV का प्रस्ताव देता है, जो इस "सटीक शून्य" (Exact Zero) गुण का उपयोग करके गति बढ़ाने के लिए बनाया गया है। यह कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:

1. "बॉक्स" की जाँच (Query-Aware Page Scoring)

कल्पना कीजिए कि पुस्तकालय की किताबें ढीली नहीं हैं; वे बक्सों (पेज) में रखी गई हैं।

बॉक्स के अंदर की किताबें पढ़ने के लिए लाइब्रेरियन द्वारा बॉक्स खोलने से पहले, वे बॉक्स पर लगे लेबल को देखते हैं।
लेबल में किताबों का एक "सारांश" (न्यूनतम और अधिकतम स्कोर) होता है।
लाइब्रेरियन पूछता है: "क्या इस बॉक्स में किसी किताब का प्रासंगिक होने की संभावना है?"
यदि उत्तर "नहीं" है (बॉक्स निश्चित रूप से अप्रासंगिक है), तो लाइब्रेरियन बॉक्स कभी नहीं खोलता। वे शेल्फ तक जाने और उसे बाहर खींचने का समय बचा लेते हैं।

2. "Gaussian" का अनुमान (Gaussian-Aware Selector)

कभी-कभी, बॉक्स का लेबल पर्याप्त नहीं होता। लेखकों ने एक चतुर अनुमान लगाने वाला खेल जोड़ा है।

वे बॉक्स के भीतर की किताबों के औसत (average) और फैलाव (spread) को देखते हैं।
वे एक सांख्यिकीय अनुमान (मौसम के पूर्वानुमान की तरह) का उपयोग करते हैं ताकि यह अनुमान लगाया जा सके कि उस बॉक्स में किसी किताब का उच्चतम संभव स्कोर क्या हो सकता है।
यदि "मौसम का पूर्वानुमान" कहता है कि उस बॉक्स की सबसे अच्छी किताब भी बहुत उबाऊ है, तो वे उस बॉक्स को छोड़ देते हैं। यह उन्हें अच्छे वाले को मिस किए बिना, अप्रासंगिक बॉक्स को छोड़ने के बारे में और भी आक्रामक होने की अनुमति देता है।

3. "सटीक" खोज (Support Recovery)

एक बार जब लाइब्रेरियन केवल आशाजनक बक्सों का चयन कर लेता है, तो वे उन्हें खोलते हैं और Entmax गणित चलाते हैं।

क्योंकि Entmax अप्रासंगिक वस्तुओं को शून्य देता है, इसलिए गणित स्वाभाविक रूप से चयनित बक्सों के भीतर के कचरे को अनदेखा कर देता है।
परिणाम: यदि लाइब्रेरियन ने सही बॉक्स चुने हैं, तो कहानी 100% सटीक होगी, ठीक वैसे ही जैसे उन्होंने पूरा पुस्तकालय पढ़ा होता। उन्होंने बस कचरे पर समय बर्बाद नहीं किया।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर ने पुराने "Softmax" तरीके के मुकाबले इसका परीक्षण किया और पाया:

कम गलतियाँ: जब आप पुराने Softmax विधि का उपयोग करके किताबों को छोड़ने की कोशिश करते हैं, तो आप अनिवार्य रूप से कुछ महत्वपूर्ण "छोटे टिकटों" को फेंक देते हैं, जिससे त्रुटियां होती हैं। EntmaxKV, जब तक यह सही बॉक्स ढूंढ लेता है, तब तक शून्य महत्वपूर्ण जानकारी फेंकता है।
गति: बहुत लंबी कहानियों (10 लाख शब्द) पर, EntmaxKV मानक विधि की तुलना में 3.36 गुना तेज़ था और एक मानक Entmax विधि (जिसमें यह स्किप करने वाली ट्रिक नहीं थी) की तुलना में 5.43 गुना तेज़ था।
सटीकता: इसने मेमोरी ट्रैफिक के एक बहुत छोटे हिस्से का उपयोग करते हुए भी कहानी की गुणवत्ता (कम perplexity) को उच्च बनाए रखा।

सारांश उपमा (Summary Analogy)

पुराना तरीका (Softmax): आपके पास दस लाख ईमेल हैं। आपको यह तय करने के लिए कि किन पर जवाब देना है, हर एक के विषय (subject line) को पढ़ना होगा, क्योंकि स्पैम में भी महत्वपूर्ण होने की थोड़ी संभावना होती है।
EntmaxKV: आपके पास एक स्मार्ट फ़िल्टर है। यह पहले भेजने वाले और विषय मेटाडेटा को देखता है। यह तुरंत पहचान लेता है कि 99% ईमेल निश्चित रूप से स्पैम हैं (शून्य संभावना)। यह उन्हें बिना खोले ही डिलीट कर देता है। यह केवल उस 1% को खोलता है जो महत्वपूर्ण हो सकता है। क्योंकि फ़िल्टर सटीक है, आप कभी भी वास्तविक ईमेल मिस नहीं करते, लेकिन आप घंटों का समय बचा लेते हैं।

पेपर का मुख्य दावा: एक ऐसे गणितीय सिस्टम में स्विच करके जो अप्रासंगिक डेटा के लिए "सटीक शून्य" बनाता है, और मेटाडेटा की जाँच करके, हम सटीकता खोए बिना लंबे कार्यों पर AI को बहुत तेज़ बना सकते हैं।

तकनीकी सारांश: EntmaxKV – Entmax अटेंशन के लिए सपोर्ट-अवेयर डिकोडिंग

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में लॉन्ग-कॉन्टेक्स्ट डिकोडिंग तेजी से कंप्यूट के बजाय मेमोरी ट्रैफिक द्वारा बाधित हो रही है। ऑटोरेग्रेसिव जनरेशन के दौरान, प्रत्येक नया टोकन एक ऐसे KV कैश पर अटेंड (attend) करना चाहिए जो कॉन्टेक्स्ट लेंथ के साथ रैखिक रूप से बढ़ता है। हर स्टेप पर हाई-बैंडविड्थ मेमोरी (HBM) से ऑन-चिप SRAM में इस पूरे कैश को पढ़ना लेटेंसी (latency) को बढ़ा देता है, जो अक्सर प्रति-टोकन जनरेशन समय का आधे से अधिक हिस्सा होता है।

मौजूदा स्पार्स डिकोडिंग विधियाँ टोकन, ब्लॉक्स या पेजों के उपसमुच्चयों (subsets) का चयन करके इसे कम करने का प्रयास करती हैं। हालाँकि, ये विधियाँ मुख्य रूप से softmax अटेंशन के लिए डिज़ाइन की गई हैं। सॉफ्टमैक्स की एक मौलिक सीमा इसका "डेंस टेल" (dense tail) है: यह हर टोकन को, उसकी प्रासंगिकता के बावजूद, सख्ती से धनात्मक (positive) प्रायिकता (probability) प्रदान करता है। फलस्वरूप, सॉफ्टमैक्स के तहत KV कैश का कोई भी ट्रंकेशन (truncation) गैर-शून्य प्रायिकता द्रव्यमान (non-zero probability mass) को अनिवार्य रूप से हटा देता है, जिससे स्पार्स डिकोडिंग एक सन्निकटन (approximation) समस्या बन जाती है जहाँ त्रुटि अपरिहार्य है जब तक कि पूरा कैश न पढ़ा जाए।

2. कार्यप्रणाली: EntmaxKV

लेखक EntmaxKV प्रस्तावित करते हैं, जो $\alpha$ -entmax अटेंशन के लिए एक नेटिव स्पार्स डिकोडिंग फ्रेमवर्क है। सॉफ्टमैक्स के विपरीत, $\alpha$ -entmax ( $\alpha > 1$ के लिए) सटीक शून्य (exact zeros) वाली प्रायिकता वितरण उत्पन्न करता है। यह गुण स्पार्स डिकोडिंग के उद्देश्य को "डेंस टेल के सन्निकटन" से बदलकर "सपोर्ट रिकवरी" (support recovery) में बदल देता है: यदि चयनित टोकनों का उपसमुच्चय वास्तविक सपोर्ट (गैर-शून्य प्रायिकता वाले टोकन का सेट) को समाहित करता है, तो स्पार्स डिकोडिंग आउटपुट फुल-कैश आउटपुट के गणितीय रूप से समान होता है।

EntmaxKV इसे तीन मुख्य घटकों के साथ एक पेज्ड डिकोडिंग पाइपलाइन के माध्यम से लागू करता है:

A. क्वेरी-अवेयर पेज स्कोरिंग (Query-Aware Page Scoring)

KV कैश को पेजों में विभाजित किया गया है। पूर्ण कीज़ (keys) और वैल्यूज़ को लोड करने से पहले, सिस्टम पेज-वार संग्रहीत हल्के मेटाडेटा का उपयोग करके पेजों को स्कोर करता है:

बाउंडिंग बॉक्स बाउंड्स (Bounding Box Bounds): कोऑर्डिनेट-वाइज मिनिमम और मैक्सिमम की वेक्टर्स ( $k_{min}, k_{max}$ ) किसी दिए गए क्वेरी $q$ के लिए किसी भी पेज के भीतर अधिकतम संभव अटेंशन स्कोर पर एक नियत (deterministic) ऊपरी सीमा प्रदान करते हैं।
गौसियन सांख्यिकी (Gaussian Statistics): अधिक अनुकूल दृष्टिकोण के लिए, सिस्टम पेज के भीतर कीज़ के प्रथम और द्वितीय मोमेंट्स (मीन और वेरिएंस) को संग्रहीत करता है। यह पेज में टोकन स्कोर के वितरण को एक गौसियन रैंडम वेरिएबल के रूप में अनुमानित करने की अनुमति देता है।

B. कैंडिडेट सिलेक्शन पॉलिसीज (Candidate Selection Policies)

किन पेजों को लोड किया जाना चाहिए, यह चुनने के लिए दो नीतियां प्रस्तावित हैं:

Top-k पेज सिलेक्शन: एक फिक्स्ड-बजट दृष्टिकोण जो बाउंडिंग बॉक्स मेटाडेटा से प्राप्त उच्चतम अपर-बाउंड स्कोर वाले $k$ पेजों का चयन करता है।
गौसियन-अवेयर एंटमैक्स सिलेक्शन: यह वर्तमान क्वेरी के विशिष्ट स्कोर वितरण का उपयोग करके ग्लोबल $\alpha$ -entmax थ्रेशोल्ड ( $\tau$ ) का अनुमान लगाने के लिए एक डायनेमिक दृष्टिकोण है। यह $\hat{\tau}$ खोजने के लिए एक अनुमानित नॉर्मलाइजेशन समीकरण को हल करता है और फिर उन पेजों का चयन करता है जहाँ अनुमानित अधिकतम स्कोर इस थ्रेशोल्ड (एक सुरक्षा मार्जिन $\Delta$ के साथ समायोजित) से अधिक होता है। यह वर्तमान क्वेरी के विशिष्ट स्कोर वितरण के अनुसार टोकन बजट को अनुकूलित करता है।

C. स्पार्स एंटमैक्स अटेंशन (Sparse Entmax Attention)

एक बार कैंडिडेट पेजेस का चयन हो जाने के बाद, सिस्टम केवल संबंधित KV एंट्रीज को लोड करता है। यह कम किए गए सेट पर $\alpha$ -entmax अटेंशन वेट्स की गणना करता है। यदि चयनित सेट $\alpha$ -entmax वितरण के पूर्ण सपोर्ट को समाहित करता है, तो आउटपुट सटीक होता है।

3. सैद्धांतिक विश्लेषण (Theoretical Analysis)

पेपर ट्रंकेशन से होने वाली त्रुटि के लिए एक सैद्धांतिक ढांचा प्रदान करता है:

त्रुटि सीमा (Error Bound): आउटपुट एरर $\|o - \tilde{o}\|$ को $2B\delta$ द्वारा सीमित किया गया है, जहाँ $B$ वैल्यू वेक्टर नॉर्म्स का बाउंड है और $\delta$ छोड़े गए टोकन का कुल प्रायिकता द्रव्यमान है।
सपोर्ट रिकवरी: सॉफ्टमैक्स के लिए, जब भी कोई टोकन छोड़ा जाता है $\delta > 0$ होता है, जो गैर-शून्य त्रुटि की गारंटी देता है। $\alpha$ -entmax के लिए, यदि चयनित सेट $I_{keep}$ में सपोर्ट $S$ शामिल है (अर्थात, $S \subseteq I_{keep}$ ), तो $\delta = 0$ है और त्रुटि बिल्कुल समाप्त हो जाती है।
तुलना: पेपर दर्शाता है कि समान 'कीप्ट सेट' (kept set) के तहत, $\alpha$ -entmax सॉफ्टमैक्स की तुलना में काफी कम प्रायिकता द्रव्यमान छोड़ता है, विशेष रूप से जब कैंडिडेट सेट एंटमैक्स सपोर्ट को सफलतापूर्वक कैप्चर कर लेता है।

4. मुख्य परिणाम (Key Results)

प्रयोग 1B-पैरामीटर मॉडल्स (NAPE) का उपयोग करके लॉन्ग-कॉन्टेक्स्ट बेंचमार्क्स (RULER, Passkey Retrieval, PG19) और एफिशिएंसी बेंचमार्क्स पर किए गए।

अनुमान गुणवत्ता (Approximation Quality): EntmaxKV मैच किए गए KV बजट पर सॉफ्टमैक्स-आधारित स्पार्स डिकोडिंग की तुलना में लगातार कम प्रायिकता द्रव्यमान छोड़ता है और अधिक सपोर्ट टोकन बनाए रखता है। एंटमैक्स के लिए सापेक्ष आउटपुट एरर काफी कम है, जो सपोर्ट रिकवर होने पर शून्य के करीब पहुँच जाता है।
डाउनस्ट्रीम प्रदर्शन (Downstream Performance):
- पासकी रिट्रीवल (Passkey Retrieval): EntmaxKV लॉन्ग कॉन्टेक्स्ट (100k टोकन तक) में कम से कम 0.1% KV कैश का उपयोग करके परफेक्ट रिट्रीवल एक्यूरेसी बनाए रखता है, जबकि सॉफ्टमैक्स-आधारित विधियाँ तेजी से खराब हो जाती हैं।
- RULER बेंचमार्क: EntmaxKV सॉफ्टमैक्स स्पार्स डिकोडिंग से काफी बेहतर प्रदर्शन करता है, विशेष रूप से 16k कॉन्टेक्स्ट लेंथ पर, फुल-कैश बेसलाइन्स के करीब प्रदर्शन बनाए रखता है।
- लैंग्वेज मॉडलिंग (PG19): 1024-टोकन बजट के साथ एंटमैक्स स्पार्स डिकोडिंग, बहुत बड़े बजट (जैसे 8192 टोकन) वाले सॉफ्टमैक्स डिकोडिंग की तुलना में कम परप्लेक्सिटी (perplexity) प्राप्त करता है।
दक्षता (Efficiency):
- EntmaxKV बॉटलनैक को फुल-कैश मेमोरी ट्रैफिक से हल्के पेज सिलेक्शन की ओर स्थानांतरित करता है।
- 1M टोकन कॉन्टेक्स्ट लेंथ पर, गौसियन-अवेयर वेरिएंट फुल-कैश सॉफ्टमैक्स (FlashDecoding) की तुलना में 3.36× स्पीडअप और फुल-कैश एंटमैक्स डिकोडिंग की तुलना में 5.43× स्पीडअप प्राप्त करता है।
- गौसियन-अवेयर सेलेक्टर, टॉप-k वेरिएंट की तुलना में सीक्वेंस लेंथ के साथ बेहतर स्केल करता है, जिससे स्पष्ट टॉप-k बॉटलनैक से बचा जा सकता है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि EntmaxKV $\alpha$ -entmax की सटीक स्पर्सिटी (exact sparsity) का लाभ उठाकर स्पार्स डिकोडिंग के प्रतिमान (paradigm) को मौलिक रूप से बदल देता है।

सन्निकटन से रिकवरी तक: प्राथमिक योगदान स्पार्स डिकोडिंग को सपोर्ट रिकवरी समस्या के रूप में पुनर्गठित करना है। लेखक तर्क देते हैं कि यदि चयन तंत्र सफलतापूर्वक सपोर्ट की पहचान कर लेता है, तो यह एक सन्निकटन नहीं बल्कि एक सटीक गणना है, जो सॉफ्टमैक्स ट्रंकेशन में निहित "डेंस-टेल" त्रुटि को समाप्त करता है।
व्यावहारिक दक्षता: यह कार्य स्पार्स अटेंशन के सैद्धांतिक लाभों और ऑटोरेग्रेसिव डिकोडिंग की व्यावहारिक बाधाओं के बीच के अंतर को पाटता है। एंटमैक्स सपोर्ट को कैप्चर करने पर अटेंशन मैकेनिज्म की सटीकता से समझौता किए बिना, एंटमैक्सKV KV पेजेस को लोड करने से पहले स्पर्सिटी का उपयोग करके मेमोरी ट्रैफिक को कम करता है।
अनुकूलन योग्य चयन (Adaptive Selection): गौसियन-अवेयर सेलेक्टर का परिचय यह सुनिश्चित करता है कि सिस्टम स्कोर वितरण के आधार पर कैंडिडेट बजट को गतिशील रूप से समायोजित कर सके, जो फिक्स्ड-बजट टॉप-k सिलेक्शन का एक अधिक मजबूत विकल्प प्रदान करता है।

लेखक EntmaxKV को $\alpha$ -entmax मॉडल्स के लिए एक नेटिव समाधान के रूप में प्रस्तुत करते हैं, जो घने सॉफ्टमैक्स वितरणों पर स्पर्सिटी थोपने का प्रयास करने वाले पिछले कार्यों से अलग है। वे इस बात पर जोर देते हैं कि जबकि हाल के कर्नेल्स ने $\alpha$ -entmax को बड़े पैमाने पर ट्रेन करने योग्य बनाया है, EntmaxKV पहला कार्य है जो स्पार्स इन्फरेंस को सक्षम करके ऑटोरेग्रेसिव डिकोडिंग बॉटलनैक को संबोधित करता है जो कुशल और सपोर्ट रिकवरी के तहत सैद्धांतिक रूप से सटीक है।