💬 NLP

SPHERICAL KV: Angle-Domain Attention and Rate-Distortion Retention for Efficient Long-Context Inference

स्फेरिकल KV (Spherical KV) एक कुशल लॉन्ग-कॉन्टेक्स्ट इन्फरेंस विधि है जो एंगल-डोमेन अटेंशन (Angle-Domain Attention), जो सघन पुनर्निर्माण के बिना कॉम्पैक्ट स्फेरिकल की (spherical key) रिप्रजेंटेशन से सीधे अटेंशन लॉजिट्स की गणना करता है, और रेट-डिस्टॉर्शन रिटेंशन (Rate-Distortion Retention), जो एक निश्चित मेमोरी बजट के तहत टोकन रिटेंशन और प्रिसिजन को इष्टतम रूप से आवंटित करता है, को जोड़कर HBM बैंडविड्थ बाधाओं को संबोधित करता है।

मूल लेखक: Anay Chauhan, Gurucharan Marthi Krishna Kumar, Arion Das, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anay Chauhan, Gurucharan Marthi Krishna Kumar, Arion Das, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ही प्रश्न का उत्तर देने के लिए 1,00,000 पन्नों की एक विशाल किताब पढ़ने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपके मस्तिष्क (AI) को अब तक पढ़ी गई हर चीज़ का एक "चीट शीट" (cheat sheet) रखने की आवश्यकता होगी ताकि कहानी का अंत पढ़ते समय आप शुरुआत को भूल न जाएं।

AI की भाषा में, यह चीट शीट KV Cache कहलाती है।

समस्या यह है, जैसा कि यह शोध पत्र बताता है, जैसे-जैसे किताब लंबी होती जाती है, यह चीट शीट इतनी बड़ी हो जाती है कि यह आपकी अल्पकालिक स्मृति (GPU की तेज़ मेमोरी) में फिट नहीं बैठती। भले ही यह फिट हो जाए, आपका मस्तिष्क इस विशाल चीट शीट के पन्नों को पलटने में वास्तव में उत्तर सोचने की तुलना में अधिक समय बिताता है। बाधा आपकी सोचने की गति नहीं है; बल्कि डेटा को इधर-उधर ले जाने वाले ट्रैफिक जाम की समस्या है।

मौजूदा समाधान इसे ठीक करने की कोशिश करते हैं या तो:

पन्ने फेंक देते हैं: कहानी के पुराने हिस्सों को हटा देते हैं (जिससे महत्वपूर्ण विवरण भूलने का जोखिम रहता है)।
बहुत छोटी लिखावट में लिखते हैं: टेक्स्ट को कंप्रेस (compress) करते हैं (जिसमें आमतौर पर उसे पढ़ने के लिए फिर से बड़े अक्षरों में लिखने की आवश्यकता होती है, जिससे समय बर्बाद होता है)।

Spherical KV एक नया तरीका है जो यह बदल देता है कि चीट शीट को कैसे लिखा जाता है और कैसे पढ़ा जाता है, बिना टेक्स्ट को बड़े अक्षरों में दोबारा लिखे।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

1. "दिशा बनाम दूरी" की ट्रिक (Angle-Domain Attention)

कल्पना कीजिए कि आप किसी को कॉफी शॉप का रास्ता बता रहे हैं।

पुराना तरीका: आप यात्रा के हर एक कदम के लिए सटीक निर्देशांक (अक्षांश, देशांतर, ऊंचाई) लिखते हैं। दुकान को खोजने के लिए, पाठक को पूर्ण 3D निर्देशांकों को देखना पड़ता है, एक जटिल गणितीय गणना करनी पड़ती है, और फिर दिशा का पता लगाना पड़ता है।
Spherical KV का तरीका: आप महसूस करते हैं कि कॉफी शॉप को खोजने के लिए, केवल दूरी (वह कितनी दूर है) और दिशा (किस तरफ देखना है) ही मायने रखती है।
- आप दूरी को एक साधारण संख्या के रूप में लिखते हैं (जैसे, "5 मील")।
- आप दिशा को एक संक्षिप्त कोड के रूप में लिखते हैं (जैसे, "उत्तर-उत्तर-पूर्व")।
- जादू: जब पाठक को दुकान को खोजना होता है, तो उन्हें पूरा 3D मैप फिर से बनाने की आवश्यकता नहीं होती। वे "उत्तर-उत्तर-पूर्व" कोड और "5 मील" की संख्या को देख सकते हैं और तुरंत उत्तर जान सकते हैं। वे पूरे मैप को फिर से बनाने के भारी गणित को छोड़ देते हैं।

शोध पत्र में, इसे Angle-Domain Attention कहा गया है। यह 'कीज़' (टेक्स्ट की "दिशाएं") को एक त्रिज्या (radius) और एक कोण (angle) के रूप में संग्रहीत करता है। AI इन कोडों से सीधे "प्रासंगिकता" (relevance) की गणना कर सकता है और उसे कभी भी पूर्ण, भारी डेटा को फिर से बनाने की आवश्यकता नहीं होती। यह डेटा को इधर-उдя ले जाने में लगने वाले समय को बहुत कम कर देता है।

2. "स्मार्ट बजट" (Rate-Distortion Retention)

कल्पना कीजिए कि आपकी यात्रा के लिए आपके बैकपैक में सीमित स्थान है। आप सब कुछ नहीं ले जा सकते।

पुराना तरीका: आप शायद पुरानी चीजें बस फेंक देते हैं, या सब कुछ समान रूप से कंप्रेस कर देते हैं (जिससे सब कुछ थोड़ा धुंधला हो जाता है)।
Spherical KV का तरीका: आप एक स्मार्ट ट्रैवल एजेंट की तरह कार्य करते हैं। आप अपनी वस्तुओं को देखते हैं और पूछते हैं: "यह कितनी महत्वपूर्ण है?"
- महत्वपूर्ण वस्तुएं: "अस्पताल का नक्शा" या "एलर्जी की सूची।" आप इन्हें उच्च-गुणता वाले, अनकंप्रेस्ड विवरण में रखते हैं।
- जरूरी वस्तुएं: "होटल का नाम।" आप इन्हें रखते हैं, लेकिन शायद थोड़े छोटे फॉन्ट में।
- कम मूल्य की वस्तुएं: "मंगलवार को आकाश का रंग।" आप इन्हें पूरी तरह से हटा सकते हैं या इन्हें भारी रूप से कंप्रेस कर सकते हैं।

इसे Rate-Distortion Retention कहा जाता है। यह केवल यह तय नहीं करता कि क्या रखना है; यह यह भी तय करता है कि उसे कितनी स्पष्टता के साथ रखना है। यह अपने "मेमोरी बजट" को कहानी के उन हिस्सों पर खर्च करता है जो वर्तमान प्रश्न के लिए सबसे अधिक महत्वपूर्ण हैं, यह सुनिश्चित करता है कि सटीक होने की आवश्यकता होने पर AI धुंधली जानकारियों से भ्रमित न हो।

परिणाम

इन दोनों विचारों को जोड़कर, Spherical KV एक ऐसा सिस्टम बनाता है जहाँ:

चीट शीट कम जगह लेती है (क्योंकि यह क्या रखना है, इस बारे में अधिक स्मार्ट है)।
AI चीट शीट को तेजी से पढ़ता है (क्योंकि उसे समझने के लिए पूरे टेक्स्ट को फिर से बनाने की आवश्यकता नहीं होती)।

शोध पत्र के निष्कर्ष:
जब लेखकों ने लंबी कहानियों (1,28,000 शब्दों तक) पर इसका परीक्षण किया, तो उन्होंने पाया कि:

AI पहले की तुलना में 1.5 से 1.7 गुना तेज़ टेक्स्ट जेनरेट कर सका।
इसने समान कार्य करने के लिए 24% से 42% कम मेमोरी का उपयोग किया।
सबसे महत्वपूर्ण बात यह है कि उत्तरों की गुणवत्ता में गिरावट नहीं आई। AI ने गलत जानकारी (hallucinate) देना या प्लॉट भूलना शुरू नहीं किया; यह बस अपनी मेमोरी को प्रबंधित करने में बहुत अधिक कुशल हो गया।

संक्षेप में:
Spherical KV को एक ऐसे पुस्तकालय से अपग्रेड करने के रूप में समझें जहाँ आपको पीछे जाना पड़ता है, एक विशाल विश्वकोश निकालना पड़ता है, पूरा पन्ना कॉपी करना पड़ता है, और फिर उसे पढ़ना पड़ता है, से एक ऐसे पुस्तकालय में जहाँ आपको बस एक छोटा, स्मार्ट इंडेक्स कार्ड मिलता है जो आपको तुरंत बताता है कि आपको क्या चाहिए। यह लंबे संवादों के "ट्रैफिक जाम" को मेमोरी को छोटा और पढ़ने की प्रक्रिया को स्मार्ट बनाकर हल करता है।

तकनीकी सारांश: स्फेरिकल KV (Spherical KV)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में लॉन्ग-कॉन्टेक्स्ट इन्फरेंस (long-context inference) तेजी से की-वैल्यू (KV) कैश द्वारा बाधित हो रहा है, न कि अरिथमेटिक थ्रूपुट (arithmetic throughput) द्वारा। जैसे-जैसे कॉन्टेक्स्ट की लंबाई ( $T$ ) बढ़ती है, रेजिडेंट मेमोरी फुटप्रिंट $T$ , बैच साइज ( $B$ ), लेयर्स ( $L$ ), और हेड्स ( $H$ ) के साथ रैखिक रूप से (linearly) बढ़ता है। पेज्ड मेमोरी (जैसे PagedAttention) का उपयोग करने वाले प्रोडक्शन सर्विंग एनवायरनमेंट में, मुख्य बाधा फ्लोटिंग पॉइंट ऑपरेशन्स (FLOPs) से हटकर हाई बैंडविड्थ मेमोरी (HBM) ट्रैफिक की ओर स्थानांतरित हो जाती है। विशेष रूप से, डिकोडिंग डिवाइस मेमोरी से ऐतिहासिक KV पेजों के बार-बार स्ट्रीमिंग होने के कारण सीमित हो जाती है।

मौजूदा समाधान तीन लीवर्स (levers) के माध्यम से इसे कम करने का प्रयास करते हैं:

रिटेंशन/इविक्शन (Retention/Eviction): कम टोकन स्टोर करना (जैसे, StreamingLLM, H2O)।
क्वांटाइजेशन/कंप्रेशन (Quantization/Compression): कम बिट्स स्टोर करना (जैसे, KVQuant, KIVI)।
ऑफलोडिंग (Offloading): KV को कहीं और स्टोर करना (जैसे, CPU/स्टोरेज)।

हालाँकि, ये विधियाँ अक्सर क्रिटिकल-पाथ बॉटलनेक (critical-path bottleneck) को पूरी तरह से संबोधित करने में विफल रहती हैं। कई कंप्रेशन तकनीकें अटेंशन लॉजिट्स (attention logits) की गणना करने से पहले कंप्रेस्ड रिप्रेजेंटेशन से डेंस वेक्टर्स को पुनर्गठित (reconstruct) करने की आवश्यकता रखती हैं (एक "डिकंप्रेस-देन-डॉट-प्रोडक्ट" पाथ)। यह पुनर्गठन HBM ट्रैफिक को फिर से पेश करता है और कर्नेल फ्यूजन (kernel fusion) को रोकता है, जिससे यथार्थवादी, पेज्ड सर्विंग सबस्ट्रेट्स में सैद्धांतिक मेमोरी बचत निष्प्रभावी हो जाती है। इसके अलावा, सरल इविक्शन पॉलिसीज़ में महत्वपूर्ण जानकारी (जैसे, रिट्रीव्ड एविडेंस) को संरक्षित करने के लिए आवश्यक सूक्ष्मता (granularity) की कमी होती है।

2. कार्यप्रणाली: स्फेरिकल KV (Methodology: Spherical KV)

यह पेपर स्फेरिकल KV (Spherical KV) प्रस्तावित करता है, जो एक लॉन्ग-कॉन्टेक्स्ट इन्फरेंस विधि है जो अटेंशन ज्योमेट्री पर आधारित रेट-डिस्टॉर्शन (rate–distortion) समस्या के रूप में KV एलोकेशन को देखती है। इसमें दो ऑर्थोगोनल घटक शामिल हैं जिन्हें एक पेज्ड, रैग्ड सर्विंग सबस्ट्रेट के भीतर काम करने के लिए डिज़ाइन किया गया है: एंगल-डोमेन अटेंशन (ADA) और रेट-डिस्टॉर्शन रिटेंशन (RDR)।

2.1 एंगल-डोमेन अटेंशन (ADA)

ADA मानक "डिकंप्रेस-देन-डॉट-प्रोडक्ट" प्रिमिटिव को एक कंप्यूट-नेटिव दृष्टिकोण से बदल देता है जो सीधे कॉम्पैक्ट स्फेरिकल कोड्स पर काम करता है।

स्फेरिकल पैरामीट्राइजेशन (Spherical Parameterization): कीज़ (Keys) को एक स्केलर रेडियस ( $r = \|k\|$ ) और डायरेक्शनल एंगल्स ( $\phi = \Phi(\hat{k})$ ) में डीकंपोज किया जाता है।
कंप्रेस्ड-डोमेन सिमिलरिटी (Compressed-Domain Similarity): डेंस वेक्टर्स को कैश करने के बजाय, ADA क्वांटाइज्ड रेडियाई ( $\tilde{r}$ ) और पैक किए गए एंगुलर कोड्स ( $c_\theta$ ) को स्टोर करता है। डिकोड हॉट लूप के दौरान, अटेंशन कर्नेल इन कोड्स से सीधे लॉजिट्स की गणना करता है:
$\hat{\ell}(q, k) \approx \|q\| \cdot \tilde{r} \cdot f_b(c_\theta^q, c_\theta^k)$
जहाँ $f_b$ एक फ्यूज्ड कर्नेल ऑपरेशन है जो एंगुलर कोड्स से कोसाइन सिमिलरिटी की गणना करता है।
नो रिकंस्ट्रक्शन इनवेरिएंट (No Reconstruction Invariant): महत्वपूर्ण डिज़ाइन बाधा यह है कि डिकोड कर्नेल कभी भी HBM में एक डेंस की वेक्टर ( $\tilde{k} \in \mathbb{R}^d$ ) को मैटेरियलाइज नहीं करता है। यह सुनिश्चित करता है कि स्टोर किए गए KV बाइट्स में कमी सीधे प्रति टोकन HBM ट्रैफिक में कमी में परिवर्तित हो जाए।

2.2 रेट-डिस्टॉर्शन रिटेंशन (RDR)

RDR एक कंट्रोल मैकेनिज्म है जो एक सख्त मेमोरी बजट के अधीन, यह तय करता है कि किन स्टेट्स को रिटेन करना है और उन्हें किस प्रिसिजन (टियर) पर स्टोर करना है।

जॉइंट ऑप्टिमाइजेशन (Joint Optimization): उन विधियों के विपरीत जो इविक्शन और क्वांटाइजेशन को अलग-अलग मानती हैं, RDR एक डिस्क्रीट रेट-डिस्टॉर्शन एलोकेशन समस्या को हल करता है। प्रत्येक टोकन/हेड/लेयर स्टेट $i$ के लिए, यह एक बाइनरी रेजिडेंसी निर्णय ( $z_i \in \{0, 1\}$ ) और एक प्रिसिजन टियर ( $b_i \in \mathcal{B}$ ) चुनता है।
डिस्टॉर्शन सरोगेट (Distortion Surrogate): कंट्रोलर ADA के एरर एनालिसिस से प्राप्त एक मैकेनिस्टिक डिस्टॉर्शन प्रॉक्सी का उपयोग करता है। यह अनुमान लगाता है कि लॉजिट एरर, क्वेरी और की मैग्नीट्यूड द्वारा स्केल किए गए एंगुलर एप्रोक्सिमेशन एरर्स ( $\epsilon_\theta$ ) द्वारा डोमिनेट होता है।
प्रोटेक्शन कंस्ट्रेंट्स (Protection Constraints): महत्वपूर्ण जानकारी (जैसे, रिट्रीव्ड एविडेंस, सेफ्टी स्पैन, आउटलायर्स) पर विनाशकारी विफलता को रोकने के लिए, RDR हार्ड प्रोटेक्शन कंस्ट्रेंट्स लागू करता है ( $I_{prot}(i)=1 \implies z_i=1, b_i=b_{max}$ )।
टियर-होमोजेनियस पेजेस (Tier-Homogeneous Pages): कंट्रोलर रिटेन की गई स्टेट्स को ऐसे पेजेस में ग्रुप करता है जहाँ सभी आइटम्स एक ही प्रिसिजन टियर साझा करते हैं। यह डिकोड कर्नेल के लिए सिंगल-पास, हेडर-गाइडेड स्ट्रीमिंग रीड्स को सक्षम बनाता है, जिससे अनियमित गैदर्स (irregular gathers) से बचा जा सकता है।

2.3 सिस्टम इंटीग्रेशन (System Integration)

स्फेरिकल KV एक स्टैंडर्ड पेज्ड/रैग्ड KV सबस्ट्रेट पर काम करता है (जो vLLM-स्टाइल लेआउट के अनुकूल है)। पाइपलाइन डेंस कीज़ को स्फेरिकल कोड्स में मैप करती है, उन्हें फिल्टर और टियर करने के लिए RDR लागू करती है, और परिणाम को एक कंप्रेस्ड फॉर्मेट में स्टोर करती है। डिकोड कर्नेल इन कोड्स को सीधे कंज्यूम करता है, "नो-डेंस-रिकंस्ट्रक्शन" इनवेरिएंट को बनाए रखता है।

3. मुख्य योगदान (Key Contributions)

एंगल-डोमेन अटेंशन (ADA): एक कर्नेल-लेवल प्रिमिटिव जो कॉम्पैक्ट स्फेरिकल कोड्स से सीधे अटेंशन लॉजिट्स की गणना करता है, जिससे डेंस की रिकंस्ट्रक्शन से जुड़े HBM ट्रैफिक पेनल्टी को समाप्त किया जाता है।
रेट-डिस्टॉर्शन रिटेंशन (RDR): एक यूनिफाइड कंट्रोलर जो एक फिक्स्ड बजट के तहत रेजिडेंसी और प्रिसिजन टियर्स को जॉइंटली एलोकेट करता है, उच्च-उपयोगिता वाले स्टेट्स को प्राथमिकता देता है और नाजुक (brittle) स्टेट्स को सुरक्षित करता है।
डिप्लॉयमेंट-ओरिएंटेड इवैल्यूएशन (Deployment-Oriented Evaluation): इस विधि का मूल्यांकन केवल खिलौना (toy) कंटीन्यूअस कैश पर नहीं, बल्कि एक यथार्थवादी पेज्ड/रैग्ड सर्विंग सबस्ट्रेट पर किया गया है, जिसमें एंड-टू-एंड थ्रूपुट, HBM ट्रैफिक और व्यवहार संबंधी स्थिरता को मापा गया है।
पारेटो फ्रंटियर शिफ्ट (Pareto Frontier Shift): पेपर दिखाता है कि स्फेरिकल KV मेमोरी-क्वालिटी-थ्रूपुट फ्रंटियर को बदल देता है, डेंस KV और स्ट्रॉन्ग बेसलाइन्स की तुलना में कम मेमोरी फुटप्रिंट पर उच्च थ्रूपुट प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Llama-3.1-8B-Instruct, Qwen2.5-14B-Instruct, और gpt-oss-20b पर 8K, 32K, और 128K के कॉन्टेक्स्ट लेंथ के साथ स्फेरिकल KV का मूल्यांकन किया। वर्कलोड में लैंग्वेज मॉडलिंग (PG-19), रिट्रीवल-हैवी QA (LongBench: HotpotQA, 2WikiMultiHopQA), और एजेंटिक टूल रोलआउट्स (AgentBench, ToolBench) शामिल थे।

थ्रूपुट और मेमोरी एफिशिएंसी: मैचड क्वालिटी कंस्ट्रेंट्स (iso-quality) के तहत, स्फेरिकल KV ने प्रति टोकन रेजिडेंट KV बाइट्स को 24–42% कम करते हुए डिकोड थ्रूपुट में 1.55×–1.72× का सुधार किया।
कॉन्टेक्स्ट स्केलिंग: लाभ 128K रिजीम में सबसे अधिक स्पष्ट थे, जहाँ KV रेजिडेंसी और HBM ट्रैफिक सिस्टम प्रदर्शन पर हावी होते हैं।
कर्नेल-रियलाइज्ड एफिशिएंसी: विधि ने सफलतापूर्वक प्रति जनरेटेड टोकन HBM बाइट्स को कम किया, जिससे पुष्टि हुई कि मेमोरी बचत रिकंस्ट्रक्शन ओवरहेड्स द्वारा निष्प्रभावी नहीं हुई।
स्थिरता (Stability): सिस्टम ने टाइट बजट के तहत सुचारू गिरावट (smooth degradation) प्रदर्शित की और एजेंटिक वर्कलोड में रीजनिंग ट्रेजेक्टरीज और टूल-कॉल सीक्वेंस को सुरक्षित रखा, जिससे हार्ड-इविक्शन बेसलाइन्स में देखी जाने वाली अचानक विफलताएं टल गईं।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि स्फेरिकल KV लॉन्ग-कॉन्टेक्स्ट इन्फरेंस की मौलिक बाधा को संबोधित करता है: मेमोरी क्षमता और मेमोरी बैंडविड्थ के बीच का संघर्ष। KV कंप्रेशन को केवल एक स्टोरेज समस्या के बजाय एक कंप्यूट-नेटिव समस्या (जहाँ कंप्रेस्ड रिप्रेजेंटेशन कर्नेल द्वारा सीधे निष्पादनीय है) के रूप में मानकर, यह विधि वास्तविक ऑपरेटिंग फ्रंटियर में बदलाव लाती है।

लेखक इस बात पर जोर देते हैं कि:

कंप्रेशन को कंप्यूट-नेटिव होना चाहिए: केवल कम बिट्स स्टोर करना पर्याप्त नहीं है यदि डिकोड पाथ के लिए डेंस रिकंस्ट्रक्शन की आवश्यकता होती है।
मेमोरी को वहां बजट किया जाना चाहिए जहां इसकी आवश्यकता है: रेट-डिस्टॉर्शन कंट्रोल सिस्टम को उच्च-प्रभाव वाले स्टेट्स पर प्रिसिजन खर्च करने और कम-उपयोगिता वाले स्टेट्स पर बचत करने की अनुमति देता है।
मूल्यांकन को डिप्लॉयमेंट-फेडफुल (deployment-faithful) होना चाहिए: वास्तविक लाभ तभी माने जा सकते हैं जब वे पेज्ड लेआउट, मेटाडेटा ओवरहेड्स और कर्नेल कंस्ट्रेंट्स में जीवित रहें।

स्फेरिकल KV को डिकोड एफिशिएंसी और व्यवहार संबंधी स्थिरता को बनाए रखते हुए KV रेजिडेंसी और HBM ट्रैफिक को कम करने के एक तंत्र के रूप में प्रस्तुत किया गया है, जो विशेष रूप से आधुनिक LLM सर्विंग के मेमोरी-बाउंड रिजीम्स को लक्षित करता है।