Tamarin (HSQ): Reversible Hierarchical KV-Cache Compression for LLM Inference
टैमरिन (HSQ) एक प्रतिवर्ती, तीन-स्तरीय पदानुक्रमित KV-कैश संपीड़न योजना पेश करता है जो लंबी-संदर्भ वाली LLM इन्फरेंस के लिए बेसलाइन परप्लेक्सिटी और रिट्रीवल सटीकता को बनाए रखते हुए 12–28× GPU मेमोरी रिडक्शन प्राप्त करने के लिए टोकन को एक फोकल टियर, सीखे गए सारांश वेक्टर (learned summary vectors), और एक CPU-आधारित आर्काइव में रूट करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छोटी सी टैबलेट पर एक विशाल, 32,000 पन्नों की किताब पढ़ने की कोशिश कर रहे हैं। समस्या किताब के टेक्स्ट की नहीं है; समस्या यह है कि आपके टैबलेट की मेमोरी आपके द्वारा पढ़े जा चुके पन्नों को रखने मात्र से ही तुरंत भर जाती है। AI की दुनिया में, इस "मेमोरी" को KV कैश (KV cache) कहा जाता है, और बड़े मॉडल्स के लिए, यह आपके कंप्यूटर की सारी शक्ति सोख लेता है, जिससे आपको नए पन्नों के लिए पुराने पन्नों को फेंकने पर मजबूर होना पड़ता है।
वर्तमान में अधिकांश समाधान एक ऐसे लाइब्रेरियन की तरह हैं जो, जब शेल्फ भर जाती है, तो उन किताबों को फेंक देने का फैसला करता है जिन्हें वे सोचते हैं कि आपको शायद ज़रूरत नहीं होगी। वे पहले कुछ पन्ने और आखिरी कुछ पन्ने रख सकते हैं, लेकिन अगर आप अचानक किताब के बीच के किसी विवरण के बारे में सवाल पूछते हैं, तो वह पन्ना हमेशा के लिए चला जाता है। पेपर इसे "इविक्शन" (eviction) कहता है, और यह तर्क देता है कि यह एक घातक दोष है क्योंकि आप यह अनुमान नहीं लगा सकते कि उपयोगकर्ता आगे क्या पूछेगा।
बड़ा विचार: कचरे के डिब्बे के बजाय, एक जादुई इंडेक्स (सूची)
Siamang Labs के लेखकों ने एक अलग दृष्टिकोण प्रस्तावित किया है जिसे Tamarin (तकनीकी रूप से HSQ के रूप में जाना जाता है) कहा जाता है। पन्नों को फेंकने के बजाय, वे मेमोरी को एक विशाल, खोजने योग्य इंडेक्स की तरह मानते हैं।
यहाँ उनका तीन-स्तरीय सिस्टम लाइब्रेरी के उदाहरण का उपयोग करके बताया गया है:
- "वीआईपी" शेल्फ (L1): आपकी टैबलेट (GPU) का एक छोटा, हाई-स्पीड सेक्शन सबसे महत्वपूर्ण पन्नों और बिल्कुल नवीनतम पन्नों को रखता है। इन्हें पूर्ण विवरण के साथ रखा जाता है, बस थोड़ा छोटा (4-bit precision) करके।
- "सुराग कार्ड्स" (L2): बाकी किताब के लिए, सिस्टम हर 8 से 16 पन्नों के समूह के लिए छोटे, 3-bit "सुराग कार्ड्स" बनाता है। इन कार्ड्स में कहानी नहीं होती; वे केवल इस बात का सारांश होते हैं कि पन्ने किस बारे में हैं। ये भी आपकी टैबलेट पर ही रहते हैं।
- "डीप आर्काइव" (L3): हर एक पन्ने का मूल, विस्तृत टेक्स्ट सड़क के पार एक विशाल गोदाम (CPU RAM) में संग्रहीत है, जिसे भी 4-bit precision तक छोटा किया गया है।
यह वास्तविक समय में कैसे काम करता है
जब AI पढ़ रहा होता है और अचानक उसे किसी सवाल का जवाब देने की ज़रूरत होती है, तो वह अनुमान नहीं लगाता। वह पहले सुराग कार्ड्स (L2) को देखता है। एक स्मार्ट, छोटा "रीडर" AI इन कार्ड्स को स्कोर देता है ताकि यह देखा जा सके कि पन्नों के कौन से समूह वर्तमान प्रश्न के लिए प्रासंगिक हैं।
यदि कोई कार्ड आशाजनक दिखता है, तो सिस्टम तुरंत डीप आर्काइव (L3) की ओर दौड़ता है, मूल पन्नों को पकड़ता है, और AI के निर्णय लेने से ठीक पहले उन्हें वापस टैबलेट पर ले आता है।
पेपर यह सिद्ध करता है कि यह "इंडेक्सिंग" दृष्टिकोण ही कुंजी है। एक परीक्षण में जहाँ उन्होंने "आर्काइव से प्राप्त करने" (fetch from archive) वाले चरण को अक्षम कर दिया, वहाँ छिपी हुई जानकारी खोजने की सिस्टम की क्षमता ("नीडल-इन-ए-हेस्टैक" रिट्रीवल) गिरकर 0% हो गई। यह पुष्टि करता है कि सुराग कार्ड्स केवल रूटिंग के लिए हैं; असली सामग्री आर्काइव में रहती है।
परिणाम: लगभग बिना किसी लागत के भारी बचत
पेपर ने इसे कई मॉडल्स (विशेष रूप से Qwen3 परिवार, जो 0.6 बिलियन से 14 बिलियन पैरामीटर्स तक हैं) पर मापा। उन्हें यह मिला:
- मेमोरी बचत: 32,000 टोकन की कॉन्टेक्स्ट लेंथ पर, Tamarin GPU मेमोरी उपयोग को 12 से 28 गुना कम कर देता है। उदाहरण के लिए, एक मॉडल जिसे 32K टोकन के लिए आमतौर पर 4.5 GiB मेमोरी की आवश्यकता होती है, उसे GPU पर केवल लगभग 172 MiB की आवश्यकता होती है। बाकी हिस्सा आपके CPU RAM में रहता है।
- गुणवत्ता: बड़े मॉडल्स (4B और 8B पैरामीटर्स) के लिए, गुणवत्ता लगभग अनकंप्रेस्ड वर्जन के समान है। "परप्लेक्सिटी" (एक पैमाना कि AI कितना भ्रमित होता है) केवल 0.1% से 0.4% बढ़ता है। AI अपने चुने हुए शब्दों के मामले में मूल संस्करण के साथ 96% से 97% तक सहमत है।
- रिट्रीवल (पुनर्प्राप्ति): टेक्स्ट की विभिन्न गहराइयों पर एक छिपे हुए कोड को खोजने के 500 प्रयासों के परीक्षण में, 8B मॉडल ने कोड को 500 में से 500 बार खोजा, जो सांख्यिकीय रूप से अनकंप्रेस्ड बेसलाइन के बराबर है।
पेपर क्या खारिज करता है और कहाँ विफल होता है
लेखक बहुत स्पष्ट हैं कि यह क्या नहीं है और यह कहाँ संघर्ष करता है:
- यह गति बढ़ाने वाला (speed boost) नहीं है: पेपर स्पष्ट रूप से कहता है कि Tamarin AI को तेज़ नहीं बनाता है। वास्तव में, क्योंकि इसे CPU आर्काइव से डेटा लाना पड़ता है, इसलिए 32K टोकन पर गति सामान्य गति के लगभग 17-18% तक गिर जाती है। यह क्षमता (अधिक टेक्स्ट फिट करना) बनाम गति का ट्रेड-ऑफ है।
- यह बहुत छोटे मॉडल्स पर काम नहीं करता: परीक्षण किए गए सबसे छोटे मॉडल (0.6B पैरामीटर्स) के लिए, गुणवत्ता की लागत अधिक है। पेपर नोट करता है कि 4-bit वेट्स का उपयोग करने पर परप्लेक्सिटी में 6-10% की वृद्धि होती है, जिसे उस विशिष्ट आकार के लिए विफलता माना जाता है।
- यह सभी AI परिवारों के लिए जादुई समाधान नहीं है: यह तरीका Qwen3 मॉडल्स पर बहुत अच्छा काम करता है, लेकिन जब उन्होंने एक अलग परिवार (Mistral-7B) पर इसे आज़माया, तो परिणाम अस्त-व्यस्त थे, जिसमें कुछ गहराइयों पर सटीकता में 20 प्रतिशत अंक की गिरावट आई। लेखक को संदेह है कि यह इसलिए है क्योंकि Mistral में वह विशिष्ट "नॉर्मलाइजेशन" स्टेप नहीं है जो Qwen में है, जिससे "सुराग कार्ड्स" को पढ़ना कठिन हो जाता है।
- एक विशिष्ट "नाजुक" चेकपॉइंट: यहाँ तक कि 14B मॉडल पर भी, टेक्स्ट में दो विशिष्ट स्थान थे जहाँ सिस्टम छिपी हुई सुई को खोजने में संघर्ष कर रहा था, जिससे सटीकता 80.4% तक गिर गई। पेपर इस गिरावट का कारण उस मॉडल की ट्रेनिंग में एक विशिष्ट खामी को बताता है, न कि इस पद्धति को।
निष्कर्ष (The Bottom Line)
पेपर सुझाव देता है कि बड़े मॉडल्स (4B और उससे ऊपर) के लिए, Tamarin सीमित मेमोरी में भारी मात्रा में टेक्स्ट फिट करने का एक प्रमाणित तरीका है बिना जानकारी को स्थायी रूप से हटाए। यह "जगह खत्म होने" की समस्या को "इंडेक्स मैनेज करने" की समस्या में बदल देता है। हालांकि यह काम को धीमा कर देता है और इसके लिए सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है, फिर भी यह लंबे-कॉन्टेक्स्ट वाले कार्यों के लिए मेमोरी की बाधा को सफलतापूर्वक हल करता है जहाँ जानकारी के हर एक हिस्से को सुरक्षित रखना महत्वपूर्ण होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।