SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding
SPECTRA एक प्रशिक्षण-मुक्त (training-free), ड्रॉप-इन कोडेक है जो स्पेक्ट्रल ट्रांसफॉर्म कोडिंग को लागू करके फीचर्स को डिकोरिलेट करने और सबसे सूचनात्मक चैनलों पर बिट बजट को केंद्रित करने के माध्यम से LLM KV कैश में 2-बिट क्वांटाइजेशन क्लिफ (quantization cliff) को दूर करता है, जिससे लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के लिए 12x तक का हाई-फिडेलिटी कंप्रेशन अनुपात सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने बैकपैक में किताबों का एक विशाल पुस्तकालय ले जाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से "लार्ज लैंग्वेज मॉडल्स" (LLMs) जो कहानियाँ, कोड और हमसे बातें लिखते हैं, वहाँ एक समान समस्या है। जब ये मॉडल एक लंबे दस्तावेज़ को पढ़ते हैं या एक लंबी बातचीत करते हैं, तो उन्हें अगले शब्द को समझने के लिए अब तक देखे गए हर एक शब्द को याद रखना पड़ता है। वे इस स्मृति (मेमोरी) को एक विशेष, हाई-स्पीड पॉकेट में संग्रहीत करते हैं जिसे "KV कैश" (Key-Value cache) कहा जाता है। इस कैश को एक चलते-फिरते नोटबुक की तरह समझें जहाँ मॉडल उन सभी महत्वपूर्ण विवरणों को लिखता है जो उसने अब तक पढ़ा है।
समस्या यह है कि जैसे-जैसे बातचीत लंबी होती जाती है, यह नोटबुक विशाल होती जाती है। यदि आप अपने बैकपैक में एक पूरा उपन्यास डालने की कोशिश करेंगे, तो आप पहला अध्याय खत्म करने से पहले ही जगह खत्म कर सकते हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने छोटे, सरल हस्तलेखन में लिखकर नोटबुक को सिकोड़ने की कोशिश की—एक तकनीक जिसे "क्वांटाइजेशन" (quantization) कहा जाता है। उन्होंने हर नोट को केवल दो बिट्स की जानकारी (डेटा की सबसे छोटी संभव मात्रा) तक दबाने की कोशिश की। लेकिन यहाँ एक पेंच है: जब उन्होंने दो बिट्स से भी छोटा करने की कोशिश की, तो लिखावट इतनी खराब हो गई कि मॉडल चीजें भूलने लगा या बेतुकी बातें बनाने लगा। वह एक "चट्टान" (cliff) से टकरा गया जहाँ नोट्स को छोटा करने से वास्तव में मॉडल टूट गया। यह पेपर एक सरल प्रश्न पूछता है: क्या बैकपैक को पैक करने का कोई स्मार्ट तरीका है ताकि हम मॉडल को भ्रमित किए बिना बहुत अधिक चीज़ें समा सकें?
इस पेपर के पीछे के शोधकर्ता, SPECTRA, कहते हैं कि उत्तर हाँ है, लेकिन हमें यह बदलने की ज़रूरत है कि हम क्या पैक कर रहे हैं, न कि केवल यह कि हम कितनी छोटी लिखावट में लिखते हैं। उन्होंने खोजा कि मॉडल की मेमोरी में जानकारी यादृच्छिक पत्थरों के ढेर की तरह समान रूप से नहीं फैली है। इसके बजाय, यह एक संगीत के कॉर्ड (chord) की तरह है: कुछ स्वर तेज़ होते हैं और मुख्य धुन (melody) को ले जाते हैं, जबकि अन्य अधिकांश स्वर पृष्ठभूमि के शोर की तरह लगभग सुनाई नहीं देते।
पिछले तरीकों के साथ समस्या यह थी कि उन्होंने हर स्वर के साथ एक जैसा व्यवहार किया। उन्होंने तेज़ स्वरों और शांत स्वरों दोनों को बिल्कुल समान मात्रा में सिकोड़ने की कोशिश की। जब उन्होंने हर चीज़ को एक छोटे कंकड़ (दो बिट्स) के आकार तक सिकोड़ने की कोशिश की, तो तेज़ स्वर शांत स्वरों में दब गए, और पूरा गाना शोर (static) में बदल गया। लेखकों ने महसूस किया कि मॉडल की मेमोरी "कोरिलेटेड" (correlated) है, जिसका अर्थ है कि स्वर आपस में उलझे हुए हैं, जिससे केवल उन्हें देखकर यह बताना कठिन हो जाता है कि कौन से महत्वपूर्ण हैं।
इसे हल करने के लिए, SPECTRA एक जादुई डिकोडर रिंग की तरह कार्य करता है। मेमोरी को पैक करने से पहले, यह पहले स्वरों को सुलझाता है और उन्हें एक नए क्रम में पुनर्व्यवस्थित करता है जहाँ तेज़, महत्वपूर्ण स्वर स्पष्ट रूप से शांत, महत्वहीन स्वरों से अलग हो जाते हैं। एक बार जब मेमोरी इस तरह से व्यवस्थित हो जाती है, तो मॉडल तेज़ स्वरों के लिए बिट्स के मामले में बहुत उदार हो सकता है (उन्हें स्पष्ट रहने के लिए पर्याप्त जगह देना) और शांत स्वरों के लिए बहुत कंजूस हो सकता है (उन्हें लगभग कुछ भी नहीं या पूरी तरह से फेंक देना)।
पेपर दिखाता है कि यह दृष्टिकोण अविश्वसनीय रूप से अच्छा काम करता है। Llama-3.1 और Qwen2.5 जैसे लोकप्रिय AI मॉडलों के परीक्षणों पर, SPECTRA बिना किसी गुणवत्ता के नुकसान के मेमोरी को 4 गुना तक कंप्रेस करने में सफल रहा। इससे भी अधिक प्रभावशाली बात यह है कि यह 8 गुना और यहाँ तक कि 12 गुना कंप्रेशन पर भी उपयोगी बना रहा, एक ऐसा बिंदु जहाँ अन्य तरीके पूरी तरह से विफल हो गए थे और मॉडल काम करना बंद कर चुके थे। इस "स्पेक्ट्रल" सॉर्टिंग ट्रिक का उपयोग करके, वही कंप्यूटर चिप जो पहले केवल एक छोटी बातचीत संभाल सकती थी, अब एक पूरी किताब या एक विशाल कोडबेस रख सकती है, जिससे AI एजेंट बिना मेमोरी खत्म हुए लंबे कार्यों पर काम कर सकते हैं। लेखकों ने पाया कि यह केवल एक छोटा सा सुधार नहीं है; यह हर चीज़ को समान रूप से सिकोड़ने के बजाय बुद्धिमानी से सीमित स्थान का केवल वहीं उपयोग करने की ओर एक मौलिक बदलाव है जहाँ इसकी सबसे अधिक आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।