KV Cache Compression Through the Lens of Transform Coding
यह शोध पत्र अटेंशन-अवेयर ट्रांसफॉर्म कोडिंग (AATC) को प्रस्तुत करता है, जो एक नवीन KV कैश संपीड़न विधि है जो अटेंशन मैकेनिज्म पर उनके प्रभाव के आधार पर बिट्स आवंटित करने के लिए सिग्नल प्रोसेसिंग सिद्धांतों का लाभ उठाता है, जिससे कई बेंचमार्क और मॉडलों में लगभग 5.8x संपीड़न के साथ लगभग लॉसलेस सटीकता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कहानी याद करने की कोशिश कर रहे हैं जो आपने अभी सुनी है, लेकिन आपके मस्तिष्क का एक बहुत ही विशिष्ट नियम है: आप एक बार में केवल कुछ वाक्यों को ही अपनी सक्रिय स्मृति (active memory) में रख सकते हैं। पूरी कहानी को जीवित रखने के लिए, आपको एक विशाल स्क्रॉल पर नोट्स लिखने पड़ते हैं। जैसे-जैसे कहानी लंबी होती जाती है, वह स्क्रॉल बहुत बड़ा हो जाता है, और जल्द ही आपके पास कागज खत्म हो जाता है। यह बिल्कुल उसी समस्या के समान है जिसका सामना आज के आधुनिक "लार्ज लैंग्वेज मॉडल्स" (LLMs), यानी उन सुपर-स्मार्ट AI चैटबॉट्स के साथ होता है जिनका हम उपयोग करते हैं। ये मॉडल केवल एक वाक्य नहीं पढ़ते; वे पूरी किताबें, ट्रांसक्रिप्ट या लंबी बातचीत पढ़ते हैं। वर्तमान वाक्य को समझने के लिए, उन्हें यह याद रखना पड़ता है कि उससे पहले कौन सा शब्द आया था। वे इस इतिहास को "KV कैश" नामक एक विशेष डिजिटल नोटबुक में संग्रहीत करते हैं।
परेशानी यह है कि यह नोटबुक इतनी बड़ी हो जाती है कि यह कंप्यूटर की सारी मेमोरी खा जाती है, जिससे सब कुछ धीमा हो जाता है या सामान्य उपकरणों पर इसे चलाना असंभव हो जाता है। वैज्ञानिकों ने "शॉर्टहैंड" (संख्याओं को दर्शाने के लिए कम बिट्स का उपयोग करना) लिखकर इस नोटबुक को सिकोड़ने की कोशिश की है, लेकिन वे ज्यादातर इस बात का अनुमान लगाते रहे हैं कि नोट्स के कौन से हिस्से महत्वपूर्ण हैं। वे पूरे स्क्रॉल को समान रूप से कंप्रेस करने की कोशिश कर रहे थे, जैसे कि बिना यह देखे कि पानी वास्तव में कहाँ जमा है, एक स्पंज को निचोड़ना। यह शोध एक बेहतर प्रश्न पूछता है: क्या होगा यदि हम नोट्स को इस आधार पर अलग तरह से कंप्रेस कर सकें कि AI वर्तमान में उन पर कितना ध्यान दे रहा है? यह सच है कि अतीत के सभी शब्द समान नहीं होते; कुछ अगले वाक्य के लिए अत्यंत महत्वपूर्ण होते हैं, जबकि अन्य केवल बैकग्राउंड शोर (background noise) मात्र होते हैं।
इस अध्ययन के पीछे के शोधकर्ताओं, हन्ना लॉस और उनकी टीम ने इस समस्या को "सिग्नल प्रोसेसिंग" के नजरिए से देखने का निर्णय लिया, जो एक ऐसा क्षेत्र है जो आमतौर पर संगीत या छवियों को कंप्रेस करने जैसे कार्यों से निपटता है। उन्होंने महसूस किया कि AI का अटेंशन मैकेनिज्म (यह तय करने का तरीका कि उसे किस पर ध्यान केंद्रित करना है) एक फिल्टर की तरह कार्य करता है, ठीक वैसे ही जैसे हमारे कान शोर भरे कमरे में एक दोस्त की आवाज पर ध्यान केंद्रित करते हैं। उन्होंने गणितीय रूप से सिद्ध किया कि कंप्रेस करने से होने वाली "डिस्टॉर्शन" (विकृति) या त्रुटि केवल इस बात पर निर्भर नहीं करती कि शॉर्टहैंड कितना खराब है; बल्कि यह इस बात पर निर्भर करती है कि वह त्रुटि AI के वर्तमान फोकस के साथ कैसे परस्पर क्रिया करती है।
इसे हल करने के लिए, उन्होंने अटेंशन-अवेयर ट्रांसफॉर्म कोडिंग (AATC) नामक एक विधि का आविष्कार किया। इसे एक स्मार्ट लाइब्रेरियन की तरह समझें जो न केवल शेल्फ की हर किताब को एक समान मात्रा में छोटा करता है। इसके बजाय, लाइब्रेरियन पहले पाठक को सुनता है ताकि यह देख सके कि उसकी रुचि किन चीजों में है। फिर, वे किताबों को पुनर्व्यवस्थित करते हैं (एक प्रक्रिया जिसे "व्हाइटनिंग" या "डिकोरिलेटिंग" कहा जाता है) ताकि सबसे महत्वपूर्ण जानकारी को एक साथ समूहबद्ध किया जा सके। अंत में, वे एक "रिवर्स वॉटर-फिलिंग" रणनीति लागू करते हैं। कल्पना कीजिए कि आप पहाड़ियों और घाटियों के परिदृश्य में पानी भर रहे हैं; पानी स्वाभाविक रूप से पहले निचले स्थानों को भरता है। इस डिजिटल संस्करण में, "पानी" सीमित मेमोरी बजट है, और "घाटियाँ" नोट्स के वे हिस्से हैं जो सबसे अधिक मायने रखते हैं। यह विधि महत्वपूर्ण चैनलों में अधिक "बिट्स" (मेमोरी स्पेस) डालती है और महत्वहीन चैनलों में लगभग शून्य।
टीम ने Llama-3.1-8B और Qwen-2.5-7B जैसे दो लोकप्रिय AI मॉडल्स पर विभिन्न चुनौतीपूर्ण कार्यों जैसे गणित की समस्याओं को हल करने, बहुविकल्पीय प्रश्नों के उत्तर देने और बहुत लंबे दस्तावेज़ों को पढ़ने के माध्यम से परीक्षण किया। परिणाम चौंकाने वाले थे। उनकी नई विधि ने मेमोरी के उपयोग को लगभग 5.8 गुना (लगभग 5.8×) कम कर दिया, जबकि AI की सटीकता को लगभग वैसा ही बनाए रखा जैसा कि पूर्ण, अनकंप्रेस्ड मेमोरी के उपयोग में होता है। कई मामलों में, कंप्रेस्ड AI पूर्ण संस्करण के समान ही था।
हालाँकि, पेपर सावधानी से यह नोट करता है कि यह हर चीज़ के लिए जादुई समाधान नहीं है। यह विधि इस गणितीय धारणा पर निर्भर करती है कि कंप्रेशन से होने वाला "शोर" रैंडम स्टैटिक (व्हाइट नॉइज़) की तरह व्यवहार करता है, जो इस क्षेत्र में एक मानक अनुमान है, लेकिन यह हर वास्तविक दुनिया के परिदृश्य में पूरी तरह से सत्य नहीं हो सकता है। इसके अलावा, हालांकि गणित उनके सिमुलेशन और परीक्षणों में खूबसूरती से काम करता है, लेकिन वास्तविक कोड अभी तक उन सबसे तेज़ कंप्यूटर चिप्स (GPUs) के लिए अनुकूलित नहीं है जिनका उपयोग वास्तविक उत्पादों में किया जाता है, जिसका अर्थ है कि यह वर्तमान में एक शक्तिशाली प्रोटोटाइप है न कि ऐसी सुविधा जिसे आप आज ही डाउनलोड कर सकें।
जो इस दृष्टिकोण को विशेष बनाता है वह है इसका विभिन्न विचारों को एकीकृत करना। पिछले तरीकों ने या तो पुराने नोट्स को पूरी तरह से हटा दिया (टोकन इविक्शन) या सब कुछ समान रूप से सिकोड़ दिया (यूनिफॉर्म क्वांटाइजेशन)। यह पेपर दिखाता है कि वे एक ही सिक्के के दो पहलू हैं। यह समझकर कि AI का अटेंशन अतीत को कैसे वेटेज देता है, उन्होंने मेमोरी आवंटित करने का एक ऐसा तरीका खोजा जो AI की "विचार प्रक्रिया" का सम्मान करता है। उदाहरण के लिए, Qwen मॉडल पर, जिसे कंप्रेस करना बहुत कठिन माना जाता है, उनकी विधि ने AI को बहुत लंबे संदर्भों में भी स्मार्ट बनाए रखा जहाँ अन्य तरीके पूरी तरह विफल रहे।
संक्षेप में, यह पेपर सुझाव देता है कि यदि आप AI को उसकी बौद्धिक क्षमता खोए बिना तेज़ और हल्का बनाना चाहते हैं, तो आपको केवल डेटा को दबाना नहीं चाहिए; बल्कि आपको यह सुनना चाहिए कि AI अभी क्या सोच रहा है और केवल उन्हीं हिस्सों को कंप्रेस करना चाहिए जिनकी उसे अभी आवश्यकता नहीं है। यह "सब कुछ कंप्रेस करने" से "बुद्धिमानी से कंप्रेस करने" की ओर एक बदलाव है, और इसके परिणाम बताते हैं कि यह रोजमर्रा के उपकरणों पर वास्तव में लंबे-संदर्भ (long-context) वाले AI को अनलॉक करने की कुंजी हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।