NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache
NSNQuant एक कैलिब्रेशन-मुक्त वेक्टर क्वांटाइजेशन विधि है जो LLM KV कैश के लिए एक अद्वितीय "नॉर्मलाइज़-शिफ्ट-नॉर्मलाइज़" ट्रांसफॉर्मेशन को हैडामार्ड ट्रांसफॉर्म के साथ जोड़कर उपयोग करती है ताकि टोकन वितरण को एक मानक सामान्य वितरण के साथ संरेखित किया जा सके, जिससे बिना किसी कैलिब्रेशन डेटासेट पर निर्भर रहे मजबूत लो-बिट कंप्रेशन और 3x तक थ्रूपुट लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत लंबे रास्ते पर चलते हुए अपने बैकपैक में यादों का एक विशाल पुस्तकालय ले जाने की कोशिश कर रहे हैं। यह तब होता है जब एक लार्ज लैंग्वेज मॉडल (LLM)—एक सुपर-स्मार्ट कंप्यूटर दिमाग जो कहानियाँ लिखता है, गणित हल करता है और आपसे बातें करता है—एक लंबी बातचीत को प्रोसेस करने की कोशिश करता है। हर बार जब यह एक शब्द पढ़ता है, तो इसे संदर्भ (context) समझने के लिए उससे पहले आई हर चीज़ को याद रखना पड़ता है। इस "याददाश्त" को KV Cache कहा जाता है। समस्या यह है कि जैसे-जैसे बातचीत लंबी होती जाती है, यह बैकपैक भारी और भारी होता जाता है, और अंततः इतना भर जाता है कि कंप्यूटर के पास जगह खत्म हो जाती है और वह धीमा होकर थम जाता है।
इसे ठीक करने के लिए, वैज्ञानिकों ने यादों को कंप्रेस करके (सिकोड़कर) बैकपैक को छोटा करने की कोशिश की है, बिल्कुल वैसे ही जैसे कपड़ों को वैक्यूम बैग में पैक किया जाता है। एक लोकप्रिय तरीका वेक्टर क्वांटाइजेशन (Vector Quantization - VQ) है। इसे ऐसे समझें कि समान वस्तुओं को एक साथ समूह में रखना और उन्हें एक "डिक्शनरी" या कोडबुक से एक एकल लेबल के रूप में बदलना। हर एक नीले रंग के मोज़े के सटीक शेड को याद रखने के बजाय, आप बस "ब्लू ग्रुप 4" याद रखते हैं। हालाँकि, इसमें एक पेंच है: अधिकांश मौजूदा तरीकों को डिक्शनरी बनाने के लिए कपड़ों के एक विशिष्ट सेट (एक कैलिब्रेशन डेटासेट) का अध्ययन करने की आवश्यकता होती है। यदि आप फिर कपड़ों का एक पूरी तरह से अलग सेट (बातचीत का एक नया प्रकार) पैक करने की कोशिश करते हैं, तो डिक्शनरी फिट नहीं बैठती, और कंप्रेशन विफल हो जाता है। यह पेपर ठीक इसी समस्या को हल करता है: बिना पहले कपड़ों का अध्ययन किए यादों को कैसे सिकोड़ा जाए।
समस्या: एक ऐसी डिक्शनरी जो केवल एक वार्डरोब के लिए काम करती है
इस पेपर के लेखक, जो सियोल नेशनल यूनिवर्सिटी से हैं, ने LLM मेमोरी को कंप्रेस करने के वर्तमान अत्याधुनिक तरीके में एक निराशाजनक गड़बड़ी देखी, जिसे कपल्ड क्वांटाइजेशन (Coupled Quantization - CQ) कहा जाता है। कल्पना कीजिए कि CQ एक दर्जी है जो एक व्यक्ति के माप के आधार पर कस्टम सूट बनाता है। यदि वह व्यक्ति अलग-अलग शरीर के प्रकार वाले लोगों से भरी भीड़ में चलता है, तो सूट पहले व्यक्ति पर तो एकदम सही बैठता है लेकिन बाकी सभी पर अजीब दिखता है।
AI की दुनिया में, यह "व्यक्ति" वह डेटा है जिस पर मॉडल को कैलिब्रेट किया गया था (जैसे कि WikiText-2 नामक एक विशिष्ट टेक्स्ट डेटासेट)। जब मॉडल किसी अलग प्रकार के टेक्स्ट (जैसे कि C4 डेटासेट, जो वेब पेजों का एक विशाल संग्रह है) को प्रोसेस करने की कोशिश करता है, तो "सूट" फिट नहीं बैठता। लेखकों ने पाया कि यह बेमेल स्थिति मॉडल को मूर्खतापूर्ण गलतियाँ करने पर मजबूर करती है, विशेष रूप से विराम चिह्नों (punctuation marks) के साथ। उदाहरण के लिए, मॉडल कॉमा (comma) के बारे में भ्रमित हो सकता है क्योंकि प्रशिक्षण डेटा से सीखी गई "डिक्शनरी" में नए टेक्स्ट में कॉमा के दिखने के तरीके के लिए सही लेबल नहीं थे। यह एक बड़ी बात है क्योंकि इसका मतलब है कि मॉडल अपने कंफर्ट ज़ोन से बाहर निकलते ही अविश्वसनीय हो जाता है।
समाधान: NSNQuant – एक यूनिवर्सल पैकिंग क्यूब
इसे हल करने के लिए, टीम ने NSNQuant पेश किया, जो मेमोरी को कंप्रेस करने का एक चतुर नया तरीका है जिसे किसी विशिष्ट डेटा का पहले अध्ययन करने की आवश्यकता नहीं है। हर नए वार्डरोब के लिए एक कस्टम डिक्शनरी सीखने के बजाय, NSNQuant सभी कपड़ों को एक मानक, पहले से बने पैकिंग क्यूब में फिट होने के लिए मजबूर करता है।
वे इसे तीन चरणों वाले "जादुई ट्रिक" के माध्यम से करते हैं जिसे वे नॉर्मलाइज़-शिफ्ट-नॉर्मलाइज़ (Normalize-Shift-Normalize - NSN) कहते हैं:
- नॉर्मलाइज़ (पहला चरण): कल्पना कीजिए कि आपके पास मोज़ों का एक ढेर है जहाँ कुछ बहुत छोटे हैं और कुछ बहुत बड़े। पहला कदम यह है कि हर मोज़े को इतना खींचना या सिकोड़ना कि वे सभी एक ही आकार के हो जाएं। यह 防止 (रोकता) है कि बड़े मोज़े सारी जगह न घेर लें और पैकिंग को बिगाड़ न दें।
- शिफ्ट (मध्य चरण): अब, कल्पना कीजिए कि सभी मोज़े एक ही आकार के हैं, लेकिन वे सभी बाईं ओर झुके हुए हैं। "शिफ्ट" चरण उन सभी को वापस केंद्र में धकेलता है ताकि वे पूरी तरह से संतुलित हो जाएं।
- नॉर्मलाइज़ (अंतिम चरण): पूरी तरह आश्वस्त होने के लिए, वे आकार की एक आखिरी बार जांच करते हैं ताकि यह सुनिश्चित हो सके कि सब कुछ एक समान है।
इस तीन-चरणीय नृत्य के बाद, लेखक एक अंतिम मोड़ जोड़ते हैं: एक हैडामार्ड ट्रांसफॉर्म (Hadamard Transform)। आप इसे पूरे मोज़ों के ढेर को एक विशिष्ट, गणितीय तरीके से घुमाने के रूप में समझ सकते हैं। जादू यह है कि इस घुमाव के बाद, मोज़ों के अस्त-व्यस्त, अप्रत्याशित आकार (डेटा) अचानक एक आदर्श, चिकने बेल कर्व (एक मानक सामान्य वितरण) की तरह दिखने लगते हैं।
चूंकि डेटा अब इस अनुमानित बेल कर्व जैसा दिखता है—चाहे मूल टेक्स्ट कुछ भी रहा हो—लेखक एक एकल, पहले से बनी "डिक्शनरी" (कोडबुक) का उपयोग कर सकते हैं जो विशेष रूप से उस बेल कर्व के लिए डिज़ाइन की गई है। उन्हें पहले डेटा को देखने की आवश्यकता नहीं है; वे बस जानते हैं कि डेटा उस डिक्शनरी में फिट होगा क्योंकि उन्होंने उसे उसी तरह दिखने के लिए मजबूर किया है।
उन्होंने क्या पाया: एक यूनिवर्सल कुंजी
टीम ने LLaMA और Mistral परिवारों सहित कई प्रसिद्ध AI मॉडलों पर इस विचार का परीक्षण किया। उन्होंने सरल कहानियों से लेकर जटिल कोड और गणित की समस्याओं तक, विभिन्न प्रकार के टेक्स्ट का उपयोग करके NSNQuant की तुलना पुराने तरीकों (जैसे CQ और KIVI) से की।
परिणाम प्रभावशाली थे:
- बेहतर सामान्यीकरण (Generalization): जबकि पुराने तरीके (CQ) एक डेटासेट से दूसरे में स्विच करते समय लड़खड़ा जाते थे, NSNQuant ने अपना प्रदर्शन मजबूत बनाए रखा। यह एक सार्वभौमिक कुंजी होने जैसा था जो हर दरवाजे को खोल सकती थी, जबकि पुराने चाबियाँ केवल उन्हीं दरवाजों के लिए बनी थीं जिनके लिए वे बनाई गई थीं।
- लो-बिट सफलता: टीम ने मेमोरी को केवल 1-बिट और 2-बिट तक कंप्रेस करके परीक्षण किया। 1-बिट सेटिंग में (जहाँ मेमोरी को उसके सबसे छोटे आकार तक सिकोड़ दिया जाता है), NSNQuant ने प्रतिस्पर्धा को पछाड़ दिया। उदाहरण के लिए, GSM8K नामक एक गणित तर्क कार्य पर, पुराने 1-bit मेथड का स्कोर लगभग 24 था, जबकि NSNQuant-1b का स्कोर 53.45 था। यह प्रदर्शन को दोगुने से भी अधिक है!
- गति और स्थान: चूंकि मेमोरी बहुत छोटी है, इसलिए कंप्यूटर एक साथ अधिक बातचीत प्रोसेस कर सकता है। लेखकों ने दिखाया कि उनका तरीका मानक, अनकंप्रेस्ड वर्जन की तुलना में 3 गुना अधिक डेटा थ्रूपुट संभाल सकता है, जबकि बहुत कम मेमोरी का उपयोग करता है।
बारीक विवरण (The Fine Print)
लेखक सावधानी से नोट करते हैं कि हालांकि यह तरीका एक बड़ा सुधार है, लेकिन यह पूर्ण जादू नहीं है। उन्होंने पाया कि AI मॉडल के शुरुआती परतों में, "मोज़ों" में कभी-कभी कुछ ऐसे आउटलेयर्स (outliers) होते हैं जो बेल कर्व में पूरी तरह फिट नहीं होते। हालाँकि, इन छोटी गड़बड़ियों के बावजूद, समग्र प्रदर्शन बहुत उच्च बना रहा।
वे यह भी जोर देते हैं कि यह तरीका "कैलिब्रेशन-फ्री" है। पुराने तरीकों के विपरीत, जिन्हें डिक्शनरी बनाने के लिए विशिष्ट डेटा के अध्ययन में घंटों लग जाते थे, NSNQuant की डिक्शनरी को एक सिंगल ग्राफिक्स कार्ड पर 5 मिनट से भी कम समय में बनाया जा सकता है और फिर किसी भी मॉडल के लिए पुन: उपयोग किया जा सकता है। यह इसे वास्तविक दुनिया के उपयोग के लिए अविश्वसनीय रूप से व्यावहारिक बनाता है।
संक्षेप में, NSNQuant एक यूनिवर्सल पैकिंग सिस्टम की तरह है जो किसी भी अव्यवस्त यादों के ढेर को एक व्यवस्थित, अनुमानित आकार में ढाल देता है, जिससे AI मॉडल अपनी सोचने की क्षमता खोए बिना अपनी लंबी अवधि की यादों को बहुत छोटे बैकपैक में ले जा सकते हैं। यह सुझाव देता है कि डेटा को कंप्रेस करने से पहले उसे मानकीकृत (standardize) करके, हम AI को तेज़, सस्ता और अधिक विश्वसनीय बना सकते हैं, भले ही वह पूरी तरह से नए और अपरिचित विषयों से निपट रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।