OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
OSCAR एक तैनात करने योग्य (deployable) 2-बिट KV कैश क्वांटाइजेशन विधि है जो अटेंशन-अलाइन्ड रोटेशन और क्लिपिंग थ्रेशोल्ड प्राप्त करने के लिए ऑफलाइन स्पेक्ट्रल कोवेरिएंस एस्टीमेशन का लाभ उठाती है, जो आधुनिक LLM सर्विंग फ्रेमवर्क में मेमोरी उपयोग को महत्वपूर्ण रूप से कम करने और इन्फरेंस थ्रूपुट में सुधार करने के साथ-साथ लॉन्ग-कॉन्टेक्स्ट रीजनिंग कार्यों पर लगभग लॉसलेस सटीकता सक्षम करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ OSCAR पेपर का विवरण दिया गया है, जिसे सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।
बड़ी समस्या: "याददाश्त का जमाखोर" (The Memory Hoarder)
एक बड़े लैंग्वेज मॉडल (LLM) की कल्पना एक बहुत बुद्धिमान लेकिन भुलक्कड़ लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में करें। जब आप उससे कोई लंबा सवाल पूछते हैं, तो उसे यह समझने के लिए कि संदर्भ क्या है, अब तक कही गई हर बात की एक चलती हुई सूची (जिसे "KV Cache" कहते हैं) रखनी पड़ती है।
जैसे-जैसे बातचीत लंबी होती जाती है (32,000 शब्दों या उससे अधिक तक), यह सूची बहुत विशाल हो जाती है। इसे स्टोर करने के लिए, लाइब्रेरियन को बहुत अधिक महंगी मेमोरी (जैसे एक विशाल, हाई-स्पीड गोदाम) की आवश्यकता होती है। यदि गोदाम भर जाता है, तो लाइब्रेरियन को काम रोकना पड़ता है या बहुत धीमा हो जाना पड़ता है।
इस पेपर का लक्ष्य इस गोदाम को 8 गुना छोटा करना है, बिना लाइब्रेरियन को कुछ भी महत्वपूर्ण भुलाए। वे नोट्स को "हाई-डेफिनिशन" (BF16) से घटाकर "नन्हे स्केच" (2-bit) के आकार तक सिकोड़ना चाहते हैं।
पुराना तरीका: "हैडामार्ड शफल" (The Hadamard Shuffle)
पहले, शोधकर्ताओं ने इन नोट्स को केवल शब्दों को इधर-उधर घुमाकर (shuffling) छोटा करने की कोशिश की थी। उन्होंने हैडामार्ड रोटेशन नामक एक गणितीय ट्रिक का उपयोग किया।
- उपमा: कल्पना कीजिए कि आपके पास एक अस्त-व्यस्त कमरा है जिसमें कुछ विशाल, अजीब आकार के सोफे (outliers) और बहुत सारी छोटी कुर्सियाँ हैं। आप उन सभी को एक छोटे बॉक्स में नहीं फिट कर सकते। पुराना तरीका यह था कि एक विशाल मिक्सर लें और कमरे को चारों ओर घुमा दें। यह उन विशाल सोफों को इस तरह फैला देता है कि वे कुछ थोड़े बड़े आकार की कुर्सियों की तरह दिखने लगते हैं, जिससे उन्हें पैक करना आसान हो जाता है।
- दोष: यह मिश्रण "अंधा" (blind) है। इसे यह नहीं पता कि लाइब्रेरियन के काम के लिए कमरे के कौन से हिस्से वास्तव में महत्वपूर्ण हैं। जब आप सब कुछ सिकोड़कर एक नन्हा 2-बिट स्केच बना देते हैं, तो यह अंधा मिश्रण अनजाने में सबसे महत्वपूर्ण विवरणों को धुंधला कर देता है, जिससे लाइब्रेरियन भ्रमित होने लगता है या गलत उत्तर देने लगता है। यह एक नाजुक फूलदान और एक पत्थर को एक साथ पैक करने की कोशिश करने जैसा है; यदि आप बस बॉक्स को हिलाते हैं, तो फूलदान टूट जाएगा।
नया समाधान: OSCAR (द "स्मार्ट आर्किटेक्ट")
लेखक OSCAR (Offline Spectral Covariance-Aware Rotation) का प्रस्ताव देते हैं। कमरे को अंधाधुंध हिलाने के बजाय, OSCAR एक स्मार्ट आर्किटेक्ट की तरह काम करता है जो पैकिंग शुरू होने से पहले ठीक से अध्ययन करता है कि लाइब्रेरियन कैसे काम करता है।
1. "ऑफलाइन कैलिब्रेशन" (अध्ययन का चरण)
लाइब्रेरियन द्वारा ग्राहकों की सेवा शुरू करने से पहले, OSCAR बातचीत के एक छोटे नमूने को लेता है और पूछता है: "लाइब्रेरियन निर्णय लेने के लिए वास्तव में मेमोरी के किन हिस्सों का उपयोग करता है?"
- उपमा: कल्पना कीजिए कि लाइब्रेरियन को एक विशिष्ट प्रश्न के आधार पर एक किताब चुननी है। OSCAR महसूस करता है कि लाइब्रेरियन किताब के कवर के रंग (the "Query") पर बहुत ध्यान देता है, लेकिन उसे पन्नों की मोटाई (the "Value") की ज्यादा परवाह नहीं है।
- परिणाम: OSCAR एक कस्टम मैप (एक रोटेशन मैट्रिक्स) बनाता है जो मेमोरी स्टोरेज को इन विशिष्ट आवश्यकताओं के अनुरूप ढालता है। यह सुनिश्चित करता है कि लाइब्रेरियन जिन हिस्सों की सबसे अधिक परवाह करता है, उन्हें उच्च सटीकता के साथ सुरक्षित रखा जाए, जबकि कम महत्वपूर्ण हिस्सों को अधिक आक्रामक तरीके से संकुचित (compress) किया जाए।
2. "स्मार्ट पैकिंग" (रोटेशन)
OSCAR इस मैप का उपयोग डेटा को एक ऐसे आकार में घुमाने के लिए करता है जो कंप्रेशन के लिए एकदम सही हो।
- उपमा: कमरे को बेतरतीब ढंग से घुमाने के बजाय, OSCAR फर्नीचर को इस तरह व्यवस्थित करता है कि सभी नाजुक वस्तुएं एक ऐसे तरीके से लाइन में लग जाएं जो छोटे बॉक्स में पूरी तरह फिट हो सके। यह "महत्वपूर्ण दिशाओं" को "शोर" (noise) से अलग कर देता है।
- जादू: ऐसा करके, वे डेटा को 2 बिट्स (अत्यंत छोटा) तक सिकोड़ सकते हैं और फिर भी मूल हाई-डेफिनिशन संस्करण के लगभग समान सटीकता बनाए रख सकते हैं।
3. "हाइब्रिड वेयरहाउस" (सिस्टम)
OSCAR सब कुछ एक साथ कंप्रेस नहीं करता है। यह एक चतुर हाइब्रिड सिस्टम का उपयोग करता है:
- "सिंक" (Sink) और "रिसेंट" (Recent) टोकन: कहानी के शुरुआती कुछ शब्द (शुरुआत के शब्द) और आखिरी कुछ शब्द (जो आपने अभी कहा) को हाई-डेफिनिशन में रखा जाता है। ये सबसे महत्वपूर्ण एंकर (anchors) हैं।
- "हिस्ट्री" (History) टोकन: बातचीत का बीच का हिस्सा (लंबा इतिहास) वह हिस्सा है जिसे स्मार्ट OSCAR रोटेशन का उपयोग करके नन्हे 2-बिट स्केच में संकुचित किया जाता है।
यह क्यों मायने रखता है (परिणाम)
इस पेपर ने परीक्षण के लिए कुछ सबसे स्मार्ट AI मॉडल्स (जैसे Qwen और GLM) का उपयोग बहुत लंबे संदर्भों (contexts) के साथ किया।
- सटीकता: जब अन्य तरीकों ने 2 बिट तक कंप्रेस करने की कोशिश की, तो मॉडल लगभग सोचना ही भूल गए (सटीकता शून्य के करीब गिर गई)। OSCAR ने मॉडल्स को मूल हाई-डेफिनिशन संस्करण जितना ही स्मार्ट बनाए रखा।
- गति और मेमोरी: क्योंकि डेटा 8 गुना छोटा है, इसलिए गोदाम में 8 गुना अधिक बातचीत समा सकती है। इसका मतलब है कि यह सिस्टम मेमोरी खत्म हुए बिना एक साथ 7 गुना अधिक उपयोगकर्ताओं को संभाल सकता है।
- वास्तविक दुनिया के लिए तैयार: लेखकों ने केवल सिद्धांत नहीं लिखा; उन्होंने एक कामकाजी सिस्टम बनाया है जो आधुनिक AI सर्वरों (SGLang और vLLM) में फिट बैठता है। यह ऐसा है जैसे उन्होंने केवल एक बेहतर बॉक्स ही नहीं डिजाइन किया; बल्कि उन्होंने एक नया ट्रक भी बनाया है जो उस बॉक्स का उपयोग करता है और तेज़ चलता है।
सारांश
OSCAR एक ऐसी विधि है जो AI मॉडल्स को "भूलने" से रोकती है जब वे मेमोरी बचाने की कोशिश करते हैं। डेटा को अंधाधुंध कुचलने के बजाय, यह पहले अध्ययन करता है कि AI वास्तव में किस बात की परवाह करता है, फिर उन जरूरतों के अनुसार डेटा को पुनर्व्यवस्थित करता है, और फिर उसे संकुचित करता है। यह AI को बहुत कम मेमोरी का उपयोग करके सूचना की विशाल मात्रा (जैसे एक पूरी किताब) को याद रखने की अनुमति देता है, बिना अपनी बुद्धिमत्ता खोए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।