AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization
यह शोध पत्र AAAC को प्रस्तुत करता है, जो एक हल्का पोस्ट-ट्रेनिंग क्वांटाइजेशन तरीका है जो एक्टिवेशन-अवेयर एडेप्टिव कोडबुक्स का उपयोग करके स्टेट-ऑफ-द-आर्ट 4-बिट एलएलएम वेट कंप्रेशन प्राप्त करता है, जिससे नगण्य स्टोरेज ओवरहेड के साथ पुनर्निर्माण त्रुटि न्यूनतम होती है और मौजूदा ग्रेडिएंट-आधारित दृष्टिकोणों की तुलना में काफी तेज़ क्वांटाइजेशन समय मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जिसे आप अपनी जेब में ले जाना चाहते हैं। किताबें बहुत बड़ी हैं, इसलिए आप उन्हें फिट होने के लिए सिकोड़ने का निर्णय लेते हैं। इस प्रक्रिया को क्वांटाइजेशन (quantization) कहा जाता है।
वर्तमान में, अधिकांश लोग इन किताबों को सिकोड़ने के लिए हर शब्द को 4-बिट "स्लॉट्स" के एक कठोर, पूर्व-निर्धारित ग्रिड में जबरदस्ती फिट करते हैं। इसे इस तरह समझें जैसे किसी अनियमित आकार के पत्थरों को लेगो (Lego) ब्रिक्स के बिल्कुल चौकोर बक्सों में फिट करने की कोशिश करना। आपको पत्थरों को काटने या उन्हें कुचलने के लिए मजबूर होना पड़ता है, जिससे कुछ विवरण खो जाते हैं और कहानी थोड़ी धुंधली हो जाती है।
मौजूदा तरीके इस समस्या को ठीक करने के लिए पत्थरों को घुमाने या बक्से में पैडिंग देने की कोशिश करते हैं, लेकिन उन्हें अभी भी उसी कठोर लेगो ग्रिड का उपयोग करना पड़ता है।
AAAC (एक्टिवेशन-अवेयर एडेप्टिव कोडबुक्स) किताबों को सिकोड़ने का एक स्मार्ट तरीका प्रस्तावित करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. समस्या: "एक ही आकार सबके लिए" वाला ग्रिड
मानक 4-बिट क्वांटाइजेशन में, संख्याओं के हर समूह (वेट्स) को एक ही निश्चित मानों के सेट (जैसे 16 आइटम वाला एक निश्चित मेनू) से जुड़ने के लिए मजबूर किया जाता है। यदि कोई संख्या पूरी तरह से फिट नहीं बैठती है, तो उसे निकटतम विकल्प तक राउंड (round) कर दिया जाता है, जिससे सटीकता कम हो जाती है।
2. AAAC समाधान: दो कस्टम टूलकिट
मॉडल के प्रत्येक लेयर के लिए एक ही निश्चित मेनू के बजाय, AAAC दो छोटे, कस्टम टूलकिट (जिन्हें कोडबुक कहा जाता है) बनाता है।
- छोटा आकार: ये टूलकिट अविश्वसनीय रूप से छोटे हैं—प्रति लेयर केवल लगभग 64 बाइट्स। यह लगभग एक टेक्स्ट मैसेज में एक इमोजी के आकार के बराबर है।
- कस्टम निर्मित: निश्चित होने के बजाय, ये टूलकिट मॉडल की गतिविधि के एक छोटे से नमूने से "सीखे" (learned) जाते हैं। वे विशेष रूप से उस विशिष्ट लेयर के पत्थरों (वेट्स) के आकार के अनुरूप बनाए जाते हैं।
3. यह कैसे चुनता है: "साइन बिट" (Sign Bit) की ट्रिक
प्रत्येक समूह के लिए, AAAC तय करता है कि कौन सा दो कस्टम टूलकिट सबसे अच्छा फिट बैठता है।
- निर्णय: यह उस टूलकिट को चुनता है जो त्रुटि (error) को कम करता है, विशेष रूप से इस बात पर ध्यान देता है कि मॉडल वर्तमान में कैसे "सोच" रहा है (एक्टिवेशंस) के आधार पर कौन सी संख्याएँ "महत्वपूर्ण" हैं।
- जादुई स्टोरेज: यहाँ चालाकी भरा हिस्सा है। मॉडल पहले से ही अपने स्केल नंबरों के लिए एक "साइन बिट" (प्लस या माइनस का संकेतक) स्टोर करता है। हालाँकि, क्योंकि ये स्केल नंबर हमेशा सकारात्मक होते हैं, वह साइन बिट आमतौर पर खाली (बर्बाद) रहता है। AAAC टूलकिट के चुनाव (0 या 1) को इसी अनयूज्ड साइन बिट के अंदर छिपा देता है।
- परिणाम: आपको बिना किसी अतिरिक्त स्टोरेज स्पेस के एक स्मार्ट, कस्टम फिट मिलता है। यह मॉडल में शून्य अतिरिक्त स्टोरेज स्पेस जोड़ता है।
4. गति और दक्षता: "हल्का" दृष्टिकोण
अन्य कई तरीके जो सटीकता में सुधार करने की कोशिश करते हैं, उन्हें भारी मेहनत की आवश्यकता होती है:
- ग्रेडिएंट-आधारित तरीके (Gradient-based methods): ये एक मैराथन दौड़ते समय पहेली सुलझाने की तरह हैं; उन्हें जटिल गणित को पीछे की ओर (backwards) कैलकुलेट करने के लिए घंटों के समय और भारी मात्रा में कंप्यूटर मेमोरी (RAM) की आवश्यकता होती है।
- AAAC: यह एक सरल, तेज़ ह्यूरिस्टिक (heuristic) के साथ पहेली सुलझाने जैसा है। इसे पीछे की ओर चलने या भारी मेमोरी की आवश्यकता नहीं है। यह बस डेटा को एक बार देखता है, एक त्वरित "क्लस्टरिंग" (समान वस्तुओं को समूह में बनाना) करता है, और सबसे अच्छे टूलकिट चुनता है।
- समय: यह एक सिंगल ग्राफिक्स कार्ड पर 3 से 30 मिनट में पूरा हो जाता है, जबकि अन्य उच्च-गुणवत्ता वाले तरीकों को घंटों लग सकते हैं।
5. परिणाम
पेपर ने विभिन्न मॉडल आकारों (1B से लेकर 27B तक के छोटे मॉडल) में AAAC का कई अन्य लोकप्रिय तरीकों (जैसे AWQ, GPTQ, और OmniQuant) के विरुद्ध परीक्षण किया।
- सटीकता: AAAC ने अन्य "लाइटवेट" तरीकों की तुलना में लगातार अधिक स्पष्ट और सटीक परिणाम दिए।
- प्रतिस्पर्धा: इसने उन "भारी" तरीकों की बराबरी भी की या उन्हें पीछे छोड़ दिया जिन्हें चलाने में घंटों लगते हैं, लेकिन इसने यह काम मिनटों में कर दिखाया।
- संयोजन: जब इसे AWQ नामक दूसरे तरीके के साथ जोड़ा गया, तो इसने संपीड़न (compression) के दौरान खोई हुई गुणवत्ता का 70% से अधिक हिस्सा वापस पा लिया, जो मूल पूर्ण-आकार के मॉडल के बहुत करीब पहुँच गया।
सारांश
AAAC एआई मॉडल्स को सिकोड़ने का एक तेज़, मेमोरी-मुक्त तरीका है। डेटा को एक कठोर, पूर्व-निर्धारित ग्रिड में फिट करने के बजाय, यह प्रत्येक लेयर के लिए दो छोटे, कस्टम ग्रिड बनाता है और ग्रिड चुनने की जानकारी को एक बर्बाद बिट के स्थान में छिपा देता है। यह मिनटों में उच्च सटीकता प्राप्त करता है, बिना उस भारी कंप्यूटिंग पावर की आवश्यकता के जिसकी पुराने, अधिक जटिल तरीकों को जरूरत होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।