InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization
InfoQuant एक ट्रेनिंग-फ्री पोस्ट-ट्रेनिंग क्वांटाइजेशन विधि है जो पीक सप्रेशन ऑर्थोगोनल ट्रांसफॉर्मेशन (PSOT) और एडेप्टिव आउटलायर-टोकन सिलेक्शन का उपयोग करती है ताकि एक्टिवेशन डिस्ट्रीब्यूशन को एक कॉम्पैक्ट और सुव्यवस्थित रूप में पुनर्गठित किया जा सके, जिससे क्वांटाइजेशन एरर काफी कम हो जाता है और यह मौजूदा लो-बिट LLM डिप्लॉयमेंट बेसलाइन्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ INFOQUANT पेपर का स्पष्टीकरण दिया गया है, जिसे सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।
बड़ी समस्या: "बहुत ऊँचा" बॉक्स
कल्पंतना कीजिए कि आपके पास रेत का एक विशाल, अस्त-व्यस्त ढेर है (यह एक लार्ज लैंग्वेज मॉडल, या LLM के भीतर के डेटा का प्रतिनिधित्व करता है)। आप इस रेत को जगह बचाने और इसे ले जाने में आसान बनाने के लिए एक छोटे, व्यवस्थित बॉक्स में पैक करना चाहते हैं (यह क्वांटाइजेशन (quantization) है—मॉडल को छोटा करना ताकि यह तेज़ी से चले और कम मेमोरी का उपयोग करे)।
आमतौर पर, अधिकांश रेत एक सामान्य, प्रबंधनीय ऊंचाई की होती है। लेकिन, रेत के कुछ विशाल उभार (spikes) आसमान में बहुत ऊपर तक निकल रहे हैं (इन्हें आउटलायर्स (outliers) कहा जाता है)।
इन कुछ विशाल उभारों के कारण, आपको सब कुछ फिट करने के लिए एक बहुत बड़ा बॉक्स इस्तेमाल करने के लिए मजबूर होना पड़ता है। एक बार जब आप उस बड़े बॉक्स में रेत डाल देते हैं, तो नीचे की "सामान्य" रेत एक बहुत पतली, सपाट परत में दब जाती है। जब आप बाद में रेत निकालने की कोशिश करते हैं, तो आप सामान्य रेत की विभिन्न परतों के बीच अंतर नहीं कर पाते क्योंकि वे सभी एक ही स्थान पर चपटी हो गई हैं। मॉडल अपनी स्पष्ट रूप से "सोचने" की क्षमता खो देता है।
पुराने समाधान: उभारों को दबाना
पिछले तरीकों ने इसे ठीक करने की कोशिश की:
- उभारों को कुचलना: रेत के विशाल ढेरों के ऊपरी हिस्से को काटने की कोशिश करना।
- उभारों को हटाना: भारी रेत को एक जगह से दूसरी जगह खिसकाना।
समस्या यह है कि भले ही आप उभारों को काट दें, फिर भी बची हुई रेत इस तरह से जमा हो सकती है जो छोटे बॉक्स में ठीक से फिट न हो। आपके पास एक छोटा बॉक्स तो हो सकता है, लेकिन रेत अभी भी इस तरह से गुच्छों में हो सकती है जिससे रेत के अलग-अलग कणों के बीच अंतर करना कठिन हो जाए।
नया विचार: INFOQUANT
इस पेपर के लेखक, INFOQUANT ने महसूस किया कि लक्ष्य केवल रेत को "छोटा" करना नहीं है। लक्ष्य यह है कि रेत ऐसी दिखे जैसे उसे बॉक्स के लिए ही डिज़ाइन किया गया हो।
वे एक नया सवाल पूछते हैं: "रेत का वह ढेर कैसा दिखता है जो एक छोटे बॉक्स में पूरी तरह फिट बैठता है?"
उनका उत्तर है: इसे छोटा (ताकि बॉक्स में फिट हो सके) लेकिन साथ ही समान रूप से फैला हुआ (ताकि आप रेत के हर कण को देख सकें) होना चाहिए।
INFOQUANT कैसे काम करता है (3-स्टेप रेसिपी)
1. "स्पिन एंड स्प्रेड" (पीक सप्रेशन ऑर्थोगोनल ट्रांसफॉर्मेशन)
कल्पना कीजिए कि रेत एक घूमते हुए लट्टू (spinning top) में है। लेखक रेत को घुमाने के लिए एक विशेष गणितीय ट्रिक (ऑर्थोगोनल रोटेशन) का उपयोग करते हैं।
- यह क्या करता है: यह उन विशाल उभारों को लेता है और उनकी ऊर्जा को पूरे ढेर में फैला देता है।
- परिणाम: विशाल उभार गायब हो जाते हैं, और रेत एक चिकनी, चौड़ी पहाड़ी बन जाती है। महत्वपूर्ण बात यह है कि पहाड़ी अब छोटी (बॉक्स में फिट होने के लिए) लेकिन चौड़ी (ताकि रेत फैली रहे और आप परतों के बीच अंतर कर सकें) है।
2. "स्मार्ट स्काउट" (एडैप्टिव आउटलायर-टोकन सिलेक्शन)
कभी-कभी, रेत के ढेर में कुछ अजीब, शोर वाले स्थान होते हैं जो उभारों जैसे दिखते हैं लेकिन वास्तव में महत्वपूर्ण नहीं होते। यदि आप उन्हें ठीक करने की कोशिश करते हैं, तो आप अच्छे हिस्सों को बिगाड़ सकते हैं।
- यह क्या करता है: INFOQUANT के पास एक "स्काउट" (scout) है जो रेत को देखता है और कहता है, "ठीक है, वह उभार वहां असली और खतरनाक है, चलो उसे ठीक करते हैं। लेकिन वह छोटा सा उभार वहां? उसे अनदेखा कर दो।"
- परिणाम: मॉडल अपनी ऊर्जा वास्तविक समस्याओं को ठीक करने में केंद्रित करता है, जिससे यह अधिक मजबूत बनता है और भ्रमित होने की संभावना कम हो जाती है।
3. "फाइन-ट्यूनिंग क्लिप" (लर्नेबल एक्टिवेशन क्लिपिंग)
रेत को घुमाने और फैलाने के बाद, लेखक एक अंतिम जांच करते हैं। वे बॉक्स के सटीक आकार को समायोजित करते हैं ताकि यह सुनिश्चित हो सके कि रेत बिना किसी अंतराल या कुचले पूरी तरह से फिट हो जाए।
- परिणाम: अंतिम पैकेज बॉक्स के विशिष्ट आकार के लिए अनुकूलित होता है, जिससे यह सुनिश्चित होता है कि कोनों में कोई जानकारी नष्ट न हो।
यह क्यों महत्वपूर्ण है
इस पेपर का परीक्षण प्रसिद्ध AI मॉडलों (जैसे LLaMA-2 और LLaMA-3) पर किया गया।
- परिणाम: जब उन्होंने मॉडलों को 4-बिट तक छोटा किया (एक बहुत छोटा आकार, जैसे 100 पन्नों की किताब को पोस्टकार्ड में बदलना), तो INFOQUANT ने अपनी 97% मूल बुद्धिमत्ता को बनाए रखा।
- तुलना: पिछले तरीकों ने इस आकार तक सिकुड़ने पर बहुत अधिक बुद्धिमत्ता खो दी। INFOQUANT "पोस्टकार्ड" को पढ़ने योग्य और उपयोगी बनाए रखने में सफल रहा, जबकि अन्य तरीकों ने इसे एक धुंधले निशान में बदल दिया।
निचोड़ (The Bottom Line)
INFOQUANT को एक मास्टर पैकर (master packer) के रूप में देखें। केवल एक बिखरी हुई, नुकीली रेत की ढेरी को छोटे बॉक्स में जबरदस्ती डालने के बजाय (जो विवरणों को कुचल देता है), वे पहले ढेर को नया आकार देते हैं ताकि वह स्वाभाविक रूप से बॉक्स में पूरी तरह फिट हो सके। वे ढेर को इतना छोटा बनाते हैं कि वह फिट हो जाए, लेकिन इतना फैला हुआ भी बनाते हैं कि उसके सभी विवरण दिखाई देते रहें।
यह हमें बड़े, शक्तिशाली AI मॉडलों को बिना उनकी "बौद्धिक क्षमता" खोए, छोटे और सस्ते कंप्यूटरों पर चलाने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।