An Empirical Study of OpenPangu Quantization on Ascend NPUs
यह शोध पत्र Huawei Ascend 910B1 NPUs पर OpenPangu 1B और 7B मॉडलों के लिए विभिन्न पोस्ट-ट्रेनिंग क्वांटाइजेशन विधियों का मूल्यांकन करने वाला एक अनुभवजन्य अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि 8-बिट क्वांटाइजेशन प्रभावी रूप से लॉसलेस है जबकि 4-बिट केवल बड़े मॉडल के लिए व्यावहारिक बना हुआ है, और अल्ट्रा-लो प्रिसिजन सेटिंग्स काफी हद तक विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास दो बहुत बुद्धिमान रोबोट हैं, एक छोटा (1B मॉडल) और एक बड़ा (7B मॉडल)। ये रोबोट बहुत ही शानदार पुस्तकालयाध्यक्षों (librarians) की तरह हैं जो पढ़ सकते हैं, लिख सकते हैं और समस्याओं को हल कर सकते हैं। हालाँकि, वर्तमान में उन्होंने भारी, फूले हुए कोट (मूल "FP16" फॉर्मेट) पहने हुए हैं, जो आपके बैकपैक में बहुत अधिक जगह घेर रहे हैं। आप इन कोटों को सिकोड़ना चाहते हैं ताकि आप उन्हें एक विशेष प्रकार के हाइकिंग गियर जिसे Ascend NPU (हुआवेई द्वारा बनाया गया एक विशेष चिप) कहा जाता है, पर ले जा सकें, लेकिन आप इस बात से चिंतित हैं कि यदि आपने कोटों को बहुत अधिक सिकोड़ दिया, तो कहीं रोबोट सोचना न भूल जाएं।
यह शोध पत्र एक "तनाव परीक्षण" (stress test) है यह देखने के लिए कि हम इन रोबोट के कोटों को कितना सिकोड़ सकते हैं इससे पहले कि वे ठीक से काम करना बंद कर दें। शोधकर्ताओं ने डेटा को कंप्रेस करने के विभिन्न तरीकों का परीक्षण किया, जिसमें मामूली ट्रिमिंग से लेकर भारी कटौती तक शामिल है।
यहाँ उन्होंने क्या पाया, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
1. "हल्की ट्रिमिंग" (8-bit Quantization)
परिणाम: यदि आप कोटों को थोड़ा सा ट्रिम करते हैं (8 बिट तक), तो रोबोट अपने मूल, भारी कोट वाले स्वरूप से अभेद्य (indistinguishable) रहते हैं।
- उपमा: यह एक भारी विंटर कोट से अतिरिक्त अस्तर (lining) निकालने जैसा है। यह हल्का और ले जाने में आसान है, लेकिन रोबोट अभी भी बिल्कुल वैसा ही महसूस करता है और गणित की समस्याओं को हल करने, कोड लिखने और चुटकुले सुनाने में उतना ही सक्षम है जितना कि पहले था।
- निर्णय: यह सबसे सुरक्षित दांव है। यदि आप बिना बुद्धिमत्ता खोए जगह बचाना चाहते हैं, तो ऐसा करें।
2. "भारी सिकुड़न" (4-bit Quantization)
परिणाम: यहाँ रोबोट का आकार मायने रखता है।
- बड़ा रोबोट (7B): जब आप बड़े रोबोट के कोट को 4 बिट तक सिकोड़ते हैं, तो यह अभी भी काफी अच्छा काम करता है। यह अभी भी अधिकांश चीजें कर सकता है, हालांकि यह बहुत कठिन गणित या कोडिंग पहेलियों पर थोड़ा लड़खड़ा सकता है।
- छोटा रोबोट (1B): जब आप छोटे रोबोट के कोट को 4 बिट तक सिकोड़ने की कोशिश करते हैं, तो यह अपना मानसिक संतुलन खोने लगता है। यह तर्क (reasoning), गणित और कोडिंग कार्यों में भ्रमित हो जाता है।
- उपमा: कल्पना कीजिए कि बड़ा रोबोट एक मजबूत वयस्क है जो अपने भारी जूते उतारने के बाद भी मैराथन दौड़ सकता है। छोटा रोबोट एक बच्चा है; यदि आप उसके भारी जूते छीन लेते हैं, तो वह कमरे के आर-पार चलने में भी लड़खड़ा जाएगा।
- निर्णय: बड़े रोबोट के लिए, 4 बिट ठीक है। छोटे रोबोट के लिए, गंभीर कार्यों के लिए 4 बिट बहुत जोखिम भरा है।
3. "अत्यधिक संपीड़न" (2-bit और Binary)
परिणाम: जब शोधकर्ताओं ने कोटों को 2 बिट या यहाँ तक कि 1 बिट (बाइनरी) तक सिकोड़ने की कोशिश की, तो रोबोट पूरी तरह से टूट गए।
- उपमा: यह एक पूरी विश्वकोश (encyclopedia) को एक सिंगल स्टिकी नोट में फिट करने की कोशिश करने जैसा है। रोबोट बेतरतीब ढंग से अनुमान लगाने लगे। उनके उत्तर निरर्थक हो गए, और उनकी "परप्लेक्सिटी" (एक स्कोर जो बताता है कि वे कितने भ्रमित हैं) आसमान छूने लगी, जो अनिवार्य रूप से अनंत हो गई।
- निर्णय: ऐसा न करें। इस स्तर के संपीड़न पर रोबोट प्रभावी रूप से बेकार हैं।
4. "विशेष श्रिंक रैप्स" (विभिन्न विधियाँ)
शोधकर्ताओं ने कोटों को सिकोड़ने के लिए विभिन्न "तकनीकों" का परीक्षण किया, जैसे AWQ, GPTQ, और SmoothQuant।
- AWQ एक ऐसे दर्जी की तरह था जो जानता था कि आकार को एकदम सही रखने के लिए कपड़े को कहाँ से काटना है। यह सबसे अच्छा काम करता था, विशेष रूप से बड़े रोबोट के लिए 4 बिट पर।
- SmoothQuant ने कोट और रोबोट के आंतरिक तंत्रिका तंत्र (activations) दोनों को सिकोड़ने की कोशिश की। जबकि यह 8 बिट पर ठीक काम करता था, जब उन्होंने इसे 4 बिट तक सिकोड़ने की कोशिश की, तो रोबोट का तंत्रिका तंत्र शॉर्ट-सर्किट हो गया, जिससे क्रैश (non-finite errors) हो गया।
- निर्णय: कुछ सिकुड़ने की विधियाँ दूसरों से अधिक स्मार्ट होती हैं। AWQ इस काम के लिए सबसे अच्छा दर्जी है, लेकिन रोबोट के आंतरिक तंत्रिका तंत्र (activations) को सिकोड़ना वर्तमान में बहुत खतरनाक है।
5. "ग्रैनुलैरिटी" (कपड़े को कैसे काटना)
शोध पत्र ने यह भी देखा कि कपड़े को कैसे काटा गया। उन्होंने पाया कि कपड़े को छोटे, विशिष्ट पैच (per-group) में काटना एक लंबी पट्टी (per-channel) में काटने से बेहतर काम करता है।
- उपमा: कल्पना कीजिए कि एक रजाई (quilt) को पैच कर रहे हैं। यदि आप पूरे रजाई को कपड़े के एक विशाल टुकड़े से पैच करते हैं, तो यह अजीब दिखता है और ठीक से फिट नहीं होता। यदि आप कपड़े को छोटे वर्गों में काटते हैं जो प्रत्येक विशिष्ट हिस्से में फिट बैठते हैं, तो रजाई एकदम सही दिखती है।
- निर्णय: हमेशा "छोटे पैच" वाली विधि (per-group) का उपयोग करें यदि आपका हार्डवेयर इसका समर्थन करता है। यह रोबोट को अधिक स्मार्ट बनाए रखता है।
हाइकर (Hiker) के लिए सारांश
यदि आप अपने Ascend NPU गियर को पैक कर रहे हैं:
- सुरक्षित विकल्प: कोट को 8 बिट तक सिकोड़ें। रोबोट स्मार्ट बना रहता है, और आप जगह बचाते हैं।
- जोखिम भरा विकल्प: केवल तभी 4 बिट तक सिकोड़ें जब आपके पास बड़ा रोबोट (7B) हो और आप AWQ विधि का उपयोग कर रहे हों। यदि आपको गणित या कोडिंग करने के लिए छोटे रोबोट (1B) की आवश्यकता है, तो इससे बचें।
- बचें: 2 बिट या 1 बिट तक सिकोड़ने की कोशिश न करें। रोबोट काम करना बंद कर देगा।
- चेतावनी: अभी रोबोट के आंतरिक तंत्रिका तंत्र (activations) को सिकोड़ने की कोशिश न करें; इससे क्रैश हो जाता है।
शोध पत्र निष्कर्ष निकालता है कि हालांकि हम इन रोबोटों को छोटा और अधिक पोर्टेबल बना सकते हैं, लेकिन एक सख्त सीमा है। हम उन्हें बिना उनके दिमाग को खराब किए बस यूँ ही सिकोड़ते नहीं जा सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।