PolarQuant: Optimal Gaussian Weight Quantization via Hadamard Rotation for LLM Compression
PolarQuant बड़े भाषा मॉडलों (LLMs) के लिए एक पोस्ट-ट्रेनिंग क्वांटाइजेशन विधि है जो ब्लॉक-वाइज नॉर्मलाइजेशन और वॉल्श-हाडामार्ड रोटेशन को लागू करके वेट्स (weights) को लगभग गॉसियन वितरण में बदलने के माध्यम से लगभग लॉसलेस कंप्रेशन प्राप्त करती है, जिससे बिना किसी कैलिब्रेशन डेटा के अत्यधिक सटीक क्वांटाइजेशन सक्षम होता है और डाउनस्ट्रीम INT4 क्वांटाइज़र के लिए एक प्रभावी प्रीप्रोसेसिंग स्टेप के रूप में कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास ज्ञान का एक विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालय है (Qwen3.5 जैसा एक Large Language Model)। इस पुस्तकालय को एक छोटे से बैकपैक (आपके लैपटॉप या फोन) में फिट करने के लिए, आपको किताबों को सिकोड़ना होगा। इस प्रक्रिया को क्वांटाइजेशन (quantization) कहा जाता है।
मौजूदा संकुचन विधियों के साथ समस्या यह है कि यह एक सूटकेस में सामान भरने की तरह है जहाँ आप सब कुछ बस बेतरतीब ढंग से फेंक देते हैं। अंत में, आप बड़ी और दुर्लभ वस्तुओं (आउटलेयर्स) के लिए बहुत अधिक जगह बर्बाद कर देते हैं, जबकि आम और महत्वपूर्ण वस्तुओं (डेटा के मुख्य भाग) को कुचल देते हैं क्योंकि उनके लिए जगह ही नहीं बचती।
PolarQuant सूटकेस पैक करने का एक नया, चतुर तरीका है। यह केवल किताबों को सिकोड़ता नहीं है; यह पहले उन्हें व्यवस्थित करता है ताकि वे पूरी तरह से फिट हो सकें।
यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "आउटलेयर" (Outlier) की समस्या
कल्पना कीजिए कि आप एक सूटकेस पैक कर रहे हैं। आपके पास ज्यादातर कपड़े सामान्य टी-शर्ट और जींस हैं। लेकिन आपके पास एक बड़ा, फूला हुआ विंटर कोट और कुछ छोटी, नाजुक बालियां भी हैं।
- पुरानी विधि (Absmax): आप सबसे बड़ी वस्तु (विंटर कोट) का माप लेते हैं और उसी को हर चीज़ के लिए पैमाने (रूलर) के रूप में उपयोग करते हैं।
- परिणाम: वह विंटर कोट सूटकेस की 90% जगह घेर लेता है। आपकी टी-शर्ट और जींस इतने छोटे टुकड़ों में दब जाती हैं कि उन्हें पहचानना भी मुश्किल हो जाता है क्योंकि पैमाना बहुत बड़ा है। सूटकेस तो भर जाता है, लेकिन कपड़े बर्बाद हो जाते हैं।
2. समाधान: "जादुई शफल" (Hadamard Rotation)
PolarQuant पैकिंग से पहले एक जादुई कदम पेश करता है। यह आपके कपड़ों के अस्त-व्यस्त ढेर (मॉडल वेट्स) को लेता है और एक हैडामार्ड रोटेशन (Hadamard Rotation) करता है।
इसे एक जादुई शफल (जादुई तरीके से मिलाना) के रूप में सोचें।
- आप उस विशाल विंटर कोट और छोटी बालियों को लेते हैं।
- जादुई शफल उस कोट को धागों में तोड़ देता है और उन्हें जींस और शर्ट के धागों के साथ मिला देता है।
- अचानक, आपके पास एक बड़ी वस्तु और कई छोटी वस्तुएं नहीं रहतीं। इसके बजाय, आपके पास 128 ढेर होते हैं जो लगभग एक ही आकार के होते हैं।
यह क्यों शानदार है?
पेपर का "Aha!" क्षण यह है कि इस शफल के बाद, डेटा एक आदर्श बेल कर्व (Bell Curve) (गाऊसी वितरण/Gaussian distribution) की तरह दिखता है। सांख्यिकी (statistics) में, यह वह "गोल्डिलॉक्स" ज़ोन है जहाँ सब कुछ अनुमानित और समान रूप से फैला हुआ होता है।
3. पैकिंग: सटीक फिटिंग
अब जब आपके सभी "कपड़े" (डेटा पॉइंट्स) लगभग एक ही आकार और आकार के हैं, तो आप उन्हें कुशलतापूर्वक पैक कर सकते हैं।
- सेंट्रोइड्स (The Centroids): यह अनुमान लगाने के बजाय कि चीजों को कहाँ रखना है, PolarQuant एक पूर्व-निर्धारित मानचित्र (Lloyd–Max centroids) का उपयोग करता है जो आपको बताता है कि नुकसान को कम करने के लिए प्रत्येक वस्तु को बिल्कुल कहाँ रखना है।
- परिणाम: आप पूरे पुस्तकालय को बिना किसी गुणवत्ता हानि के बहुत कम स्थान में फिट कर सकते हैं।
"सीक्रेट सॉस": शफल 98% काम करता है
लेखकों ने यह देखने के लिए एक परीक्षण किया कि वास्तव में भारी काम कौन कर रहा है। उन्होंने कुछ आश्चर्यजनक पाया:
- जादुई शफल (Hadamard Rotation): सुधार में 98% का योगदान देता है।
- परफेक्ट मैप (Centroids): केवल 2% का योगदान देता है।
यह स्पष्ट है कि डेटा को केवल एक समान बनाने के लिए पुनर्व्यवस्थित करना ही सबसे कठिन हिस्सा है। एक बार जब आप ऐसा कर लेते हैं, तो कोई भी साधारण पैकिंग विधि चमत्कार कर देती है।
यह आपके लिए क्यों मायने रखता है
- अपने लैपटॉप पर AI चलाएं: एक 9-बिलियन पैरामीटर वाले मॉडल को आमतौर पर एक विशाल, महंगे सर्वर GPU (18GB मेमोरी) की आवश्यकता होती है। PolarQuant के साथ, आप इसे एक मानक लैपटॉप या केवल 4.8GB मेमोरी वाले Apple Mac mini पर भी चला सकते हैं।
- ट्रेनिंग की आवश्यकता नहीं: आपको AI को फिर से बोलना सिखाने की ज़रूरत नहीं है। यह एक "पोस्ट-ट्रेनिंग" विधि है, जिसका अर्थ है कि आप एक मौजूदा मॉडल को ले सकते हैं और बिना किसी अतिरिक्त डेटा के उसे तुरंत सिकोड़ सकते हैं।
- गति: यह AI को धीमा नहीं करता है। वास्तव में, क्योंकि डेटा इतनी सफाई से पैक किया गया है, कंप्यूटर इसे पहले की तरह ही तेज़ी से पढ़ सकता है।
"डबल पैकिंग" का तरीका
पेपर एक और शानदार ट्रिक भी दिखाता है: आप मॉडल को 5 बिट तक सिकोड़ने के लिए PolarQuant का उपयोग कर सकते हैं, उसे थोड़ा अनपैक कर सकते हैं, और फिर मानक उपकरणों का उपयोग करके इसे दोबारा 4 बिट तक सिकोड़ सकते हैं।
- उपमा: कल्पना कीजिए कि आप एक फ़ाइल को ZIP के साथ कंप्रेस करते हैं, फिर उसे खोलते हैं, और फिर उसे RAR के साथ फिर से कंप्रेस करते हैं। आमतौर पर, इससे फ़ाइल खराब हो जाती है। लेकिन क्योंकि PolarQuant ने पहले ही डेटा को "साफ" कर दिया है, दूसरा कंप्रेशन स्टेप मूल अस्त-व्यस्त फ़ाइल को सीधे कंप्रेस करने की तुलना में बेहतर काम करता है।
सारांश
PolarQuant एक पेशेवर पैक करने वाले की तरह है जो जानता है कि यदि आप वस्तुओं को इस तरह से आस-पास शफल (मिला) दें कि वे सभी एक ही आकार की हो जाएं, तो आप बिना एक भी शर्ट को कुचले, अपनी पूरी वॉर्डरोब को एक कैरी-ऑन बैग में फिट कर सकते हैं। यह शक्तिशाली AI को रोज़मर्रा के उपकरणों पर चलाना संभव, तेज़ और मुफ्त बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।