🤖 machine learning

QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling

QAM-W एक संयुक्त 2D कोडबुक क्वांटाइजेशन विधि पेश करता है जो LLM वेट्स के लिए है और जो पेयरवाइज कोऑर्डिनेट संरचनाओं को संरक्षित करने के लिए हैडामार्ड रोटेशन और एक्टिवेशन-अवेयर स्केलिंग का उपयोग करता है, जिससे लगभग 5.5 बिट्स प्रति वेट पर नियर-BF16 परप्लेक्सिटी प्राप्त होती है और पोलर कोडिंग से बेहतर प्रदर्शन करते हुए काफी कम वेट बिट्स के साथ स्मूथक्वांट (SmoothQuant) की गुणवत्ता से मेल खाता है।

मूल लेखक: Preetam Sharma, Kacper Dobek

प्रकाशित 2026-05-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Preetam Sharma, Kacper Dobek

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो अविश्वसनीय रूप से स्मार्ट है लेकिन बहुत अधिक जगह घेरता है। इसे आसानी से ले जाने के लिए, आप इन किताबों को सिकोड़ना चाहते हैं। इस प्रक्रिया को क्वांटाइजेशन (quantization) कहा जाता है।

किताबों को सिकोड़ने के अधिकांश वर्तमान तरीके ऐसे हैं जैसे किसी शब्दकोश से हर एक शब्द को एक छोटे नंबर कोड से बदलना, एक-एक करके। यह सरल है, लेकिन यह इस बात को अनदेखा करता है कि शब्द अक्सर जोड़ों या समूहों में आते हैं जिनका एक विशिष्ट संबंध होता है। यदि आप उन्हें अलग-थलग व्यक्तियों के रूप में देखते हैं, तो आप कहानी की बारीकियों को खो देते हैं।

यह शोध पत्र एक नई विधि पेश करता है जिसे QAM-W (वेट्स के लिए क्वाड्रैचर एम्प्लीट्यूड मॉड्यूलेशन) कहा जाता है। सोचिए कि यह किताबों को पैक करने का एक स्मार्ट और अधिक कुशल तरीका है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए यहाँ दिया गया है:

1. समस्या: "सोलो डांसर" बनाम "डुएट"

कल्पना कीजिए कि एक AI मॉडल में वेट्स (weights) डांसर हैं।

पुरानी विधि (स्केलर क्वांटाइजेशन): पुराना तरीका हर डांसर के साथ ऐसे व्यवहार करता है जैसे वह सोलो (अकेले) प्रदर्शन कर रहा हो। यह प्रत्येक डांसर को व्यक्तिगत रूप से देखता है और कहता है, "आप एक '3' हैं, आप एक '7' हैं।" यह इस बात को अनदेखा करता है कि दो डांसर हाथ पकड़कर या तालमेल में नाच रहे हो सकते हैं।
QAM-W की अंतर्दृष्टि: लेखकों ने महसूस किया कि डेटा की एक पंक्ति के भीतर, ये "डांसर" वास्तव में जोड़ों में नाच रहे हैं। वे आपस में जुड़े हुए (correlated) हैं। उन्हें दो अलग-अलग सोलो कलाकारों के रूप में कोड करने के बजाय, QAM-W उन्हें एक डुएट (जोड़ी) के रूप में मानता है।

2. समाधान: "मैजिक स्पिन" और "पेयरिंग"

QAM-W बिना कहानी खोए मॉडल को सिकोड़ने के लिए तीन-चरणीय प्रक्रिया का उपयोग करता है:

चरण A: मैजिक स्पिन (हैडामार्ड रोटेशन):
कल्पना कीजिए कि डांसर एक अव्यवस्थित, भीड़भाड़ वाले कमरे में खड़े हैं। QAM-W एक "मैजिक स्पिन" (एक गणितीय रोटेशन) लागू करता है जो उन्हें पुनर्व्यवस्थित करता है। अचानक, जो डांसर बेतरतीब ढंग से घूम रहे थे, वे अब जोड़े में एकदम सटीक रूप से व्यवस्थित हो जाते हैं, जो एक सुचारू, गोलाकार पैटर्न में चलते हैं। यह उन्हें गणितीय रूप से वर्णित करना बहुत आसान बना देता है।
चरण B: "डुएट" कोडबुक:
प्रत्येक डांसर को एक अलग नंबर देने के बजाय, QAM-W उस जोड़े को एक मानचित्र पर एक एकल बिंदु के रूप में देखता है। यह एक पहले से बने "मानचित्र" (कोडबुक) का उपयोग करता है, जिसे इस बात पर प्रशिक्षित किया गया है कि ये जोड़े आमतौर पर कैसे व्यवहार करते हैं। यह जोड़ों के लिए मानक नृत्य चालों की एक लाइब्रेरी होने जैसा है। दो अलग-अलग कदमों का वर्णन करने के बजाय, आप बस कहते हैं, "उन्होंने 'वाल्ट्ज #42' की चाल की।" यह दो संख्याओं के बीच के संबंध को पकड़ लेता है, जिससे जगह बचती है।
चरण C: "वॉल्यूम नॉब" (एक्टिवेशन-अवेयर स्केलिंग):
कभी-कभी, मॉडल के कुछ हिस्से बहुत तेज़ (अत्यधिक सक्रिय) होते हैं और अन्य शांत होते हैं। यदि आप तेज़ हिस्सों को बहुत अधिक सिकोड़ देते हैं, तो संगीत विकृत हो जाता है। QAM-W सिकोड़ने से पहले प्रत्येक चैनल के "वॉल्यूम" को सुनता है। यह तेज़ चैनलों की आवाज़ को थोड़ा कम कर देता है ताकि वे छोटे स्थान में बेहतर तरीके से फिट हो सकें, जिससे यह सुनिश्चित होता है कि महत्वपूर्ण जानकारी दब न जाए।

3. परिणाम: छोटा आकार, वही गुणवत्ता

इस शोध पत्र ने पांच अलग-अलग AI मॉडलों (छोटे से मध्यम-बड़े तक) पर इस नई विधि का परीक्षण किया।

"स्वीट स्पॉट": एक विशिष्ट संपीड़न स्तर (लगभग 5.5 बिट्स प्रति वेट) पर, QAM-W ने परिणाम प्राप्त किए जो मूल, बिना संपीड़ित मॉडल के लगभग समान थे।
तुलना: एक लोकप्रिय प्रतिस्पर्धी विधि जिसे SmoothQuant कहा जाता है, को समान गुणवत्ता प्राप्त करने के लिए लगभग 8.1 बिट्स का उपयोग करने की आवश्यकता थी। QAM-W ने उसी परिणाम के लिए 32% कम बिट्स का उपयोग किया।
- उपमा: यह एक सूटकेस पैक करने जैसा है। SmoothQuant को अपने सभी कपड़ों को करीने से रखने के लिए एक बड़े सूटकेस की आवश्यकता होती है। QAM-W कपड़ों को इतनी कुशलता से फोल्ड करता है कि आप बिल्कुल उतनी ही मात्रा में चीज़ें एक बहुत छोटे बैग में फिट कर सकते हैं।

4. यह क्या नहीं करता (सीमाएं)

शोध पत्र बहुत विशिष्ट है कि यह क्या दावा नहीं करता है:

सबसे छोटा नहीं: यदि आप मॉडल को और भी अधिक सिकोड़ने की कोशिश करते हैं (4 बिट्स तक), तो QTIP नामक एक अन्य विधि बेहतर प्रदर्शन करती है। Q-A-M-W "मध्यम-छोटे" रेंज (5-6 बिट्स) में चैंपियन है, "बहुत छोटे" रेंज में नहीं।
स्टोरेज बनाम गति: शोध पत्र यह मापता है कि मॉडल हार्ड ड्राइव या मेमोरी में कितनी जगह लेता है। यह अभी तक यह दावा नहीं करता है कि यह कंप्यूटर चिप पर मॉडल को तेज़ चलाता है, क्योंकि इन संपीड़ित नंबरों का वास्तविक समय में उपयोग करने के लिए सॉफ्टवेयर अभी भी बनाया जा रहा है।

सारांश

QAM-W AI मॉडलों के लिए एक नया "पैकिंग तकनीक" है। यह पहचानकर कि डेटा जोड़ों में आता है, उन्हें एक बेहतर आकार में घुमाकर, और वॉल्यूम के अनुसार तालमेल बिठाकर, यह AI मॉडलों को लगभग एक तिहाई तक सिकोड़ सकता है बिना उन्हें कम स्मार्ट बनाए। यह एक विशेष उपकरण है जो एक विशिष्ट आकार सीमा में सबसे अच्छा काम करता है, जो वर्तमान तरीकों की तुलना में स्टोरेज स्पेस में महत्वपूर्ण बचत प्रदान करता है।

तकनीकी सारांश: QAM-W

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान पोस्ट-ट्रेनिंग क्वांटाइजेशन विधियाँ मुख्य रूप से स्केलर (scalar) हैं, जो प्रत्येक वेट (weight) को स्वतंत्र रूप से एक पूर्णांक इंडेक्स पर मैप करती हैं। सरल होने के बावजूद, स्केलर कोडिंग वेट रोज़ (weight rows) के भीतर निहित युग्मवार समन्वय संरचना (pairwise coordinate structure) को त्याग देती है। लेखक तर्क देते हैं कि एक वेट रो के भीतर, कोऑर्डिनेट्स आमतौर पर सह-संबंधित (correlated) होते हैं; एक ऑर्थोगोनल रोटेशन के बाद, ये कोऑर्डिनेट्स एक 2D सर्कुलर गॉसियन वितरण (circular Gaussian distribution) का अनुमान लगाते हैं। स्केलर कोडबुक्स इस संरचना का लाभ उठाने में विफल रहती हैं, जिससे "रेट-डिस्टॉर्शन स्लैक" (rate-distortion slack) रह जाता है जिसे स्वतंत्र स्केलर के बजाय एक प्लेन में बिंदुओं के रूप में जोड़ों को संयुक्त रूप से क्वांटाइज़ करके प्राप्त किया जा सकता है।

मौजूदा दृष्टिकोण इस समस्या के कुछ हिस्सों को संबोधित करते हैं: रोटेशन-आधारित विधियाँ (जैसे, QuIP, QuIP#) कोऑर्डिनेट मैग्नीट्यूड को समरूप (homogenize) बनाती हैं लेकिन अक्सर स्केलर या लैटिस कोडिंग पर निर्भर करती हैं; एक्टिवेशन-अवेयर विधियाँ (जैसे, AWQ) एक्टिवेशन मैग्नीट्यूड के आधार पर चैनल्स को स्केल करती हैं लेकिन संयुक्त समन्वय संरचना को अछूता छोड़ देती हैं। पेपर का प्रस्ताव है कि एक कोडेक जो रोटेशन, जॉइंट 2D कोडिंग और एक्टिवेशन-अवेयर स्केलिंग को जोड़ता है, कम बिटरेट पर उच्च गुणवत्ता प्राप्त कर सकता है।

कार्यप्रणाली: QAM-W कोडेक (Methodology: The QAM-W Codec)

लेखक QAM-W (वेट्स के लिए क्वाड्रचर एम्प्लीट्यूड मॉड्यूलेशन) पेश करते हैं, जो एक कोडेक है जो निम्नलिखित पाइपलाइन के माध्यम से वेट मैट्रिसेस को रो-दर-रो (row-by-row) प्रोसेस करता है:

स्केल और दिशा का पृथक्करण (Separation of Scale and Direction): रो नॉर्म ( $r = \|w\|_2$ ) को मेटाडेटा के रूप में रिकॉर्ड किया जाता है। रो को एक यूनिट वेक्टर $u$ में सामान्यीकृत (normalize) किया जाता है।
डिटरमिनिस्टिक रोटेशन (Deterministic Rotation): नॉर्मलाइज्ड रो पर एक साइन-मास्क्ड ब्लॉक-हाडामाड रोटेशन (sign-masked block-Hadamard rotation) लागू किया जाता है ( $y = R_{fwd} u$ )। यह रोटेशन वास्तविक अंकगणित (real arithmetic) में एक सटीक आइसोमेट्री (isometry) है, जिसका अर्थ है कि यह कोई गणितीय विरूपण (distortion) पेश नहीं करता है बल्कि कोऑर्डिनेट कोहेरेंस को कम करने के लिए ऊर्जा को पुनर्वितरित करता है।
पेयरिंग और कैलिब्रेशन (Pairing and Calibration): आसन्न (adjacent) रोटेटेड कोऑर्डिनेट्स को जटिल मानों ( $z_k = y_{2k} + i y_{2k+1}$ ) में समूहीकृत किया जाता है। प्रत्येक जोड़े को एक कैलिब्रेटेड फैक्टर $\sigma_k$ द्वारा स्केल किया जाता है, जिसे जोड़ों के औसत आयाम (mean amplitude) से अनुभवजन्य रूप से (empirically) अनुमानित किया जाता है, जो उन्हें सर्कुलर गॉसियन के रूप में मॉडल करता है।
जॉइंट 2D क्वांटाइजेशन (Joint 2D Quantization): पोलर कोडिंग (amplitude और phase को स्वतंत्र रूप से क्वांटाइज़ करने) के बजाय, QAM-W प्रत्येक नॉर्मलाइज्ड जोड़े को यूनिट सर्कुलर गॉसियन वितरण पर प्रशिक्षित एक एकल 2D लॉयड-मैक्स (Lloyd-Max) कोडबुक में निकटतम सेंट्रॉइड (centroid) पर मैप करता है।
एक्टिवेशन-अवेयर स्केलिंग (Activation-Aware Scaling): कोडेक एरर को लेयर के आउटपुट संवेदनशीलता के साथ संरेखित करने के लिए, विधि क्वांटाइजेशन से पहले प्रति-चैनल स्केलिंग फैक्टर्स ( $s_j \propto r_j^\alpha$ ) लागू करती है, जहाँ $r_j$ इनपुट चैनल एक्टिवेशन का RMS है। यह AWQ के तर्क का अनुसरण करते हुए हाई-RMS चैनल्स के योगदान को कम करता है।
डिकोडिंग (Decoding): डिकोडर प्रक्रिया को उल्टा करता है: इंडेक्स को अनपैक करना, सेंट्रॉइड्स को देखना, $\sigma_k$ द्वारा रीस्केल करना, इनवर्स रोटेशन लागू करना, और संग्रहीत रो नॉर्म से गुणा करना।

लेखक सिस्टम का विश्लेषण एक कंपोजिट बाउंड चेन के माध्यम से करते हैं: रोटेशन एक आइसोमेट्री है; जॉइंट 2D कोडिंग फिक्स्ड रेट पर पोलर कोडिंग की तुलना में बेहतर डिस्टॉर्शन प्रदान करती है; और लेयर-आउटपुट एरर एक ट्रेस आइडेंटिटी ( $\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$ ) द्वारा शासित होता है, जो एक्टिवेशन-अवेयर स्केलिंग को प्रेरित करता है।

मुख्य योगदान (Key Contributions)

कोडेक डिज़ाइन: LLM वेट्स के लिए एक रो-नॉर्म-फैक्टर्ड, ब्लॉक-हाडामाड-रोटेटेड, जॉइंट 2D लॉयड-मैक्स कोडेक जिसमें एक्टिवेशन-अवेयर स्केलिंग शामिल है।
सैद्धांतिक विश्लेषण: BF16 और क्वांटाइज्ड मॉडल्स के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस से कोडेक डिस्टॉर्शन (लॉयड डिस्टॉर्शन $D_B$ ) को जोड़ने वाला एक कंपोजिट मोनोटोन बाउंड। बाउंड बताता है कि वास्तविक KL, कोडेक डिस्टॉर्शन की तरह ही मेथड्स को समान रैंक देगा।
क्रॉस-मॉडल अनुभवजन्य अध्ययन (Cross-Model Empirical Study): चार परिवारों (1.1B–13B पैरामीटर्स) से पांच LLMs और आठ क्वांटाइज्ड कॉन्फ़िगरेशन पर मूल्यांकन।
रैंक कोरिलेशन डिस्कवरी: पेपर प्रदर्शित करता है कि 37 (मेथड, मॉडल) कॉन्फ़िगरेशन में, पेयर्ड KL डाइवर्जेंस और $\Delta$ PPL% स्पीयरमैन $\rho = 0.99$ पर रैंक-कोरिलेटेड हैं, जो क्वांटाइजेशन क्वालिटी के डायग्नोस्टिक के रूप में KL के उपयोग को मान्य करता है।

परिणाम (Results)

मूल्यांकन तीन इंस्ट्रक्शन-ट्यून्ड मॉडल्स (TinyLlama-1.1B, Qwen2.5-3B, Mistral-7B) और Llama-2-7B पर एक फ्रंटियर तुलना पर केंद्रित है।

~5.5 bpw पर गुणवत्ता: एक्टिवेशन-अवेयर वेरिएंट ऑफ QAM-W (QAM-W-5.5) सभी परीक्षण किए गए मॉडल्स पर BF16 परप्लेक्सिटी (perplexity) के ±0.4% के भीतर रहता है। यह SmoothQuant W8A8 (जो ~8.1 bpw पर काम करता है) की क्वालिटी एनवेलप से मेल खाता है, लेकिन लगभग 32% कम वेट बिट्स के साथ इसे प्राप्त करता है।
जॉइंट 2D बनाम पोलर: समान बिटरेट (~4 bpw) पर, जॉइंट 2D कोडिंग (QAM-W-4), क्वांटाइजेशन-टोलरेंट मॉडल्स (TinyLlama, Mistral) पर पोलर बेसलाइन (QAM-W-polar) से 1–3 प्रतिशत अंक (pp) में और क्वांटाइजेशन-सेंसिटिव Qwen2.5 पर 14.6 pp में बेहतर प्रदर्शन करती है।
QTIP के साथ तुलना: एक सख्त 4 bpw पर, QTIP मेथड (E8 लैटिस ट्रेलीज़ का उपयोग करके) QAM-W से बेहतर प्रदर्शन करता है। लेखक स्पष्ट रूप से कहते हैं कि QAM-W का योगदान 5–6 bpw क्वालिटी-प्रिजर्विंग बैंड है, न कि सख्त 4 bpw फ्रंटियर।
लो-बिट वेरिएंट: एक 3.5 bpw वेरिएंट (QAM-W-3.5) क्वांटाइजेशन-टोलरेंट आर्किटेक्चर (जैसे, Mistral 7 B, +1.98% $\Delta$ PPL) पर प्रतिस्पर्धी है लेकिन सेंसिटिव आर्किटेक्चर (Qwen 2.5, +7.5% $\Delta$ PPL) पर GPTQ की तुलना में खराब प्रदर्शन करता है।
डाउनस्ट्रीम टास्क: कोडेक छह डाउनस्ट्रीम टास्क (PIQA, HellaSwag, आदि) और MMLU पर प्रदर्शन को सुरक्षित रखता है, जिसमें QAM-W-5.5 सभी मॉडल्स में MMLU पर BF16 के 0.2 pp के भीतर रहता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि QAM-W-5.5 LLM कंप्रेशन के लिए एक क्वालिटी-प्रिजर्विंग विकल्प है, जो परप्लेक्सिटी या डाउनस्ट्रीम टास्क सटीकता से समझौता किए बिना, वर्तमान स्टेट-ऑफ-द-आर्ट SmoothQuant W8A8 की तुलना में वेट स्टोरेज और मेमोरी बैंडविड्थ में महत्वपूर्ण कमी (32% कम बिट्स) प्रदान करता है।

लेखक अपने दावों के दायरे को लेकर विनम्र हैं:

वे सख्त 4 bpw पर श्रेष्ठता का दावा नहीं करते हैं, और QTIP के उस क्षेत्र में प्रभुत्व को स्वीकार करते हैं।
वे नोट करते कि वर्तमान पाइपलाइन मैट्रिक्स मल्टीप्लिकेशन से पहले वेट्स को BF16 में डिक्वेंटाइज करती है; अतः, रिपोर्ट की गई बिट-पर-वेट (bpw) बचत स्टोरेज और मेमोरी बैंडविड्थ पर लागू होती है, न कि इन्फरेंस लेटेंसी पर, जब तक कि एक फ्यूज्ड कर्नेल लागू नहीं किया जाता।
अध्ययन डेंस डिकोडर-ओनली ट्रांसफॉर्मर्स और स्टैंडर्ड अटेंशन तक सीमित है; समकालीन आर्किटेक्चर (जैसे, Gemma 2, Llama 3) या 70B+ पैरामीटर स्केल के लिए विस्तार भविष्य के कार्य के लिए छोड़े गए हैं।
कोडबुक को प्रति-चेकपॉइंट अनुभवजन्य वितरण के बजाय एक सिंथेटिक यूनिट सर्कुलर गॉसियन पर प्रशिक्षित किया गया है, हालांकि लेखक सुझाव देते हैं कि एक सीखा हुआ (learned) कोडबुक और अधिक लाभ दे सकता है।

संक्षेप में, QAM-W यह प्रदर्शित करता है कि वेट्स की पेयरवाइज कोऑर्डिनेट संरचना को जॉइंट 2D कोडिंग के माध्यम से रिकवर करके, रोटेशन और एक्टिवेशन-अवेयर स्केलिंग के साथ मिलकर, 5–6 bpw के हाई-फिडेलिटी क्वांटाइजेशन को संभव बनाया जा सकता है, जो 4-बिट मेथड्स की दक्षता और 8-बिट मेथड्स की गुणवत्ता के बीच के अंतर को पाटता है।