🤖 machine learning

ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models

ADMM-Q एक नवीन, मॉड्यूलर पोस्ट-ट्रेनिंग वेट क्वांटाइजेशन एल्गोरिदम है जो अल्टरनेटिंग डायरेक्शन मेथड ऑफ मल्टीप्लायर्स के एक कॉम्बिनेटोरियल वेरिएंट पर आधारित है, जो क्वांटाइजेशन बाधाओं को लागू करते हुए लेयर-वाइज रिकंस्ट्रक्शन एरर को न्यूनतम करके आक्रामक सब-4-बिट क्वांटाइजेशन स्तरों पर लार्ज लैंग्वेज मॉडल्स की उपयोगिता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ ADMM-Q पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: विशाल दिमागों को सिकोड़ना

Qwen या LLaMA जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) की कल्पना एक विशाल, अत्यंत विस्तृत लाइब्रेरी के रूप में करें। इन लाइब्रेरी में अरबों किताबें (पैरामीटर्स) हैं जो AI को लिखने, तर्क करने और चैट करने में सक्षम बनाती हैं। हालाँकि, क्योंकि ये लाइब्रेरी बहुत बड़ी हैं, इन्हें ले जाना कठिन है (उच्च मेमोरी उपयोग) और इन्हें पढ़ने में बहुत समय लगता है (धीमी गणना)।

क्वांटाइजेशन (Quantization) इन लाइब्रेरीज़ को सिकोड़ने की प्रक्रिया है। हर किताब को हाई-डेफिनिशन, फुल-कलर इंक (32-बिट या 16-बिट प्रिसिजन) में रखने के बजाय, हम उन्हें कम रंगों या सरल प्रतीकों (4-बिट या यहाँ तक कि 2-बिट) का उपयोग करके फिर से लिखने की कोशिश करते हैं। लक्ष्य लाइब्रेरी को इतना छोटा बनाना है कि वह कहानी खोए बिना एक बैकपैक में फिट हो सके।

समस्या: "लालची" सिकोड़ने वाले (The "Greedy" Shrinkers)

इन मॉडल्स को सिकोड़ने के मौजूदा तरीके, जैसे कि GPTQ (वर्तमान उद्योग मानक), एक लालची संपादक (Greedy Editor) की तरह काम करते हैं।

वे कैसे काम करते हैं: वे पहले वाक्य को देखते हैं, उसे सिकोड़ते हैं, और आगे बढ़ जाते हैं। फिर वे दूसरे वाक्य को देखते हैं, उसे सिकोड़ते हैं, और आगे बढ़ जाते हैं।
दोष: जब संपादक पहले वाक्य को सिकोड़ता है, तो वह एक छोटी सी गलती कर सकता है। क्योंकि वे तुरंत आगे बढ़ जाते हैं, वे उस गलती को सुधारने के लिए कभी पीछे मुड़कर नहीं देखते। जब तक वे किताब के अंत तक पहुँचते हैं, वे छोटी-छोटी गलतियाँ जमा होकर कहानी को भ्रमित करने वाला या निरर्थक बना देती हैं। यह विशेष रूप से तब बुरा होता है जब किताबों को बहुत अधिक आक्रामक तरीके से (2 या 3 बिट तक) सिकोड़ने की कोशिश की जाती है।

समाधान: ADMM-Q (एक "टीम हडल" दृष्टिकोण)

लेखक ADMM-Q नामक एक नया तरीका प्रस्तावित करते हैं। एक अकेले काम करने वाले लालची संपादक के बजाय, कल्पना करें कि हर अध्याय के लिए संपादकों की एक टीम एक गोल मेज पर बैठक (Round-table meeting) कर रही है।

टीम हडल (संयुक्त अनुकूलन/Joint Optimization):
एक समय में एक वाक्य को ठीक करने के बजाय, टीम पूरे अध्याय को एक साथ देखती है। वे पूछते हैं, "यदि हम यहाँ एक शब्द बदलते हैं, तो इसका उस शब्द पर क्या प्रभाव पड़ेगा?" वे सभी शब्दों को एक साथ समायोजित करते हैं ताकि सबसे अच्छा संयोजन मिल सके जो कहानी को स्पष्ट बनाए रखे, भले ही बहुत कम रंगों का उपयोग किया जा रहा हो।
"स्मूथ" बनाम "ब्लॉकी" नृत्य (ADMM):
इसके पीछे का गणित ADMM (अल्टरनेटिंग डायरेक्शन मेथड ऑफ मल्टीप्लायर्स) कहलाता है। इसे दो चरणों के बीच एक नृत्य के रूप में सोचें:

चरण A (द स्मूथ स्लाइड): टीम कहानी के प्रवाह को बेहतर बनाने के लिए शब्दों में छोटे, निरंतर समायोजन करती है।
चरण B (द स्नैप-टू-ग्रिड): अचानक, उन्हें उन शब्दों को विशिष्ट, अनुमत मानों (जैसे किसी लेगो ब्रिक को उसकी जगह पर फिट करना) के साथ जोड़ना पड़ता है।
वे स्लाइड करने और स्नैप करने के बीच बारी-बारी से चलते रहते हैं। समय के साथ, यह प्रक्रिया शब्दों को सबसे अच्छे "लेगो पोजीशन" में सेट होने के लिए मजबूर करती है बिना कहानी को तोड़े।

"आउटलियर" की समस्या (डायगोनल स्केलिंग):
इन मॉडल्स में, कुछ शब्द "तेज़" (outliers) होते हैं और कुछ "शांत"। यदि आप उन सभी को एक साथ सिकोड़ने की कोशिश करते हैं, तो तेज़ शब्द बातचीत पर हावी हो जाते हैं, और शांत शब्द खो जाते हैं।

ADMM-Q का समाधान: वे डायगोनल स्केलिंग (Diagonal Scaling) नामक तकनीक का उपयोग करते हैं। कल्पना करें कि आप शांत शब्दों को एक माइक्रोफ़ोन दे रहे हैं और संपादन सत्र के लिए तेज़ शब्दों की आवाज़ कम कर रहे हैं। यह सुनिश्चित करता है कि प्रत्येक शब्द को अनुकूलित होने का उचित अवसर मिले, जिससे अंततः एक बहुत अधिक स्पष्ट कहानी मिले।

अंतिम पॉलिश (लोकल सर्च):
एक बार जब टीम अपना हडल पूरा कर लेती है, तो वे एक त्वरित "स्पॉट चेक" करती है। वे शब्दों के उन जोड़ों को देखते हैं जिन्हें गलती से बदल दिया गया होगा और देखते हैं कि क्या उन्हें वापस बदलने से कहानी में सुधार होता है। यह अंतिम त्रुटियों को पकड़ने के लिए एक तेज़, अंतिम पॉलिश है।

यह क्यों महत्वपूर्ण है: परिणाम

इस पेपर ने कई मॉडल्स (Qwen और LLaMA) पर इस नए तरीके का परीक्षण किया और पाया कि:

बेहतर कहानियाँ: जब उन्होंने मॉडल्स को बहुत छोटे आकार (जैसे 3-बिट या 2-बिट) में सिकोड़ा, तो पुराने "लालची" तरीकों (GPTQ) ने भ्रमित करने वाले या बेतुके उत्तर दिए। ADMM-Q ने मॉडल्स को स्मार्ट और सुसंगत बनाए रखा।
- उदाहरण: "WikiText-2" नामक एक परीक्षण पर, पुराने तरीके का स्कोर 12.85 (उच्च स्कोर खराब है) था, जबकि ADMM-Q ने इसे घटाकर 10.06 कर दिया। यह स्पष्टता में एक बड़ा सुधार है।
अन्य टूल्स के साथ काम करता है: ADMM-Q सब कुछ बदलने के लिए नहीं है; यह "सिकोड़ने वाले" हिस्से के लिए एक ड्रॉप-इन रिप्लेसमेंट है। यह अन्य ट्रिक्स के साथ पूरी तरह से काम करता है, जैसे कि डेटा को घुमाना (rotate) या स्केल करना।
वही गति: एक बार मॉडल सिकुड़ जाने के बाद, यह पुराने तरीकों की तरह ही तेज़ी से चलता है। ADMM-Q द्वारा लिया गया अतिरिक्त समय केवल "ऑफलाइन" सिकुड़ने की प्रक्रिया (जैसे प्रकाशित करने से पहले किताब को एडिट करना) के दौरान होता है, न कि जब आप वास्तव में AI का उपयोग कर रहे हों।

कमी (सीमाएँ)

इसे एडिट करने में अधिक समय लगता है: क्योंकि ADMM-Q हर लेयर के लिए एक जटिल "टीम हडल" करता है, इसलिए सरल लालची तरीकों की तुलना में मॉडल को शुरू में सिकोड़ने में अधिक कंप्यूटर समय लगता है। हालाँकि, लेखकों का कहना है कि बेहतर गुणवत्ता के लिए यह एक बार का इंतज़ार सार्थक है।
इसे एक सैंपल की आवश्यकता होती है: इन सभी तरीकों की तरह, इसे भी यह समझने के लिए कि मॉडल क्या कहने की कोशिश कर रहा है, टेक्स्ट के एक छोटे नमूने (कैलिब्रेशन डेटा) की आवश्यकता होती है।

सारांश

ADMM-Q AI मॉडल्स को कंप्रेस करने का एक स्मार्ट तरीका है। स्टेप-बाय-स्टेप कंप्रेस करके और रास्ते में गलतियाँ करने के बजाय, यह एक समग्र, गणितीय दृष्टिकोण अपनाता है ताकि मॉडल के सभी हिस्सों को एक साथ समायोजित किया जा सके। परिणाम एक बहुत छोटा AI है जो अभी भी स्पष्ट रूप से सोचना जानता है, भले ही उसे बहुत कम जगह में दबा दिया गया हो।

तकनीकी सारांश: LLMs के पोस्ट-ट्रेनिंग क्वांटाइजेशन के लिए ADMM-Q

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को उनके कम्प्यूटेशनल और मेमोरी संबंधी आवश्यकताओं के कारण तैनाती (deployment) में महत्वपूर्ण चुनौतियों का सामना करना पड़ता है। क्वांटाइजेशन, विशेष रूप से पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ), इन मॉडल्स को बिना रिट्रेनिंग के वेट प्रिसिजन (जैसे, 16-बिट से 4-बिट या उससे कम) को कम करके कंप्रेस करने की एक प्राथमिक रणनीति है।

वर्तमान मानक वेट क्वांटाइजेशन विधियाँ, जैसे कि राउंड-टू-नियरएस्ट (RTN) और ग्रीडी पर-कॉलम क्वांटाइजेशन (GPTQ), विशेष रूप से आक्रामक बिट-विड्थ (सब-4-बिट) पर सीमाओं को प्रदर्शित करती हैं:

RTN इंटर-वेट डिपेंडेंसी और रिकंस्ट्रक्शन एरर लैंडस्केप की संरचना को अनदेखा करते हुए स्वतंत्र रूप से वेट्स को राउंड करता है।
GPTQ एरर को क्षतिपूर्ति करने के लिए हेसियन (Hessian) जानकारी को शामिल करता है लेकिन वेट्स को कॉलम-दर-कॉलम के रूप में ग्रीडी तरीके से प्रोसेस करता है। यह अनुक्रमिक (sequential) दृष्टिकोण प्रोसेसिंग ऑर्डर के प्रति संवेदनशील है और कॉलमों में एरर को संचित (accumulate) करता है।

मुख्य चुनौती लेयर-वाइज क्वांटाइजेशन को एक बाधात्मक अनुकूलन समस्या (constrained optimization problem) के रूप में तैयार करने की है जो डिस्क्रीट क्वांटाइजेशन बाधाओं का सम्मान करते हुए रिकंस्ट्रक्शन एरर को कम करती है, जो कि बिट-विड्थ कम होने पर और भी कठिन हो जाता है।

कार्यप्रणाली: ADMM-Q

लेखक ADMM-Q का प्रस्ताव करते हैं, जो अल्टरनेटिंग डायरेक्शन मेथड ऑफ मल्टीप्लायर्स (ADMM) पर आधारित एक नवीन वेट क्वांटाइजेशन एल्गोरिदम है। GPTQ के ग्रीडी कॉलम-वाइज दृष्टिकोण के विपरीत, ADMM-Q लेयर-वाइज क्वांटाइजेशन को एक जॉइंट ऑप्टिमाइज़ेशन समस्या के रूप में मानता है।

1. समस्या का निरूपण (Problem Formulation)

एल्गोरिदम प्री-ट्रेन्ड वेट्स $\hat{W}$ और इनपुट एक्टिवेशन $X$ वाले एक लेयर के क्वांटाइजेशन को हेसियन-वेटेड कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या के रूप में तैयार करता है:
$\min_{W} \frac{1}{2} \text{Tr}\left((W - \hat{W})^\top H (W - \hat{W})\right) \quad \text{s.t.} \quad W \in \mathcal{Q}$
जहाँ $H = X^\top X + \lambda I$ हेसियन मैट्रिक्स है, और $\mathcal{Q}$ क्वांटाइज्ड वेट मैट्रिसेस का सेट है।

2. प्रमुख एल्गोरिथमिक घटक

LLMs के स्केल पर इस नॉन-कॉन्वेक्स समस्या को कुशलतापूर्वक हल करने के लिए, ADMM-Q कई सुधार शामिल करता है:

न्यूमेरिकल स्टेबिलिटी के लिए डायगोनल स्केलिंग: LLM एक्टिवेशन में अक्सर "चैनल आउटलेयर्स" (ऐसे डाइमेंशन जिनका परिमाण अत्यधिक बड़ा होता है) होते हैं, जिससे एक खराबly conditioned हेसियन बनता है। ADMM-Q समस्या को सामान्य करने के लिए एक डायगोनल स्केलिंग मैट्रिक्स $\Sigma = \text{Diag}(H)^{-1/2}$ लागू करता है, जिससे यह सुनिश्चित होता है कि सभी चैनल अपडेट्स में समान रूप से योगदान दें। यह महत्वपूर्ण है; एब्लेशन अध्ययन दिखाते हैं कि इस स्केलिंग को हटाने से प्रदर्शन में काफी गिरावट आती है (जैसे, Qwen3-8B में W3A16 पर परप्लेक्सिटी 10.06 से बढ़कर 14.68 हो जाना)।
ADMM स्प्लिटिंग: एल्गोरिदम एक ऑक्सिलरी वेरिएबल $D$ $D$ पेश करता है ताकि निरंतर हेसियन-वेटेड ऑब्जेक्टिव को डिस्क्रीट क्वांटाइजेशन बाधा से अलग किया जा सके। यह इनके बीच बारी-बारी से काम करता है:
1. W-अपडेट: एक निरंतर अपडेट जो हेसियन-वेटेड डिस्टेंस को कम करता है, जिसे $H$ के आइजनडीकंपोजिशन (eigendecomposition) के माध्यम से कुशलतापूर्वक हल किया जाता है।
2. D-अपडेट: क्वांटाइजेशन ग्रिड पर एक डिस्क्रीट प्रोजेक्शन (जो स्केलिंग को ध्यान में रखते हुए RTN के समान है)।
3. ड्यूल अपडेट: कंसिस्टेंसी को लागू करने के लिए लैग्रेंज मल्टीप्लायर को एडजस्ट करना।
ग्रिड रिफ्रेश: GPTQ के विपरीत, जो ऑप्टिमाइजेशन के दौरान क्वांटाइजेशन ग्रिड को फिक्स रखता है, ADMM-Q वर्तमान निरंतर इटरेट के आधार पर ग्रिड पैरामीटर्स (स्केल और ज़ीरो-पॉइंट) को डायनेमिक रूप से रीफिट करता है। यह सुनिश्चित करता है कि प्रोजेक्शन मूविंग टारगेट के साथ संरेखित रहे, जिससे फिक्स्ड ग्रिड की स्टेलेनेस (staleness) से बचा जा सके।
लोकल सर्च रिफाइनमेंट: कोरिलेटेड राउंडिंग के कारण होने वाले सब-ऑप्टिमल डिस्क्रीट सॉल्यूशंस को संबोधित करने के लिए, एक पोस्ट-प्रोसेसिंग स्टेप एक कुशल पेयर-स्वैप लोकल सर्च करता है। यह स्टेप डिस्क्रीट मूव्स (रोज़ के बीच वैल्यूज़ को स्वैप करना) का मूल्यांकन करता है जो सीधे रिकंस्ट्रक्शन एरर को कम करते हैं, और गति के लिए GPU पैरेललाइजेशन का लाभ उठाता है।
कन्वर्जेंस गारंटी: लेखक मौजूदा ADMM कन्वर्जेंस प्रूफ (जो पहले स्पर्सिटी कंस्ट्रेंट्स के लिए स्थापित किए गए थे) को क्वांटाइजेशन सेटिंग के लिए विस्तारित करते हैं, यह सिद्ध करते हुए कि एक विशिष्ट पेनल्टी शेड्यूल ( $\rho_t = \rho_0 \cdot \gamma^t$ ) के तहत निरंतर और डिस्क्रीट इटरेट एक ही लिमिट पॉइंट पर अभिसरित (converge) होते हैं।

3. मॉडुलैरिटी और इंटीग्रेशन

ADMM-Q को मौजूदा PTQ पाइपलाइनों के भीतर RTN या GPTQ के ड्रॉप-इन रिप्लेसमेंट के रूप में डिज़ाइन किया गया है। यह निम्नलिखित के साथ पूरी तरह से कंपोजेबल है:

स्केलिंग ट्रांसफॉर्मेशन (जैसे, SmoothQuant, AWQ)।
रोटेशन ट्रांसफॉर्मेशन (जैसे, SpinQuant, QuaRot)।
क्लिपिंग ह्यूरिस्टिक्स (जैसे, MSE-आधारित ग्रिड सर्च)।

प्रयोगात्मक परिणाम

लेखकों ने तीन सेटिंग्स में ADMM-Q का मूल्यांकन किया: वेट-ओनली क्वांटाइजेशन, स्पिनक्वेंट (SpinQuant) के साथ वेट-एंड-एक्टिवेशन क्वांटाइजेशन, और स्मूथक्वेंट (SmoothQuant) के साथ वेट-एंड-एक्टिवेशन क्वांटाइजेशन।

1. वेट-ओनली क्वांटाइजेशन (Qwen3 फैमिली)

Qwen3 मॉडल्स (1.7B से 32B) में, ADMM-Q ने परप्लेक्सिटी और ज़ीरो-शॉट एक्यूरेसी में लगातार GPTQ और AWQ को पछाड़ दिया, जिसमें लाभ कम बिट-विड्थ पर बढ़ते जाते हैं:

W3A16 (Qwen3-8B): WikiText-2 परप्लेक्सिटी 12.85 (GPTQ) से सुधरकर 10.06 (ADMM-Q) हो गई।
W2A16 (Qwen3-8B): WikiText-2 परप्लेक्सिटी 32.88 (GPTQ) से सुधरकर 17.69 (ADMM-Q) हो गई।
लेयर-वाइज़ विश्लेषण: ADMM-Q ने सभी डिकोडर लेयर्स में रिकंस्ट्रक्शन एरर को कम किया, शुरुआती लेयर्स में GPTQ के एरर का 10% तक हासिल किया।

2. वेट-एंड-एक्टिवेशन क्वांटाइजेशन

SpinQuant (WbA4KV4): LLaMA-3 और Qwen3 मॉडल्स पर, GPTQ को ADMM-Q से बदलने पर निरंतर सुधार मिला। उदाहरण के लिए, LLaMA-3 8B के W2A4KV4 पर, परप्लेक्सिटी 50.27 (GPTQ) से गिरकर 15.65 (ADMM-Q) हो गई।
SmoothQuant (WbA8): Qwen3-8B पर, ADMM-Q ने W3A8 परप्लेक्सिटी को 16.00 से सुधारकर 12.21 कर दिया।

3. इन्फरेंस परफॉरमेंस

जब इसे vLLM इन्फरेंस स्टैक में एकीकृत किया गया, तो ADMM-Q ने उसी फॉर्मेट में वेट मैट्रिसेस बनाए जो GPTQ के थे। फलस्वरूप, इसने समान इन्फरेंस थ्रूपुट और मेमोरी लाभ प्राप्त किया। उदाहरण के लिए, Qwen3-32B के साथ SpinQuant W8A8 पर, दोनों विधियों ने डेंस बेसलाइन की तुलना में ~1.52× स्पीडअप हासिल किया।

4. कम्प्यूटेशनल कॉस्ट

ADMM-Q के लिए ऑफलाइन क्वांटाइजेशन प्रक्रिया इटरेटिव ऑप्टिमाइजेशन के कारण GPTQ की तुलना में अधिक कम्प्यूटेशनल रूप से गहन है। हालांकि, लेखक नोट करते हैं कि क्वांटाइजेशन एक वन-टाइम स्टेप है, और रनटाइम व्यावहारिक रहता है (उदाहरण के लिए, सिंगल GPU पर 32B मॉडल के लिए दो घंटे से कम)। इसका पीक GPU मेमोरी उपयोग GPTQ की तुलना में थोड़ा अधिक (लगभग 6%) है।

महत्व और दावे

लेख का दावा है कि ADMM-Q LLMs के लिए ग्रीडी, सीक्वेंशियल क्वांटाइजेशन से हटकर एक सिद्धांत आधारित, जॉइंट, कंस्ट्रेंड ऑप्टिमाइज़ेशन की ओर एक बदलाव है। इसके प्राथमिक योगदान हैं:

एल्गोरिथमिक इनोवेशन: इसने सफलतापूर्वक ADMM को LLM स्केल के लिए वेट क्वांटाइजेशन की हार्ड कॉम्बिनेटरियल समस्या के अनुकूल बनाया, जिसमें आवश्यक स्थिरीकरण (डायगोनल स्केलिंग) और शोधन (ग्रिड रिफ्रेश, लोकल सर्च) शामिल हैं।
परफॉरमेंस गेन्स: यह मॉडल उपयोगिता (परप्लेक्सिटी और एक्यूरेसी) में पर्याप्त सुधार प्रदर्शित करता है, विशेष रूप से आक्रामक लो-बिट रिजीम्स (W3 और W2) में जहाँ पिछली विधियाँ संघर्ष करती हैं।
वर्सटैलिटी: यह एक मॉड्यूलर, ड्रॉप-इन कंपोनेंट के रूप में कार्य करता है जो मौजूदा पाइपलाइनों (जिनमें रोटेशन और स्केलिंग का उपयोग किया जाता है) को अंतिम इन्फरेंस फॉर्मेट या गति को बदले बिना बेहतर बनाता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि ADMM-Q अधिक ऑफलाइन क्वांटाइजेशन लागत लेता है और कैलिब्रेशन सेट की प्रतिनिधित्व क्षमता पर निर्भर करता है। इसके अलावा, वर्तमान मूल्यांकन डेंस ऑटोरेग्रेसिव डिकोडर-ओनली LLMs तक सीमित है, और मिक्सचर-ऑफ-एक्सपर्ट्स या डिफ्यूजन मॉडल्स के लिए अनुकूलन हेतु आगे के कार्य की आवश्यकता होगी।