🤖 machine learning

Theory-optimal Quantization Based on Flatness

यह शोध पत्र बिडायरेक्शनल डायगोनल क्वांटाइजेशन (BDQ) को प्रस्तुत करता है, जो एक नवीन पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो एक्टिवेशन आउटलेयर्स को प्रभावी ढंग से बिखेरने के लिए एक नए "फ्लैटनेस" मीट्रिक पर आधारित एक थ्योरी-ऑप्टिमल समाधान प्राप्त करता है, जिससे लो-बिट लार्ज लैंग्वेज मॉडल क्वांटाइजेशन में स्टेट-ऑफ-द-आर्ट सटीकता प्राप्त होती है।

मूल लेखक: Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Theory-optimal Quantization Based on Flatness" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: एक शांत कमरे में "ज़ोर से चिल्लाने वाला पड़ोसी"

कल्पना कीजिए कि आपके पास किताबों का एक विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल, या LLM)। इस पुस्तकालय को एक छोटे बैकपैक (आपके फोन या एक सस्ते सर्वर) में फिट करने के लिए, आपको इन किताबों को छोटा करने की आवश्यकता है। इस प्रक्रिया को क्वांटाइजेशन (quantization) कहा जाता है।

आमतौर पर, ये किताबें हाई-डेफिनिशन स्याही (32-बिट या 16-बिट प्रिसिजन) में लिखी जाती हैं। जगह बचाने के लिए, आप उन्हें केवल कुछ साधारण रंगों (4-बिट या यहाँ तक कि 2-बिट प्रिसिजन) का उपयोग करके फिर से लिखना चाहते हैं।

समस्या: इन किताबों का अधिकांश टेक्स्ट सामान्य है, लेकिन कभी-कभार, एक ऐसा वाक्य होता है जो विशाल, नियॉन-लाल अक्षरों में लिखा होता है जो बाकी सब कुछ से ज़्यादा ज़ोर से चिल्लाता है। पेपर में, इन्हें आउटलियर्स (outliers) कहा गया है।

जब आप पूरे बुक को एक छोटे स्थान में फिट करने के लिए सिकोड़ने की कोशिश करते हैं, तो ये "विशाल नियॉन अक्षर" पूरे सिस्टम को खुद को समायोजित करने के लिए फैलने पर मजबूर कर देते हैं। इससे बाकी सारा सामान्य टेक्स्ट एक बहुत ही छोटे, अपठनीय कोने में दब जाता है। परिणाम क्या होता है? किताब अर्थहीन कचरा बन जाती है।

पुराने समाधान: कमरे को घुमाने की कोशिश करना

पिछले तरीकों ने इस समस्या को ठीक करने के लिए कमरे को घुमाने या फर्नीचर को पुनर्व्यवस्थित करने की कोशिश की। वे डेटा को चारों ओर घुमाते थे (लीनियर ट्रांसफॉर्मेशन का उपयोग करके) इस उम्मीद में कि विशाल नियॉन अक्षर सामान्य टेक्स्ट के साथ घुल-मिल जाएंगे।

इस पेपर के लेखकों ने इन तरीकों को देखा और कहा, "यह पर्याप्त रूप से काम नहीं कर रहा है।" कमरे को घुमाने के बाद भी, नियॉन अक्षर वहीं रहते हैं, बस वे एक अलग जगह पर होते हैं। वे अभी भी सारी जगह हड़प रहे हैं, जिससे बाकी डेटा दबकर रह जाता है।

नया विचार: "फ्लैटनेस" (समतलता) और इक्वलाइज़र

लेखकों ने इस समस्या को सोचने का एक नया तरीका निकाला। केवल नियॉन अक्षरों को छिपाने के बजाय, वे परिदृश्य को समतल (flatten) करना चाहते थे।

कल्पना कीजिए कि डेटा एक पहाड़ी इलाके की तरह है। अधिकांश भूमि समतल है, लेकिन कुछ विशाल पहाड़ (आउटलियर्स) हैं।

लक्ष्य: आप चाहते हैं कि परिदृश्य जितना संभव हो सके उतना समतल हो (जैसे एक शांत झील)। इसे ही वे फ्लैटनेस (Flatness) कहते हैं।
मेट्रिक: उन्होंने यह मापने के लिए एक गणितीय उपकरण बनाया कि डेटा कितना "ऊबड़-खाबब" (bumpy) है। यदि पहाड़ बहुत ऊंचे हैं, तो "फ्लैटनेस" स्कोर खराब है। यदि ज़मीन चिकनी है, तो स्कोर अच्छा है।

उन्होंने गणितीय रूप से सिद्ध किया कि इस परिदृश्य को समतल करने का सबसे अच्छा तरीका इसे घुमाना नहीं है, बल्कि एक दो-तरफा स्ट्रेचिंग टूल (two-sided stretching tool) का उपयोग करना है।

समाधान: BDQ (बाइडायरेक्शनल डायगोनल क्वांटाइजेशन)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे BDQ कहा जाता है। यह एक रूपक (metaphor) का उपयोग करके कैसे काम करता है, यहाँ देखें:

कल्पना कीजिए कि डेटा लोगों की पंक्तियों और स्तंभों (rows and columns) में खड़े लोगों का एक विशाल ग्रिड है।

समस्या: विशिष्ट पंक्तियों और स्तंभों में कुछ लोग दैत्य (outliers) हैं।
पुराना तरीका: आप पूरे ग्रिड को घुमाते हैं। दैत्य अभी भी दैत्य ही रहते हैं; वे बस एक अलग दिशा में देखते हैं।
BDQ का तरीका: आप प्रत्येक विशिष्ट पंक्ति (row) के हर व्यक्ति को एक जोड़ी स्ट्रेची पैंट (एक डायगोनल मैट्रिक्स) देते हैं और प्रत्येक विशिष्ट स्तंभ (column) के हर व्यक्ति को एक जोड़ी स्ट्रेची जूते (एक अन्य डायगोनल मैट्रिक्स) देते हैं।
- यदि किसी पंक्ति में एक दैत्य है, तो आप उस पंक्ति के सभी लोगों के लिए पैंट को सिकोड़ देते हैं।
- यदि किसी स्तंभ में एक दैत्य है, तो आप उस स्तंभ के सभी लोगों के लिए जूते को सिकोड़ देते हैं।
- परिणाम: दैत्य को सामान्य आकार में सिकोड़ दिया जाता है, और छोटे लोगों को ऊपर की ओर खींचा (stretch) जाता है। अचानक, हर कोई लगभग एक ही ऊंचाई का हो जाता है। "परिदृश्य" (terrain) अब फ्लैट है।

चूंकि दैत्य अब जगह पर कब्ज़ा नहीं कर रहे हैं, इसलिए आप अब किसी भी महत्वपूर्ण विवरण को खोए बिना पूरे ग्रिड को एक छोटे बैकपैक में कंप्रेस कर सकते हैं।

"ओवरफिटिंग" का जाल: वह छात्र जिसने रट लिया था

वहाँ एक और समस्या थी। कंप्यूटर को इन स्ट्रेची पैंट और जूतों का उपयोग करना सिखाते समय, उन्होंने उसे केवल डेटा का एक छोटा सा नमूना (जैसे 128 वाक्य) दिखाया।

कंप्यूटर उस छात्र की तरह था जिसने उन 128 विशिष्ट अभ्यास प्रश्नों के उत्तर पूरी तरह से रट लिए थे, लेकिन वास्तविक परीक्षा में फेल हो गया क्योंकि वह सामान्य नियमों को नहीं समझ पाया था। तकनीकी शब्दों में, इसे ओवरफिटिंग (overfitting) कहा जाता है।

इसे ठीक करने के लिए, लेखकों ने एक विशेष नियम जोड़ा जिसे रिकर्सिव क्रॉस-एन्ट्रॉपी लॉस (Recursive Cross-Entropy Loss) कहा जाता है।

रूपक: केवल यह बताने के बजाय कि "यह सही उत्तर है," वे यह भी कहते हैं, "देखो कि तुमने क्या अनुमान (predict) लगाया था कि सही था, और सुनिश्चित करो कि तुम्हारा आत्मविश्वास वास्तविक उत्तर से मेल खाता है।"
यह कंप्यूटर को डेटा को समतल करने के सामान्य पैटर्न को सीखने के लिए मजबूर करता है, न कि केवल विशिष्ट अभ्यास वाक्यों को रटने के लिए।

परिणाम: सूटकेस को पूरी तरह से पैक करना

पेपर ने दुनिया के कुछ सबसे स्मार्ट AI मॉडलों (जैसे LLaMA-3 और DeepSeek) पर इस नई विधि का परीक्षण किया।

परीक्षण: उन्होंने मॉडलों को बहुत छोटे आकार में सिकोड़ने की कोशिश की (वेट्स के लिए केवल 4-बिट और एक्टिवेशन्स के लिए 4-बिट, या वेट्स के लिए 2-बिट का उपयोग करके)।
परिणाम:
- पिछले तरीकों ने मॉडल को इतना छोटा करने पर AI को "मूर्ख" बना दिया (सटीकता काफी कम हो गई)।
- BDQ ने AI को मूल पूर्ण-आकार वाले संस्करण जितना ही स्मार्ट बनाए रखा।
- एक चरम परीक्षण में (70-बिलियन पैरामीटर वाले मॉडल को 2-बिट वेट्स में सिकोड़ना), BDQ ने मौजूदा सर्वोत्तम तरीकों की तुलना में प्रदर्शन के अंतर को लगभग 40% तक कम कर दिया।

सारांश

पेपर का दावा है कि गणितीय रूप से यह सिद्ध करके कि "फ्लैटनेस" अच्छी कंप्रेशन की कुंजी है, और एक दो-तरफा स्ट्रेचिंग टूल (BDQ) को एक स्मार्ट लर्निंग रूल (RCE) के साथ जोड़कर, वे विशाल AI मॉडलों को उनकी बुद्धिमत्ता खोए बिना बहुत छोटे आकार में सिकोड़ सकते हैं। उन्होंने एक ऊबड़-खाबड़, पहाड़ी परिदृश्य को एक चिकने, समतल मैदान में बदल दिया जो आसानी से एक छोटे बैकपैक में फिट हो जाता है।

तकनीकी सारांश: फ्लैटनेस पर आधारित सिद्धांत-इष्टतम क्वांटाइजेशन (Theory-optimal Quantization Based on Flatness)

1. समस्या विवरण (Problem Statement)

पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) लार्ज लैंग्वेज मॉडल्स (LLMs) को कंप्रेस करने और तेज करने के लिए एक मानक तकनीक बन गया है। हालाँकि, एक प्राथमिक चुनौती एक्टिवेशन आउटलेयर्स (activation outliers) की उपस्थिति है—ऐसे मान जिनका परिमाण (magnitude) शेष डेटा की सांख्यिकीय अपेक्षा से काफी अधिक होता है। ये आउटलेयर्स क्वांटाइजेशन स्केल को समायोजित करने के लिए मजबूर करते हैं, जिससे सामान्य डेटा का एक बड़ा हिस्सा एक संकीर्ण रेंज में दब जाता है। इसके परिणामस्वरूप महत्वपूर्ण क्वांटाइजेशन त्रुटियां और प्रदर्शन में गिरावट आती है, विशेष रूप से कम बिट-चौड़ाई (जैसे, W4A4 या W2A4) पर।

जबकि हालिया दृष्टिकोण रोटेशन जैसे लीनियर ट्रांसफॉर्मेशन के माध्यम से आउटलेयर्स को कम करने का प्रयास करते हैं, लेखक देखते हैं कि ये तरीके अक्सर आउटलेयर पैटर्न को पूरी तरह से बिखेरने में विफल रहते हैं, जिससे केंद्रित परिमाण वितरण (concentrated magnitude distributions) रह जाते हैं जो प्रदर्शन को खराब करते हैं। इसके अलावा, मौजूदा तरीके बिना किसी प्रत्यक्ष गणितीय संबंध स्थापित किए या पूरे क्वांटाइजेशन स्पेस को अनुकूलित किए, केवल ह्यूरिस्टिक (heuristic) रणनीतियों पर निर्भर हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र बाइडायरेक्शनल डायगोनल क्वांटाइजेशन (BDQ) का प्रस्ताव करता है, जो "फ्लैटनेस" (Flatness) के सैद्धांतिक विश्लेषण पर आधारित एक फ्रेमवर्क है। यह कार्यप्रणाली तीन मुख्य घटकों से बनी है:

2.1 आउटलेयर्स और त्रुटि का गणितीय मॉडलिंग (Mathematical Modeling of Outliers and Error)

लेखक पहले आउटलेयर्स और क्वांटाइजेशन त्रुटि के बीच गणितीय संबंध को व्युत्पन्न करते हैं। वे प्रदर्शित करते हैं कि जब एक आउटलेयर $|w_{outlier}|$ क्वांटाइजेशन रेंज से काफी बड़ा होता है, तो कुल क्वांटाइजेशन त्रुटि $E[\epsilon^2]$ आउटलेयर द्वारा हावी होती है और आउटलेयर के परिमाण के साथ एक क्वाड्रेटिक संबंध (quadratic relationship) प्रदर्शित करती है। विशेष रूप रूप से, त्रुटि $w_{outlier}^2$ के साथ स्केल होती है, जो यह संकेत देती है कि आउटलेयर्स ही क्वांटाइजेशन सटीकता को सीमित करने वाला मुख्य कारक हैं।

2.2 फ्लैटनेस मेट्रिक और सैद्धांतिक इष्टतम समाधान (The Flatness Metric and Theoretical Optimal Solution)

आउटलेयर्स के वितरण को मापने के लिए, लेखक सूचना एंट्रॉपी (information entropy) से प्रेरित एक नया मेट्रिक पेश करते हैं जिसे फ्लैटनेस (Flatness) कहा जाता है। फ्लैटनेस एक मैट्रिक्स में डेटा वितरण की एकरूपता का मूल्यांकन करती है।

परिभाषा: फ्लैटनेस ( $F$ ) को $p_{ij} \ln p_{ij}$ के योग के रूप में परिभाषित किया गया है, जहाँ $p_{ij} = \frac{W_{ij}^2}{\alpha_i \beta_j}$ है। यहाँ $\alpha_i$ और $\beta_j$ क्रमशः पंक्तियों (rows) और स्तंभों (columns) के लिए सीखने योग्य ऊर्जा भार कारक (energy weight factors) हैं।
अनुकूलन (Optimization): लक्ष्य ऊर्जा बाधाओं के अधीन $F$ को न्यूनतम करना (एंट्रॉपी को अधिकतम करना) है। लैग्रेंज मल्टीप्लायर्स (Lagrange multipliers) के माध्यम से, लेखक सिद्ध करते हैं कि अधिकतम फ्लैटनेस प्राप्त करने के लिए एकमात्र इष्टतम समाधान $V = d_1 W d_2$ के रूप में एक ट्रांसफॉर्मेशन है, जहाँ $d_1$ और $d_2$ डायगोनल मैट्रिसेस हैं। यह संरचना आउटलेयर्स को बिखेरने के लिए पंक्तियों और स्तंभों के स्वतंत्र स्केलिंग की अनुमति देती है।

2.3 BDQ फ्रेमवर्क (The BDQ Framework)

सैद्धांतिक इष्टतम समाधान पर आधारित, BDQ निम्नलिखित को लागू करता है:

बाइडायरेक्शनल डायगोनल ट्रांसफॉर्मेशन्स: LLM के प्रत्येक फुली कनेक्टेड लेयर के लिए, BDQ दो डायगोनल मैट्रिसेस ( $\Lambda_1, \Lambda_2$ ) सीखता है जो रो-वाइज (row-wise) और कॉलम-वाइज (column-wise) स्केलिंग करने के लिए होते हैं। यह दोनों आयामों में आउटलेयर मैग्नीट्यूड को पुनर्वितरित करता है।
हाडामेड ऑर्थोगोनल ट्रांसफॉर्मेशन (Hadamard Orthogonal Transformation): आउटलेयर्स को और अधिक बिखेरने और उन मजबूत कॉलम सहसंबंधों (column correlations) को तोड़ने के लिए जिन्हें केवल डायगोनल स्केलिंग हल नहीं कर सकती, BDQ एक सीखने योग्य रोटेशन मैट्रिक्स $R$ (जो एक हैडामेड मैट्रिक्स और एक ऑर्थोगोनल मैट्रिक्स से बना है) को शामिल करता है। फॉरवर्ड पास को $y = Q(\Lambda_1 x \Lambda_2 R) \cdot Q(R^T \Lambda_2^{-1} W \Lambda_1^{-1})$ के रूप में पुनर्गठित किया जाता है, जो वैश्विक नेटवर्क स्तर पर समकक्ष ट्रांसफॉर्मेशन सुनिश्चित करता है।
रिकर्सिव क्रॉस-एंट्रॉपी (RCE) लॉस: छोटे कैलिब्रेशन सेट्स (जैसे, 128 सैंपल्स) पर ओवरफिटिंग की समस्या को संबोधित करने के लिए, जो PTQ में आम है और आउटलेयर मिटिगेशन में बाधा डालती है, BDQ एक रिकर्सिव क्रॉस-एंट्रॉपी लॉस पेश करता है। यह लॉस फंक्शन लेबल वितरण और मॉडल के अनुमानित टोकन वितरण दोनों को एक साथ फिट करता है, जिससे मॉडल को लोकल ऑप्टिमा में फंसने से रोका जा जाता है और सामान्यीकरण (generalization) में सुधार होता है।

3. प्रमुख योगदान (Key Contributions)

सैद्धांतिक मॉडलिंग: यह पेपर आउटलेयर्स और क्वांटाइजेशन त्रुटियों के बीच गणितीय संबंध को मॉडल करने वाला पहला पेपर है, जो सिद्ध करता है कि त्रुटियां आउटलेयर परिमाण के साथ क्वाड्रेटिक रूप से स्केल होती हैं।
फ्लैटनेस मेट्रिक: लेखक आउटलेयर वितरण को मापने के लिए फ्लैटनेस मेट्रिक का प्रस्ताव करते हैं और इस मेट्रिक को न्यूनतम करने (और इस प्रकार क्वांटाइजेशन त्रुटि को कम करने) के लिए इष्टतम समाधान (बाइडायरेक्शनल डायगोनल स्केलिंग) को गणितीय रूप से व्युत्पन्न करते हैं।
BDQ फ्रेमवर्क: वे बाइडायरेक्शनल डायगोनल क्वांटाइजेशन का प्रस्ताव करते हैं, जो फ्लैटनेस के लिए सैद्धांतिक इष्टतम समाधान प्राप्त करने के लिए सीखे गए डायगोनल ऑपरेशंस और हैडामेड रोटेशन का उपयोग करता है।
ओवरफिटिंग शमन: रिकर्सिव क्रॉस-एंट्रॉपी लॉस का परिचय छोटे कैलिब्रेशन सेट्स में निहित ओवरफिटिंग की समस्या को हल करता है, जो पिछले अत्याधुनिक तरीकों में देखी गई एक सीमा है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विभिन्न बिट-चौड़ाई सेटिंग्स (W4A4, W2A4, W3A3) में LLaMA-2, LLaMA-3, और DeepSeek-R1-Distill मॉडल्स पर व्यापक प्रयोग किए गए।

W4A4 सेटिंग: LLaMA-3-8B पर, BDQ फुल-प्रिसिजन मॉडल्स की तुलना में 1% से भी कम सटीकता गिरावट प्राप्त करता है, जो QuaRot, SpinQuant और FlatQuant जैसे मौजूदा तरीकों से बेहतर प्रदर्शन करता है।
W2A4 सेटिंग (चुनौतीपूर्ण): DeepSeek-R1-Distill-LLMA-70B पर अत्यंत कम बिट W2A4KV16 सेटिंग में, BDQ नवीनतम अत्याधुनिक दृष्टिकोणों के सापेक्ष फुल-प्रिसिजन मॉडल के साथ प्रदर्शन के अंतर को 39.1% तक कम कर देता है।
दक्षता (Efficiency): यह विधि फुल-प्रिसिजन मॉडल्स की तुलना में महत्वपूर्ण इन्फरेंस स्पीडअप (NVIDIA A100 पर 3.44x तक) और मेमोरी बचत (AMD MI250 पर 3.74x तक) प्रदर्शित करती है।
एब्लेशन स्टडीज (Ablation Studies): प्रयोग पुष्टि करते हैं कि BDQ और RCE लॉस का संयोजन मानक क्रॉस-एंट्रॉपी के साथ BDQ का उपयोग करने की तुलना में बेहतर परिणाम देता है, जो प्रस्तावित लॉस फंक्शन की ओवरफिटिंग को रोकने में प्रभावशीलता को प्रमाणित करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि BDQ पोस्ट-ट्रेनिंग क्वांटाइजेशन के लिए एक नया बेंचमार्क स्थापित करता है। इसका प्राथमिक महत्व ह्यूरिस्टिक आउटलेयर मिटिगेशन से आगे बढ़कर प्रथम सिद्धांतों (first principles) से प्राप्त एक सिद्धांत-इष्टतम दृष्टिकोण (theory-optimal approach) की ओर बढ़ने में निहित है। यह गणितीय रूप से सिद्ध करके कि बाइडायरेक्शनल डायगोनल स्केलिंग फ्लैटनेस को अधिकतम करने (और इस प्रकार क्वांटाइजेशन त्रुटि को कम करने) के लिए इष्टतम समाधान है, लेखक भविष्य के क्वांटाइजेशन तरीकों के लिए एक कठोर आधार प्रदान करते हैं।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि प्रयोग कंप्यूटिंग संसाधनों के कारण 70B पैरामीटर्स तक के मॉडल्स और विशिष्ट GPU आर्किटेक्चर तक सीमित थे। हालांकि, वे तर्क देते हैं कि सैद्धांतिक ढांचा और बड़े मॉडल्स (LLaMA-3-70B, DeepSeek-R1-Distill-70B) पर प्रदर्शित प्रदर्शन, कुशल, कम लागत वाले LLM परिनियोजन के लिए विधि की क्षमता को प्रमाणित करता है।