💬 NLP

LC-QAT: Data-Efficient 2-Bit QAT for LLMs via Linear-Constrained Vector Quantization

यह शोध पत्र LC-QAT को प्रस्तुत करता है, जो एक डेटा-कुशल 2-बिट वेट-ओनली क्वांटाइजेशन-अवेयर ट्रेनिंग फ्रेमवर्क है जो डिफरेंशिएबल एंड-टू-एंड ऑप्टिमाइजेशन को सक्षम करने के लिए वेक्टर क्वांटाइजेशन को एक लर्नड एफ़ाइन मैपिंग के साथ जोड़ता है, जिससे केवल 0.1% से 10% प्रशिक्षण डेटा का उपयोग करके लार्ज लैंग्वेज मॉडल्स पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Haoyu Wang, Xingyu Yu, Haiyan Zhao, Fengxiang Wang, Xu Han

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoyu Wang, Xingyu Yu, Haiyan Zhao, Fengxiang Wang, Xu Han

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ LC-QAT पेपर का स्पष्टीकरण है, जिसे सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवादित किया गया है।

बड़ी समस्या: विशाल मस्तिष्क को सिकोड़ना

कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) ज्ञान के विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालयों की तरह हैं। वे स्मार्ट हैं, लेकिन वे बहुत विशाल भी हैं। वे इतनी अधिक मेमोरी लेते हैं और उन्हें चलाने के लिए इतनी अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है कि वे सामान्य फोन या छोटे कंप्यूटर पर नहीं चल सकते।

इसे ठीक करने के लिए, इंजीनियर क्वांटाइजेशन (Quantization) नामक तकनीक का उपयोग करते हैं। इसे एक हाई-रिज़ॉल्यूशन फोटो को छोटी फ़ाइल साइज़ में कंप्रेस करने जैसा समझें। आप थोड़ा सा विवरण खो देते हैं, लेकिन फ़ाइल इतनी छोटी हो जाती है कि उसे आसानी से ले जाया जा सके।

यह पेपर सबसे चरम संपीड़न (compression) पर ध्यान केंद्रित करता है: 2-बिट क्वांटाइजेशन। यह एक जटिल पेंटिंग को केवल चार रंगों (चूंकि 2 बिट्स 4 मानों का प्रतिनिधित्व कर सकते हैं) का उपयोग करके वर्णित करने जैसा है। यह एक बहुत ही आक्रामक संपीड़न है, और आमतौर पर, चित्र बहुत खराब दिखता है (मॉडल "मूर्ख" हो जाता है)।

दो पुराने तरीके (और वे क्यों विफल रहे)

इस पेपर से पहले, इन कंप्रेस किए गए मॉडल्स को ठीक करने के लिए दो मुख्य तरीके थे:

स्केलर क्वांटाइजेशन (Scalar Quantization - SQ): यह मॉडल के हर एक नंबर को स्वतंत्र रूप से मानता है।
- उदाहरण: कल्पना कीजिए कि एक पूरे ऑर्केस्ट्रा का वर्णन करने की कोशिश करना कि प्रत्येक संगीतकार से, "आप केवल चार विशिष्ट स्वरों में से एक ही बजा सकते हैं।" यह व्यवस्थित करना आसान है, लेकिन संगीत बहुत खराब सुनाई देता है क्योंकि संगीतकार तालमेल नहीं बिठा पाते।
- परिणाम: जब आप इस तरह से कंप्रेस करते हैं, तो मॉडल बहुत अधिक जानकारी खो देता है। इसे ठीक करने के लिए, आपको मॉडल को भारी मात्रा में नए डेटा का उपयोग करके फिर से पढ़ाना पड़ता है (जैसे कि कंप्रेशन को ठीक करने के लिए पूरी लाइब्रेरी की किताबें पढ़ना)।
वेक्टर क्वांटाइजेशन (Vector Quantization - VQ): यह नंबरों को एक समूह में रखता है और उन्हें एक टीम के रूप में मानता है।
- उदाहरण: प्रत्येक संगीतकार को एक स्वर बताने के बजाय, आप पूरे ऑर्केस्ट्रा को एक साझा सूची से एक "कॉर्ड" (chord) देते हैं। यदि उन्हें C-मेजर कॉर्ड बजाने की आवश्यकता है, तो वे सभी किताब में "C-मेजर" देखते हैं और एक साथ बजाते हैं। यह बहुत अधिक संगीत की गुणवत्ता को बनाए रखता है।
- समस्या: "लुकअप" (lookup) प्रक्रिया कठोर है। यह एक शब्दकोश की तरह है जहाँ आप शब्दों को बदल नहीं सकते। आप ट्रेनिंग के दौरान इन कॉर्ड्स को एडजस्ट करने के लिए मॉडल को आसानी से "सिखा" नहीं सकते क्योंकि गणित अटक जाता है (यह "डिफरेंशिएबल" नहीं है)।

नया समाधान: LC-QAT

लेखकों ने LC-QAT का प्रस्ताव दिया है, जो दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को मिलाता है। वे इसे लिनियर-कंस्ट्रेंड वेक्टर क्वांटाइजेशन (Linear-Constrained Vector Quantization) कहते हैं।

यह कैसे काम करता है, इसके लिए एक रचनात्मक उदाहरण देखें:

1. "जादुई ब्लूप्रिंट" (Linear-Constrained Codebook)

पुराने VQ तरीके में, "कॉर्ड्स" (codewords) एक विशाल किताब के निश्चित प्रविष्टियाँ थे। आपको सही वाले को खोजना पड़ता था, जो धीमा था और जिसे आसानी से बदला नहीं जा सकता था।

LC-QAT नियमों को बदल देता है। निश्चित कॉर्ड्स की एक विशाल किताब के बजाय, वे एक ब्लूप्रिंट बनाते हैं।

कल्पना कीजिए कि "कॉर्ड्स" पूर्व-लिखित शब्द नहीं हैं, बल्कि एक सरल सूत्र द्वारा उत्पन्न होते हैं: एक बुनियादी आकार (एक डिस्क्रीट वेक्टर) लें और एक रूलर (एक लीनियर मैपिंग) का उपयोग करके उसे खींचें या शिफ्ट करें।
चूंकि यह केवल एक गणितीय सूत्र (खींचना और शिफ्ट करना) है, इसलिए कंप्यूटर आसानी से यह गणना कर सकता है कि कॉर्ड्स को बेहतर बनाने के लिए रूलर को कैसे समायोजित किया जाए। यह डिक्शनरी खोजने की आवश्यकता को समाप्त कर देता है।

2. "स्मूथ स्टार्ट" (डेटा दक्षता)

इस पेपर की सबसे बड़ी सफलता दक्षता (efficiency) है।

पुराना तरीका: यदि आप एक खराब मॉडल (खराब कंप्रेशन) के साथ शुरू करते हैं, तो आपको उसे ठीक करने के लिए भारी मात्रा में डेटा खिलाना पड़ता है। यह एक ऐसी कार को धक्का देने जैसा है जिसका इंजन ही नहीं है; आपको इसे मीलों तक धकेलना पड़ता है।
LC-QAT का तरीका: लेखकों ने मॉडल को इस तरह से इनिशियलाइज़ करने का तरीका खोजा जिससे वह एक "परफेक्ट पार्किंग स्पॉट" में शुरू हो।
- वे एक स्मार्ट प्री-ट्रेनिंग स्टेप (जिसे PTQ कहा जाता है) का उपयोग करते हैं ताकि "रूलर" और "आकारों" को इतना सटीक रूप से सेट किया जा सके कि मॉडल पहले से ही 90% तक अच्छा हो।
- परिणाम: क्योंकि मॉडल फिनिश लाइन के बहुत करीब से शुरू होता है, इसलिए इसे समान स्तर की बुद्धिमत्ता प्राप्त करने के लिए अन्य तरीकों की तुलना में केवल 0.1% से 10% डेटा की आवश्यकता होती है। यह एक ऐसी कार होने जैसा है जिसमें फुल टैंक गैस और वर्किंग इंजन है; आपको लंबी दूरी तय करने के लिए केवल बहुत कम ईंधन की आवश्यकता है।

3. "स्मूथ स्लाइड" (Differentiable Training)

आमतौर पर, जब आप कंप्यूटर को नंबरों को राउंड करने (2-बिट बनाने) के लिए मजबूर करते हैं, तो गणित "जंप" करता है और सीखने की प्रक्रिया को तोड़ देता है।

उदाहरण: कल्पना कीजिए कि आप एक सीढ़ी से नीचे फिसलने की कोशिश कर रहे हैं। यदि आप सीढ़ियों के तीखे किनारों पर फिसलने की कोशिश करते हैं, तो आप फंस सकते हैं या गिर सकते हैं।
समाधान: LC-QAT एक विशेष "रैंप" (एक डिफरेंशिएबल ग्रेडिएंट एस्टिमेटर) का उपयोग करता है। सीढ़ियों के ऊपर से कूदने के बजाय, गणित एक स्मूथ स्लाइड बनाता है जो मॉडल को बिना अटके लगातार सीखने की अनुमति देता है।

उन्होंने क्या साबित किया?

लेखकों ने कई प्रसिद्ध AI मॉडल्स (जैसे Qwen और LLaMA) पर इसका परीक्षण किया और पाया:

बेहतर गुणवत्ता: उनके 2-बिट मॉडल्स पिछले तरीकों की तुलना में अधिक स्मार्ट थे और कम गलतियाँ करते थे।
कम डेटा की आवश्यकता: उन्होंने प्रतिस्पर्धियों द्वारा आवश्यक ट्रेनिंग डेटा के एक बहुत छोटे हिस्से का उपयोग करके शीर्ष परिणाम प्राप्त किए।
स्केलेबिलिटी (Scalability): जैसे-जैसे उन्होंने डेटा बढ़ाया, मॉडल बेहतर होता गया, जबकि अन्य तरीके एक "सीलिंग" (सीमा) पर पहुँच गए और सुधार करना बंद कर दिया।

सारांश

LC-QAT AI मॉडल्स को उनकी बुद्धिमत्ता खोए बिना 2-बिट तक सिकोड़ने का एक नया तरीका है। यह इसे निम्नलिखित तरीकों से करता है:

एक कठोर "डिक्शनरी" को एक लचीले "ब्लूप्रिंट" से बदलकर जिसे गणितीय रूप से समायोजित किया जा सकता है।
ट्रेनिंग प्रक्रिया को एक उच्च-गुणवत्ता वाले सेटअप के साथ शुरू करके ताकि मॉडल को भारी मात्रा में डेटा के साथ फिर से सिखाने की आवश्यकता न हो।
गणित को सुचारू (smooth) बनाकर ताकि मॉडल कुशलतापूर्वक सीख सके।

परिणामस्वरूप, एक अत्यधिक कंप्रेस्ड AI मिलता है जो आश्चर्यजनक रूप से स्मार्ट है और जिसे प्रशिक्षित करना बेहद सस्ता है।

तकनीकी सारांश: LC-QAT

समस्या विवरण

संसाधन-सीमित उपकरणों पर लार्ज लैंग्वेज मॉडल्स (LLMs) की तैनाती उनके भारी मेमोरी और कम्प्यूटेशनल आवश्यकताओं के कारण बाधित होती है। जबकि क्वांटाइजेशन एक प्राथमिक समाधान है, अत्यंत कम बिट-चौड़ाई (विशेष रूप से 2-बिट) पर उच्च प्रदर्शन प्राप्त करना एक महत्वपूर्ण चुनौती बनी हुई है।

मौजूदा दृष्टिकोण एक ट्रेड-ऑफ का सामना करते हैं:

स्केलर क्वांटाइजेशन (SQ) QAT: हालांकि यह मानक बैकप्रोपैगेशन के माध्यम से अनुकूलित करने में आसान है, लेकिन SQ 2-बिट प्रिसिजन पर गंभीर सूचना हानि (information loss) का शिकार होता है। इससे कमजोर इनिशियलाइजेशन होता है और प्रदर्शन को पुनः प्राप्त करने के लिए विशाल मात्रा में प्रशिक्षण डेटा पर अत्यधिक निर्भरता पैदा होती है।
वेक्टर क्वांटाइजेशन (VQ) QAT: VQ वेट्स को समूहबद्ध करके और उन्हें एक साझा कोडबुक (codebook) से मैप करके बेहतर प्रतिनिधित्व क्षमता प्रदान करता है, जिससे अधिक जानकारी सुरक्षित रहती है। हालांकि, कोडबुक लुकअप (निकटतम-पड़ोसी खोज) की असतत (discrete) प्रकृति प्रक्रिया को गैर-विभेदक (non-differentiable) बनाती है, जो एंड-टू-एंड प्रशिक्षण को रोकती है। QAT में VQ को शामिल करने के मौजूदा प्रयास अक्षम कोऑर्डिनेट डिसेंट या बीम सर्च पर निर्भर करते हैं, जिसके परिणामस्वरूप असंतुलित पैरामीटर अपडेट होते हैं।

कार्यप्रणाली: LC-QAT

लेखक LC-QAT (लिनियर-कंस्ट्रेंड क्वांटाइजेशन-अवेयर ट्रेनिंग) का प्रस्ताव करते हैं, जो 2-बिट वेट-ओनली वेक्टर क्वांटाइज्ड मॉडल्स के एंड-टू-एंड प्रशिक्षण को सक्षम करने के लिए डिज़ाइन किया गया एक फ्रेमवर्क है।

1. लिनियर-कंस्ट्रेंड पैरामीट्राइजेशन (Linear-Constrained Parameterization)

मुख्य नवाचार असतत (discrete) कोडबुक के स्थान पर एक लिनियर-कंस्ट्रेंड पैरामीट्राइजेशन का उपयोग करना है। एक असतत कोडबुक में निकटतम पड़ोसी खोजने के बजाय, कोडवर्ड्स को असतत वेक्टर्स पर एक सीखे गए एफाइन मैपिंग (affine mapping) के माध्यम से उत्पन्न किया जाता है:
$c = Az + B$
जहाँ:

$z \in \{0, 1, 2, 3\}^d$ एक असतत क्वाटर्नरी वेक्टर है।
$A \in \mathbb{R}^{d \times d}$ और $B \in \mathbb{R}^d$ सीखे जाने योग्य फ्लोटिंग-पॉइंट पैरामीटर्स हैं जो एक वेट मैट्रिक्स के भीतर साझा किए जाते हैं।

यह फॉर्मूलेशन असतत इंडेक्स चयन की समस्या को सरल राउंडिंग और क्लैम्पिंग ऑपरेशन्स के बाद एक लिनियर प्रोजेक्शन में बदल देता है। फलस्वरूप, फॉरवर्ड पास लुकअप-फ्री हो जाता है, और ग्रेडिएंट्स लिनियर मैपिंग के माध्यम से सीधे प्रसारित हो सकते हैं, जिससे मानक बैकप्रोपैगेशन संभव हो जाता है।

2. इनिशियलाइजेशन रणनीति

यह सुनिश्चित करने के लिए कि मॉडल एक अनुकूल अनुकूलन क्षेत्र (optimization region) में शुरू हो, LC-QAT एक उच्च-गुणवत्ता वाले पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) इनिशियलाइजेशन का उपयोग करता है:

LDLQ एल्गोरिदम: प्रारंभिक क्वांटाइज्ड वेट्स ( $W_z$ ) को LDLQ एल्गोरिदम का उपयोग करके उत्पन्न किया जाता है, जो अनुक्रमिक रिकंस्ट्रक्शन एरर कंपनसेशन के साथ कॉलम-वाइज ग्रुप क्वांटाइजेशन करता है।
एफाइन ट्रांसफॉर्मेशन: फ्लोटिंग-पॉइंट प्रॉक्सी वेट्स ( $W_p$ ) को इंटीजर वेट्स ( $W_z$ ) के एक एफाइन ट्रांसफॉर्मेशन के माध्यम से इनिशियलाइज किया जाता है ताकि वे ज़ेवियर इनिशियलाइजेशन स्टैटिस्टिक्स (जीरो मीन, लेयर-डिपेंडेंट वेरिएंस) के साथ संरेखित हो सकें, जिससे प्रशिक्षण स्थिरता सुनिश्चित होती है।

3. ट्रेनिंग पाइपलाइन

फॉरवर्ड पास: प्रॉक्सी वेट्स को राउंडिंग और क्लैम्पिंग के माध्यम से इंटीजर वेट्स में विविक्त (discretize) किया जाता है। इन इंटीजर्स को लिनियर मैपिंग ( $AW_z + B$ ) का उपयोग करके प्रभावी वेट्स में डिकोड किया जाता है। गणना को ऑप्टिमाइज्ड INT2-FP16 मैट्रिक्स मल्टीप्लिकेशन कर्नेल्स का लाभ उठाने के लिए पुनर्गठित किया जाता है।
बैकवर्ड पास: राउंडिंग ऑपरेशन की गैर-विभेदक प्रकृति को संबोधित करने के लिए, लेखक मानक स्ट्रेट-थ्रू एस्टीमेटर (STE) के बजाय एक डिफरेंशिएबल ग्रेडिएंट एस्टीमेटर (DGE) का उपयोग करते हैं। DGE एक स्मूथ, डिफरेंशिएबल कर्व के साथ डिस्क्रीटाइजेशन फंक्शन का अनुमान लगाता है, जिससे ग्रेडिएंट नॉइज़ कम होती है और लोकल मिनिमा के पास लॉस स्पाइक्स (loss spikes) को रोका जा सकता है।

मुख्य योगदान

लुकअप-फ्री VQ-QAT: यह पेपर एक ऐसा पैरामीट्राइजेशन पेश करता है जो प्रशिक्षण के दौरान स्पष्ट कोडबुक लुकअप को हटा देता है, जिससे 2-बिट वेक्टर क्वांटाइज्ड वेट्स के लिए पूर्णतः डिफरेंशिएबल एंड-टू-एंड ऑप्टिमाइजेशन संभव होता है।
ऑप्टिमाइजेशन लैंडस्केप विश्लेषण: अनुभवजन्य प्रमाण दर्शाते हैं कि LC-QAT इनिशियलाइजेशन, SQ-आधारित 2-बिट QAT की तुलना में काफी अधिक अनुकूल ऑप्टिमाइजेशन बेसिन (FP16 ग्लोबल मिनिमम के करीब) में स्थित है, जो इसके बेहतर ट्रेनैबिलिटी की व्याख्या करता है।
डेटा दक्षता: यह फ्रेमवर्क मौजूदा स्केलर-क्वांटाइज्ड QAT विधियों द्वारा आवश्यक प्रशिक्षण डेटा के केवल 0.1%–10% का उपयोग करके स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।

प्रयोगात्मक परिणाम

विविध LLMs (Qwen-3, LLaMA-3) पर विभिन्न बेंचमार्क (Zero-Shot QA, Instruction Following, Math, और Code) पर प्रयोग किए गए।

मॉडल क्षमता: LC-QAT लगातार स्टेट-ऑफ-द-आर्ट VQ-QAT बेसलाइन (PV-Tuning) और विभिन्न PTQ विधियों से बेहतर प्रदर्शन करता है। PV-Tuning के विपरीत, जो जल्दी संतृप्त (saturate) हो जाता है, LC-QAT प्रशिक्षण डेटा बढ़ने के साथ निरंतर प्रदर्शन लाभ दिखाता है।
डेटा दक्षता:
- LC-QAT, ParetoQ (एक अग्रणी 2-bit SQ-QAT विधि) से बेहतर प्रदर्शन करता है, जबकि वह केवल ~10% प्रशिक्षण डेटा का उपयोग करता है।
- इंस्ट्रक्शन-ट्यूनिंग परिदृश्यों में, LC-QAT केवल 0.1% टोकन काउंट (4B टोकन) का उपयोग करके BitNet 2B4T (4T टोकन पर स्क्रैच से प्रशिक्षित एक उच्च-प्रदर्शन वाला 2-बिट मॉडल) की तुलना में उच्च औसत सटीकता प्राप्त करता है।
एब्लेशन स्टडीज (Ablation Studies):
- इनिशियलाइजेशन: उच्च-गुणवत्ता वाले PTQ इनिशियलाइजेशन को रैंडम या GPTQ इनिशियलाइजेशन से बदलने पर प्रदर्शन में भारी गिरावट आती है, जो एक मजबूत शुरुआती बिंदु की आवश्यकता की पुष्टि करता है।
- ग्रेडिएंट एमिशन: मानक STE की तुलना में DGE का उपयोग प्रशिक्षण को काफी स्थिर बनाता है, जिससे शुरुआती लॉस स्पाइक्स को रोका जा सकता है।
- प्रीप्रोसेसिंग: स्थिर प्रशिक्षण के लिए इंटीजर वेट प्रीप्रोसेसिंग आवश्यक है; इसके बिना, लॉस कम नहीं होता है।

महत्व और दावे

यह पेपर LC-QAT को अत्यधिक लो-बिट (2-बिट) मॉडल डिप्लॉयमेंट के लिए एक व्यावहारिक और स्केलेबल समाधान के रूप में प्रस्तुत करता है। वेक्टर क्वांटाइजेशन की प्रतिनिधित्व क्षमता और एंड-टू-एंड ट्रेनिंग की ऑप्टिमाइजेशन दक्षता के बीच के अंतर को पाटकर, LC-QAT लो-बिट QAT में डेटा की कमी की महत्वपूर्ण बाधा को दूर करता है।

लेखक दावा करते हैं कि उनका कार्य डेटा-एफिशिएंट 2-बिट क्वांटाइजेशन के लिए एक नया मानक स्थापित करता है, जिससे मॉडल न्यूनतम फाइन-ट्यूनिंग डेटा के साथ उच्च इंस्ट्रक्शन-फॉलोइंग और रीजनिंग क्षमताओं को बनाए रख सकते हैं। वे विशाल प्रशिक्षण बजट के लिए स्केलेबिलिटी और आधुनिक फ्रेमवर्क्स में उनके लिनियर प्रोजेक्शन डिकोडिंग के अत्यधिक ऑप्टिमाइज्ड GEMM कर्नेल्स के साथ इंटरैक्शन के संबंध में सीमाओं को स्वीकार करते हैं, और इन्हें भविष्य के अन्वेषण के क्षेत्र के रूप में चिह्नित करते हैं।