💬 NLP

GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries

GaugeQuant एक ऑनलाइन लर्निंग विधि है जो LLM समरूपताओं (symmetries) और एक LogSumExp लॉस टर्म का लाभ उठाकर प्रशिक्षण के दौरान गतिशील रूप से क्वांटाइजेशन-अनुकूल आधारों (bases) को सीखती है, जो बिना किसी कैलिब्रेशन डेटा या भाषा मॉडलिंग उद्देश्य को बदले, कम-बिट क्वांटाइजेशन के तहत परप्लेक्सिटी को काफी कम कर देती है।

मूल लेखक: Miguel P. Bento, João F. Seabra

प्रकाशित 2026-07-27

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Miguel P. Bento, João F. Seabra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ज्ञान के एक विशाल, जटिल पुस्तकालय को एक छोटे से बैकपैक में फिट करने की कोशिश कर रहे हैं। यह आधुनिक आर्टिफिशियल इंटेलिजेंस (AI) का दैनिक संघर्ष है। इन AI सिस्टम के "मस्तिष्क", जिन्हें लार्ज लैंग्वेज मॉडल्स (Large Language Models) कहा जाता है, इतने विशाल होते हैं कि उन्हें चलाने के लिए कंप्यूटर मेमोरी के पहाड़ों की आवश्यकता होती है। इन्हें छोटे उपकरणों में फिट करने के लिए, वैज्ञानिक क्वांटाइजेशन (quantization) नामक एक तरकीब का उपयोग करते हैं। इसे एक हाई-डेफिनिशन मूवी को लो-रेज़ोल्यूशन फ़ाइल में कंप्रेस करने जैसा समझें ताकि जगह बचाई जा सके। आप कुछ विवरण खो देते हैं, लेकिन मूवी अभी भी देखने योग्य होती है। हालाँकि, इसमें एक पेंच है: कभी-कभी मूवी में कुछ दृश्य बहुत अधिक चमकीले या गहरे (जिन्हें "आउटलायर्स" या outliers कहा जाता है) हो सकते हैं। जब आप उन चरम दृश्यों को समाहित करने के लिए पूरी फ़ाइल को कंप्रेस करने की कोशिश करते हैं, तो बाकी की मूवी धुंधली और विकृत हो जाती है।

लंबे समय तक, वैज्ञानिकों ने इसे AI बनने के बाद ठीक करने की कोशिश की, जैसे कि फिल्म शूट होने के बाद उसे एडिट करने की कोशिश करना। वे "चमकीले धब्बों" को देखते थे और डेटा के एक छोटे नमूने का उपयोग करके उन्हें स्मूथ करने की कोशिश करते थे। लेकिन यह पेपर एक नए विचार को पेश करता है: क्या होगा अगर हम AI को उसके निर्माण के दौरान ही अपनी लाइब्रेरी व्यवस्थित करना सिखा सकें, ताकि वह बिना किसी अव्यवस्थित सफाई के स्वाभाविक रूप से बैकपैक में फिट हो जाए? शोधकर्ता एक ऐसी विधि प्रस्तावित करते हैं जो AI की अपनी आंतरिक "लचीलेपन" (flexibility) का उपयोग करती है ताकि कंप्रेस होने से पहले उसके डेटा को पुनर्व्यवस्थित किया जा सके, जिससे कंप्रेशन बहुत अधिक साफ-सुथरा हो जाता है।

द पेपर: गेजक्वांट (GaugeQuant)

आप जो पेपर पढ़ रहे हैं वह गेजक्वांट (GaugeQuant) नामक एक चतुर नई तकनीक के बारे में है। लेखक, मिगुएल पी. बेंटो और जोआओ एफ. सेब्रा ने पाया कि इन AI मॉडल्स की आंतरिक संरचना में एक छिपी हुई सुपरपावर है: सिमेट्री (symmetry - समरूपता)।

इसे समझने के लिए, कल्पना करें कि AI का मस्तिष्क हजारों घूमते हुए गियर्स (gears) से बना है। कई जगहों पर, ये गियर्स एक-दूसरे के साथ पूर्ण तालमेल में घूम सकते हैं बिना AI द्वारा दिए जाने वाले अंतिम उत्तर को बदले। यह बिल्कुल वैसा ही है जैसे आपके पास नर्तकों की एक टीम हो; यदि वे सभी एक साथ 90 डिग्री घूमते हैं, तो कोरियोग्राफी दर्शकों के दृष्टिकोण से वैसी ही दिखती है। AI को इस बात से फर्क नहीं पड़ता कि डेटा किस विशिष्ट "कोण" (angle) से आ रहा है, जब तक कि गियर्स के बीच के संबंध समान रहते हैं।

समस्या यह है कि जब हम AI को कंप्रेस (quantize) करने की कोशिश करते हैं, तो हमें एक विशिष्ट कोण चुनना पड़ता है। यदि हम गलत कोण चुनते हैं, तो "आउटलायर्स" (अत्यधिक चमकीले या गहरे डेटा बिंदु) खिंच जाते हैं, जिससे कंप्रेशन खराब हो जाता है। आमतौर पर, वैज्ञानिक AI के प्रशिक्षित होने के बाद एक अलग डेटासेट का उपयोग करके सबसे अच्छे कोण को खोजने के लिए इंतजार करते हैं।

गेजक्वांट इसे प्रशिक्षण के दौरान करके खेल बदल देता है। लेखकों ने AI के होमवर्क में एक विशेष "पेनल्टी" (दंड) जोड़ी है। कल्पना करें कि AI कहानियाँ लिखना सीख रहा है, और शिक्षक (कंप्यूटर) कहता है, "बहुत अच्छी कहानी! लेकिन यदि आप बहुत अधिक चरम या अजीब शब्दों का उपयोग करते हैं, तो आपके अंक कट जाएंगे।" यह पेनल्टी LogSumExp नामक एक गणितीय सूत्र पर आधारित है। यह AI को धीरे से अपने आंतरिक गियर्स को पुनर्व्यवस्थित करने (अपने डेटा को घुमाने) के लिए प्रेरित करता है ताकि कोई भी एकल संख्या अत्यधिक आउटलायर न बने।

यहाँ असली जादू है: AI को कहानियाँ लिखने की अपनी क्षमता को बिगाड़े बिना यह पुनर्व्यवस्था करनी होगी। लेखकों ने एक "स्टॉप-ग्रेडिएंट" (stop-gradient) ट्रिक का उपयोग किया है। इसे एक एकतरफा दर्पण (one-way mirror) की तरह समझें। AI अपने सामान्य पाठों का उपयोग करके बेहतर कहानियाँ लिखना सीखता है, लेकिन वह कंप्रेशन के लिए अपने डेटा को व्यवस्थित करना एक अलग, अदृश्य पाठ का उपयोग करके सीखता है। दोनों एक-दूसरे में हस्तक्षेप नहीं करते हैं। AI अपने डेटा के लिए "परफेक्ट एंगल" स्वचालित रूप से खोज लेता है, ताकि जब इसे अंततः कंप्रेस किया जाए, तो सब कुछ बिना गुणवत्ता खोए ठीक से फिट हो जाए।

उन्होंने क्या पाया

शोधकर्ताओं ने इन दो प्रसिद्ध AI मॉडल्स पर इसका परीक्षण किया: Qwen-2.5 0.5B और LLaMA-2 7B। उन्होंने मॉडल्स को बहुत कम परिशुद्धता (weights और activations के लिए केवल 4 बिट्स का उपयोग करके, जो कि एक बहुत ही तंग स्थिति है) पर कंप्रेस करने का अनुकरण (simulate) किया।

परिणाम काफी उत्साहजनक रहे:

LLaMA-2 7B मॉडल के लिए, जब उन्होंने वेट्स (weights) और एक्टिवेशन्स (activations) दोनों को 4 बिट्स (W4A4) तक कंप्रेस किया (128 के ग्रुप साइज के साथ), तो "परप्लेक्सिटी" (एक स्कोर जहाँ कम होना बेहतर है, जिसका अर्थ है कि AI कम भ्रमित है) 8.22 से गिरकर 6.73 हो गई।
जब उन्होंने केवल वेट्स को 4 बिट्स तक कंप्रेस किया लेकिन एक्टिवेशन्स को फुल प्रिसिजन (W4A16) रखा, तो स्कोर और भी नाटकीय रूप से सुधरा, जो 11.16 से गिरकर 5.45 हो गया।
छोटे Qwen-2.5 0.5B मॉडल के लिए भी सुधार महत्वपूर्ण थे, जहाँ W4A4 स्कोर 187.8 से गिरकर 61.2 हो गया।

लेखक बताते हैं कि इस विधि के लिए किसी विशेष कैलिब्रेशन डेटा की आवश्यकता नहीं है (अलग टेस्ट सेट की आवश्यकता नहीं है) और यह प्रशिक्षण प्रक्रिया में लगभग कोई अतिरिक्त समय नहीं जोड़ता है। यह उन तरीकों का मुकाबला करता है जिनमें आमतौर पर प्रशिक्षण के बाद मॉडल को फ्रीज करने और व्यापक रूप से परीक्षण करने की आवश्यकता होती है।

यह क्या नहीं करता (और क्या अभी भी अज्ञात है)

यह जानना महत्वपूर्ण है कि यह विधि क्या हल नहीं करती है। लेखकों ने पाया कि यदि आप केवल एक सिंगल स्केल (single scale) का उपयोग करके एक्टिवेशन्स को 4 बिट्स में कंप्रेस करने की कोशिश करते हैं (एक बहुत ही सख्त सेटिंग जिसे "पर-टोकन" कहा जाता है), तो मॉडल फिर भी विफल हो जाते हैं और अनुपयोगी हो जाते हैं, चाहे रोटेशन कुछ भी हो। यह विधि तब सबसे अच्छा काम करती है जब आप कुछ ग्रुपिंग (जैसे 128 का ग्रुप साइज) की अनुमति देते हैं।

साथ ही, लेखक स्वीकार करते हैं कि उनकी विधि वास्तविक कंप्रेशन एरर के लिए एक "प्रॉक्सि" (stand-in) पर निर्भर करती है। वे आउटलायर्स का अनुमान लगाने के लिए LogSumExp फॉर्मूला का उपयोग करते हैं, लेकिन यह वास्तविक दुनिया के कंप्रेशन का एकदम सटीक सिमुलेशन नहीं है। उनका सुझाव है कि यह कभी-कभी उस डेटा को भी स्मूथ कर सकता है जिसकी मॉडल को समान चीजों के बीच अंतर करने के लिए आवश्यकता होती है।

अंत में, ये परिणाम दो विशिष्ट मॉडल्स (0.5B और 7B) पर सिमुलेशन और ट्रेनिंग रन पर आधारित हैं। लेखक सुझाव देते हैं कि हालांकि गणित ठोस दिखता है, लेकिन हमें अभी तक यह नहीं पता है कि यह बहुत बड़े मॉडल्स या विभिन्न वास्तविक दुनिया के परिदृश्यों में कैसा व्यवहार करेगा। वे प्रस्ताव देते हैं कि यह प्रशिक्षण के दौरान उपयोग किए जाने वाले एक नए उपकरण के रूप में है, जिसे और भी बेहतर परिणामों के लिए अन्य "पोस्ट-ट्रेनिंग" सुधारों के साथ जोड़ा जा सकता है, लेकिन उन्होंने अभी तक यह साबित नहीं किया है कि यह हर संभव AI आर्किटेक्चर के लिए काम करता है।

संक्षेप में, गेजक्वांट यह सुझाव देता है कि AI को सीखने के दौरान अपने स्वयं के डेटा को व्यवस्थित करना सिखाकर, हम इसे बिना सामग्री बिखेरे एक बहुत छोटे बैकपैक में पैक कर सकते हैं। यह विशाल AI दिमागों को कंप्रेस करने की अव्यवस्थित वास्तविकता को संभालने का एक चतुर और कुशल तरीका है।

तकनीकी सारांश: GaugeQuant

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) को भारी कंप्यूटेशनल संसाधनों की आवश्यकता होती है, जिसके लिए इन्फरेंस के दौरान मेमोरी फुटप्रिंट को कम करने हेतु क्वांटाइजेशन (quantization) आवश्यक है। पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) कंप्यूटेशनल रूप से सस्ता है, लेकिन यह अक्सर वेट्स (weights) और एक्टिवेशन्स (activations) के वितरण में मौजूद "आउटलायर्स" (outliers) के कारण मॉडल के प्रदर्शन को खराब कर देता है। ये आउटलायर्स क्वांटाइजेशन रेंज को खींच देते हैं, जिससे बार-बार आने वाले मानों (values) को दर्शाने के लिए कम बिट्स बचते हैं। मौजूदा PTQ विधियाँ, जैसे कि SpinQuant, आउटलायर्स को दबाने के लिए इष्टतम ऑर्थोगोनल रोटेशन (orthogonal rotations) सीखने का प्रयास करती हैं, लेकिन वे स्थिर कैलिब्रेशन डेटासेट का उपयोग करके फ्रोजन मॉडल्स पर काम करती हैं। यह शोध पत्र एक ऐसे इन-ट्रेनिंग तंत्र की आवश्यकता को संबोधित करता है जो बिना किसी कैलिब्रेशन डेटा या मॉडल को फ्रीज किए, एक क्वांटाइजेशन-अनुकूल आधार (basis) सीख सके, जिससे मानक PTQ से जुड़े प्रदर्शन ह्रास से बचा जा सके।

कार्यप्रणाली (Methodology)
GaugeQuant ट्रांसफॉर्मर आर्किटेक्चर में निहित निरंतर समरूपताओं (continuous symmetries) का लाभ उठाता है। लेखक देखते हैं कि अटेंशन और MLP परतों के सीमाओं पर विशिष्ट लीनियर ट्रांसफॉर्मेशन (रोटेशन) फुल-प्रिसिजन आउटपुट को अपरिवर्तित (invariant) छोड़ देते हैं। हालाँकि, यूनिफॉर्म क्वांटाइजेशन नॉन-लीनियर है और इन रोटेशन्स के साथ कम्यूट (commute) नहीं करता है, जिसका अर्थ है कि बेसिस का चुनाव क्वांटाइजेशन एरर को महत्वपूर्ण रूप से प्रभावित करता है।

मुख्य कार्यप्रणाली में ट्रेनिंग लॉस फंक्शन में सीधे क्वांटाइजेशन एरर के एक डिफरेंशिएबल प्रॉक्सी (differentiable proxy) को शामिल करना शामिल है:

सिमेट्री एक्सप्लोइटेशन (Symmetry Exploitation): विधि अटेंशन हेड्स के वैल्यू-आउटपुट (V-O) बाउंड्री और MLP बाउंड्री पर $SO(d)$ सिमेट्री को पहचानती है। MLP के लिए, जहाँ नॉन-लिनैरिटी रोटेशन्स के पूर्ण अवशोषण को रोकती है, वहाँ एक ब्लॉक-डायगोनल रोटेशन स्ट्रक्चर का उपयोग किया जाता है।
डिफरेंशिएबल प्रॉक्सी: गैर-डिफरेंशिएबल क्वांटाइजेशन को सिम्युलेट करने के बजाय, लेखक रोटेटेड एक्टिवेशन्स के $L_\infty$ नॉर्म को कम करते हैं, जो क्वांटाइजेशन स्टेप साइज को निर्धारित करता है। इसे एक स्मूथ, डिफरेंशिएबल LogSumExp फंक्शन का उपयोग करके अनुमानित किया जाता है:
$L_{rot}(R) = \frac{1}{\beta} \log \left( \sum_i \exp(\beta |z_i|) \right), \quad z = \text{sg}(H) \cdot R$
यहाँ, $H$ बाउंड्री एक्टिवेशन्स को दर्शाता है, $R$ रोटेशन मैट्रिक्स है, और $\text{sg}(\cdot)$ एक स्टॉप-ग्रेडिएंट (stop-gradient) ऑपरेटर है।
लॉस सेपरेशन (Loss Separation): कुल लॉस को $L_{total} = L_{CE} + \lambda L_{rot}$ के रूप में परिभाषित किया गया है। स्टॉप-ग्रेडिएंट ऑपरेटर यह सुनिश्चित करता है कि लैंग्वेज मॉडलिंग ऑब्जेक्टिव ( $L_{CE}$ ) केवल मॉडल वेट्स को अपडेट करे, जबकि रोटेशन पैरामीटर्स ( $R$ ) विशेष रूप से LogSumExp टर्म द्वारा अपडेट किए जाएं। यह दोनों उद्देश्यों को ऑर्थोगोनल रखता है।
ऑप्टिमाइजेशन (Optimization): ग्रेडिएंट डिसेंट के दौरान ऑर्थोगोनैलिटी बनाए रखने के लिए, रोटेशन मैट्रिसेस को एक स्क्यू-सिमेट्रिक (skew-symmetric) मैट्रिक्स के केली ट्रांसफॉर्म (Cayley transform) के माध्यम से पैरामीटराइज किया जाता है, जिससे यह सुनिश्चित होता है कि पैरामीटर्स $SO(d)$ मैनिफोल्ड पर बने रहें।

प्रमुख योगदान

इन-ट्रेनिंग बेसिस लर्निंग: पूर्ववर्ती कार्यों के विपरीत जो ट्रेनिंग के बाद रोटेशन को ऑप्टिमाइज़ करते हैं, GaugeQuant ट्रेनिंग प्रक्रिया के दौरान गतिशील रूप से क्वांटाइजेशन-अनुकूल बेसिस सीखता है।
कोई कैलिब्रेशन डेटा नहीं: इस विधि के लिए किसी स्थिर कैलिब्रेशन डेटासेट की आवश्यकता नहीं है, क्योंकि आउटलायर सप्रेशन (outlier suppression) स्वयं ट्रेनिंग लॉस द्वारा संचालित होता है।
नगण्य ओवरहेड: यह दृष्टिकोण ट्रेनिंग और इन्फरेंस में न्यूनतम कंप्यूटेशनल लागत जोड़ता है (MLPs के लिए ब्लॉक-डायगोनल रोटेशन्स के रनटाइम एप्लीकेशन तक सीमित)।
सिमेट्री ब्रेकिंग: यह एक विशिष्ट लॉस टर्म के माध्यम से ट्रांसफॉर्मर की गेज सिमेट्री (gauge symmetry) को स्पष्ट रूप से तोड़ता है ताकि एक अद्वितीय बेसिस चुना जा सके जो एक्टिवेशन आउटलायर्स को कम करता है।

परिणाम
लेखकों ने WikiText-2 डेटासेट का उपयोग करके Qwen-2.5 0.5B और LLaMA-2 7B मॉडल्स पर GaugeQuant का मूल्यांकन किया।

W4A16 (4-bit weights, 16-bit activations): LLaMA-2 7B पर, परप्लेक्सिटी (perplexity) 11.16 (बेसलाइन) से गिरकर 5.45 हो गई, जो क्वांटाइजेशन-प्रेरित गिरावट में 51% की कमी है।
W4A4 g128 (4-bit weights and activations, group size 128): LLaMA-2 7B पर, परप्लेक्सिटी 8.22 से सुधरकर 6.73 हो गई। Qwen-2.5 0.5B पर, परप्लेक्सिटी 187.8 से गिरकर 61.2 हो गई।
तुलना: यह विधि SpinQuant जैसे पोस्ट-ट्रेनिंग दृष्टिकोणों के साथ प्रतिस्पर्धा करती है, लेकिन बिना किसी फ्रोजन मॉडल या कैलिब्रेशन सेट के ये परिणाम प्राप्त करती है। एक कंट्रोल ग्रुप, जिसे गेज लॉस के बिना फाइन-ट्यून किया गया था, ने कोई सुधार नहीं दिखाया, जो पुष्टि करता है कि लाभ सीखे गए रोटेशन्स के कारण हैं।
सीमाएँ: यह विधि सख्त प्रति-टोकन (per-token) W4A4 क्वांटाइजेशन के तहत विफल हो जाती है, जहाँ रोटेशन के बावजूद मॉडल्स कोलैप्स हो जाते हैं, जो यह दर्शाता है कि व्यवहार्य 4-bit इन्फरेंस के लिए ग्रुप क्वांटाइजेशन आवश्यक है।

महत्व और दावे
पेपर का दावा है कि GaugeQuant यह प्रदर्शित करता है कि ट्रांसफॉर्मर आर्किटेक्चर में निरंतर समरूपताओं (continuous symmetries) का उपयोग केवल पोस्ट-हॉक (post-hoc) के बजाय ट्रेनिंग के दौरान ऑनलाइन किया जा सकता है। लेखक इस विधि को मौजूदा PTQ तकनीकों के पूरक के रूप में देखते हैं; GaugeQuant के साथ प्रशिक्षित मॉडल को बाद में SpinQuant जैसी पोस्ट-ट्रेनिंग विधियों के साथ रिफाइन किया जा सकता है।

इसका महत्व सीधे ट्रेनिंग प्रक्रिया से "क्वांटाइजेशन-फ्रेंडली" मॉडल बनाने की क्षमता में निहित है, जो अलग से कैलिब्रेशन चरणों की आवश्यकता को समाप्त करता है। लेखक नोट करते हैं कि गेज फ्रेमवर्क क्वांटाइजेशन के अलावा किसी भी हार्डवेयर बाधा के लिए सामान्यीकृत (generalizable) है जो रोटेशनल सिमेट्री को तोड़ती है (जैसे, स्ट्रक्चर्ड स्पर्सिटी या मिक्सड-प्रिसिजन फॉर्मेट)। हालाँकि, पेपर विनम्रतापूर्वक सीमाओं को स्वीकार करता है, जिसमें MLPs के लिए ब्लॉक-डायगोनल रोटेशन्स पर निर्भरता (जो ब्लॉक सीमाओं के बीच आउटलायर पुनर्वितरण को सीमित करती है) और LogSumExp प्रॉक्सी द्वारा बड़े एक्टिवेशन्स को अंधाधुंध दबाने की संभावना शामिल है, जो सूक्ष्म अंतरों के एनकोडिंग को प्रभावित कर सकती है। प्रयोग वर्तमान में 0.5B और 7B पैरामीटर मॉडल्स तक सीमित हैं।

द पेपर: गेजक्वांट (GaugeQuant)

उन्होंने क्या पाया

यह क्या नहीं करता (और क्या अभी भी अज्ञात है)

इसी तरह के और पेपर