🤖 machine learning

WUSH: Near-Optimal Adaptive Transforms for LLM Quantization

यह शोध पत्र WUSH को प्रस्तुत करता है, जो एक नियर-ऑप्टिमल एडेप्टिव ट्रांसफॉर्म है जो मौजूदा फिक्स्ड तरीकों की तुलना में लो-बिट LLM क्वांटाइजेशन सटीकता और थ्रूपुट में महत्वपूर्ण सुधार करने के लिए एक हैडामार्ड बैकबोन को डेटा-डिपेंडेंट सेकंड-मोमेंट एडजस्टमेंट्स के साथ जोड़ता है।

मूल लेखक: Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

प्रकाशित 2026-06-02

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किताबों के एक विशाल, नाजुक पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) को एक छोटे, मजबूत सूटकेस (एक लो-बिट क्वांटाइज्ड फॉर्मेट) में पैक करने की कोशिश कर रहे हैं ताकि आप इसे कहीं भी अपने साथ ले जा सकें। लक्ष्य सूटकेस को छोटा और हल्का बनाना है बिना अंदर रखी किताबों को कुचले।

समस्या यह है कि इस पुस्तकालय में कुछ किताबें अत्यधिक भारी और अजीब आकार की हैं (इन्हें आउटलेयर्स कहा जाता है)। यदि आप उन्हें एक मानक मापने वाले टेप का उपयोग करके पैक करने की कोशिश करते हैं, तो ये भारी किताबें पूरे सूटकेस के आकार को अपने अनुसार तय कर देती हैं, जिससे बाकी किताबों के लिए बहुत कम जगह बचती है। इसके परिणामस्वरूप पैकिंग का काम अव्यवस्थित और अक्षम हो जाता है जहाँ छोटी किताबें दब जाती हैं और अपना विवरण खो देती हैं।

पुराना समाधान: "वन-साइज़-फिट्स-ऑल" रोटेशन

पहले, शोधकर्ताओं ने किताबों को पैक करने से पहले उन्हें घुमाने (रोटेट करने) की कोशिश की। कल्पना कीजिए कि आप सभी किताबों को 45 डिग्री घुमा रहे हैं (एक हैडामार्ड रोटेशन)। यह भारी किताबों के वजन को सूटकेस में अधिक समान रूप से फैला देता है, ताकि कोई एक कोना कुचला न जाए।

हालाँकि, यह रोटेशन फिक्स्ड (निश्चित) था। इससे कोई फर्क नहीं पड़ता था कि भारी किताबें बाईं ओर थीं, दाईं ओर, ऊपर या नीचे; रोटेशन हमेशा एक जैसा ही रहता था। यह एक "डेटा-एग्नोस्टिक" दृष्टिकोण था—यानी सूटकेस की विशिष्ट सामग्री के प्रति अंधा। हालांकि इसने मदद की, लेकिन यह परफेक्ट समाधान नहीं था।

नया समाधान: WUSH (एक स्मार्ट, कस्टम टेलर)

यह पेपर WUSH पेश करता है, जो एक नया तरीका है जो आपके सूटकेस के लिए एक स्मार्ट, कस्टम टेलर की तरह काम करता है। एक फिक्स्ड रोटेशन का उपयोग करने के बजाय, WUSH उन विशिष्ट किताबों को देखता है जिन्हें आप अभी पैक कर रहे हैं और उन्हें पुनर्व्यवस्थित करने का सही तरीका निकालता है।

WUSH कैसे काम करता है, यहाँ सरल शब्दों में दिया गया है:

यह एक स्नैपशॉट लेता है: WUSH विशिष्ट "वेट्स" (किताबों) और "एक्टिवेशन्स" (किताबों का उपयोग करने का तरीका) को देखता है ताकि यह समझ सके कि भारी आउटलेयर्स वास्तव में कहाँ हैं।
यह एक कस्टम मैप बनाता है: एक गणितीय सूत्र (क्लोज्ड-फॉर्म) का उपयोग करके, यह किताबों के हर छोटे समूह के लिए एक अद्वितीय ट्रांसफॉर्मेशन मैप बनाता है। यह दो चीजों को जोड़ता है:
- स्टैंडर्ड स्पिन: यह भरोसेमंद 45-डिग्री रोटेशन (हैडामार्ड) को बनाए रखता है जिसे सभी जानते हैं कि यह अच्छा काम करता है।
- कस्टम एडजस्टमेंट: यह एक दूसरा, डेटा-विशिष्ट स्तर जोड़ता है जो इस विशिष्ट समूह के वास्तविक वजन वितरण के आधार पर व्यवस्था को सूक्ष्म रूप से ठीक करता है।
परिणाम: यह एक नॉन-ऑर्थोगोनल (गैर-परफेक्टली स्क्वेयर) आकार बनाता है जो भारी और हल्की किताबों के बीच पूर्ण संतुलन बनाता है। यह "नियर-ऑप्टिमल" है, जिसका अर्थ है कि यह गणित द्वारा संभव सर्वोत्तम पैकिंग के जितना संभव हो सके उतना करीब है।

यह क्यों एक बड़ी बात है

बेहतर सटीकता: जब लेखकों ने Llama-3.1 और Qwen जैसे मॉडल्स पर WUSH का परीक्षण किया, तो इसने पुराने फिक्स्ड रोटेशन की तुलना में किताबों को बहुत बेहतर तरीके से पैक किया। उदाहरण के लिए, एक विशिष्ट परीक्षण पर, इसने पिछले सबसे अच्छे तरीके की तुलना में मॉडल की "बुद्धिमत्ता" (सटीकता) को लगभग 3 अंक बढ़ाया। एआई की दुनिया में यह एक बहुत बड़ी छलांग है।
यह तेज़ है: आपको लग सकता है कि हर समूह के लिए कस्टम मैप की गणना करना धीमा होगा। लेकिन लेखकों ने एक विशेष GPU इंजन (एक हाई-स्पीड किचन) बनाया है जो इस कस्टम पैकिंग को तुरंत करता है। यह इतना तेज़ है कि यह पुराने, सरल तरीके के लगभग उतनी ही गति से चलता है, जो मानक उच्च-परिशुद्धता प्रारूप (BF16) की तुलना में 5.8 गुना तक अधिक गति प्रदान करता है।
यह नए फॉर्मेट के साथ काम करता है: पेपर दिखाता है कि WUSH नए, प्रयोगात्मक फॉर्मेट्स (जैसे MXFP4) के साथ भी बेहतरीन काम करता है, जिन्हें बहुत कुशल बनाया गया है लेकिन वे उन भारी आउटलेयर्स के कारण पहले कठिन थे।

निचोड़

WUSH को एक जेनेरिक, पहले से बने सूटेस से अपग्रेड करके एक 3D-प्रिंटेड, कस्टम-फिट केस की तरह समझें जो आपके विशिष्ट सामान के चारों ओर पूरी तरह से ढल जाता है। यह केवल वस्तुओं को घुमाता नहीं है; यह उनके आसपास के स्थान को फिर से आकार देता है ताकि बर्बादी को रोका जा सके और उन्हें दबने से बचाया जा सके।

पेपर का दावा है कि यह तरीका गणितीय रूप से सिद्ध है कि आउटलेयर्स को संभालने का लगभग सबसे अच्छा तरीका है, और वास्तविक दुनिया के परीक्षणों में, यह एआई मॉडल्स को अतिरिक्त कंप्यूटिंग पावर की आवश्यकता के बिना छोटा, तेज़ और स्मार्ट बनाता है।

तकनीकी सारांश: WUSH: LLM क्वांटाइजेशन के लिए निकट-इष्टतम अनुकूलन योग्य ट्रांसफॉर्म्स (Near-Optimal Adaptive Transforms)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) के वेट्स (weights) और एक्टिवेशन्स (activations) को क्वांटाइज करना कुशल परिनियोजन (deployment) के लिए एक मानक दृष्टिकोण है। हालाँकि, एक केंद्रीय कठिनाई "आउटलेयर्स" (outliers) से उत्पन्न होती है—जो वेट्स और एक्टिवेशन्स में कुछ चरम मान (extreme values) होते हैं जो डायनेमिक रेंज को बढ़ा देते हैं। ये आउटलेयर्स क्वांटाइजेशन स्केल्स को बड़ा होने के लिए मजबूर करते हैं, जिससे लो-बिट रिप्रेजेंटेशन की प्रभावी रेजोल्यूशन कम हो जाती है और क्वांटाइजेशन एरर बढ़ जाता है।

पूर्व शमन रणनीतियाँ (mitigation strategies) अक्सर क्वांटाइजेशन से पहले वेरिएंस को चैनलों में अधिक समान रूप से फैलाने के लिए लीनियर ट्रांसफॉर्म्स (जैसे रोटेशन) का उपयोग करती हैं। जबकि हैडामार्ड रोटेशन (Hadamard rotations) अनुभवजन्य रूप से प्रभावी सिद्ध हुए हैं, वे आमतौर पर फिक्स्ड और डेटा-अज्ञेकृत (data-agnostic) होते हैं। वे अंतर्निहित वेट्स या एक्टिवेशन्स के विशिष्ट सांख्यिकी (statistics) के अनुकूल नहीं होते हैं। यह एक मौलिक प्रश्न खड़ा करता है: यदि हैडामार्ड ट्रांसफॉर्म डेटा-जागरूक नहीं है, तो इसे क्वांटाइजेशन के लिए किस अर्थ में इष्टतम (optimal) माना जा सकता है? मौजूदा विधियाँ जो ट्रांसफॉर्म सीखती हैं (जैसे SpinQuant, FlatQuant) कैलिब्रेशन डेटा पर पुनरावृत्ति अनुकूलन (iterative optimization - ग्रेडिएंट डिसेंट) पर निर्भर करती हैं, जो लागतपूर्ण और ह्यूरिस्टिक हो सकती हैं।

2. कार्यप्रणाली (Methodology)

लेखक WUSH का प्रस्ताव करते हैं, जो एक क्लोज्ड-फॉर्म, डेटा-जागरूक लीनियर ब्लॉकवाइज ट्रांसफॉर्म है जिसे संयुक्त वेट-एक्टिवेशन क्वांटाइजेशन के लिए डिज़ाइन किया गया है। इस विधि को स्टैंडर्ड राउंड-टू-नियरस्ट (RTN) एब्समैक्स-स्केल्ड ब्लॉक क्वांटाइज़र के तहत $L_2$ आउटपुट लॉस को कम करने के लिए व्युत्पन्न किया गया है, जिसमें फ्लोटिंग-पॉइंट (FP) और इंटीजर (INT) दोनों प्रारूप शामिल हैं।

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

समस्या को वेट्स $W$ और एक्टिवेशन्स $X$ के एक ब्लॉक के अपेक्षित क्वांटाइजेशन एरर को कम करने के रूप में तैयार किया गया है। लेखक क्वांटाइजेशन एरर को संभाव्यतात्मक (probabilistically) रूप से मॉडल करते हैं:

फ्लोटिंग-पॉइंट (FP) के लिए: एरर को इनपुट के पूर्ण मान के समान मॉडल किया गया है ( $\varepsilon(\alpha) = \text{diag}(\eta)\alpha$ )।
इंटीजर (INT) के लिए: एरर को एक समूह के भीतर अधिकतम पूर्ण मान के समान मॉडल किया गया है ( $\varepsilon(\alpha) = \|\alpha\|_\infty \eta$ )।

वेट और एक्टिवेशन ब्लॉक्स के सेकंड-ऑर्डर स्टैटिस्टिक्स (कोवेरिएंस) का विश्लेषण करके, लेखक एक क्लोज्ड-फॉर्म इष्टतम ट्रांसफॉर्म व्युत्पन्न करते हैं। मान लीजिए कि $W'$ और $X'$ क्रमशः वेट्स और एक्टिवेशन्स के नॉर्मलाइज्ड सेकंड मोमेंट्स के चोलेस्की डिकम्पोजिशन (Cholesky decomposition) से प्राप्त मैट्रसेज़ हैं। मान लीजिए $U, S, V$ क्रमशः $W'^\top X'$ का सिंगुलर वैल्यू डिकम्पोजिशन (SVD) है। इष्टतम ट्रांसफॉर्म $T_W$ और $T_X$ को इस प्रकार बनाया जाता है:
$T_X = H S^{-1/2} V^\top X'^\top$
$T_W = H S^{-1/2} U^\top W'^\top$
जहाँ $H$ एक नॉर्मलाइज्ड हैडामार्ड मैट्रिक्स है।

इस निर्माण की प्रमुख विशेषताएं:

डेटा-जागरूक (Data-Aware): फिक्स्ड हैडामार्ड ट्रांसफॉर्म्स के विपरीत, WUSH में $S^{-1/2}$ और SVD घटकों ( $U, V$ ) को शामिल किया गया है, जो डेटा के विशिष्ट सेकंड-ऑर्डर स्टैटिस्टिक्स पर निर्भर करते हैं।
गैर-ऑर्थोगोनल (Non-Orthogonal): परिणामी ट्रांसफॉर्म आम तौर पर गैर-ऑर्थोगोनल होता है, जो इसे वेट्स और एक्टिवेशन्स के बीच स्केल को संतुलित करने की अनुमति देता है जैसा कि ऑर्थोगोनल ट्रांसफॉर्म नहीं कर सकते।
इष्टतमता (Optimality): यह पेपर सिद्ध करता है कि यह निर्माण FP ब्लॉक क्वांटाइज़र के लिए प्रमाणित रूप से इष्टतम है और INT ब्लॉक क्वांटाइज़र के लिए भी स्पर्शोन्मुख रूप से (asymptotically) इष्टतम है (वितरण के आधार पर $d$ या $d^{o(1)}$ के कारक के भीतर)।

GPTQ के साथ एकीकरण (Integration with GPTQ)

यह विधि GPTQ (Greedy Per-Block Quantization) के साथ स्वाभाविक रूप से एकीकृत होती है। चूंकि GPTQ एरर प्रोपेगेशन के लिए हेसियन (सेकंड-ऑर्डर जानकारी) का उपयोग करता है, WUSH ट्रांसफॉर्म बनाने के लिए उसी सांख्यिकी का उपयोग कर सकता है। लेखक एक इंटरलीव्ड कंप्यूटेशनल शेड्यूल का प्रस्ताव करते हैं जहाँ वेट अपडेट और ट्रांसफॉर्म निर्माण को जोड़ा जाता है, जिससे WUSH को नगण्य अतिरिक्त ओवरहेड के साथ GPTQ के साथ लागू किया जा सके।

कार्यान्वयन (Implementation)

इन्फरेंस के दौरान प्रति-ब्लॉक अलग ट्रांसफॉर्म लागू करने की चुनौती को हल करने के लिए, लेखक एक फ्यूज्ड GPU कर्नल लागू करते हैं। मेमोरी बैंडविड्थ उपयोग को अधिकतम करने के लिए WUSH ट्रांसफॉर्म मैट्रिसेस को ट्रांसपोज़्ड लेआउट $(G, G, C)$ में संग्रहीत किया जाता है। कर्नल ब्लॉकवाइज ट्रांसफॉर्म को एक्टिवेशन क्वांटाइजेशन के साथ फ्यूज करता है, जिससे ऑप्टिमाइज्ड हैडामार्ड कर्नल्स के समान थ्रूपुट प्राप्त होता है।

3. मुख्य योगदान (Key Contributions)

क्लोज्ड-फॉर्म इष्टतम ट्रांसफॉर्म्स: संयुक्त वेट-एक्टिवेशन क्वांटाइजेशन के लिए पहले क्लोज्ड-फॉर्म, डेटा-जागरूक लीनियर ट्रांसफॉर्म्स का व्युत्पन्न, जो दोनों FP और INT प्रारूपों के लिए प्रमाणित रूप से निकट-इष्टतम हैं।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह पेपर हैडामार्ड रोटेशन की अनुभवजन्य सफलता को स्पष्ट करता है। यह दिखाता है कि जबकि हैडामार्ड एक प्रभावी डेटा-अज्ञेकृत ऑर्थोगोनल ट्रांसफॉर्म है, इष्टतम समाधान के लिए वास्तव में क्वांटाइजेशन एरर को कम करने के लिए एक गैर-ऑर्थोगोनल घटक ( $S^{-1/2}$ ) की आवश्यकता होती है जो डेटा सांख्यिकी से प्राप्त होता है।
कुशल कार्यान्वयन (Efficient Implementation): एक विशेष फ्यूज्ड GPU कर्नल जो इन्फरेंस स्पीड से समझौता किए बिना प्रति-ब्लॉक एडेप्टिव ट्रांसफॉर्म को संभालता है, और फिक्स्ड-ट्रांसफॉर्म बेसलाइन्स के प्रदर्शन से मेल खाता है।
अनुभवजन्य सत्यापन (Empirical Validation): कई मॉडल परिवारों (Llama, Qwen) और क्वांटाइजेशन प्रारूपों (MXFP4, NVFP4, INT4) में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (Hadamard-based MR-GPTQ, SmoothQuant, QuaRot, SpinQuant) पर महत्वपूर्ण सटीकता सुधार प्रदर्शित करने वाले व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर का मूल्यांकन Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, और Qwen3 मॉडल्स (8B, 14B, 32B) पर LM Evaluation Harness और Platinum Benchmarks का उपयोग करके किया गया है।

लेयरवाइज लॉस (Layerwise Loss): WUSH, MXFP4, NVFP4, और INT4 प्रारूपों में Identity, Random Rotation, Hadamard, और नॉन-एडेप्टिव वेरिएंट्स की तुलना में लगातार सबसे कम लेयरवाइज RTN क्वांटाइजेशन लॉस प्राप्त करता है।
एंड-टू-एंड सटीकता (End-to-End Accuracy):
- Llama-3.1-8B-Instruct पर MXFP4 (W4A4) के साथ, WUSH हैडामार्ड-आधारित बेसलाइन (RTN) पर +2.8 औसत अंक और +0.7 अंक (GPTQ) का सुधार करता है।
- यह NVFP और MXFP प्रारूपों के बीच प्रदर्शन अंतराल को काफी कम कर देता है। उदाहरण के लिए, Qwen3-14B पर, WUSH NVFP4-MXFP4 औसत अंतर को घटाकर 0.36 अंक कर देता है।
- WUSH, GPTQ के साथ मिलकर अधिकांश बेंचमार्क में सर्वश्रेष्ठ परिणाम प्राप्त करता है, जो अक्सर W4A4 सेटिंग्स में BF16 प्रदर्शन के 96% से अधिक को रिकवर करता है।
थ्रूपुट (Throughput): फ्यूज्ड कर्नल कार्यान्वयन RTX 5090 GPUs पर BF16 पर 5.8× प्रति-लेयर थ्रूपुट प्रदान करता है, और ऑप्टिमाइज्ड हैडामार्ड बेसलाइन के साथ केवल 1.3% औसत थ्रूपुट अंतर है।
ओवरहेड (Overhead): ऑफलाइन प्रीप्रोसेसिंग लागत मानक GPTQ के समान है। एक्टिवेशन-साइड ट्रांसफॉर्म्स के लिए स्टोरेज ओवरहेड नगण्य है (जैसे, Qwen3-8B के लिए MXFP4 पर ~1.4%)।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि WUSH हैडामार्ड रोटेशन की अनुभवजन्य सफलता को स्पष्ट करता है, यह दिखाते हुए कि हैडामार्ड रोटेशन एक व्यापक इष्टतम समाधान के विशिष्ट, डेटा-अज्ञेकृत घटक हैं। एक फिक्स्ड हैडामार्ड बैकबोन को डेटा-डिपेंडेंट सेकंड-मोमेंट घटक के साथ जोड़कर, WUSH एक प्रमाणित रूप से निकट-इष्टतम गैर-ऑर्थोगोनल ट्रांसफॉर्म प्राप्त करता है।

लेखक जोर देते हैं कि उनका दृष्टिकोण सिद्धांतिक और डेटा-जागरूक है, जो ह्यूरिस्टिक या पुनरावृत्ति लर्निंग विधियों से आगे जाता है। वे कहते हैं कि WUSH, MXFP फॉर्मेट को NVFP के प्रतिस्पर्धी बनाता है, जो वर्तमान लो-प्रिसिजन इन्फरेंस की एक प्रमुख सीमा को संबोधित करता है। यह कार्य प्रदर्शित करता है कि सिद्धांत आधारित, डेटा-जागरूक ब्लॉक ट्रांसफॉर्म्स, बड़े पैमाने पर LLM परिनियोजन के लिए आवश्यक दक्षता से समझौता किए बिना, महत्वपूर्ण सटीकता सुधार प्रदान कर सकते हैं।