Statistically-Lossless Quantization of Large Language Models
यह शोध पत्र सांख्यिकीय रूप से दोषरहित क्वांटाइजेशन (Statistically-Lossless Quantization - SLQ) को प्रस्तुत करता है, जो एक लेयर-वार एसिमेट्रिक क्वांटाइजेशन विधि है जो 4 बिट प्रति पैरामीटर से नीचे टास्क-लॉसलेस सटीकता और 5–6 बिट पर डिस्ट्रीब्यूशन-लॉसलेस फिडेलिटी प्राप्त करती है, जबकि FP16 की तुलना में 1.7–3.7x इन्फरेंस स्पीडअप प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ किताबें कागज की नहीं, बल्कि शुद्ध गणित की बनी हैं। ये "किताबें" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं, जो वे सुपर-स्मार्ट कंप्यूटर हैं जो कहानियाँ लिख सकते हैं, समीकरण हल कर सकते हैं और इंसानों की तरह चैट कर सकते हैं। लेकिन इसमें एक पेंच है: ये लाइब्रेरीज़ बहुत विशाल हैं। एक किताब को पढ़ने के लिए, आपको एक विशाल, महंगे और भारी बिजली खपत वाले सुपरकंप्यूटर की आवश्यकता होती है। अधिकांश लोगों के पास अपने लिविंग रूम में ऐसा कोई सुपरकंप्यूटर नहीं होता। इसलिए, वैज्ञानिक इन किताबों को छोटा करने की कोशिश कर रहे हैं—इन्हें छोटा और हल्का बनाने के लिए ताकि वे साधारण फोन या लैपटॉप पर फिट हो सकें। इस प्रक्रिया को "क्वांटाइजेशन" (quantization) कहा जाता है। इसे एक हाई-डेफिनिशन फोटो को एक छोटी फाइल साइज में कंप्रेस करने जैसा समझें। आमतौर पर, जब आप किसी फाइल को बहुत अधिक सिकोड़ देते हैं, तो तस्वीर धुंधली या पिक्सेलेटेड हो जाती है (यह "लॉसी" कंप्रेशन है)। यदि आप चाहते हैं कि तस्वीर एकदम परफेक्ट रहे, तो फाइल का साइज बहुत बड़ा रहेगा (यह "लॉसलेस" कंप्रेशन है)। बड़ा सवाल यह है कि क्या हम इन AI दिमागों को इतना छोटा कर सकते हैं कि वे एक फोन पर फिट हो जाएं, लेकिन फिर भी इतने स्मार्ट रहें कि बिना अटके या गलत जानकारी (hallucinate) दिए टेस्ट पास कर सकें?
"स्टैटिस्टिकली-लॉसलेस क्वांटाइजेशन ऑफ लार्ज लैंग्वेज मॉडेल्स" शीर्षक वाला यह शोध पत्र सीधे उसी कठिन मध्य मार्ग पर उतरता है। लेखक, माइकल हेलसिग, एल्डार कुर्टिक और डैन अलिस्टारह का तर्क है कि हमें एक धुंधले, छोटे मॉडल और एक परफेक्ट, विशाल मॉडल के बीच चुनाव करने की आवश्यकता नहीं है। इसके बजाय, वे इन मॉडल्स को छोटा करने का एक नया तरीका प्रस्तावित करते हैं जो "सांख्यिकीय रूप से लॉसलेस" (statistically lossless) है। यहाँ असली जादू है: उन्होंने महसूस किया कि जब इंसान (या खुद AI भी) सवालों के जवाब देते हैं, तो हमेशा थोड़ी सी अनिश्चितता या रैंडमनेस होती है। यदि आप एक ही AI से एक ही सवाल दो बार पूछते हैं, तो वह थोड़े अलग जवाब दे सकता है, ठीक वैसे ही जैसे आप अपने मूड के आधार पर किसी दोस्त के सवाल का अलग तरह से जवाब दे सकते हैं। लेखकों ने पाया कि यदि छोटा किया गया मॉडल उस प्राकृतिक "मूड स्विंग" रेंज के भीतर रहता है, तो वह पर्याप्त है। उन्होंने SLQ (Statistically-Lossless Quantization) नामक एक विधि बनाई है जो एक मास्टर टेलर (दर्जी) की तरह काम करती है। AI के हर हिस्से को एक ही छोटे आकार में काटने के बजाय, यह मापता है कि प्रत्येक हिस्सा कितना संवेदनशील है। कुछ हिस्सों को बहुत कम जगह मिलती है (3.3 बिट्स प्रति पैरामीटर तक), जबकि अन्य को थोड़ी अधिक।
यह शोध पत्र कुछ बहुत ही विशिष्ट खोजें प्रस्तुत करता है जो AI को छोटा करने के बारे में हमारी सोच को बदल देती हैं। सबसे पहले, उन्होंने सिद्ध किया कि "सिकुड़ने" (shrinkage) को मापने का एक विशिष्ट तरीका महत्वपूर्ण है। उन्होंने EAR (Expected Acceptance Rate) नामक एक मीट्रिक पेश किया, जो एक "टोकन सहमति स्कोर" की तरह है। यदि मूल AI और छोटा किया गया AI उन 100 शब्दों में से 99 शब्दों पर सहमत होते हैं जिन्हें वे चुनते, तो यह एक जीत है। उन्होंने पाया कि इस पूर्ण सहमति को प्राप्त करने के लिए, आपको संख्याओं को कैसे छोटा किया जाता है, इस बारे में सावधान रहना होगा। उन्होंने गणितीय रूप से दिखाया कि संख्याओं को छोटा करने का एक "सिमेट्रिक" (symmetric) तरीका (जो धनात्मक और ऋणात्मक संख्याओं के साथ समान व्यवहार करता है) एक "एसिमेट्रिक" (asymmetric) तरीके (जो डेटा के अनुसार स्केल को एडजस्ट करता है) की तुलना में अधिक शोर और त्रुटियां पैदा करता है। यह एक टेढ़े-मेढ़े सूटकेस को चौकोर बॉक्स में फिट करने की कोशिश करने जैसा है; यदि आप उसे केंद्र में जबरदस्ती फिट करेंगे, तो वह सही से बंद नहीं होगा। आपको बॉक्स के आकार के अनुसार सूटकेस को खिसकाना होगा।
परिणाम काफी प्रभावशाली हैं। अपने SLQ मेथड का उपयोग करके, वे Llama-3.3-70B और Qwen3 जैसे मॉडल्स को औसतन 3.3 से 4.7 बिट्स प्रति पैरामीटर तक छोटा करने में सफल रहे, जबकि उन्होंने अपनी "टास्क-लॉसलेस" सटीकता (यानी वे बड़े वर्जन की तरह ही टेस्ट पास करते हैं) को बनाए रखा। यदि वे और भी सख्त होना चाहते और यह सुनिश्चित करना चाहते कि AI का आंतरिक "मूड" (इसकी प्रोबेबिलिटी डिस्ट्रीब्यूशन) मूल के लगभग समान हो, तो उन्हें 5 से 6 बिट्स की आवश्यकता होती। लेकिन सबसे अच्छी बात क्या है? क्योंकि मॉडल्स इतने छोटे हैं, वे बहुत तेजी से चलते हैं। लेखकों ने वास्तविक हार्डवेयर पर इनका परीक्षण किया और पाया कि उनके छोटे किए गए मॉडल्स मूल, पूर्ण आकार के वर्जन्स की तुलना में 1.7 से 3.7 गुना तेज़ थे, और वे कम ग्राफिक्स कार्ड्स पर भी फिट हो सकते थे। उन्होंने यह भी दिखाया कि पुराने तरीके, जैसे GPTQ या AWK, अक्सर इस "सांख्यिकीय रूप से लॉसलेस" लक्ष्य को चूक जाते हैं, या तो वे बहुत धुंधले होते हैं या उन्हें पर्याप्त रूप से कंप्रेस नहीं कर पाते। संक्षेप में, यह पेपर सुझाव देता है कि AI को छोटा करने के स्थान और तरीके के बारे में स्मार्ट होकर, हम इन विशाल दिमागों को छोटा, तेज़ और अविश्वसनीय रूप से सटीक बना सकते हैं, बिना उनके जवाबों की गुणवत्ता से समझौता किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।