← नवीनतम पेपर
🤖 AI

Minimizing the Hidden Cost of Scales: Graph-Guided Ultra-Low-Bit Quantization for Large Language Models

SAGE-PTQ एक नवीन पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो भार (weights) को महत्वपूर्ण (salient) और महत्वहीन (unsalient) श्रेणियों में विभाजित करके, उत्तरवर्ती (latter) को समूह आकार को अनुकूलित करने के लिए एक स्पार्स ग्राफ के रूप में मॉडल करके, और अत्याधुनिक तरीकों की तुलना में बेहतर परप्लेक्सिटी (perplexity) और इन्फरेंस दक्षता के साथ अल्ट्रा-लो-बिट प्रिसिजन प्राप्त करने के लिए ड्यूल-मोड क्वांटाइजेशन लागू करके बड़े भाषा मॉडलों में छिपे हुए स्केलिंग लागतों को न्यूनतम करता है।

मूल लेखक: Rayyan Abdalla, Amir Hussein, Min Wu, Dinesh Manocha

प्रकाशित 2026-06-05
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Rayyan Abdalla, Amir Hussein, Min Wu, Dinesh Manocha

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो इतना बड़ा है कि वह आपकी बुकशेल्फ़ (आपके कंप्यूटर की मेमोरी) में फिट नहीं बैठता। आप इन किताबों को सिकोड़ना चाहते हैं ताकि वे फिट हो सकें, लेकिन आप बस इनके पन्ने नहीं फेंक सकते, वरना कहानी का अर्थ खो जाएगा।

यह पेपर इन "किताबों" को सिकोड़ने का एक नया तरीका पेश करता है जिसे SAGE-PTQ कहा जाता है। इसे एक सुपर-स्मार्ट लाइब्रेरियन के रूप में समझें जो जानता है कि कहानी का सार खोए बिना टेक्स्ट को कैसे कंप्रेस (छोटा) करना है।

यहाँ यह कैसे काम करता है, सरल अवधारणाओं में दिया गया है:

1. समस्या: सिकोड़ने का "छिपा हुआ टैक्स" (The "Hidden Tax" of Shrinking)

पिछले तरीकों ने इन मॉडलों को सिकोड़ने के लिए अधिकांश संख्याओं को साधारण "ऑन/ऑफ" स्विच (जैसे 1s और -1s) में बदलने की कोशिश की। यह जगह बचाने के लिए बहुत अच्छा है, जैसे एक भारी विश्वकोश को एक पॉकेट गाइड में बदलना।

हालाँकि, इन पुराने तरीकों में एक छिपा हुआ टैक्स था। इन साधारण स्विचों को काम करने के लिए, उन्हें शब्दों के हर समूह के साथ एक छोटा "निर्देश टैग" (एक स्केल) जोड़ना पड़ता था। ये टैग इतनी जगह घेर लेते थे कि वे टेक्स्ट को सिकोड़ने से होने वाली बचत को ही खत्म कर देते थे। यह बिल्कुल वैसा ही था जैसे एक सस्ती कार खरीदने के लिए पैसे बचाने की कोशिश करना, लेकिन फिर कार के पुर्जों को ले जाने के लिए एक विशाल, महंगे ट्रेलर के लिए भुगतान करना पड़े।

2. समाधान: "स्मार्ट सॉर्ट" (The "Smart Sort" - SAGE-PTQ)

SAGE-PTQ इस बात को समझकर इस समस्या को हल करता है कि पुस्तकालय के सभी शब्द समान रूप से महत्वपूर्ण नहीं होते हैं।

  • "स्टार प्लेयर्स" (Salient Weights): कुछ संख्याएँ महत्वपूर्ण होती हैं। यदि आप उन्हें बदलते हैं, तो मॉडल भ्रमित हो जाता है। पेपर इन्हें "सैलियंट" (Salient) कहता है।
  • "बैकग्राउंड एक्स्ट्रा" (Unsalient Weights): अधिकांश संख्याएँ ज्यादा मायने नहीं रखतीं। आप उन्हें बहुत अधिक बदल सकते हैं, और कहानी वैसी ही रहेगी।

रणनीति:
हर शब्द के साथ एक जैसा व्यवहार करने के बजाय, SAGE-PTQ "स्टार प्लेयर्स" को "बैकग्राउंड एक्स्ट्रा" से अलग करता है।

  • स्टार्स के लिए: यह उन्हें हाई डेफिनेशन (मल्टी-बिट प्रिसिजन) में रखता है ताकि कहानी एकदम सटीक रहे।
  • एक्स्ट्रा के लिए: यह उन्हें सबसे छोटे संभव आकार (बाइनरी, केवल 1s और -1s) में सिकोड़ देता है।

3. असली मंत्र: "ग्राफ मैप" (The "Graph Map")

कठिन हिस्सा यह जानना है कि "बैकग्राउंड एक्स्ट्रा" को कैसे ग्रुप किया जाए। पुराने तरीके पुस्तकालय को रैंडम, समान आकार के टुकड़ों में काट देते थे। लेकिन "एक्स्ट्रा" रैंडम नहीं होते; उनमें पैटर्न होते हैं।

SAGE-PTQ एक ग्राफ-गाइडेड दृष्टिकोण का उपयोग करता है। कल्पना कीजिए कि आप एक पार्टी आयोजित कर रहे हैं। लोगों को कमरों में रैंडम तरीके से रखने के बजाय, आप देखते हैं कि कौन स्वाभाविक रूप से किसके साथ समय बिताता है (उनकी "एफिनिटी")।

  • सिस्टम संख्याओं का एक "मैप" (ग्राफ) बनाता है ताकि यह देख सके कि कौन सी संख्याएँ एक जैसी हैं।
  • इसके बाद, यह समान संख्याओं को "क्लस्टर्स" (समूहों) में जोड़ता है।
  • क्योंकि ये समूह समझदारी से बनाए गए हैं, इसलिए आपको पूरे समूह के लिए केवल एक सिंगल निर्देश टैग की आवश्यकता होती है, न कि हर छोटे टुकड़े के लिए एक टैग। यह उस "छिपे हुए टैक्स" को खत्म कर देता है जिसका उल्लेख ऊपर किया गया था।

4. परिणाम: एक छोटा, तेज़ पुस्तकालय

इस पद्धति का उपयोग करके, लेखकों ने कुछ अविश्वसनीय परिणाम प्राप्त किए:

  • छोटा आकार: मॉडल का औसत आकार लगभग 1.03 बिट्स प्रति संख्या तक गिर गया (लगभग एक सिंगल ऑन/ऑफ स्विच जितना छोटा), और उन "निर्देश टैगों" के लिए लगभग कोई अतिरिक्त स्थान आवश्यक नहीं था।
  • बेहतर गुणवत्ता: जब उन्होंने LLaMA जैसे प्रसिद्ध मॉडलों पर इसका परीक्षण किया, तो नया कंप्रेस्ड वर्जन पिछले प्रयासों की तुलना में बहुत अधिक स्मार्ट था। उदाहरण के लिए, एक विशिष्ट परीक्षण पर, पुराने तरीके (BiLLM) का स्कोर 55.8 (भ्रमित) था, जबकि SAGE-PTQ का स्कोर 6.74 (बहुत स्पष्ट) था।
  • तेज़ और हल्का: क्योंकि मॉडल इतना छोटा है, यह आसानी से एक सिंगल ग्राफिक्स कार्ड पर फिट हो जाता है। 70-बिलियन पैरामीटर वाले एक बड़े मॉडल पर, यह अनकंप्रेस्ड वर्जन की तुलना में 1.5 गुना तेज़ चलता है क्योंकि इसे धीमी मेमोरी से डेटा लोड करने का इंतज़ार नहीं करना पड़ता।

सारांश में

SAGE-PTQ को एक स्मार्ट पैकिंग सर्विस के रूप में समझें।

  • पुराने तरीके: सब कुछ छोटे बक्सों में पैक करते थे लेकिन पैकिंग टेप ले जाने के लिए एक बड़े ट्रक की आवश्यकता होती थी (छिपी हुई लागत)।
  • SAGE-PTQ: महत्वपूर्ण और नाजुक वस्तुओं की पहचान करता है और उन्हें कांच के केस में सावधानी से पैक करता है। बाकी चीजों को यह अल्ट्रा-कॉम्पैक्ट, वैक्यूम-सील्ड बैग में पैक करता है। क्योंकि ये बैग इतने कुशल हैं, इसलिए उन्हें किसी बड़े ट्रक की आवश्यकता ही नहीं पड़ती।

परिणामस्वरूप, एक ऐसा मॉडल मिलता है जो अविश्वसनीय रूप से छोटा है, मानक हार्डवेयर पर आसानी से फिट होता है, और भाषा को लगभग उतना ही अच्छी तरह समझता है जितना कि विशाल, अनकंप्रेस्ड वर्जन।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →