🤖 machine learning

Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs

यह शोध पत्र स्ट्रक्चर्ड रेसिडुअल रिकंस्ट्रक्शन (SRR) का प्रस्ताव करता है, जो एक रैंक-एलोकेशन फ्रेमवर्क है जो क्वांटाइजेशन से पहले वेट्स के टॉप- $k$ सिंगुलर सबस्पेस को सुरक्षित रखता है और शेष रैंक का उपयोग त्रुटि पुनर्निर्माण (error reconstruction) के लिए करता है, जिससे पोस्ट-ट्रेनिंग क्वांटाइजेशन में क्वांटाइजेशन त्रुटि कम होती है और क्वांटाइज्ड पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग प्रदर्शन में वृद्धि होती है।

मूल लेखक: Yoonjun Cho, Dongjae Jeon, Soeun Kim, Moongyu Jeon, Albert No

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yoonjun Cho, Dongjae Jeon, Soeun Kim, Moongyu Jeon, Albert No

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक पुस्तकालय को बिना सबसे अच्छी किताबें खोए संकुचित करना

कल्पना कीजिए कि आपके पास एक विशाल, उच्च-गुणवत्ता वाला पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जिसमें लाखों किताबें हैं। आप इस पुस्तकालय को छोटा करके एक छोटे से बैकपैक (लो-बिट क्वांटाइजेशन) में फिट करना चाहते हैं ताकि आप इसे आसानी से अपने साथ ले जा सकें।

समस्या:
यदि आप सभी किताबों को बस बैकपैक में फेंक देते हैं और उन्हें फिट करने के लिए दबा देते हैं, तो उनकी रीढ़ टूट जाती है, पन्ने गंदे हो जाते हैं, और सबसे महत्वपूर्ण कहानियाँ बर्बाद हो जाती हैं। AI मॉडल्स के साथ भी यही होता है: "दबाने" की प्रक्रिया (क्वांटाइजेशन) सबसे महत्वपूर्ण जानकारी को नष्ट कर देती है, जिससे एक ऐसा मॉडल मिलता है जो ठीक से काम नहीं कर पाता।

पुराना समाधान (क्वांटाइजेशन एरर रिकंस्ट्रक्शन):
पहले, वैज्ञानिक इसे ठीक करने के लिए यह कहते थे, "ठीक है, हमने किताबों को दबा दिया है, लेकिन चलिए इसमें एक छोटा सा 'रिपेयर किट' (एक लो-रैंक करेक्शन) जोड़ देते हैं ताकि नुकसान को ठीक किया जा सके।"

खामी: पुराना तरीका इस नुकसान को ठीक करने के लिए पूरे रिपेयर किट का उपयोग करने की कोशिश करता था जो दबाने से हुआ था। लेकिन यहाँ पेच यह है: दबाने की प्रक्रिया ने केवल रैंडम पन्नों को नुकसान नहीं पहुँचाया; इसने विशेष रूप से सबसे महत्वपूर्ण, उच्च-ऊर्जा वाली कहानियों (डोमिनेंट डायरेक्शंस) को बर्बाद कर दिया। रिपेयर किट मुख्य कहानियों के बड़े छेदों को भरने और बाकी हिस्सों पर आए छोटे-मोटे निशानों को ठीक करने, दोनों के लिए बहुत छोटा था। यह बहुत कम जगह में बहुत कुछ करने की कोशिश कर रहा था।

नया समाधान: SRR (स्ट्रक्चर्ड रेसिडुअल रिकंस्ट्रक्शन)

लेखक एक नई रणनीति प्रस्तावित करते हैं जिसे वे SRR कहते हैं, जिसे वे "प्रिजर्व-देन-क्वांटाइज" (Preserve-Then-Quantize) के रूप में वर्णित करते हैं।

इसे यात्रा के लिए पैकिंग करने जैसा समझें जहाँ वजन की एक सख्त सीमा है, लेकिन आपके पास एक विशेष नियम है: आप बाकी चीजों को पैक करने से पहले अपनी सबसे मूल्यवान वस्तुओं को एक अलग, सुरक्षित जेब में रख सकते हैं।

यहाँ बताया गया है कि SRR कैसे काम करता है, चरण-दर-चरण:

1. "प्रिजर्व" चरण (सुरक्षित जेब)

किताबों को दबाने की कोशिश करने से पहले ही, आप पुस्तकालय को देखते हैं और सबसे महत्वपूर्ण, उच्च-ऊर्जा वाली शीर्ष 10% कहानियों (डोमिनेंट सबस्पेस) की पहचान करते हैं।

कार्रवाई: आप इन विशिष्ट कहानियों को बाहर निकालते हैं और उन्हें एक "सुरक्षित जेब" (इन्हें सुरक्षित रखना) में रखते हैं। आप वादा करते हैं कि उन्हें दबाया या नुकसान नहीं पहुँचाया जाएगा। वे अपने मूल, पूर्ण रूप में रहती हैं।

2. "क्वांटाइज" चरण (दबाना)

अब, आप शेष किताबों (कम महत्वपूर्ण कहानियों) को बैकपैक में दबाते हैं।

परिणाम: क्योंकि आपने सबसे महत्वपूर्ण कहानियों को नहीं दबाया, इसलिए बैकपैक बहुत कम क्षतिग्रस्त होता है। दबाने से उत्पन्न होने वाला "शोर" (नॉइज़) या त्रुटियां अब बहुत छोटी और प्रबंधित करने में आसान हैं।

3. "रिकंस्ट्रक्ट" चरण (रिपेयर किट)

आपके पास अपने बैकपैक में "रिपेयर किट" (एक लो-रैंक करेक्शन) के लिए अभी भी कुछ सीमित जगह बची है।

जादू: पुराने तरीके में, रिपेयर किट को पूरे पुस्तकालय को ठीक करना था। SRR में, रिपेयर किट को केवल उन शेष किताबों को ठीक करना है जिन्हें दबाया गया था।
ट्रेड-ऑफ: आप अपने "रैंक बजट" (आपका कुल रिपेयर स्पेस) को दो भागों में विभाजित करते हैं:
- भाग A: "सुरक्षित जेब" (शीर्ष कहानियों को सुरक्षित रखने) के लिए उपयोग किया जाता है।
- भाग B: शेष दबी हुई किताबों के नुकसान को ठीक करने के लिए उपयोग किया जाता है।

पेपर एक स्मार्ट फॉर्मूला पेश करता है जो यह तय करने के लिए कि "सुरक्षित जेब" के लिए कितनी कहानियाँ निकाली जाएं बनाम रिपेयर किट के लिए कितनी जगह छोड़ी जाए, सटीक गणना करता है। यह दोनों के बीच संतुलन बनाता है ताकि आपको सर्वोत्तम परिणाम मिल सके।

यह "फाइन-ट्यूनिंग" (मॉडल को नए कौशल सिखाना) के लिए क्यों महत्वपूर्ण है?

पेपर यह भी दिखाता है कि यह विधि तब मदद करती है जब आप संकुचित मॉडल को नए कौशल सिखाना चाहते हैं (जिसे QPEFT कहा जाता है)।

उपमा: कल्पना कीजिए कि "सुरक्षित जेब" वाली कहानियाँ AI का मूल व्यक्तित्व (कोर पर्सनैलिटी) हैं। यदि आप उसे एक नई भाषा सिखाने की कोशिश करते हैं, तो आप नहीं चाहेंगे कि नए शब्द सिखाते समय अनजाने में उसका मूल व्यक्तित्व बदल जाए।
समाधान: SRR "कोर पर्सनैलिटी" (प्रिजर्वड डायरेक्शंस) को "नए सीखने" (रिकंस्ट्रक्टेड डायरेक्शंस) से अलग करता है। ट्रेनिंग के दौरान, सिस्टम AI को धीरे से बताता है: "अपने मूल व्यक्तित्व को बहुत अधिक न बदलें, लेकिन बाकी बैकपैक के साथ नई चीजें सीखने के लिए स्वतंत्र रहें।"
परिणाम: मॉडल तेजी से सीखता है और अधिक स्थिर रहता है, खासकर जब बैकपैक बहुत छोटा (2-बिट क्वांटाइजेशन) हो।

परिणाम

लेखकों ने LLaMA और Gemma जैसे विभिन्न AI मॉडल्स पर इसका परीक्षण किया और पाया कि:

बेहतर सटीकता: पिछले तरीकों की तुलना में मॉडल्स ने कम गलतियाँ कीं (कम "परप्लेक्सिटी"), भले ही उन्हें भारी रूप से संकुचित किया गया हो।
बेहतर लर्निंग: जब इन संकुचित मॉडल्स को फाइन-ट्यून किया गया, तो SRR ने उन्हें भाषा समझने और तर्क करने जैसे कार्यों में काफी बेहतर प्रदर्शन करने में मदद की, 2-बिट सेटिंग्स में पिछले तरीकों की तुलना में 5.9 प्रतिशत अंक तक अधिक लाभ दिया।

सारांश

एक टूटे हुए पुस्तकालय को फिक्स करने के बाद उसे ठीक करने के बजाय, SRR कहता है: "बाकी चीजों को कुचलने से पहले सबसे मूल्यवान किताबों की रक्षा करें, और फिर अपने सीमित मरम्मत उपकरणों का उपयोग केवल उसी चीज़ पर करें जो वास्तव में क्षतिग्रस्त हुई है।" रणनीति में यह सरल बदलाव AI मॉडल्स को उनकी बुद्धिमत्ता खोए बिना बहुत छोटा बनाने की अनुमति देता है।

तकनीकी सारांश: प्रिजर्व-देन-क्वांटाइज़ (SRR)

समस्या विवरण

पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) लार्ज लैंग्वेज मॉडल्स (LLMs) के मेमोरी फुटप्रिंट और इन्फरेंस लागत को कम करने के लिए एक प्राथमिक विधि है, जो फुल-प्रिसिजन वेट्स को लो-बिट रिप्रेजेंटेशन में बदलने का काम करती है। हालांकि, आक्रामक लो-बिट क्वांटाइजेशन (जैसे 2-बिट या 3-बिट) अक्सर पर्याप्त सटीकता में गिरावट (accuracy degradation) का कारण बनता है। एक व्यापक रूप से अपनाया जाने वाला समाधान क्वांटाइजेशन एरर रिकंस्ट्रक्शन (QER) है, जो फुल-प्रिसिजन वेट मैट्रिक्स $W$ को $W \approx Q + LR$ के रूप में अनुमानित करता है, जहाँ $Q$ क्वांटाइज्ड वेट है और $LR$ एक लो-रैंक करेक्शन टर्म है जिसे क्वांटाइजेशन के दौरान खोई गई जानकारी को पुनः प्राप्त करने के लिए डिज़ाइन किया गया है।

मौजूदा QER विधियाँ आमतौर पर पूरे रैंक बजट $r$ को क्वांटाइजेशन रेसिड्यूल (अर्थात, $S(W-Q)$ का अनुमान लगाना, जहाँ $S$ एक एक्टिवेशन-स्केल किया गया मैट्रिक्स है) को पुनर्गठित करने के लिए समर्पित करती हैं। लेखक तर्क देते हैं कि यह दृष्टिकोण दो मुख्य कारणों से उप-इष्टतम (suboptimal) है:

अकुशल संसाधन आवंटन (Inefficient Resource Allocation): लो-बिट व्यवस्था में, क्वांटाइजेशन एरर अक्सर सघन (dense) और हाई-रैंक होता है। इस त्रुटि को ठीक करने के लिए पूरी रैंक क्षमता समर्पित करना अक्षम हो सकता है।
संरचनात्मक क्षति (Structural Damage): एक्टिवेशन-स्केल्ड स्पेस ($SW$) में ट्रांसफार्मर वेट्स अक्सर अत्यधिक अनिसोट्रोपिक (anisotropic) होते हैं, जहाँ अधिकांश ऊर्जा डोमिनेंट सिंगुलर दिशाओं के एक छोटे सेट में केंद्रित होती है। मानक QER पहले इन डोमिनेंट दिशाओं को क्वांटाइज करता है, जिससे असमान रूप से बड़े स्केल्ड एरर उत्पन्न होते हैं। इसके बाद का लो-रैंक करेक्शन फिर सीमित क्षमता का उपयोग रेसिड्यूल नॉइज़ को ठीक करने के बजाय, सबसे सूचनात्मक सबस्पेस में "परिहार योग्य विरूपण" (avoidable distortion) की मरम्मत करने में खर्च करने के लिए मजबूर होता है।

केंद्रित प्रश्न जिसका समाधान किया गया है वह है: एक निश्चित रैंक बजट के तहत, डोमिनेंट स्ट्रक्चर के संरक्षण और क्वांटाइजेशन एरर के पुनर्निर्माण के बीच हमें कैसे संतुलन बनाना चाहिए?

कार्यप्रणाली: स्ट्रक्चर्ड रेसिड्यूल रिकंस्ट्रक्शन (SRR)

यह पेपर स्ट्रक्चर्ड रेसिड्यूल रिकंस्ट्रक्शन (SRR) प्रस्तावित करता है, जो एक "प्रिजर्व-देन-क्वांटाइज़" फ्रेमवर्क है जो रैंक बजट को दो भूमिकाओं के बीच स्पष्ट रूप से आवंटित करता है: डोमिनेंट स्ट्रक्चर को संरक्षित करना और क्वांटाइजेशन एरर को पुनर्गठठित करना।

1. द प्रिजर्व-देन-क्वांटाइज़ पाइपलाइन

पूरे वेट मैट्रिक्स $W$ को क्वांटाइज करने और फिर रेसिड्यूल को ठीक करने के बजाय, SRR एक चुने गए स्प्लिट $k$ (जहाँ $0 \le k \le r$ ) के लिए निम्नलिखित चरणों को निष्पादित करता है:

प्रिजर्व (Preserve): स्केल्ड वेट मैट्रिक्स $SW $के टॉप-$ k $डोमिनेंट सिंगुलर दिशाओं को निकालें। इन दिशाओं को मूल स्पेस ($ L^{(1)}_k R^{(1)}_k$) में मैप किया जाता है और वे क्वांटाइजेशन को बायपास करती हैं।
क्वांटाइज़ (Quantize): शेष रेसिड्यूल घटक ( $W - L^{(1)}_k R^{(1)}_k$ ) को $Q_k$ उत्पन्न करने के लिए क्वांटाइज किया जाता है।
रिकंस्ट्रक्ट (Reconstruct): रेसिड्यूल पर प्रेरित क्वांटाइजेशन एरर ( $E_k = (W - L^{(1)}_k R^{(1)}_k) - Q_k$ ) को स्केल्ड स्पेस में ट्रंकेटेड SVD ( $L^{(2)}_k R^{(2)}_k$ ) का उपयोग करके शेष रैंक बजट $r-k$ के माध्यम से पुनर्गठित किया जाता है।

अंतिम सन्निकटन (approximation) $\hat{W}_{SRR} = L^{(1)}_k R^{(1)}_k + Q_k + L^{(2)}_k R^{(2)}_k$ है।

2. थ्योरी-गाइडेड रैंक सिलेक्शन ( $k^*$ )

अनुकूलतम स्प्लिट पॉइंट चुनना महत्वपूर्ण है। SRR महंगे एन्यूमरेशन (enumeration) के बिना डोमिनेंट स्ट्रक्चर के संरक्षण और क्वांटाइजेशन एरर के पुनर्निर्माण के बीच संतुलन बनाने के लिए एक मानदंड व्युत्पन्न करता है।

उद्देश्य: $\|S(W - \hat{W}_{SRR}(k))\|_F$ को न्यूनतम करना।
व्युत्पत्ति: एरर को क्वांटाइजेशन एरर के स्केल और अनरिकवरेबल एनर्जी रेश्यो में विभाजित किया जाता है।
- मान्यता 4.1: स्केल्ड क्वांटाइजेशन एरर एनर्जी लगभग स्केल्ड इनपुट एनर्जी के समानुपाती होती है ( $\|SE_k\|_F \approx \eta_Q \|S(W - L^{(1)}_k R^{(1)}_k)\|_F$ )।
- मान्यता 4.2: नॉर्मलाइज्ड क्वांटाइजेशन एरर का स्पेक्ट्रल प्रोफाइल विशिष्ट रियलाइजेशन के प्रति असंवेदनशील होता है और इसे i.i.d. एंट्रियों वाले एक रैंडम मैट्रिक्स $E$ द्वारा अनुमानित किया जा सकता है।
सिलेक्शन रूल: अनुकूलतम $k^*$ को संरक्षित भाग की अनरिकवरेबल एनर्जी और रेसिड्यूल भाग की अनरिकवरेबल एनर्जी के गुणनफल को न्यूनतम करके चुना जाता है:
$k^* = \arg \min_{0 \le k \le r} \rho_k(SW) \cdot \rho_{r-k}(SE)$
जहाँ $\rho_p(A)$ एक रैंक- $p$ ट्रंकेशन के बाद शेष ऊर्जा का अनुपात है। यह एक रैंडम प्रोब मैट्रिक्स $E$ का उपयोग करके $k$ के लाइटवेट, वन-शॉट चयन की अनुमति देता है।

3. क्वांटाइज्ड पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (QPEFT) में अनुप्रयोग

SRR स्वाभाविक रूप से QPEFT तक विस्तारित होता है, जहाँ क्वांटाइज्ड बैकबोन फ्रीज किया जाता है, और केवल लो-रैंक एडेप्टर को प्रशिक्षित किया जाता है।

इनिशियलाइजेशन (Initialization): SRR डिकंपोजिशन एडेप्टर ( $LR = L^{(1)}R^{(1)} + L^{(2)}R^{(2)}$ ) के लिए एक हाई-फिडेलिटी इनिशियलाइजेशन प्रदान करता है।
ग्रेडिएंट स्केलिंग (Gradient Scaling): दोनों घटक अलग-अलग भूमिकाएँ निभाते हैं: $L^{(1)}R^{(1)}$ डोमिनेंट सबस्पेस को संरक्षित करता है, जबकि $L^{(2)}R^{(2)}$ एडैप्टेशन को संभालता है। संरक्षित दिशाओं को ओवर-अपडेट करने से रोकने के लिए (जो स्ट्रक्चर को अस्थिर कर सकता है), SRR संरक्षित घटक पर ग्रेडिएंट स्केलिंग लागू करता है:
$\nabla_{L^{(1)}R^{(1)}} L \leftarrow \gamma \nabla_{L^{(1)}R^{(1)}} L, \quad \gamma \in (0, 1)$
यह संरक्षित सबस्पेस के साथ अपडेट को कम करके और रेसिड्यूल दिशाओं को स्वतंत्र रूप से अनुकूलित होने देकर फाइन-ट्यूनिंग को स्थिर करता है।

मुख्य योगदान

रैंक-एलोकेशन फ्रेमवर्क: SRR एक सिद्धांत आधारित फ्रेमवर्क पेश करता है जो डोमिनेंट लो-रैंक स्ट्रक्चर को संरक्षित करने और क्वांटाइजेशन एरर को पुनर्गठित करने के बीच रैंक बजट को स्पष्ट रूप से विभाजित करता है, जो "रेसिड्यूल-ओनली" रिकंस्ट्रक्शन की अक्षमता को संबोधित करता है।
थ्योरी-गाइडेड सिलेक्शन: पेपर एक सरल, थ्योरी-गाइडेड मानदंड व्युत्पन्न करता है जो वेट्स के स्केल्ड स्पेक्ट्रल डिके और क्वांटाइजेशन नॉइज़ के लिए एक रैंडम-मैट्रिक्स प्रॉक्सी पर आधारित है, जिससे महंगा एन्यूमरेशन टल जाता है।
QPEFT स्टेबिलाइजेशन: SRR QPEFT के लिए एक स्ट्रक्चर्ड इनिशियलाइजेशन प्रदान करता है और संरक्षित दिशाओं को अलग करने के लिए एक ग्रेडिएंट स्केलिंग मैकेनिज्म पेश करता है ताकि प्रशिक्षण को स्थिर किया जा सके।
प्लग-एंड-प्ले इम्प्लीमेंटेशन: SRR को एक फाइन-ट्यूनिंग-फ्री, प्लग-एंड-प्ले मॉड्यूल के रूप में डिज़ाइन किया गया है जो मौजूदा एक्टिवेशन-अवेयर QER (जैसे, LQER, QERA) के साथ संगत है।

प्रयोगात्मक परिणाम

लेखकों ने विविध मॉडल्स (TinyLLaMA, Gemma-2, LLaMA-2, LLaMA-3.1) और क्वांटाइजेशन सेटिंग्स (2-bit से 4-bit) में SRR का मूल्यांकन किया।

पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ):
- SRR ने सभी मॉडल्स और रैंक बजट ( $r=32, 64$ ) के लिए LQER और QERA जैसे बेसलाइन्स की तुलना में WikiText2 पर लगातार पर्प्लेक्सिटी (perplexity) कम की।
- उल्लेखनीय सुधारों में 3-bit प्रिसिजन पर LLaMA-2 7B पर 27.1% रिलेटिव पर्प्लेक्सिटी रिडक्शन और Gemma-2 2B पर 12.2% शामिल है।
- डाउनस्ट्रीम टास्क (HellaSwag, Winogrande, आदि) पर ज़ीरो-शॉट एक्यूरेसी में लगातार सुधार हुआ।
क्वांटाइज्ड PEFT (QPEFT):
- RoBERTa-base पर GLUE बेंचमार्क का उपयोग करते हुए, SRR ने 2-bit क्वांटाइजेशन के तहत QERA बेसलाइन पर 5.9 पर्सेंटेज-पॉइंट औसत गेन हासिल किया।
- SRR ने 2-bit प्रिसिजन पर बिना किसी इटरेटिव रिफाइनमेंट के LoftQ और LQ-LoRA जैसे इटरेटिव मेथड्स को 10 पर्सेंटेज-पॉइंट से अधिक से पीछे छोड़ दिया।
- ट्रेनिंग लॉस कर्व्स ने दिखाया कि SRR बेसलाइन्स की तुलना में कन्वर्जेंस को तेज करता है।
- GSM8K और SlimPajama पर, SRR ने 2-bit प्रिसिजन पर QERA और अन्य बेसलाइन्स की तुलना में एक्यूरेसी में काफी सुधार किया और पर्प्लेक्सिटी को कम किया।
रोबस्टनेस (Robustness):
- SRR ने विभिन्न क्वांटाइज़र्स (MXINT, GPT_GPT, QuIP#) में सुसंगत सुधार दिखाया।
- पाया गया कि रैंक सिलेक्शन $k^*$ रैंडम सीड्स केAcross स्थिर रहता है (आमतौर पर $\pm 1$ तक भिन्न होता है)।

महत्व और दावे

पेपर का दावा है कि $W \approx Q + LR$ के सटीक लो-बिट एप्रोक्सिमेशन के लिए प्रिजर्वेशन और रिकंस्ट्रक्शन को संतुलित करना महत्वपूर्ण है। डोमिनेंट लो-रैंक स्ट्रक्चर को संरक्षित करके और सबसे प्रभावी सुधारों के लिए लो-रैंक क्षमता को आरक्षित करके, SRR समान रैंक बजट के तहत पूर्ववर्ती विधियों की तुलना में अधिक सटीक एप्रोक्सिमेशन प्राप्त करता है।

लेखक इस बात पर जोर देते हैं कि SRR एक सिद्धांत आधारित फ्रेमवर्क प्रदान करता है। यह प्रदर्शित करता है कि लो-रैंक बजट को केवल एक उद्देश्य (एरर करेक्शन) के लिए नहीं होना चाहिए, बल्कि वेट्स के अंतर्निहित संरचनात्मक गुणों के आधार पर गतिशील रूप से आवंटित किया जाना चाहिए। इस पद्धति को एक मजबूत, कम्प्यूटेशनल रूप से कुशल (रैंडमाइज्ड SVD के माध्यम से नगण्य ओवरहेड) और सामान्यीकरण योग्य समाधान के रूप में प्रस्तुत किया गया है, जो LLMs के अधिक सटीक लो-बिट परिनियोजन (deployment) को सक्षम बनाता है।