🤖 machine learning

Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate

यह शोधपत्र एक कवरेज मॉडल पेश करके इस धारणा को चुनौती देता है कि क्वांटाइजेशन लॉस (quantization loss) पूरी तरह से योगात्मक (additive) होता है, जो संतृप्ति प्रभावों (saturation effects) को कैप्चर करता है, और यह प्रदर्शित करता है कि यह दृष्टिकोण बड़े भाषा मॉडलों के लिए मिश्रित-परिशुद्धता आवंटन (mixed-precision allocation) में पारंपरिक संवेदनशीलता-आधारित विधियों की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से सब-4-बिट परिशुद्धता पर।

मूल लेखक: Joshua Hill

प्रकाशित 2026-07-15

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joshua Hill

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास हजारों छोटे गियरों (परतों) से बना एक विशाल, जटिल रोबोट है। आप इस रोबोट को कुछ भारी, सोने की परत वाले गियरों को हल्के, प्लास्टिक के गियरों से बदलकर इसे और तेज़ और सस्ता बनाना चाहते हैं। इसे क्वांटाइजेशन (Quantization) कहा जाता है। बड़ा सवाल यह है कि: किन गियरों को बदलना चाहिए?

लंबे समय तक, इंजीनियरों ने प्रत्येक गियर को अलग से देखकर इसे हल करने की कोशिश की। वे कहते थे, "यह गियर डगमगा रहा है, इसलिए इसे सोना चाहिए," या "वह गिर सख्त है, इसलिए यह प्लास्टिक हो सकता है।" उन्होंने माना कि यदि वे प्रत्येक ग}}, जिसे उन्होंने बदला है, उसके "डगमगाहट" (wobble) को जोड़ देंगे, तो वे बिल्कुल जान लेंगे कि पूरा रोबोट कितना हिलेगा।

इस पेपर की बड़ी खोज है कि यह "जोड़ने वाला" तरीका पूरी तरह से गलत है।

"फुल टैंक" सादृश्य: जोड़ना काम क्यों नहीं करता

लेखकों ने पाया कि रोबोट की "डगमगाहट" (या त्रुटि) एक बाल्टी की तरह काम नहीं करती जिसमें आप बस अधिक पानी डाल सकते हैं। इसके बजाय, यह एक छत वाले ईंधन टैंक (fuel tank with a ceiling) की तरह काम करती है।

कल्पना कीजिए कि रोबट के पास हिलने की एक अधिकतम सीमा है जिससे पहले वह पूरी तरह टूट जाएगा। आइए इसे छत (ceiling) कहें।

जब आप पहले कुछ गियर बदलते हैं, तो रोबोट थोड़ा हिलता है।
लेकिन यहाँ एक पेंच है: जैसे-जैसे आप अधिक गियर बदलते हैं, रोबोट उस टूटने वाली छत के करीब पहुँच जाता है।
क्योंकि यह पहले से ही हिल रहा है, एक और गियर बदलने से उतना "शेक" (shake) नहीं जुड़ता जितना पहले गियर को बदलने से जुड़ा था। यह कम जुड़ता है, क्योंकि रोबोट के टूटने से पहले अब "जगह" कम बची है।

पेपर इसे सैचुरेशन (Saturation/संतृप्ति) कहता है। नुकसान "सैचुरेट" हो जाता है क्योंकि नुकसान होने की एक सीमा होती है।

"गलत मानचित्र" की समस्या

इस सैचुरेशन के कारण, पुराने तरीके (जैसे एक-एक करके गियर देखना) एक ऐसे मानचित्र की तरह हैं जो यह सोचता है कि सड़क समतल है। वे मापते हैं कि एक गियर कितना ऊबड़-खाबड़ है जब रोबोट बिल्कुल सुचारू रूप से चल रहा हो (कोई अन्य गियर नहीं बदला गया है)। वे सोचते हैं, "ओह, यह गियर 10 झटके देगा!"

लेकिन वास्तव में, यदि आप पहले से ही 50 अन्य गियर बदल चुके हैं, तो वही गियर केवल 1 झटका दे सकता है क्योंकि रोबोट पहले से ही अपनी सीमा के पास डगमगा रहा है। पुराने तरीके नुकसान का 71% से 376% तक अतिरंजित अनुमान (overestimate) लगाते हैं। वे सोचते हैं कि रोबोट क्रैश होने वाला है जबकि वास्तव में वह बिल्कुल ठीक है।

नया "कवरेज" मॉडल

लेखक एक नया तरीका प्रस्तावित करते हैं, जिसे वे कवरेज मॉडल (Coverage Model) कहते हैं।

कल्पना कीजिए कि रोबोट की डगमगाहट एक फूलता हुआ गुब्बारा है।

हर बार जब आप एक गियर बदलते हैं, तो आप गुब्बारे में थोड़ी सी हवा भरते हैं।
लेकिन जैसे-जैसे गुब्बारा बड़ा होता है, उसे फैलाना कठिन होता जाता है। पहली फूंक गुब्बारे को बहुत फैला देती है; आखिरी फूंक बहुत कम फैलाती है।
लेखकों ने पाया कि यदि आप माप लें कि प्रत्येक गियर कितनी "हवा" (नुकसान) जोड़ देगा यदि केवल उसे ही बदला गया होता, तो आप एक सरल गणितीय सूत्र का उपयोग करके कुल डगमगाहट की सटीक भविष्यवाणी कर सकते हैं जो गुब्बारे के कठिन होने (stretch होने) के तथ्य को ध्यान में रखता है।

उन्होंने इसे वास्तविक विशाल रोबोटों (लार्ज लैंग्वेज मॉडल्स) पर परीक्षण करके सिद्ध किया, जो छोटे (0.6 बिलियन गियर) से लेकर विशाल (355 बिलियन गियर) तक थे।

परिणाम: 85% से 93% मामलों में, कुल डगमगाहट को व्यक्तिगत गियरों को देखकर ही पूरी तरह समझाया जा सकता है, बशर्ते आप इस नए "गुब्बारे" वाले गणित का उपयोग करें।
पुराना "जोड़ने वाला" तरीका विफल हो जाता है क्योंकि वह भूल जाता है कि गुब्बारा खिंचने में कठिन होता जाता है।

"पेयरवाइज़" (Pairwise) तरकीबें क्या हैं?

कुछ बुद्धिमान इंजीनियरों ने पुराने तरीके को ठीक करने के लिए गियर के जोड़ों को देखने की कोशिश की (जैसे, "क्या होगा यदि मैं गियर A और गियर B को एक साथ बदल दूँ?")। उन्हें उम्मीद थी कि यह छिपे हुए इंटरैक्शन को पकड़ लेगा।

पेपर कहता है: अपना समय बर्बाद करना बंद करें।
उन्होंने गियर के हर संभव संयोजन की डगमगाहट को छोटे ब्लॉकों में मापा। उन्होंने पाया कि जोड़ों को देखना बहुत अधिक मदद नहीं करता है। "अतिरिक्त" डगमगाहट जिसे एकल गियर द्वारा नहीं समझाया जा सका था, वह लगभग पूरी तरह से गुब्बारे के वक्रता (curvature of the balloon) के कारण थी, न कि गियरों के बीच किसी गुप्त हाथ मिलाने के कारण।

वास्तव में, यदि आप केवल एक सरल "जोड़ने वाले" मॉडल का उपयोग करते हैं लेकिन गणित को ठीक करने के लिए उसे गुब्बारे के अनुसार ढालते हैं, तो आपको गियरों की रैंकिंग मिल जाती है जो जटिल पेयर-मेथड्स (pair-methods) देती है, लेकिन यह बहुत तेज़ और कम डेटा के साथ होता है।

"प्रमाणपत्र" (हम कितने आश्वस्त हैं?)

लेखक बहुत सावधान हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक प्रमाणपत्र (certificate) बनाया।

उन्होंने अपने परीक्षणों में "शोर" (random errors) को मापा और उसे घटा दिया।
उन्होंने गणितीय रूप से सिद्ध किया कि यदि उनका "गुब्बारा" सिद्धांत सही है, तो सरल मॉडल की त्रुटि बिल्कुल उस "अनव्याख्यायित" डगमगाहट के बराबर होनी चाहिए जिसे उन्होंने मापा है।
और क्या अनुमान था? यह पूरी तरह से मेल खा गया। अब वे आपको बता सकते हैं, इससे पहले कि आप रोबोट बनाएं, कि एक सरल मॉडल कितना अच्छा होगा।

वास्तविक दुनिया की जीत

जब उन्होंने वास्तविक AI मॉडल्स में गियर बदलने का निर्णय लेने के लिए इस नए तरीके का उपयोग किया:

उन्हें उद्योग-मानक उपकरणों (जैसे NVIDIA का ModelOpt) की तुलना में बेहतर परिणाम मिले।
30-बिलियन-गियर वाले मॉडल पर, उन्होंने मौजूदा सर्वोत्तम विधि की तुलना में त्रुटि को 17% से 21% तक कम कर दिया।
सबसे महत्वपूर्ण बात यह है कि जब उन्होंने रोबोटों को अत्यधिक हल्का (4 बिट से नीचे) बनाया, तो पुराने तरीकों ने रोबोटों को पूरी तरह से चुप करा दिया (वे अपने वाक्य पूरे नहीं कर पा रहे थे)। नया तरीका रोबोटों को बात करने और गणित की समस्याओं को हल करने में सक्षम बनाए रखता है, भले ही वे न्यूनतम सेटिंग्स पर हों।

उन्होंने क्या खारिज किया

उन्होंने खारिज कर दिया कि आपको अच्छे परिणाम प्राप्त करने के लिए प्रत्येक गियर के हर जोड़े को मापने की आवश्यकता है। "पेयरवाइज़" तरीके बहुत महंगे हैं और बहुत अधिक मूल्य नहीं जोड़ते हैं।
उन्होंने खारिज कर दिया कि किसी गियर की "डगमगाहट" स्थिर होती है। यह बदलती रहती है कि कितने अन्य गियर पहले से बदले जा चुके हैं।
उन्होंने खारिज कर दिया कि जटिल "ब्लैक बॉक्स" AI प्रेडिक्टर्स (जैसे Gaussian Processes) बेहतर हैं। हालांकि वे तब ठीक काम करते हैं जब आपके पास बहुत सारा डेटा हो, वे तब बुरी तरह विफल हो जाते हैं जब आप उन सेटिंग्स का अनुमान लगाने की कोशिश करते हैं जिन्हें उन्होंने नहीं देखा है। सरल "गुब्बारा" गणित नए परिदृश्यों का अनुमान लगाते समय भी सटीक रहता है।

निचोड़ (The Bottom Line)

यह पेपर दिखाता है कि क्वांटाइजेशन कोई उलझा हुआ पहेली नहीं है जिसमें छिपे हुए इंटरैक्शन हों। यह एक सरल, अनुमानित प्रक्रिया है—एक टैंक को भरने की तरह। यदि आप हर छोटे इंटरैक्शन को मापने के बजाय केवल यह मापते हैं कि टैंक में कितनी "जगह" बची है, तो आप बहुत कम प्रयास के साथ तेज़, सस्ते और स्मार्ट AI मॉडल बना सकते हैं।

तकनीकी सारांश: संतृप्ति (Saturation) क्वांटाइजेशन त्रुटि को योगात्मक (Additive) बनाती है

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए मिश्रित-परिशुद्धता (mixed-precision) क्वांटाइजेशन हेतु यह निर्णय लेना आवश्यक होता है कि एक सख्त मेमोरी बजट के तहत किन परतों या टेंसरों को उच्च परिशुद्धता पर बनाए रखा जाए। वर्तमान उद्योग-मानक विधियाँ (जैसे HAWQ, ModelOpt, CoopQ) एक संरचनात्मक आधार पर निर्भर करती हैं: कि एक सेट परतों से होने वाले कुल नुकसान को अलग-थौली या युग्मवार (pairwise) संवेदनशीलता के आधार पर पुनर्गठित किया जा सकता है। ये विधियाँ हेसियन ट्रेस (Hessian traces), फिशर स्कोर (Fisher scores), या युग्मवार इंटरेक्शन टर्म्स से प्राप्त स्कोर को एकत्रित करती हैं, यह मानते हुए कि निम्न-क्रम के माप संयुक्त विन्यास (joint configuration) के नुकसान की भविष्यवाणी करने के लिए पर्याप्त हैं।

हालाँकि, इस आधार का परीक्षण सीधे तौर पर उन 4-बिट वेट-एंड-एक्टिवेशन परिशुद्धताओं पर नहीं किया गया है जिन्हें वर्तमान में तैनात किया जा रहा है। लॉस फंक्शन $f(S)$ , जो परतों के एक उपसमुच्चय $S$ को क्वांटाइज करने से होने वाली हानि है, Boolean cube $\{0, 1\}^L$ पर एक सेट फंक्शन है। वास्तविक मॉडल गहराई के लिए, सभी $2^L$ विन्यासों की गणना करना असंभव है, जिससे सन्निकटन (approximations) की आवश्यकता होती है। मुख्य प्रश्न यह है कि क्या इस लॉस फंक्शन का विचरण (variance) प्रथम-क्रम (per-layer) प्रभावों द्वारा नियंत्रित है या उच्च-क्रम के इंटरेक्शन इतने महत्वपूर्ण हैं कि वे योगात्मक ह्यूरिस्टिक्स (additive heuristics) को अमान्य कर दें।

कार्यप्रणाली (Methodology)

लेखक दो क्लासिकल बेसिस परिवर्तन (changes of basis) के माध्यम से क्वांटाइजेशन क्षति $f(S)$ की संरचना का विश्लेषण करते हैं: वॉल्श ट्रांसफॉर्म (Walsh transform - functional-ANOVA decomposition) और मोबियस एक्सपेंशन (Möbius expansion)।

विचरण अपघटन (Variance Decomposition): एक परिनियोजन वितरण $\mu_p$ (जहाँ प्रत्येक परत $p=0.6$ की प्रायिकता के साथ स्वतंत्र रूप से क्वांटाइज की जाती है) के तहत वॉल्श बेसिस का उपयोग करते हुए, लेखक $f$ के विचरण को क्रम के अनुसार विघटित करते हैं। प्रमेय 1 स्थापित करता है कि सर्वोत्तम योगात्मक (डिग्री-1) प्रेडिक्टर का माध्य-वर्ग त्रुटि (mean-squared error) सभी उच्च-क्रम के पदों (क्रम $\ge 2$ ) के विचरण के योग के ठीक बराबर है।
ऑर्डिनल विश्लेषण (Ordinal Analysis): यह निर्धारित करने के लिए कि शेष उच्च-क्रम ऊर्जा वास्तविक लेयर कपलिंग है या केवल लॉस स्केल का वक्रता (curvature) प्रभाव, लेखक "एक सख्ती से बढ़ते हुए रूपांतरण तक योगात्मकता" के लिए परीक्षण करते हैं। वे ऑर्डिनल डिफेक्ट (ordinal defect) को मापते हैं—जो कि वह न्यूनतम अंश है जिसे कोई भी योगात्मक इंडेक्स किसी भी युग्मवार विन्यास रैंकिंग का उल्लंघन करेगा। इसे स्प्लिट-हाफ एस्टिमेटर्स और मैचड-नॉइज़ नल्स (matched-noise nulls) का उपयोग करके शोर (noise) के विरुद्ध प्रमाणित किया जाता है।
कवरेज मॉडल (The Coverage Model): लेखक संतृप्ति (saturation) द्वारा संचालित एक "कवरेज मॉडल" प्रस्तावित करते हैं। क्योंकि क्वांटाइजेशन लॉस एक सीमा $c$ द्वारा बंधा हुआ है, "हेडरूम" $h(S) = c - f(S)$ परतों के क्वांटाइज होने के साथ घटता जाता है। मॉडल यह प्रतिपादित करता है कि प्रत्येक क्वांटाइज्ड परत शेष हेडरूम का एक निश्चित अंश $a_i$ उपभोग करती है:
$f(S) = c \left(1 - \prod_{i \in S} (1 - a_i)\right)$
इसका अर्थ है कि क्षति लॉग-हेडरूम में योगात्मक है: $-\log(1 - f(S)/c) = \sum_{i \in S} b_i$ ।
प्रेडिक्टर्स और एलोकेटर्स (Predictors and Allocators):
- योगात्मक मॉडल (Additive Model): परिनियोजन वितरण से प्राप्त इष्टतम प्रथम-क्रम प्रेडिक्टर।
- कवरेज मॉडल (Coverage Model): एक पैरामेट्रिक प्रेडिक्टर जिसमें $L+1$ पैरामीटर ( $c$ और ब्रेक-रेट $a_i$ ) हैं, जिसे लीस्ट स्क्वेयर्स के माध्यम से फिट किया गया है।
- ऑमन-शापली एस्टिमेटर (Aumann–Shapley Estimator): एक फिट-फ्री पाथ इंटीग्रल जो एक लेयर-विशिष्ट प्रभावी घनत्व पर इष्टतम योगात्मक गुणांक को पुनः प्राप्त करता है, जो यह सिद्ध करता है कि परतों की रैंकिंग कवरेज मॉडल के तहत सटीक रूप से संरक्षित रहती है।
- एलोकेशन (Allocation): दोनों मॉडलों को मेमोरी बजट के तहत $\Delta$ LCE को कम करने के लिए अनुमानित मार्जिनल डैमेज पर नैपसैक समस्या (knapsack problem) को हल करके एलोकेटर्स में परिवर्तित किया जाता है।

मुख्य निष्कर्ष (Key Findings)

1. प्रथम-क्रम प्रभावों का प्रभुत्व

परिनियोजन वितरण से प्राप्त विन्यासों में से, क्वांटाइजेशन डैमेज का 85–93% विचरण अकेले प्रति-परत प्रभावों द्वारा समझाया गया है। शोर सुधार के साथ सटीक लैटिस (exact lattices) पर, यह बढ़कर 98–99% हो जाता है। अनस्पोंडेड (unexplained) उच्च-क्रम विचरण किसी भी योगात्मक मॉडल के सर्वोत्तम प्रदर्शन के लिए एक "प्रमाणपत्र" (certificate) के रूप में कार्य करता है।

2. संतृप्ति संरचना को स्पष्ट करती है

शेष उच्च-क्रम ऊर्जा जटिल लेयर कपलिंग का संकेत नहीं देती, बल्कि लॉस फंक्शन की संतृप्ति (saturation) को दर्शाती है।

ऑर्डिनल डिफेक्ट: क्षति को प्रति-परत पदों के योग के एक मोनोटोन रूपांतरण द्वारा अच्छी तरह से अनुमानित किया जा सकता है ( $f(S) \approx g(\sum b_i)$ )। मापा गया ऑर्डिनल डिफेक्ट अधिकतम 2% है (अक्सर शून्य के समान), जो यह दर्शाता है कि स्पष्ट गैर-योगात्मकता (non-additivity) लॉस स्केल की वक्रता के कारण है, न कि परतों के बीच इंटरेक्शन के कारण।
मोबियस स्पेक्ट्रम: कवरेज मॉडल एक विशिष्ट मोबियस स्पेक्ट्रम की भविष्यवाणी करता है जहाँ गुणांक चिन्हों में बदलते हैं और परिमाण में बढ़ते हैं, जिससे निम्न-क्रम ट्रंकेशन वास्तविक नुकसान से बहुत अधिक (32 $\times$ तक) ओवरशूट कर जाते हैं। यह व्यवहार सटीक लैटिस पर अनुभवजन्य रूप से पुष्ट किया गया है।

3. पृथक संवेदनशीलता (Isolated Sensitivities) का विफल होना

पृथक रूप से मापी गई संवेदनशीलता (जैसे HAWQ-v2 का हेसियन ट्रेस) अन-क्वांटाइज्ड नेटवर्क ( $p \to 0$ ) पर आधारित होती है। कवरेज मॉडल के तहत, ये पृथक ढलान (slopes) इष्टतम इन-कॉन्टेक्स्ट ढलानों के सापेक्ष एक क्लोज्ड-फॉर्म फैक्टर द्वारा बढ़ी हुई होती हैं:
$\frac{s_i}{w_i} \approx e^{p \sum_j a_j}$
यह पृथक संवेदनशीलताओं को जोड़ने पर विन्यास हानि (configuration loss) का गलत मूल्य निर्धारण (mispricing) 71–376% तक कर देता है। यह वृद्धि क्वांटाइज्ड परतों की संख्या के साथ तेजी से (exponentially) बढ़ती है।

4. प्रेडिक्टर और एलोकेटर प्रदर्शन

भविीकरण (Prediction): योगात्मक और कवरेज मॉडल (साथ में $L+1$ पैरामीटर) छोटे मेजरमेंट बजट ( $N \approx L$ ) पर ब्लैक-बॉक्स सरोगेट्स (Random Forests, Gaussian Processes, RBF kernels) को मात देते हैं या उनके बराबर होते हैं। महत्वपूर्ण रूप से, वे भारी क्वांटाइज्ड विन्यासों में एक्सट्रपलेशन करते समय केवल 2 $\times$ तक गिरते हैं, जबकि गॉसियन प्रोसेस 2–5 $\times$ तक गिर जाते हैं क्योंकि उनके स्टेशनरी कर्नेल संतृप्ति संरचना को एनकोड करने में विफल रहते हैं।
एलोकेशन (Allocation): मैच किए गए मेमोरी बजट पर, प्रस्तावित एलोकेटर्स सभी तुलना किए गए तरीकों (संवेदनशीलता-आधारित, संरचनात्मक, और सरोगेट-आधारित) के बीच सबसे कम KL डाइवर्जेंस प्राप्त करते हैं, जो 0.6B से 355B पैरामीटर्स वाले मॉडल्स पर परीक्षित है।
- Qwen3-30B पर, वे ModelOpt बेसलाइन की तुलना में 17–21% कम KL डाइवर्जेंस प्राप्त करते हैं।
- Qwen3-235B और GLM-4.6 (355B) पर, 13–37% के मार्जिन देखे गए हैं।
सब-4-बिट रिजीम (Sub-4-bit Regime): 4 बिट से नीचे, मानक एलोकेटर्स अक्सर टर्मिनेटिंग जनरेशन (terminating generations) उत्पन्न करने में विफल रहते हैं। प्रस्तावित एलोकेशन, जो फिट किए गए मॉडलों से प्राप्त होते हैं, उन प्रभावी बिट-विड्थ पर रीजनिंग क्षमताओं को बनाए रखते हैं जहाँ अन्य विधियाँ विफल हो जाती हैं।

महत्व और दावे

पेपर का दावा है कि यह मिश्रित-परिशुद्धता क्वांटाइजेशन के लिए एक क्लोज्ड-फॉर्म थ्योरी प्रदान करता है जो लॉस की स्पष्ट गैर-योगात्मकता और प्रति-परत ह्यूरिस्टिक्स की सफलता के बीच के तनाव को हल करता है।

सैद्धांतिक योगदान: यह सिद्ध करता है कि संतृप्ति ही केंद्रित वॉल्श स्पेक्ट्रम (प्रथम-क्रम का प्रभुत्व) और विचलित मोबियस स्पेक्ट्रम (ओवरशूटिंग इंटरेक्शन) दोनों को उत्पन्न करती है। यह एक सर्टिफिकेट आइडेंटिटी (प्रमेय 1) प्रदान करता है जो परिनियोजन से पहले योगात्मक मॉडलों की सीमा को मात्रात्मक रूप से निर्धारित करता है।
व्यावहारिक प्रभाव: यह प्रदर्शित करता है कि प्रचलित "आइसोलेट-एंड-सम" (isolate-and-sum) ह्यूरिस्टिक्स एंकर बायस के कारण मौलिक रूप से त्रुटिपूर्ण हैं, जो नुकसान को कई गुना बढ़ाकर बताते हैं। प्रस्तावित कवरेज मॉडल और ऑमन-शापली एस्टिमेटर एक अधिक सटीक, व्याख्या योग्य और गणनात्मक रूप से कुशल विकल्प प्रदान करते हैं जिसके लिए किसी युग्मवार सैंपलिंग की आवश्यकता नहीं होती है।
मजबूती (Robustness): विधियों को विविध मॉडल स्केल्स (0.6B से 355B), आर्किटेक्चर (डेंस और MoE), और कार्यों (रीजनिंग, कोड, इमेज जनरेशन) में मान्य किया गया है। पेपर का दावा है कि परिणामी एलोकेशन उन सब-4-बिट बजटों पर भी रीजनिंग कार्यों को सफलतापूर्वक हल करने वाले पहले समाधान हैं जहाँ अन्य विधियाँ विफल हो जाती हैं।

लेखक निष्कर्ष निकालते हैं कि क्वांटाइजेशन के लिए अक्सर जिसे "इंटरेक्शन" कहा जाता है, वह वास्तव में लॉस स्केल की वक्रता (curvature) का एक आर्टिफैक्ट है। इस संतृप्ति को स्पष्ट रूप से मॉडल करके, सरल, व्याख्या योग्य और प्रमाणित प्रेडिक्टर के साथ इष्टतम एलोकेशन प्राप्त किया जा सकता है।