💻 computer science

Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models

यह शोध पत्र बड़े भाषा मॉडलों (large language models) के अत्यधिक निम्न-बिट क्वांटाइजेशन (extreme low-bit quantization) के लिए एक संयुक्त अनुकूलन ढांचे (joint optimization framework) का प्रस्ताव करता है जो गहराई के माध्यम से त्रुटि संचय को रोकने के लिए क्रॉस-लेयर एरर कंपनसेशन (cross-layer error compensation) और वितरण संबंधी गुणों को संरेखित करने के लिए परिमित-नमूना फीचर-सांख्यिकी मिलान (finite-sample feature-statistics matching) को जोड़ता है, जिससे Qwen2.5-1.5B जैसे मॉडलों पर अत्याधुनिक परप्लेक्सिटी (perplexity) और सुदृढ़ता (robustness) प्राप्त होती है।

मूल लेखक: Ryona Noda

प्रकाशित 2026-07-17

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ryona Noda

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय को एक छोटी सी जेब वाली नोटबुक के आकार में सिकोड़ने की कोशिश कर रहे हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो चैटबॉट्स और रचनात्मक लेखन उपकरणों के पीछे के AI मस्तिष्क हैं। ये मॉडल गणितीय "कमरों" की परतों से बने होते हैं, जहाँ प्रत्येक कमरा जानकारी को प्रोसेस करता है और उसे अगली परत को सौंप देता है। इन मॉडल्स को छोटे उपकरणों पर चलाने के लिए, वैज्ञानिक क्वांटाइजेशन (quantization) नामक एक तरकीकी तकनीक का उपयोग करते हैं। इसे एक हाई-डेफिनिशन फिल्म को लो-रेज़ोल्यूशन स्केच में बदलने के रूप में सोचें। आप मुख्य आकृतियों और रंगों को बनाए रखते हैं, लेकिन जगह बचाने के लिए बारीक विवरणों को हटा देते हैं। आमतौर पर, आप इसे एक-एक करके हर कमरे के लिए करते हैं, यह सुनिश्चित करते हुए कि अगला कदम उठाने से पहले प्रत्येक कमरा मूल के जितना संभव हो उतना समान दिखे।

हालाँकि, इसमें एक पेंच है। जब आप पहले कमरे को कंप्रेस करते हैं, तो आप एक छोटी सी त्रुटि पेश करते हैं—एक हल्का सा धुंधलापन। जब दूसरा कमरा उस धुंधले इनपुट के साथ काम करने की कोशिश करता है, तो वह अपनी खुद की गलती करता है, जो पहली गलती में जुड़ जाती है। जब तक जानकारी अंतिम कमरे तक पहुँचती है, त्रुटियाँ एक पहाड़ बन चुकी होती हैं, और अंतिम कहानी समझ में नहीं आती। यह विशेष रूप रूप से तब बुरा होता है जब आप मॉडल को अत्यधिक कंप्रेस करने की कोशिश करते हैं, यानी जटिल संख्याओं को केवल "ऑन" या "ऑफ" स्विच (बाइनरी) में बदल देते हैं। सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम इन विशाल पुस्तकालयों को कैसे सिकोड़ सकते हैं बिना कहानी को बिखरने दिए?

यह शोध पत्र, जिसका शीर्षक "क्रॉस-लेयर एरर कंपनसेशन एंड फाइनाइट-सैंपल फीचर-सांख्यिकी मैचिंग" है, इस पहेली को सुलझाने के लिए एक चतुर नया तरीका प्रस्तावित करता है। प्रत्येक कमरे को एक-एक करके ठीक करने के बजाय, लेखक सुझाव देते हैं कि पूरी लाइब्रेरी को एक साथ देखा जाए। वे त्रुटियों को गलतियों के रूप में नहीं, बल्कि एक संकेत के रूप में देखते हैं जिसे रद्द किया जा सकता है।

बड़ा विचार: त्रुटियों की रिले रेस

लेखकों ने महसूस किया कि पुराना तरीका एक रिले रेस की तरह है जहाँ प्रत्येक धावक दूसरों को देखे बिना अपना हिस्सा दौड़ने की कोशिश करता है। यदि पहला धावक लड़खड़ाता है, तो दूसरा धावक यह नहीं जानता कि अपनी चाल को कैसे समायोजित करना है, और तीसरे धावक को पकड़ने के लिए और भी तेज़ दौड़ना पड़ता है, जिससे अंततः दुर्घटना हो जाती है।

यह पेपर क्रॉस-लेयर एरर कंपनसेशन (Cross-Layer Error Compensation) नामक एक नई रणनीति पेश करता है। कल्पना कीजिए कि इसके बजाय धावक एक लंबी, लचीली रस्सी पकड़े हुए हैं। यदि पहला धावक लड़खड़ाता है, तो वह रस्सी को खींचता है, और दूसरा धावक उस खिंचाव को महसूस करता है और उसकी भरपाई के लिए तुरंत अपनी गति को समायोजित करता है। गणित की दुनिया में, लेखकों ने एक "रिकर्सन" (एक दोहराव वाला लूप) बनाया जो नेटवर्क के माध्यम से यात्रा करने वाली कुल त्रुटि को ट्रैक करता है। उन्होंने सिद्ध किया कि एक विशिष्ट गणितीय शॉर्टकट (एक "फाइनाइट डिफरेंस") का उपयोग करके, वे सटीक रूप से गणना कर सकते हैं कि किसी भी बिंदु पर त्रुटि कितनी बढ़ी है। फिर, ऑप्टिमाइज़र (AI ट्रेनर) बाद की परतों को पिछले परतों की त्रुटियों को रद्द करने के लिए ट्यून कर सकता है। यह बाद के धावकों द्वारा रास्ते को सीधा करने के लिए रस्सी को वापस खींचने जैसा है।

पेपर दिखाता है कि यह केवल एक अनुमान नहीं है; उन्होंने गणितीय रूप से सिद्ध किया कि यह विधि जटिल, गैर-रेखीय (non-linear) भागों के लिए भी सटीक रूप से वास्तविक त्रुटि की गणना करती है। जब उन्होंने इसे Qwen2.5-1.5B नामक एक मॉडल पर टेस्ट किया, और इसे प्रति वेट मात्र 1.125 बिट्स (जो मूल आकार का केवल 7.0% है) तक कंप्रेस किया, तो परिणाम चौंकाने वाले थे।

परिणाम: नन्हे बिट्स के लिए एक बड़ी छलांग

टीम ने अपने नए "एक साथ" वाले तरीके की तुलना पुराने "एक-एक करके" वाले तरीके से की।

पुराना तरीका: जब उन्होंने पारंपरिक परत-दर-परत दृष्टिकोण का उपयोग करके मॉडल को कंप्रेस करने की कोशिश की, तो मॉडल लगभग बेकार हो गया। "परप्लेक्सिटी रेशियो" (एक स्कोर जहाँ कम बेहतर है, और 1.0 आदर्श है) बढ़कर लगभग 1,400 हो गया। इसका मतलब है कि मॉडल मूल रूप से रैंडम अंदाज़ा लगा रहा था।
नया तरीका: उनके एरर-कैंसलिंग मेथड के साथ, स्कोर गिरकर 9.56 हो गया। यह एक बहुत बड़ा सुधार है—पुराने तरीके से 100 गुना से अधिक बेहतर।
प्रतिस्पर्धा: उन्होंने "लॉगिट डिस्टिलेशन" (जहाँ छोटा मॉडल बड़े मॉडल के जवाबों की नकल करने की कोशिश करता है) नामक एक लोकप्रिय तकनीक से भी इसकी तुलना की। उनका तरीका उससे 32% बेहतर था, जो इतना बड़ा अंतर है कि यह सांख्यिकीय रूप से निश्चित था (8 मानक विचलन से अधिक)।

गुप्त नुस्खा: दो तंत्र, एक लक्ष्य

पेपर दो मुख्य उपकरणों की पहचान करता है जो मिलकर काम करते हैं, लेकिन वे बहुत अलग भूमिकाएँ निभाते हैं:

एरर कंपनसेशन (गुणवत्ता चालक): यह मुख्य कार्यवाहक है। यह वह तंत्र है जो मॉडल को वास्तव में स्मार्ट बनाता है। लेखकों ने पाया कि यही गुणवत्ता को संचालित करता है। इसके बिना, मॉडल ढह जाता है।
फीचर-सांख्यिकी मैचिंग (स्थिरता गार्ड): यह एक माध्यमिक उपकरण है। यह यह सुनिश्चित करने की कोशिश करता है कि मॉडल के अंदर डेटा का "आकार" (औसत और पैटर्न) मूल बड़े मॉडल जैसा ही दिखे। दिलचस्प बात यह है कि लेखकों ने पाया कि केवल इस उपकरण का उपयोग करने से मॉडल का प्रदर्शन बहुत खराब हो गया (स्कोर 262)। हालाँकि, जब उन्होंने इसे एरर कंपनसेशन के साथ जोड़ा, तो इसने मॉडल के आंतरिक "एहसास" को सुसंगत बनाए रखने में मदद की, विशेष रूप से तब जब मॉडल को उन विषयों के बारे में पढ़ने के लिए कहा गया जो उसने प्रशिक्षण के दौरान नहीं देखे थे (जैसे समाचार लेख)।

उन्होंने क्या पाया (और क्या नहीं)

लेखक अपने विचारों का कठोरता से परीक्षण करने में बहुत सावधान रहे। उन्होंने परिणामों को सुनिश्चित करने के लिए तीन अलग-अलग रैंडम सीड्स (शुरुआती बिंदु) के साथ प्रयोग चलाए।

यह विभिन्न आकारों पर काम करता है: उन्होंने इसे 1-बिट (बाइनरी) और 4-बिट (इंटीजर) दोनों तरह के कंप्रेशन पर टेस्ट किया। यह तरीका दोनों के लिए समान रूप से काम करता है, जो बताता है कि यह एक मौलिक समाधान है, न कि केवल बाइनरी नंबरों के लिए एक ट्रिक।
यह नए विषयों पर काम करता है: जब उन्होंने मॉडल को उस डेटा पर टेस्ट किया जो प्रशिक्षण के दौरान नहीं देखा गया था (जैसे C4 डेटासेट या CNN/DailyMail समाचार), तो एरर कंपनसेशन मेथड ने अच्छा प्रदर्शन बनाए रखा। "सांख्यिकी मैचिंग" ने मॉडल को स्मार्ट नहीं बनाया, लेकिन इसने आंतरिक डेटा पैटर्न को स्थिर रखा, जो भविष्य में अन्य AI कार्यों के लिए उपयोगी हो सकता है।

सीमाएं

लेखक अपनी अनिश्चितताओं के प्रति ईमानदार हैं।

आकार: उन्होंने केवल एक 1.5 बिलियन पैरामीटर वाले मॉडल का परीक्षण किया। उन्हें पक्का नहीं पता कि क्या यह 8 बिलियन से अधिक के विशाल मॉडल्स पर भी इसी तरह काम करेगा, हालांकि उन्हें संदेह है कि यह वहां और भी बेहतर काम कर सकता है।
दायरा: उन्होंने मॉडल के सबसे पहले और सबसे अंतिम हिस्सों (एम्बेडिंग और लैंग्वेज हेड) को पूर्ण शुद्धता (full precision) में रखा। उन्होंने ऐसा वर्शन टेस्ट नहीं किया जहाँ सब कुछ बाइनरी में कंप्रेस किया गया हो।
बेसलाइन: उन्होंने अपने तरीके की तुलना स्वयं द्वारा बनाए गए मानक "लेयर-लोकल" वर्शन से की, न कि अन्य टूल्स के पूर्णतः सर्वश्रेष्ठ सार्वजनिक वर्जनों से, इसलिए वास्तविक दुनिया में अंतर थोड़ा अलग हो सकता है।

निष्कर्ष

यह पेपर सुझाव देता है कि AI मॉडल्स को कंप्रेस करने का पुराना तरीका—एक समय में एक लेयर को ठीक करना—मौलिक रूप से त्रुटिपूर्ण है क्योंकि यह इस बात को अनदेखा करता है कि त्रुटियाँ कैसे जमा होती हैं। पूरे नेटवर्क को एक एकल प्रणाली के रूप में मानकर, जहाँ त्रुटियों को ट्रैक किया जाता है और परतों के बीच रद्द किया जाता है, हम मॉडल्स को बहुत छोटे आकार (जैसे 1.125 बिट्स) तक सिकोड़ सकते हैं बिना उनकी बुद्धिमत्ता खोए। यह "हिस्सों को ठीक करने" से "पूरे तंत्र के संचालन" की ओर एक बदलाव है, जो यह साबित करता है कि कभी-कभी, किसी चीज़ को छोटा करने के लिए, आपको बड़ी तस्वीर देखनी पड़ती है।

तकनीकी सारांश: बड़े भाषा मॉडलों (LLMs) के अत्यधिक निम्न-बिट क्वांटाइजेशन के लिए क्रॉस-लेयर एरर कंपनसेशन और फाइनाइट-सैंपल फीचर-सांख्यिकी मिलान

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का लेयर-वाइज पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) आमतौर पर प्रत्येक लेयर के आइसोलेशन में स्थानीय पुनर्निर्माण त्रुटि (local reconstruction error) को कम करता है। मध्यम बिट-चौड़ाई के लिए प्रभावी होने के बावजूद, यह दृष्टिकोण अत्यधिक निम्न-बिट व्यवस्था (जैसे, बाइनरी या सब-2-बिट प्रतिनिधित्व) में विफल रहता है। मौलिक सीमा यह है कि शुरुआती लेयर्स में क्वांटाइजेशन त्रुटियां बाद की लेयर्स के इनपुट को बाधित करती हैं, जिससे त्रुटियां संचित होती हैं और गहराई के साथ बढ़ती जाती हैं। मौजूदा विधियां जो इसे संबोधित करने का प्रयास करती हैं (जैसे, QEP, YAQA, TurboBoA) आम तौर पर एक अनुक्रमिक-कमिट (sequential-commit) प्रक्रिया पर निर्भर करती हैं जहाँ लेयर कोड्स को एक-एक करके अंतिम रूप दिया जाता है; फलस्वरूप, बाद की लेयर्स से जानकारी पहले के निर्णयों को सुधारने के लिए वापस नहीं आ सकती है। यह शोध पत्र एक ऐसा डिज़ाइन पॉइंट प्रस्तावित करता है जो क्वांटाइजेशन को सभी लेयर्स के डिस्क्रीट वेरिएबल्स पर एक संयुक्त अनुकूलन (joint optimization) के रूप में मानता है, जो नेटवर्क की गहराई में संचित त्रुटि को स्पष्ट रूप से मॉडल और न्यूनतम करता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा क्वांटाइजेशन को एक संयुक्त अनुकूलन समस्या के रूप में तैयार करता है जो दो प्राथमिक तंत्रों द्वारा संचालित है: क्रॉस-लेयर एरर कंपनसेशन और फाइनाइट-सैंपल फीचर-सांख्यिकी मिलान।

A. ग्रुप-वाइज डिस्क्रीट पैरामीट्राइजेशन (Group-Wise Discrete Parameterization)
यह विधि वेट मैट्रिसेस $W$ को आकार $G$ के समूहों में विभाजित करती है। प्रत्येक समूह को एक स्केल $s$ और एक परिमित सेट $D$ (जैसे, बाइनरी के लिए $\{-1, +1\}$ , INT4 के लिए $\{-8, \dots, 7\}$ ) से डिस्क्रीट कोड्स $q$ द्वारा दर्शाया जाता है। क्वांटाइज्ड वेट $\hat{W} = s \odot q$ है। $G=128$ के साथ बाइनरी क्वांटाइजेशन के लिए, यह 1.125-बिट प्रतिनिधित्व देता है।

B. क्रॉस-लेयर एरर कंपनसेशन (Recursive Objective)
मुख्य नवाचार संचित त्रुटि $e_l = \hat{h}_l - h_l$ (जहाँ $h$ फुल-प्रिसिजन फीचर है और $\hat{h}$ क्वांटाइज्ड फीचर है) की एक रिकर्सिव परिभाषा है। त्रुटि डायनेमिक्स को इस प्रकार परिभाषित किया गया है:
$e_{l+1} = A_l e_l + q_l$
जहाँ:

$q_l = \hat{F}_l(h_l) - F_l(h_l)$ है, जो टीचर के फीचर्स पर मूल्यांकित स्थानीय क्वांटाइजेशन रेसिड्यूल (residual) है।
$A_l$ एक प्रोपेगेशन ऑपरेटर है जो लेयर के इनपुट डिफरेंशियल से प्राप्त होता है।

मुख्य सैद्धांतिक योगदान (Lemma 1): लेखक सिद्ध करते हैं कि यदि $A_l$ को क्वांटाइज्ड लेयर के फाइनाइट-डिफरेंस मैप ( $\hat{A}_l(e) = \hat{F}_l(h_l + e) - \hat{F}_l(h_l)$ ) के रूप में स्थापित किया जाता है, तो यह रिकर्सन किसी भी नॉनलीनियर लेयर के लिए सटीक (exact) हो जाता है, न कि केवल एक फर्स्ट-ऑर्डर एप्रोक्सिमेशन। यह एल्गोरिदम को जैकोबियन (Jacobians) बनाए बिना दो फॉरवर्ड पासेस (एक टीचर के लिए, एक क्वांटाइज्ड नेटवर्क के लिए) के माध्यम से कुल संचित त्रुटि की गणना करने की अनुमति देता है, जिससे यह दृष्टिकोण कम्प्यूटेशनल रूप से कुशल बन जाता है। अनुकूलन अंतिम-लेयर फीचर्स के वर्ग विचलन $\|e_L\|^2$ को कम करता है, जिससे ऑप्टिमाइज़र को बाद की लेयर्स में ऐसे रेसिड्यूल्स $q_l$ चुनने की अनुमति मिलती है जो सक्रिय रूप से शुरुआती लेयर्स से प्रसारित त्रुटियों को रद्द (cancel) करते हैं।

C. फाइनाइट-सैंपल फीचर-सांख्यिकी मिलान (Finite-Sample Feature-Statistics Matching)
टीचर नेटवर्क की प्रतिनिधि संरचना को बनाए रखने के लिए, यह विधि एक फाइनाइट सैंपल पर टीचर और क्वांटाइज्ड फीचर्स के बीच सांख्यिकी (statistics) का मिलान करती है। इसमें शामिल हैं:

माध्य ( $\mu$ )।
प्रोजेक्टेड कोवेरियन्स (एक निश्चित रैंडम प्रोजेक्शन $R$ का उपयोग करके)।
सेंटर्ड एम्पिरिकल कर्नेल्स (Centered empirical kernels)।
ये अलग-अलग स्केल की लेयर्स के बीच तुलनात्मकता सुनिश्चित करने के लिए टीचर के अपने सांख्यिकी के सापेक्ष सामान्यीकृत (normalized) होते हैं। यह एक इक्वैलेंस-प्रिजर्विंग रेगुलराइज़र के रूप में कार्य करता है, न कि प्राथमिक आउटपुट क्वालिटी ड्राइवर के रूप में।

D. मिरर डिसेंट के माध्यम से लेटेंट बाइनरी कोड्स (Latent Binary Codes via Mirror Descent)
बाइनरी क्वांटाइजेशन के लिए, डिस्क्रीट कोड्स को मिरर-डिसेंट फॉर्मूलेशन का उपयोग करके लेटेंट वेरिएबल्स $z$ के माध्यम से पैरामीटराइज किया जाता है:
$u = \tanh(\beta z)$
जहाँ $u$ सॉफ्ट बाइनरी वैल्यूज को दर्शाता है। इनवर्स टेम्परेचर $\beta$ को प्रशिक्षण के दौरान 1 से 16 तक एनेलिएट (anneal) किया जाता है। यह फॉर्मूलेशन दिखाया गया है कि बाइनरी-एन्ट्रॉपी मिरर मैप के तहत मिरर डिसेंट के बिल्कुल समान है। प्रशिक्षण के अंतिम 20% चरणों में एक "हार्ड-फॉरवर्ड" चरण लागू किया जाता है, जहाँ फॉरवर्ड पास $\text{sign}(z)$ का उपयोग करता है जबकि ग्रेडिएंट्स $\tanh$ सरोगेट के माध्यम से प्रवाहित होते रहते हैं।

E. कुल ऑब्जेक्टिव (Total Objective)
प्रशिक्षण ऑब्जेक्टिव संचित त्रुटि लॉस ( $L_E$ ), सांख्यिकी मिलान लॉस ( $L_{GE}$ ), और वैकल्पिक रूप से लॉजिट डिस्टिलेशन लॉस ( $L_{KD}$ ) को जोड़ता है:
$J = \lambda_E L_E + \lambda_{GE} L_{GE} + \lambda_D L_{KD}$

3. मुख्य योगदान (Key Contributions)

रिकर्सिव एक्युमुलेटेड-एरर ऑब्जेक्टिव: एक संयुक्त अनुकूलन ढांचा जहाँ संचित त्रुटि एक स्पष्ट स्टेट वेरिएबल है जिसे लीनियर रिकर्सन द्वारा अपडेट किया जाता है। लेखक एक 'एक्टनेस लेम्मा' प्रदान करते हैं जो सिद्ध करता है कि प्रोपेगेशन ऑपरेटर का फाइनाइट-डिफरेंस इंस्टेंशिएशन नॉनलीनियर लेयर्स के लिए वास्तविक फीचर डेविएशन प्रदान करता है।
फाइनाइट-सैंपल सांख्यिकी मिलान: एक रिलेटिव-नॉर्मलाइज्ड लॉस फंक्शन जो टीचर और क्वांटाइज्ड नेटवर्क्स के बीच माध्य, प्रोजेक्टेड कोवेरियन्स और एम्पिरिकल कर्नेल्स को संरेखित करता है, जो फीचर-सांख्यिकी संरक्षण के प्रमाण के रूप में कार्य करता है।
मिरर-डिसेंट पैरामीट्राइजेशन: बाइनरी कोड्स के लिए एक विशिष्ट लेटेंट वेरिएबल फॉर्मूलेशन जो ग्रुप-वाइज लॉग-स्केल्स, एनेलिंग शेड्यूल्स और साइन-फिक्सिंग मानदंडों को संयुक्त क्रॉस-लेयर ऑब्जेक्टिव के भीतर एकीकृत करता है।
नियंत्रित एब्लेशन (Controlled Ablations): विभिन्न बिट-चौड़ाई और डोमेन में एरर कंपनसेशन बनाम सांख्यिकी मिलान के प्रभावों को अलग करने के लिए प्री-रजिस्टर्ड सीड्स का उपयोग करते हुए एक कठोर प्रयोगात्मक प्रोटोकॉल।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Qwen2.5-1.5B पर किए गए, जिसमें सभी ट्रांसफार्मर ब्लॉक लीनियर लेयर्स को क्वांटाइज किया गया (एम्बेडिंग और LM हेड को FP16 में रखा गया)।

बाइनरी क्वांटाइजेशन (1.125 बिट्स):
- एरर कंपनसेशन (कंडीशन D): इसने FP16 टीचर के ऊपर 9.56 ± 0.15 का परप्लेक्सिटी (PPL) अनुपात प्राप्त किया। इसने लॉगिट डिस्टिलेशन (14.09) से 32% बेहतर प्रदर्शन किया और लेयर-लोकल रिकंस्ट्रक्शन (अनुपात $\sim 1.4 \times 10^3$ ) से दो ऑर्डर ऑफ मैग्नीट्यूड बेहतर रहा। यह अंतर 8 स्टैंडर्ड डेविएशन से अधिक था।
- सांख्यिकी मिलान (कंडीशन C): अकेले, इसके कारण गुणवत्ता में भारी गिरावट (PPL अनुपात 262) आई, लेकिन इसने सबसे कम फीचर-सांख्यिकी विसंगति (EGE) प्राप्त की।
- संयोजन (कंडीशन E): इसने 11.50 का PPL अनुपात और 0.48 का EGE प्राप्त किया, जिससे इसने एरर कंपनसेशन की गुणवत्ता और सांख्यिकी मिलान की सांख्यिकीय शुद्धता को विरासत में प्राप्त किया।
INT4 क्वांटाइजेशन (4.125 बिट्स):
- समान ऑब्जेक्टिव ने लेयर-लोकल रिकंस्ट्रक्शन (PPL अनुपात 1.060 बनाम 1.088) की तुलना में बेहतर प्रदर्शन किया, जो दर्शाता है कि एरर कंपनसेशन तंत्र डिस्क्रीट वैल्यू सेट से स्वतंत्र है।
आउट-ऑफ-डोमेन (OOD) मूल्यांकन:
- एरर कंपनसेशन का लाभ OOD सेटिंग्स (C4, CNN/DailyMail) में बढ़ता है, जहाँ इन-डोमेन परिणामों की तुलना में क्वालिटी गैप अधिक विस्तृत हो जाता है।
- सांख्यिकी मिलान ने आउट-ऑफ-डोमेन में फीचर सांख्यिकी को प्रभावी ढंग से संरक्षित किया (EGE 0.42–0.88 बनाम बिना इसके 1.41–2.99) लेकिन यह परप्लेक्सिटी मजबूती में सुधार नहीं कर सका; इसने रिप्रेजेंटेशनल स्थिरता बनाए रखने के लिए मामूली गुणवत्ता लागत (~20%) उठाई।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि अत्यधिक निम्न-बिट क्वांटाइजेशन को सभी लेयर्स पर एक संयुक्त अनुकूलन के रूप में उपचारित करना, जिसमें संचित त्रुटि के लिए एक स्पष्ट, प्रमाणित सटीक रिकर्सिव स्टेट है, ऐसे बीज-स्थिर (seed-stable) सुधार प्रदान करता है जिन्हें लेयर-लोकल विधियां प्राप्त नहीं कर सकती हैं।

पूरक भूमिकाएं (Complementary Roles): लेखक एक "कार्य विभाजन" पर जोर देते हैं: एरर कंपनसेशन आउटपुट क्वालिटी (परप्लेक्सिटी) का प्राथमिक चालक है, जबकि सांख्यिकी मिलान रिप्रेजेंटेशनल इक्विलेंस (फीचर स्थिरता) का चालक है। इनमें से कोई भी तंत्र अकेले दोनों लक्ष्यों को प्राप्त नहीं कर सकता।
व्यावहारिकता: 'एक्टनेस लेम्मा' यह सुनिश्चित करता है कि इस पद्धति को केवल फॉरवर्ड पासेस का उपयोग करके कुशलतापूर्वक लागू किया जा सकता है, जिससे जैकोबियन गणनाओं की कम्प्यूटेशनल लागत से बचा जा सकता है।
सामान्यीकरण (Generalizability): यह तंत्र बाइनरी से 4-बिट इंटीजर क्वांटाइजेशन में बिना किसी बदलाव के स्थानांतरित होता है और आउट-ऑफ-डोमेन परिदृश्यों में सुचारू रूप से घटता है।

लेखक प्रयोगों के पैमाने (1.5B पैरामीटर्स), पूरी तरह से बाइनराइज्ड एम्बेडिंग्स/हेड्स के अपवर्जन, और डाउनस्ट्रीम टास्क बेंचमार्क की कमी के संबंध में सीमाओं को नोट करते हैं। वे कहते हैं कि ये विधियां एक लंबित पेटेंट आवेदन के अधीन हैं।