🤖 machine learning

MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

यह शोधपत्र MARR का प्रस्ताव करता है, जो लो-बिट पोस्ट-ट्रेनिंग क्वांटाइजेशन के लिए एक मॉड्यूल-एडेप्टिव रेसिडुअल रिकंस्ट्रक्शन विधि है, जो एलएलएम (LLMs) और वीआईटी (ViTs) के प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए संचित-त्रुटि सुधार (accumulated-error correction) और हेसियन-अनुमान पूर्वाग्रह (Hessian-approximation bias) को प्रभावी ढंग से संतुलित करने हेतु मॉड्यूल-विशिष्ट स्केलिंग गुणांकों को गतिशील रूप से असाइन करने के लिए एक PID-आधारित रणनीति का उपयोग करता है।

मूल लेखक: Le Su, Xing Luo, Zhi Jin

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Le Su, Xing Luo, Zhi Jin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: बिना दिमाग खोए एक विशालकाय चीज़ को छोटा करना

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से स्मार्ट लाइब्रेरी (एक लार्ज लैंग्वेज मॉडल या AI) है जो एक पूरे शहर के ब्लॉक जितनी जगह घेरती है। आप इसे एक छोटे से बैकपैक में फिट करने के लिए सिकोड़ना चाहते हैं ताकि आप इसे आसानी से अपने साथ ले जा सकें। इस प्रक्रिया को क्वांटाइजेशन (Quantization) कहा जाता है।

लाइब्रेरी को छोटा करने के लिए, आपको सभी किताबों को कम अक्षरों (कम प्रिसिजन) का उपयोग करके फिर से लिखना होगा। आमतौर पर, आप किताबों को 8 अक्षरों प्रति शब्द पर रखने की कोशिश करते हैं। लेकिन और भी अधिक जगह बचाने के लिए, आप उन्हें केवल 2 या 4 अक्षरों प्रति शब्द तक सिकोड़ना चाहते हैं (लो-बिट क्वांटाइजेशन)।

समस्या क्या है? जब आप शब्दों को बहुत अधिक सिकोड़ देते हैं, तो आप विवरण (details) खो देते हैं। लाइब्रेरी गलतियाँ करने लगती है। यदि आप एक किताब को सिकोड़ते हैं, तो अगली किताब भ्रमित हो सकती है क्योंकि वह मूल, विस्तृत संस्करण की अपेक्षा कर रही थी। ये छोटी-छोटी गलतियाँ, "टेलीफोन गेम" की तरह जमा होती रहती हैं, जब तक कि अंत तक कहानी समझ से बाहर न हो जाए।

पिछला समाधान: "रेसिड्यूअल" सुधार (The "Residual" Fix)

शोधकर्ताओं ने पहले इस समस्या को ठीक करने के लिए किताबों के बीच एक "सुधार नोट" (जिसे रेसिड्यूअल/Residual कहा जाता है) जोड़ने का प्रयास किया।

यह कैसे काम करता था: यदि बुक A को सिकोड़ा जाता है और वह एक विवरण खो देता है, तो सुधार नोट कहता है, "हे बुक B, बुक A से छूटे हुए उस विवरण को याद रखो।"
परिणाम: इसने बहुत मदद की। इसने गलतियों को जमा होने से रोका।

नई समस्या: "ओवर-करेक्शन" का पक्षपात (The "Over-Correction" Bias)

लेखकों ने इस शोध में पाया कि एक पेंच है। जबकि ये सुधार नोट मदद करते हैं, वे बहुत अधिक मजबूत भी हो सकते हैं।

कल्पना कीजिए कि एक मैकेनिक कार के इंजन को ठीक करने की कोशिश कर रहा है।

समस्या: मैकेनिक (AI) यह मान लेता है कि इंजन पूरी तरह से सुचारू (एक गणितीय धारणा जिसे हेसियन-एप्रोक्सिमेशन/Hessian-Approximation कहा जाता है) है।
दुष्प्रभाव: जब मैकेनिक एक छोटी सी खड़खड़ाहट को ठीक करने के लिए एक बड़ा "सुधार नोट" जोड़ता है, तो वे अनजाने में एक नया, बड़ा कंपन पैदा कर सकते हैं क्योंकि उनकी धारणा इंजन के बारे में 100% सटीक नहीं थी।
उपमा: यह एक तराजू को संतुलित करने जैसा है। यदि आप एक झुकाव को ठीक करने के लिए एक तरफ बहुत अधिक वजन जोड़ते हैं, तो आप तराजू को दूसरी ओर झुका सकते हैं क्योंकि आपने जोड़े गए वजन के सटीक आकार का हिसाब नहीं लगाया था।

तकनीकी शब्दों में, "सुधार नोट" (रेसिड्यूअल्स) एक प्रकार की नई त्रुटि पेश करते हैं जिसे HA बायस (HA Bias) कहा जाता है। यदि सुधार बहुत मजबूत है, तो AI भ्रमित हो जाता है। यदि यह बहुत कमजोर है, तो मूल गलतियाँ जमा होती रहती हैं।

समाधान: MARR (AI के लिए "स्मार्ट थर्मोस्टेट")

लेखक एक नई विधि प्रस्तावित करते हैं जिसे MARR (मॉड्यूल-एडेप्टिव रेसिड्यूअल रिकंस्ट्रक्शन) कहा जाता है।

1. "एक ही नियम सबके लिए" काम नहीं करता

पहले, शोधकर्ता पूरी लाइब्रेरी के लिए एक ही नियम का उपयोग करते थे: "हर किताब के लिए 1.0 की शक्ति का सुधार नोट जोड़ें।"

खामी: कुछ किताबें नाजुक होती हैं; अन्य मजबूत होती हैं। एक सुधार जो एक मजबूत किताब के लिए मददगार है, वह एक नाजुक किताब को खराब कर सकता है। शोध पत्र दिखाता है कि AI के विभिन्न हिस्सों (जिन्हें मॉड्यूल कहा जाता है) को अलग-अलग मात्रा में सुधार की आवश्यकता होती है।

2. "मॉड्यूल-एडेप्टिव" दृष्टिकोण

MARR हर एक किताब (मॉड्यूल) को अपना व्यक्तिगत वॉल्यूम नॉब (Volume Knob) देता है।

एक वैश्विक "वॉल्यूम 1.0" के बजाय, बुक A को "वॉल्यूम 0.5" मिल सकता है, और बुक B को "वॉल्यूम 1.2" मिल सकता है।
यह AI को प्रत्येक विशिष्ट भाग के लिए सही संतुलन खोजने की अनुमति देता है: गलतियों को ठीक करने के लिए पर्याप्त सुधार, लेकिन इतना भी नहीं कि नए एरर पैदा हो जाएं।

3. "PID" रणनीति (स्मार्ट थर्मोस्टेट)

AI बिना हर एक नंबर को आजमाए (जिसमें बहुत समय लगेगा) यह कैसे जानता है कि प्रत्येक किताब के लिए वॉल्यूम क्या सेट करना है?

वे इंजीनियरिंग से ली गई एक रणनीति का उपयोग करते हैं जिसे PID कंट्रोल (प्रपोर्शनल-इंटीग्रल-डेरिवेटिव) कहा जाता है। इसे आपके घर में एक स्मार्ट थर्मोस्टेट की तरह समझें:

लक्ष्य: कमरे को आदर्श तापमान (न्यूनतम त्रुटि) पर रखना।
सेंसर: थर्मोस्टेट वर्तमान तापमान (रिकंस्ट्रक्शन एरर) की जांच करता है।
समायोजन:
- यदि बहुत ठंड है, तो यह गर्मी बढ़ा देता है।
- यदि बहुत गर्मी है, तो यह इसे कम कर देता है।
- PID विशेष है क्योंकि यह केवल अभी को नहीं देखता; यह ट्रेंड (क्या तापमान तेजी से बढ़ रहा है?) और इतिहास (क्या काफी समय से ठंड थी?) को भी देखता है। यह हीटर को बेतरतीब ढंग से चालू और बंद होने से रोकता है।

MARR में, AI इस "थर्मोस्टेट" तर्क का उपयोग प्रत्येक मॉड्यूल के लिए वॉल्यूम नॉब को स्वचालित रूप से ट्यून करने के लिए करता है। यह सूक्ष्म समायोजन करता है, जांचता है कि क्या एरर बेहतर हुआ है, और बहुत तेज़ी से सही सेटिंग पर स्थिर हो जाता है।

परिणाम: छोटा बैकपैक, वही दिमाग

लेखकों ने प्रसिद्ध AI मॉडल (जैसे Llama) और इमेज मॉडल (जैसे ViT) पर इसका परीक्षण किया।

परीक्षण: उन्होंने मॉडलों को बहुत छोटे आकार (2-बिट या 4-बिट) तक सिकोड़ने की कोशिश की।
परिणाम: MARR ने पिछले तरीकों की तुलना में मॉडलों को बहुत अधिक स्मार्ट बनाए रखा।
- टेक्स्ट मॉडलों के लिए, इसने प्रदर्शन में 20% तक सुधार किया।
- इमेज मॉडलों के लिए, इसने प्रदर्शन में 4.6% तक सुधार किया।
लागत: मॉडल को उपयोग करने से पहले उसे "ट्यून" करने में थोड़ा अधिक समय लगता है (पिछले सबसे अच्छे तरीके की तुलना में लगभग 2 से 3 गुना अधिक), लेकिन एक बार ट्यून होने के बाद, यह उतना ही तेज़ चलता है और उसी छोटे बैकपैक में फिट होता है।

सारांश

यह शोध पत्र उस समस्या को हल करता है जहाँ AI की गलतियों को सुधारने के लिए "सुधार नोट" का उपयोग करने से अनजाने में नई समस्याएँ पैदा हो जाती हैं। उनका समाधान, MARR, AI के प्रत्येक हिस्से के लिए एक स्मार्ट थर्मोस्टेट की तरह काम करता है, जो प्रत्येक टुकड़े के लिए सुधार की सही मात्रा को स्वचालित रूप से ढूंढ लेता है। यह हमें अपनी बुद्धिमत्ता खोए बिना AI मॉडल को बहुत छोटे आकार तक सिकोड़ने की अनुमति देता है।

तकनीकी सारांश: MARR (मॉड्यूल-एडेप्टिव रेसिडुअल रिकंस्ट्रक्शन)

समस्या विवरण
लो-बिट पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) सख्त मेमोरी और बैंडविड्थ बाधाओं के तहत लार्ज लैंग्वेज मॉडल्स (LLMs) और विजन ट्रांसफॉर्मर्स (ViTs) को तैनात करने के लिए महत्वपूर्ण है। जबकि रिकंस्ट्रक्शन-आधारित PTQ विधियाँ (जैसे GPTQ) स्थानीय क्वांटाइजेशन त्रुटियों को प्रभावी ढंग से कम करती हैं, वे अक्सर लो-बिट सेटिंग्स में पिछले परतों से संचित होने वाली त्रुटियों (accumulated errors) को समझने में विफल रहती हैं। हाल के दृष्टिकोण, जैसे कि GPTAQ और ResComp, क्रॉस-लेयर रेसिडुअल टर्म्स को पेश करके संचित एक्टिवेशन मिसमैच को ठीक करने के माध्यम से इसे संबोधित करते हैं। हालाँकि, लेखक इन विधियों में एक महत्वपूर्ण सीमा की पहचान करते हैं: हेसियन-एप्रोक्सिमेशन (Hessian-Approximation - HA) धारणा पर निर्भरता।

HA धारणा के तहत, रिकंस्ट्रक्शन ऑब्जेक्टिव टास्क-लॉस हेसियन को एक डायगोनल मैट्रिक्स में सरल बना देता है। लेखक प्रदर्शित करते हैं कि जबकि रेसिडुअल टर्म्स प्रभावी रूप से संचित त्रुटियों को कम करते हैं, वे साथ ही अतिरिक्त हेसियन-एप्रोक्सिमेशन (HA) बायस (bias) भी पेश करते हैं। यह बायस इसलिए उत्पन्न होता है क्योंकि रेसिडुअल टर्म वास्तविक टास्क-लॉस हेसियन और सरलीकृत स्थानीय मीन स्क्वेर्ड एरर (MSE) मेट्रिक के बीच एप्रोक्सिमेशन गैप के साथ इंटरैक्ट करता है। फलस्वरूप, एक बहुत अधिक मजबूत रेसिडुअल स्ट्रेंथ इस बायस को बढ़ा सकती है, जिससे सब-ऑप्टिमल क्वांटाइजेशन प्रदर्शन होता है। इसके अलावा, त्रुटि सुधार (error correction) और HA बायस के बीच इष्टतम संतुलन मॉड्यूल-निर्भर (module-dependent) होता है; नेटवर्क के विभिन्न मॉड्यूल्स की विषमता (heterogeneity) को संभालने के लिए एक एकल ग्लोबल रेसिडुअल स्केलिंग कोएफिशिएंट अपर्याप्त है।

कार्यप्रणाली (Methodology)
संचित-त्रुटि सुधार (accumulated-error correction) और रेसिडुअल-संबंधित HA बायस के बीच के ट्रेड-ऑफ को संबोधित करने के लिए, पेपर मॉड्यूल-एडेप्टिव रेसिडुअल रिकंस्ट्रक्शन (MARR) का प्रस्ताव करता है। मुख्य कार्यप्रणाली तीन घटकों से बनी है:

स्केल्ड रेसिडुअल रिकंस्ट्रक्शन:
लेखक रिकंस्ट्रक्शन ऑब्जेक्टिव में रेसिडुअल टर्म $r$ को नियंत्रित करने के लिए एक स्केलिंग कोएफिशिएंट, $\alpha$ , पेश करते हैं। ऑब्जेक्टिव फंक्शन को $\|\Delta w \hat{X} - \alpha r\|_F^2$ को मिनिमाइज़ करने के रूप में तैयार किया गया है। यह विधि प्रत्येक मॉड्यूल में इंजेक्ट की गई क्रॉस-लेयर जानकारी की स्ट्रेंथ को स्पष्ट रूप से नियंत्रित करने की अनुमति देता है। सैद्धांतिक विश्लेषण (Eq. 6) दिखाता है कि HA बायस में $r$ पर निर्भर टर्म्स होते हैं; अतः, $\alpha$ को स्केल करना सीधे तौर पर त्रुटि सुधार लाभ के सापेक्ष इस बायस के परिमाण को एडजस्ट करता है।
मॉड्यूल-विशिष्ट स्केलिंग:
यह पहचानते हुए कि एक्टिवेशन स्टैटिस्टिक्स और प्रोपेगेटेड रेसिडुअल मैग्नीट्यूड में अंतर के कारण इष्टतम $\alpha$ मॉड्यूल्स के बीच भिन्न होता है, MARR प्रत्येक मॉड्यूल $m$ को एक अद्वितीय स्केलिंग कोएफिशिएंट $\alpha_m$ आवंटित करता है। यह पूर्ववर्ती कार्यों (जैसे GPTAQ जहाँ $\alpha=1$ ) में उपयोग किए जाने वाले ग्लोबल कोएफिशिएंट को प्रतिस्थापित करता है।
PID-आधारित एडेप्टिव एस्टीमेशन:
महंगी एक्सहॉस्टिव ग्रिड सर्च के बिना इष्टतम $\alpha_m$ निर्धारित करने के लिए, लेखक एक प्रोपोरशनल-इंटीग्रल-डेरिवेटिव (PID)-आधारित एडेप्टिव अपडेट रणनीति डिजाइन करते हैं।

फीडबैक सिग्नल: मॉड्यूल-लेवल रिकंस्ट्रक्शन एरर (MSE) फीडबैक सिग्नल के रूप में कार्य करता है। चूंकि क्वांटाइजेशन प्रक्रिया नॉन-स्मूथ और डिस्क्रीट है, इसलिए ग्रेडिएंट-आधारित ऑप्टिमाइजेशन अव्यवहार्य है। इसके बजाय, विधि एक ज़ीरो-ऑर्डर फीडबैक दृष्टिकोण का उपयोग करती है।
अपडेट मैकेनिज्म: एल्गोरिदम $\alpha_m$ को एक एडजस्टेबल वेरिएबल के रूप में मानता है। यह रिकंस्ट्रक्शन एरर के फाइनाइट-डिफरेंस ट्रेंड के आधार पर एक डेविएशन सिग्नल की गणना करता है। इस सिग्नल को एक PID कंट्रोलर (प्रोपोरशनल, इंटीग्रल और डेरिवेटिव घटकों के साथ) के माध्यम से प्रोसेस किया जाता है ताकि $\alpha_m$ के लिए एक इंक्रीमेंटल अपडेट जेनरेट किया जा सके।
स्थिरता (Stability): अपडेट में ओवरशूट को रोकने के लिए एक $\tanh$ -बाउंडेड डेविएशन सिग्नल शामिल है और ऑब्जेक्टिव फंक्शन के रिलेटिव चेंज के आधार पर एक अर्ली-स्टॉपिंग क्राइटेरिया है। व्यवहार में, कोएफिशिएंट कुछ इटरेशन्स (आमतौर पर $T=3$ ) के भीतर कन्वर्ज हो जाता है।

प्रमुख योगदान

सैद्धांतिक अंतर्दृष्टि: पेपर रेसिडुअल रिकंस्ट्रक्शन के "दो-तरफा प्रभाव" (two-sided effect) की पहचान और विश्लेषण करता है: जबकि यह संचित त्रुटियों को कम करता है, यह HA-संबंधित बायस भी पेश करता है। यह समझाता है कि क्यों फिक्स्ड, स्ट्रॉन्ग रेसिडुअल्स प्रदर्शन को खराब कर सकते हैं।
MARR फ्रेमवर्क: एक मॉड्यूल-एडेप्टिव फ्रेमवर्क का प्रस्ताव जो रेसिडुअल्स के लिए विशिष्ट स्केलिंग कोएफिशिएंट असाइन करता है, जिससे प्रत्येक मॉड्यूल स्वतंत्र रूप से एरर करेक्शन और एप्रोक्सिमेशन बायस के बीच संतुलन बना सकता है।
कुशल अनुकूलन (Efficient Optimization): रिकंस्ट्रक्शन एरर फीडबैक का उपयोग करके मॉड्यूल-विशिष्ट कोएफिशिएंट्स को कुशलतापूर्वक अनुमानित करने के लिए एक PID-आधारित एडेप्टिव अपडेट रणनीति का डिज़ाइन, जो एक्सहॉस्टिव सर्च की कम्प्यूटेशनल लागत को बचाता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो विभिन्न LLMs (Llama2, Llama3) और ViTs (DeiT) के लिए विभिन्न लो-बिट क्वांटाइजेशन (W2A4, W3A3, आदि) सेटिंग्स के तहत स्टेट-ऑफ-द-आर्ट रेसिडुअल रिकंस्ट्रक्शन बेसलाइन्स (GPTAQ, ResComp) की तुलना में MARR के निरंतर बेहतर प्रदर्शन को प्रदर्शित करते हैं।

प्रायोगिक परिणाम
लेखकों ने वेट-एक्टिवेशन (W/A) और वेट-ओनली (W) क्वांटाइजेशन सेटिंग्स के तहत कई मॉडल्स पर MARR का मूल्यांकन किया:

LLMs (W2A4): MARR ने WikiText2 और C4 डेटासेट्स पर महत्वपूर्ण पर्सप्लेक्सिटी (perplexity) रिडक्शन हासिल किया। उदाहरण के लिए, Llama2-7b पर, MARR ने GPTAQ की तुलना में पर्सप्लेक्सिटी को 14.94% कम किया। Llama3-8b पर, कमी 9.82% थी। डाउनस्ट्रीम टास्क एक्यूरेसी के मामले में, MARR ने निरंतर सुधार दिखाया, जिसमें Llama2-7b के लिए औसत ज़ीरो-शॉट एक्यूरेसी में 2.54% तक की बढ़त देखी गई।
ViTs: ImageNet पर, MARR ने DeiT-T, DeiT-S, और DeiT-B मॉडल्स में टॉप-1 एक्यूरेसी में सुधार किया। विशेष रूप से, W3A3 क्वांटाइजेशन के तहत DeiT-S पर, MARR ने GPTAQ बेसलाइन पर 4.61% का रिलेटिव गेन प्राप्त किया।
वेट-ओनली क्वांटाइजेशन: भले ही एक्टिवेशंस हाई प्रिसिजन (जैसे W2A16) में हों, MARR ने सुधार प्रदर्शित किया, हालांकि ये लाभ कभी-कभी अधिक टास्क-डिपेंडेंट थे, जो पुष्टि करता है कि रेसिडुअल कंट्रोल मैकेनिज्म एक्टिवेशन मिसमैच कम होने पर भी फायदेमंद रहता है।
दक्षता (Efficiency): PID-आधारित अपडेट बेसलाइन GPTAQ विधि के सापेक्ष लगभग 2.1–2.7× का वन-टाइम PTQ ओवरहेड जोड़ता है। लेखक नोट करते हैं कि प्रदर्शन लाभों को देखते हुए यह स्वीकार्य है और यह बैक-प्रोपैगेशन-आधारित रिकंस्ट्रक्शन विधियों की तुलना में काफी तेज़ बना हुआ है।

महत्व और दावे
पेपर का दावा है कि MARR मौजूदा रेसिडुअल रिकंस्ट्रक्शन विधियों के सब-ऑप्टिमल प्रदर्शन के लिए एक सिद्धांत-आधारित समाधान प्रदान करता है। संचित-त्रुटि सुधार और HA बायस के बीच के ट्रेड-ऑफ को स्पष्ट रूप से मॉडल करके, और इस संतुलन को मॉड्यूल स्तर पर अनुकूलित करके, MARR बिना रिट्रेनिंग के बेहतर क्वांटाइजेशन एक्यूरेसी प्राप्त करता है। लेखक अपने दृष्टिकोण की व्यापकता पर जोर देते हैं, यह नोट करते हुए कि LLMs और ViTs दोनों में इसकी प्रभावशीलता, जो यह सुझाव देती है कि रेसिडुअल योगदान को नियंत्रित करना 4-बिट से नीचे क्वांटाइजेशन सीमाओं को आगे बढ़ाने के लिए एक मौलिक आवश्यकता है। कार्य यह निष्कर्ष निकालता है कि हालांकि PID रणनीति कम्प्यूटेशनल ओवरहेड जोड़ती है, यह "वन-साइज़-फिट्स-ऑल" रेसिडुअल स्ट्रेंथ के कारण होने वाले सब-ऑप्टिमल प्रदर्शन से बचने के लिए एक आवश्यक और कुशल तंत्र है।