💬 NLP

E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring

यह शोध पत्र E-PMQ का प्रस्ताव करता है, जो एक विशेषज्ञ-निर्देशित पोस्ट-मर्ज क्वांटाइजेशन फ्रेमवर्क है जो क्वांटाइजेशन और मर्जिंग विचलन को अलग करने के लिए सोर्स एक्सपर्ट वेट्स और मर्ज किए गए वेट्स एंकरिंग का लाभ उठाता है, जिससे कई मर्ज किए गए न्यूरल नेटवर्क एक्सपर्ट्स की प्रभावी लो-बिट परिनियोजन (डिप्लॉयमेंट) सक्षम होती है।

मूल लेखक: Wenjun Wang, Yanggan Gu, Shuo Cai, Yuanyi Wang, Pengkai Wang, Jianmin Wu, Hongxia Yang

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenjun Wang, Yanggan Gu, Shuo Cai, Yuanyi Wang, Pengkai Wang, Jianmin Wu, Hongxia Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: "मर्जिंग" (Merging) और "कंप्रेशन" (Compression) की समस्या

कल्पना कीजिए कि आपके पास पाँच अलग-अलग विशेषज्ञों की एक टीम है: एक शेफ, एक मैकेनिक, एक डॉक्टर, एक वकील और एक पायलट। प्रत्येक अपने क्षेत्र का उस्ताद है।

मॉडल मर्जिंग (Model Merging): इन पाँचों को अलग-अलग काम पर रखने और उन्हें भुगतान करने (जो महंगा और धीमा है) के बजाय, आप उनके दिमागों को एक "सुपर-पर्सन" में मिलाने का निर्णय लेते हैं। आप उनके ज्ञान को एक साथ मिलाते हैं ताकि एक एकल "सुपर-एक्सपर्ट" बनाया जा सके जो थोड़ा-थोड़ा सब कुछ कर सके।
क्वांटाइजेशन (Quantization): अब, आप इस सुपर-एक्सपर्ट को एक छोटे, हल्के बैकपैक में रखना चाहते हैं ताकि वे फोन या किसी छोटे डिवाइस पर आसानी से यात्रा कर सकें। ऐसा करने के लिए, आपको उनके ज्ञान को "कंप्रेस" करना होगा। आप उनके जटिल विचारों को छोटे, सरल नोट्स (लो-बिट नंबर्स) में बदल देते हैं ताकि वे कम जगह घेरें।

समस्या:
यह शोध पत्र तर्क देता है कि यदि आप बस इस सुपर-एक्सपर्ट को उनके अपने मिश्रित दिमाग का सारांश लिखने के लिए कहते हैं, तो चीजें गलत हो जाती हैं।

"नाइव" (Naive) गलती: यदि आप केवल सुपर-एक्सपर्ट से उनके खुद के मिश्रित मस्तिष्क का सारांश लिखने को कहते हैं, तो वे भ्रमित हो सकते हैं। क्योंकि उनका मस्तिष्क पाँच अलग-अलग लोगों का मिश्रण है, इसलिए उनके "मिश्रित" विचार मूल विशेषज्ञों की तुलना में पहले से ही थोड़े धुंधले या असंगत हो सकते हैं। जब आप इन धुंधले विचारों को कंप्रेस करते हैं, तो त्रुटियाँ और बढ़ जाती हैं। यह एक धुंधली फोटो की फोटोकॉपी करने जैसा है; कॉपी और भी अधिक धुंधली हो जाएगी।

समाधान: E-PMQ ("एक्सपर्ट-गाइडेड" दृष्टिकोण)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे E-PMQ कहा जाता है। केवल सुपर-एक्सपर्ट से खुद का सारांश लिखने के बजाय, वे प्रक्रिया को निर्देशित करने के लिए मूल पाँच विशेषज्ञों का उपयोग करते हैं।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "एक्सपर्ट-गाइडेड" लक्ष्य (The "Expert-Guided" Target)

कल्पना कीजिए कि सुपर-एक्सपर्ट एक मेडिकल केस का सारांश लिखने की कोशिश कर रहा है।

पुराना तरीका: सुपर-एक्सपर्ट यह याद करने की कोशिश करता है कि वे (मिश्रित संस्करण) चिकित्सा के बारे में क्या सोचते हैं।
E-PMQ तरीका: सिस्टम मूल डॉक्टर (स्रोत विशेषज्ञों में से एक) से पूछता है, "आप इस केस के बारे में क्या कहेंगे?" सुपर-एक्सपर्ट फिर अपने सरल नोट्स लिखते समय डॉक्टर के स्पष्ट और विशिष्ट उत्तर को एक "लक्ष्य" (Target) के रूप में उपयोग करता है।
यह क्यों मदद करता है: यह सुनिश्चित करता है कि कंप्रेस किए गए नोट्स मूल, उच्च-गुणवत्ता वाले विशेषज्ञता के प्रति सच्चे रहें, न कि मर्ज किए गए मॉडल के "धुंधले" मध्य मार्ग में भटक जाएँ।

2. "मर्ज्ड-वेट एंकरिंग" (The "Merged-Weight Anchoring" - सुरक्षा जाल)

इस नए तरीके में एक जोखिम है। यदि सुपर-एक्सपर्ट डॉक्टर की बात बहुत अधिक सुनता है, तो वे एक मैकेनिक या पायलट होना भूल सकते हैं। वे फिर से केवल एक डॉक्टर बन सकते हैं, जिससे उनकी वह विशेष "सुपर-एक्सपर्ट" पहचान खो सकती है जो उन्हें मिलनी चाहिए थी।

इसे ठीक करने के लिए, E-PMQ एक एंकर (Anchor) का उपयोग करता है:

कल्पना कीजिए कि सुपर-एक्सपर्ट एक भारी एंकर (मूल मर्ज किया गया मॉडल) से बंधा हुआ है।
जबकि उन्हें डॉक्टर (एक्सपर्ट टारगेट) द्वारा निर्देशित किया जा रहा है, एंकर उन्हें वापस खींचता है ताकि वे अपनी मिश्रित पहचान से बहुत दूर न भटक जाएँ।
यह संतुलन बनाए रखता है: नोट्स सटीक होते हैं, लेकिन समग्र व्यक्तित्व अभी भी अद्वितीय "सुपर-एक्सपर्ट" बना रहता है।

परिणाम: यह क्यों मायने रखता है

शोध पत्र ने इसे दो प्रकार के "सुपर-एक्सपर्ट्स" पर परखा:

विज़न मॉडल्स (CLIP): वे मॉडल जो तस्वीरों को देखते हैं। उन्होंने कार, ट्रैफिक साइन, फूल आदि को पहचानने के लिए प्रशिक्षित मॉडल्स को मर्ज किया।
लैंग्वेज मॉडल्स (FLAN-T5 और Llama): वे मॉडल जो टेक्स्ट को समझते हैं और उत्पन्न करते हैं। उन्होंने गणित, कोडिंग और सामान्य बातचीत पर प्रशिक्षित मॉडल्स को मर्ज किया।

निष्कर्ष:

बेहतर सटीकता: जब उन्होंने E-PMQ का उपयोग किया, तो कंप्रेस किए गए मॉडल्स पुराने "नाइव" तरीके की तुलना में बहुत बेहतर प्रदर्शन कर रहे थे।
- उदाहरण: 20 अलग-अलग कार्यों के एक कठिन टेस्ट पर, पुराने तरीके ने स्कोर को घटाकर 34.8% कर दिया, लेकिन E-PMQ ने इसे 76.7% पर ऊँचा बनाए रखा। यह एक बहुत बड़ा अंतर है।
हर जगह काम करता है: यह 8 कार्यों को मर्ज करने और 20 कार्यों को मर्ज करने, दोनों में अच्छा काम करता है, और 3-बिट या 4-बिट कंप्रेशन (बहुत छोटे फ़ाइल आकार) के साथ भी प्रभावी है।
अंत में कोई अतिरिक्त लागत नहीं: सबसे अच्छी बात यह है कि एक बार जब मॉडल कंप्रेस हो जाता है और तैयार हो जाता है, तो यह केवल एक सिंगल, छोटा फ़ाइल होता है। जब फोन इसका उपयोग कर रहा होता है, तो आपको मूल पाँच विशेषज्ञों या अतिरिक्त "गाइडेंस" सिस्टम को चलाने की आवश्यकता नहीं होती है। अतिरिक्त काम केवल मॉडल को तैनात (deploy) करने से पहले होता है।

सारांश उपमा (Summary Analogy)

सोचिए कि मॉडल मर्जिंग पाँच अलग-अलग स्मूदी (smoothies) को एक बड़े कप में मिलाने जैसा है।

नाइव क्वांटाइजेशन उस बड़े मिश्रित कप को बर्फ के टुकड़े (ice cube) में जमाने जैसा है। बर्फ की बनावट अजीब हो सकती है क्योंकि मिश्रण पहले से ही थोड़ा अस्त-व्यस्त था।
E-PMQ ऐसा है जैसे मूल पाँच स्मूदी बनाने वाले पास खड़े हों। जैसे-जैसे आप कप को जमा रहे होते हैं, वे आपसे कहते हैं, "हे, सुनिश्चित करें कि स्ट्रॉबेरी का स्वाद बना रहे," और "यह भी ध्यान रखें कि केला का स्वाद गायब न हो जाए।" साथ ही, आप कप को स्थिर रखते हैं ताकि वह केवल एक स्ट्रॉबेरी स्मूदी में न बदल जाए।
परिणाम: आपको एक आदर्श, छोटा बर्फ का टुकड़ा मिलता है जिसमें मूल पाँचों स्मूदी के बेहतरीन स्वादों का सही मिश्रण होता है।

शोध पत्र निष्कर्ष निकालता है कि यह "एक्सपर्ट-गाइडेड" विधि इन शक्तिशाली, मर्ज किए गए AI मॉडल्स को छोटा करने का एक बहुत अधिक विश्वसनीय तरीका है, ताकि वे अपनी बुद्धिमत्ता खोए बिना रोज़मर्रा के उपकरणों पर चल सकें।

तकनीकी सारांश: E-PMQ: मर्ज किए गए वेट एंकरिंग के साथ एक्सपर्ट-गाइडेड पोस्ट-मर्ज क्वांटाइजेशन

1. समस्या का निरूपण: पोस्ट-मर्ज क्वांटाइजेशन (PMQ)

यह शोध पत्र एक विशिष्ट कम-संसाधन परिनियोजन (low-resource deployment) परिदृश्य को संबोधित करता है जहाँ कई कार्य-विशिष्ट "एक्सपर्ट" मॉडलों को पहले एक एकल मॉडल में मर्ज किया जाता है, और फिर इस परिणामी मर्ज किए गए मॉडल को कुशल अनुमान (inference) के लिए क्वांटाइज किया जाता है। लेखक इस सेटिंग को पोस्ट-मर्ज क्वांटाइजेशन (PMQ) के रूप में परिभाषित करते हैं।

पहचाना गया मुख्य संकट यह है कि मानक पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) विधियाँ, जैसे कि GPTQ, मर्ज किए गए मॉडलों पर सीधे लागू होने पर अविश्वसनीय होती हैं। मानक PTQ में, फुल-प्रिसिजन मॉडल को एक विश्वसनीय पुनर्निर्माण लक्ष्य (reconstruction target) माना जाता है। हालाँकि, PMQ में, फुल-प्रिसिजन मर्ज किया गया मॉडल ( $W_m$ ) एक स्वतंत्र रूप से अनुकूलित मल्टी-टास्क मॉडल नहीं है; यह मापदंडों का एक ऐसा संयोजन है जो स्रोत विशेषज्ञों (source experts) के व्यवहार से पहले से ही विचलित हो सकता है।

लेखक तर्क देते हैं कि एक सहज (naive) PMQ (सीधे $W_m$ को क्वांटाइज करना) दो अलग-अलग विचलन को जोड़ देता है:

क्वांटाइजेशन विचलन (Quantization Deviation): लो-बिट स्पेस में वेट्स को पुनर्गठित करने से उत्पन्न त्रुटि।
एक्सपर्ट-रिलेटिव मर्जिंग विचलन (Expert-Relative Merging Deviation): मर्ज किए गए मॉडल में निहित त्रुटि, जो यह दर्शाती है कि $W_m$ मूल विशेषज्ञों ( $W_i$ ) के विशिष्ट व्यवहार से कितना दूर जा चुका है।

जब एक सहज PTQ एल्गोरिदम केवल $W_m$ के पुनर्निर्माण त्रुटि को कम करने की कोशिश करता है, तो वह इस संभावित रूप से विचलित मॉडल को ही 'ग्राउंड ट्रुथ' मान लेता है। परिणामस्वरूप, क्वांटाइजेशन प्रक्रिया पूर्व-मौजूद मर्जिंग विचलनों को ठीक करने में विफल रहती है और इसके बजाय उन्हें क्वांटाइजेशन त्रुटियों के साथ जोड़ देती है, जिससे प्रदर्शन में भारी गिरावट आती है, विशेष रूप से आक्रामक लो-बिट सेटिंग्स (जैसे, 4-बिट) या कई कार्यों को मर्ज करने के दौरान।

2. कार्यप्रणाली: E-PMQ फ्रेमवर्क

इन युग्मित विचलनों को कम करने के लिए, लेखक E-PMQ प्रस्तावित करते हैं, जो एक एक्सपर्ट-गाइडेड फ्रेमवर्क है जो कैलिब्रेशन चरण के दौरान स्रोत विशेषज्ञ जानकारी को एकीकृत करता है और साथ ही एक एकल मर्ज किए गए मॉडल की परिनियोजन दक्षता को बनाए रखता है।

मुख्य घटक

E-PMF एक फॉरवर्ड ऑर्डर में लेयर-वाइज क्वांटाइजेशन के माध्यम से संचालित होता है। प्रत्येक लेयर $\ell$ के लिए, यह उपयोग करता है:

मर्ज किए गए वेट्स ( $W_m^\ell$ )।
स्रोत विशेषज्ञ वेट्स ( $\{W_i^\ell\}_{i=1}^K$ )।
वर्तमान आंशिक रूप से क्वांटाइज किए गए मॉडल से एकत्र किए गए कैलिब्रेशन एक्टिवेशन्स।

यह विधि दो प्रमुख तंत्र पेश करती है:

A. एक्सपर्ट-गाइडेड आउटपुट टारगेट्स

केवल मर्ज किए गए मॉडल के आउटपुट ( $W_m^\ell X^\ell$ ) को पुनर्निर्माण लक्ष्य बनाने के बजाय, E-PMQ स्रोत विशेषज्ञों के आधार पर आउटपुट टारगेट बनाता है। प्रत्येक विशेषज्ञ $i$ के लिए, लक्ष्य $Y_i^\ell = W_i^\ell X_i^\ell$ है, जहाँ $X_i^\ell$ उस विशेषज्ञ से जुड़े कैलिब्रेशन सबसेट से एकत्र किए गए एक्टिवेशन्स हैं।
उद्देश्य क्वांटाइज्ड लेयर आउटपुट और इन विशेषज्ञ-प्रेरित लक्ष्यों के बीच विसंगति को कम करना है:
$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$
यह क्वांटाइजेशन प्रक्रिया को मूल विशेषज्ञों के व्यवहार के साथ संरेखित करने के लिए मजबूर करता है, जिससे एक्सपर्ट-रिलेटिव मर्जिंग विचलन कम हो जाता है।

B. मर्ज किए गए-वेट एंकरिंग (Merged-Weight Anchoring)

केवल विशेषज्ञ लक्ष्यों पर निर्भर रहने से मर्ज किए गए लेयर के अत्यधिक सुधार (over-correcting) का जोखिम होता है, जिससे क्वांटाइज्ड मॉडल किसी विशिष्ट विशेषज्ञ की ओर झुक सकता है और मर्जिंग प्रक्रिया द्वारा प्राप्त एकीकृत क्षमताओं को खो सकता है। इसे रोकने के लिए, E-PMQ एक रेगुलराइजेशन टर्म जोड़ता है जो क्वांटाइज्ड वेट्स ( $Q^\ell$ ) को फुल-प्रिसिजन मर्ज किए गए वेट्स ( $W_m^\ell$ ) से एंकर करता है:
$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$
एंकर स्ट्रेंथ $\lambda^\ell$ एडेप्टिव है, जिसे विभिन्न लेयर्स में स्थिरता सुनिश्चित करने के लिए लेयर की कुल एक्टिवेशन एनर्जी द्वारा स्केल किया जाता है।

सॉल्वर कार्यान्वयन

लेखक इस नए उद्देश्य को संभालने के लिए GPTQ-शैली के सीक्वेंशियल राउंडिंग सॉल्वर को अनुकूलित करते हैं। सॉल्वर संशोधित क्वाड्रेटिक स्टैटिस्टिक्स का उपयोग करता है:

प्रभावी कर्वेचर (Effective Curvature): $H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
राइट-हैंड साइड: $R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
यह विधि को एंड-टू-एंड रिट्रेनिंग के बिना, केवल एक कैलिब्रेशन सेट का उपयोग करके कुशलतापूर्वक लागू करने की अनुमति देता है।

3. प्रमुख योगदान

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

समस्या का निरूपण: लेखकों ने औपचारिक रूप से पोस्ट-मर्ज क्वांटाइजेशन (PMQ) को परिभाषित किया है और सहज दृष्टिकोणों की विफलता के मोड की पहचान की है: क्वांटाइजेशन विचलन का एक्सपर्ट-रिलेटेड मर्जिंग विचलन के साथ जुड़ाव।
एल्गोरिदम प्रस्ताव: वे E-PMQ पेश करते हैं, जो कैलिब्रेशन के दौरान निर्देशित आउटपुट लक्ष्य प्रदान करने के लिए स्रोत विशेषज्ञ वेट्स का उपयोग करता है और मर्ज किए गए मॉडल के एकीकृत व्यवहार को बनाए रखने के लिए मर्ज किए गए-वेट एंकरिंग का उपयोग करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि E-PMQ विभिन्न मर्जिंग विधियों (Task Arithmetic, TIES-Merging, Simple Averaging), मॉडल आर्किटेक्चर (CLIP-ViT, FLAN-T5, Llama-3.1), और टास्क स्केल्स (8 से 20 कार्य) में सहज PMQ बेसलाइन्स (RTN, GPTQ, AWQ) से लगातार बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

पेपर 4-बिट वेट-ओनली क्वांटाइजेशन का उपयोग करके विजन (CLIP) और लैंग्वेज (FLAN-T5, Llama-3.1) मॉडलों पर E-PMQ का मूल्यांकन करता है।

CLIP-ViT-B/32 (8 कार्य): Task Arithmetic के तहत, E-PMQ 4-बिट GPTQ सटीकता को 65.0% से बढ़ाकर 73.6% कर देता है। TIES-Merging के तहत, यह 69.1% से 74.8% तक सुधार करता है।
CLIP-ViT-L/14 (20 कार्य): अधिक इंटरफेरेंस वाले इस कठिन सेटिंग में, E-PMQ नाटकीय लाभ दिखाता है, Task Arithmetic के तहत GPTQ को 34.8% से बढ़ाकर 76.7% कर देता है।
FLAN-T5-base (GLUE): E-PMQ Task Arithmetic के तहत औसत स्कोर को 78.26% से बढ़ाकर 83.34% और TIES-Merging के तहत 79.98% से बढ़ाकर 83.48% कर देता है।
Llama-3.1 (3B और 8B): E-PMQ क्वांटाइज्ड वेरिएंट्स में सबसे अच्छा औसत प्रदर्शन प्राप्त करता है, GPTQ और AWQ बेसलाइन्स पर स्कोर में सुधार करता है।
एब्लेशन अध्ययन (Ablation Studies): मर्ज किए गए-वेट एंकर ( $\alpha=0$ ) को हटाने से प्रदर्शन में भारी गिरावट आती है (उदाहरण के लिए, ~5% सटीकता तक गिरना), जो पुष्टि करता है कि केवल विशेषज्ञ मार्गदर्शन बिना एंकरिंग के पर्याप्त नहीं है। E-PMQ बिट-विड्थ (3-बिट से 8-बिट) और कम कैलिब्रेशन बजट के साथ भी मजबूती प्रदर्शित करता है।

5. महत्व और दावे

शोध पत्र का दावा है कि E-PMQ प्रभावी लो-बिट परिनियोजन को सक्षम बनाता है, एक ऐसी सेटिंग जिसे विचलनों के संचय के कारण पहले अविश्वसनीय माना जाता था।

दक्षता: विधि को परिनियोजन से पहले केवल स्रोत विशेषज्ञों तक पहुँच की आवश्यकता होती है। अंतिम परिन्योजित मॉडल एक एकल लो-बिट मर्ज किया गया मॉडल है जिसमें कोई अतिरिक्त इन्फरेंस-टाइम मॉड्यूल या विशेषज्ञ वेट्स नहीं होते हैं, जो सहज बेसलाइन्स के समान पैरामीटर काउंट और इन्फरेंस स्पीड बनाए रखता है।
सामान्यीकरण (Generalizability): दृष्टिकोण को विभिन्न मोडैलिटीज (विजन और टेक्स्ट), मॉडल स्केल और मर्जिंग रणनीतियों में प्रभावी दिखाया गया है।
सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि E-PMQ को क्वांटाइजेशन के दौरान स्रोत विशेषज्ञों तक पहुँच की आवश्यकता होती है, जो सहज PTQ की तुलना में प्री-डिप्लॉयमेंट कंप्यूट और मेमोरी लागत को बढ़ाता है। यदि केवल मर्ज किया गया मॉडल उपलब्ध है, तो विधि विशेषज्ञ-निर्देशित लक्ष्य नहीं बना सकती है। इसके अतिरिक्त, विधि का प्रदर्शन कैलिब्रेशन सेट की प्रतिनिधित्व क्षमता पर निर्भर करता है।

संक्षेप में, शोध पत्र का तर्क है कि मर्ज किए गए मॉडलों को सफलतापूर्वक क्वांटाइज करने के लिए, हमें केवल मर्ज किए गए मॉडल से परे देखना होगा और फ्यूजन के लाभों को संरक्षित करने के लिए मर्ज किए गए वेट्स के साथ समाधान को एंकर करते हुए, कैलिब्रेशन को निर्देशित करने के लिए स्रोत विशेषज्ञों का उपयोग करना होगा।