💻 computer science

CLHA: Cross-Layer Hessian Aggregation for Quantizing Weight-Shared Mixture-of-Experts Transformers

यह शोधपत्र CLHA को प्रस्तुत करता है, जो वेट-शेयर्ड (weight-shared) मिक्स्चर-ऑफ-एक्सपर्ट्स ट्रांसफॉर्मर्स के पोस्ट-ट्रेनिंग क्वांटाइजेशन के लिए एक क्रॉस-लेयर हेसियन एग्रीगेशन विधि है, जो साझा परतों (shared layers) में हेसियन सांख्यिकी को संयोजित करके कुल पुनर्निर्माण त्रुटि (reconstruction error) को न्यूनतम करता है, और मौजूदा प्रति-परत कैलिब्रेशन दृष्टिकोणों से काफी बेहतर प्रदर्शन करने के साथ-साथ हेसियन अनुमान में महत्वपूर्ण कार्यान्वयन संबंधी कमियों को भी संबोधित करता है।

मूल लेखक: Kunal Dhanda

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kunal Dhanda

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक विशाल पुस्तकालय को छोटा करना

कल्पना कीजिए कि एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो एक छोटी शेल्फ पर फिट नहीं हो पा रहा है। इसे फिट करने के लिए, हमें किताबों को "कंप्रेस" (छोटा) करने की आवश्यकता है। AI की दुनिया में, इस कंप्रेशन को क्वांटाइजेशन (Quantization) कहा जाता है। यह एक हाई-डेफिनिशन फोटो को थंबनेल में छोटा करने जैसा है। यदि आप इसे खराब तरीके से करते हैं, तो तस्वीर धुंधली और पहचानने योग्य नहीं रह जाएगी।

यह पेपर एक विशेष प्रकार के पुस्तकालय जिसे मिक्सचर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts - MoE) मॉडल कहा जाता है, उस पर काम करता है। ये पुस्तकालय विशेष हैं क्योंकि वे हर सवाल के लिए हर किताब नहीं पढ़ते; उनके पास "एक्सपर्ट्स" (विशेषज्ञ खंड) होते हैं जो केवल जरूरत पड़ने पर ही खुलते हैं।

हाल ही में, इंजीनियरों ने एक चतुर तकनीक खोजी जिसे क्रॉस-लेयर वेट शेयरिंग (Cross-Layer Weight Sharing - CLWS) कहा जाता है। कल्पना कीजिए कि पुस्तकालय में दो अलग-अलग मंजिलें (लेयर A और लेयर B) हैं जो अपने विशेषज्ञों के लिए बिल्कुल एक ही संदर्भ पुस्तकों का उपयोग करती हैं। यह बहुत सारा स्थान बचाता है क्योंकि आपको उन्हीं किताबों की दो प्रतियां खरीदने की आवश्यकता नहीं होती है।

समस्या:
जब लोगों ने इन पुस्तकालयों को छोटा (क्वांटाइज) करने की कोशिश की, तो उन्होंने एक गलती की। उन्होंने साझा की गई किताबों के साथ ऐसा व्यवहार किया जैसे वे केवल पहली मंजिल की हों। उन्होंने फ्लोर A पर पूछे गए सवालों को देखा, तय किया कि किताबों को कैसे छोटा करना है, और उस सिकुड़न (shrinkage) को फ्लोर B की किताबों पर भी लागू कर दिया।

लेकिन यहाँ एक पेंच है: फ्लोर A पर सवाल पूछने वाले लोग फ्लोर B के लोगों से अलग होते हैं। जैसे-जैसे आप सीढ़ियों से ऊपर जाते हैं, सवालों का "वाइब" (अहसास) बदल जाता है। केवल फ्लोर A को देखकर, फ्लोर B के लिए बनाया गया सिकुड़न का प्लान गलत था, जिससे पुस्तकालय सही ढंग से जवाब देने की अपनी क्षमता खो बैठा।

समाधान: CLHA (द "डबल-चेक" सिस्टम)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे CLHA (Cross-Layer Hessian Aggregation) कहा जाता है।

उपमा: दर्जी और जुड़वां सूट
कल्पना कीजिए कि एक दर्जी जुड़वां भाई-बहनों के जोड़े के लिए सूट बना रहा है।

पुराना तरीका (PLIC): दर्जी जुड़वां A को मापता है, कपड़ा काटता है, और मान लेता है कि जुड़वां B का आकार बिल्कुल समान है। लेकिन जुड़वां B का पोस्चर (मुद्रा) थोड़ा अलग है। सूट जुड़वां A को पूरी तरह फिट आता है लेकिन जुड़वां B पर तंग हो जाता है।
CLHA का तरीका: दर्जी दोनों जुड़वाओं को मापता है। वे जुड़वां A और जुड़वां B से माप लेते हैं, उन्हें औसत निकालते हैं (उस व्यक्ति को अधिक महत्व देते हुए जो कमरे में अधिक समय बिताता है), और एक "सुपर-सूट" पैटर्न बनाते हैं जो दोनों जुड़वाओं पर पूरी तरह फिट बैठता है।

तकनीकी शब्दों में, पेपर कहता है कि आपको केवल एक लेयर के डेटा को नहीं देखना चाहिए। आपको दोनों लेयर्स की "संवेदनशीलता" (गणितीय रूप से जिसे हेसियन - Hessian कहा जाता है) को जोड़ना चाहिए। यह एक संयुक्त मानचित्र बनाता है जो आपको ठीक से बताता है कि साझा भार (shared weights) को कैसे छोटा किया जाए ताकि वे पुस्तकालय के दोनों मंजिलों के लिए अच्छी तरह काम करें।

विशेष अपग्रेड: CLHA-MP

पेपर एक "मिक्स्ड प्रिसिजन" संस्करण भी पेश करता है जिसे CLHA-MP कहा जाता है।

उपमा: वीआईपी लाउंज
इन पुस्तकालयों में, दो प्रकार के विशेषज्ञ होते हैं:

रूटेड एक्सपर्ट्स (Routed Experts): वे केवल विशिष्ट, दुर्लभ सवालों के लिए ही अपने दरवाजे खोलते हैं।
शेयर्ड एक्सपर्ट्स (Shared Experts): वे "हमेशा खुले" रहते हैं और सबसे सामान्य, रोजमर्रा के सवालों को संभालते हैं।

चूंकि "शेयर्ड एक्सपर्ट्स" का उपयोग बहुत अधिक किया जाता है, इसलिए वे त्रुटियों के प्रति अधिक संवेदनशील होते हैं। यदि आप उन्हें बहुत अधिक छोटा करते हैं, तो पूरा पुस्तकालय टूट जाएगा।

समाधान: CLHA-MP इन "हमेशा खुले रहने वाले" विशेषज्ञों को थोड़ी अतिरिक्त जगह (एक अतिरिक्त बिट की प्रिसिजन) देता है। यह वीआईपी लाउंज के लिए थोड़ा चौड़ा दरवाजा रखने जैसा है जबकि नियमित दरवाजों को संकरा रखा गया है। यह मामूली अतिरिक्त जगह पुस्तकालय के काम करने के तरीके में बड़ा अंतर लाती है।

छिपा हुआ जाल: द "घोस्ट" हुक (The "Ghost" Hook)

लेखकों ने उन सॉफ्टवेयर टूल्स (PyTorch) में भी एक गुप्त बग पाया जिनका उपयोग इन मॉडलों को बनाने के लिए किया जाता है।
उपमा: कल्पना कीजिए कि दो लोग एक ही समय में एक ही नोटबुक में लिखने की कोशिश कर रहे हैं। यदि वे दोनों बिना लेबल वाले एक ही पेन का उपयोग करते हैं, तो उनके नोट्स आपस में मिल जाएंगे, और आप यह नहीं बता पाएंगे कि किसने क्या लिखा है।
कोड में, जब दो लेयर्स एक ही एक्सपर्ट को साझा करती हैं, तो सॉफ्टवेयर के "फॉरवर्ड हुक्स" (गतिविधि को ट्रैक करने वाले उपकरण) दोनों लेयर्स के डेटा को आपस में मिला देते हैं, जिससे माप दूषित हो जाता है। लेखकों ने एक "लेयर-अवेयर" सिस्टम बनाकर इसे ठीक किया जो नोट्स को लेबल करता है ताकि दर्जी को पता चल सके कि कौन सा जुड़वां कौन है।

उन्होंने क्या साबित किया?

उन्होंने WikiText-2 नामक डेटासेट पर प्रशिक्षित एक छोटे मॉडल पर इसका परीक्षण किया।

2-बिट कंप्रेशन पर (बहुत छोटा आकार): पुराने तरीके (PLIC) ने मॉडल को बहुत भ्रमित (उच्च "परप्लेक्सिटी") कर दिया।
CLHA विधि: इसने मॉडल को काफी स्मार्ट बनाया (4.3% से 5.4% बेहतर)।
CLHA-MP विधि: इसने "हमेशा खुले रहने वाले" विशेषज्ञों को थोड़ी अतिरिक्त जगह देकर इसे और भी स्मार्ट बनाया (18.6% बेहतर)।

उन्होंने एक टेस्ट भी चलाया जहाँ उन्होंने दोनों मंजिलों (लेयर्स) के बीच के अंतर को अत्यधिक बना दिया। पुराना तरीका बदतर होता गया, लेकिन नया तरीका स्थिर रहा, जो साबित करता है कि जब दोनों मंजिलें एक-दूसरे से बहुत अलग होती हैं, तो उनका "डबल-चेक" सिस्टम आवश्यक है।

सारांश

समस्या: लेयर्स के बीच वेट शेयरिंग स्पेस बचाती है, लेकिन मानक कंप्रेशन टूल्स दूसरी लेयर को अनदेखा कर देते हैं, जिससे त्रुटियां होती हैं।
समाधान: बेहतर कंप्रेशन प्लान बनाने के लिए दोनों लेयर्स के डेटा को मिलाएं (CLHA)।
बोनस: सबसे अधिक उपयोग किए जाने वाले विशेषज्ञों को थोड़ी अधिक प्रिसिजन दें (CLHA-MP)।
परिणाम: बहुत स्मार्ट, छोटे मॉडल जो सिकुड़ने पर भी अपनी "दिमागी शक्ति" नहीं खोते।

तकनीकी सारांश: CLHA – क्वांटाइजिंग वेट-शेयर्ड मिक्सचर-ऑफ-एक्सपर्ट्स ट्रांसफॉर्मर के लिए क्रॉस-लेयर हेसियन एग्रीगेशन (CLHA)

1. समस्या विवरण (Problem Statement)

हाल के कुशल मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) ट्रांसफॉर्मर आर्किटेक्चर, जैसे कि Megrez2 में उपयोग किए जाने वाले, क्रॉस-लेयर वेट शेयरिंग (CLWS) का उपयोग करते हैं। इस डिज़ाइन में, आसन्न (adjacent) ट्रांसफॉर्मर लेयर्स (जैसे, $\ell$ और $\ell+1$ ) एक ही रूटेड एक्सपर्ट वेट टेंसरों को पुनः उपयोग करती हैं, जिससे पैरामीटर फुटप्रिंट आधा हो जाता है जबकि प्रति टोकन सक्रिय पैरामीटर्स की संख्या समान रहती है।

हालाँकि, मौजूदा पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) विधियाँ, जिनमें GPTQ-शैली के दृष्टिकोण शामिल हैं, इन साझा भारों (shared weights) के साथ ऐसा व्यवहार करती हैं जैसे कि वे एक एकल लेयर से संबंधित हों। वे केवल एक "प्राथमिक" लेयर के एक्टिवेशन सांख्यिकी (activation statistics) का उपयोग करके कैलिब्रेशन करती हैं। यह एक मौलिक विसंगति पैदा करता है:

रेसिडुअल स्ट्रीम का प्रतिनिधित्व लेयर्स के बीच विकसित होता है, जिसका अर्थ है कि लेयर $\ell_a$ पर साझा एक्सपर्ट को सक्रिय करने वाले टोकन वितरण लेयर $\ell_b$ से भिन्न होते हैं।
मौजूदा विधियाँ सेकेंडरी लेयर के एक्टिवेशन सांख्यिकी की अनदेखी करती हैं, जिससे पुनर्निर्माण त्रुटि (reconstruction error) का अनुकूलन नहीं हो पाता, विशेष रूप से लो-बिट रिजीम (जैसे, 2-बिट) में।

2. कार्यप्रणाली (Methodology)

2.1 सैद्धांतिक आधार: क्रॉस-लेयर हेसियन एग्रीगेशन

यह शोध पत्र एक वेट $W$ को क्वांटाइज़ करने के उद्देश्य को औपचारिक रूप देता है जो लेयर्स $\ell_1, \dots, \ell_n$ में साझा किया गया है। सही उद्देश्य सभी लेयर्स में उपयोग किए जाने वाले वेट के लिए कुल पुनर्निर्माण त्रुटि को कम करना है:
$L(W_q) = \sum_{i} \alpha_i \text{tr}[(W_q - W)H_{\ell_i}(W_q - W)^\top]$
जहाँ $H_{\ell_i}$ लेयर $\ell_i$ का हेसियन (एक्टिवेशन कोवेरिएंस) है, और $\alpha_i$ उस लेयर के लिए रूटिंग फ्रीक्वेंसी (टोकन का अनुपात) को दर्शाता है।

प्रपोजिशन 1 स्थापित करता है कि इस संयुक्त त्रुटि को कम करना गणितीय रूप से एक कंबाइंड हेसियन के साथ GPTQ लागू करने के समान है:
$H_{comb} = \sum_{i} \alpha_i H_{\ell_i}$
यह पर-लेयर इंडिपेंडेंट कैलिब्रेशन (PLIC) के विपरीत है, जो केवल एक लेयर के हेसियन ( $H_{\ell_a}$ ) का उपयोग करके त्रुटि को कम करता है।

2.2 CLHA एल्गोरिदम

लेखक एक तीन-पास कैलिब्रेशन एल्गोरिदम CLHA (Cross-Layer Hessian Aggregation) प्रस्तावित करते हैं:

कलेक्शन (Collection): प्रत्येक कैलिब्रेशन सीक्वेंस के लिए, प्रत्येक सक्रिय एक्सपर्ट के लिए प्रति-लेयर हेसियन और टोकन काउंट को संचित (accumulate) करें।
एग्रीगेशन (Aggregation): प्रत्येक साझा एक्सपर्ट पेयर $(\ell_a, \ell_b)$ $(ℓ_{a}, ℓ_{b})$ के लिए, एक कंबाइंड हेसियन की गणना करें। शोध पत्र दो वेटिंग रणनीतियों का मूल्यांकन करता है:
- रूटिंग-फ्रीक्वेंसी वेटिंग ( $\alpha = n_a / (n_a + n_b)$ ): हेसियन्स को प्रत्येक लेयर द्वारा प्राप्त वास्तविक टोकन काउंट के आधार पर वेट देते हैं।
- इक्वल वेटिंग ( $\alpha = 0.5$ ): एक रेगुलराइज़र के रूप में कार्य करता है, जो तब उपयोगी होता है जब कैलिब्रेशन डेटा सीमित हो और सेकेंडरी-लेयर हेसियन अनुमान शोरयुक्त (noisy) हों।
क्वांटाइजेशन (Quantization): एकत्रित $H_{comb}$ का उपयोग करके मानक GPTQ कॉलम-सीक्वेंशियल अपडेट लागू करें।

2.3 CLHA-MP (मिक्सड प्रिसिजन)

यह पहचानते हुए कि हमेशा-सक्रिय साझा एक्सपर्ट्स सभी $N$ टोकन प्राप्त करते हैं (रूटेड एक्सपर्ट्स के विपरीत जो $K/E$ का एक हिस्सा प्राप्त करते हैं), शोध पत्र नोट करता है कि उनकी क्वांटाइजेशन संवेदनशीलता $E/K$ गुना अधिक है। CLHA-MP रूटेड एक्सपर्ट्स को $b$ बिट्स पर रखते हुए, इन साझा एक्सपर्ट्स को $b+1$ बिट्स आवंटित करता है, जिससे न्यूनतम स्टोरेज ओवरहेड (एक्सपर्ट पैरामीटर्स का 10-20%) होता है।

2.4 कार्यान्वयन सुधार: हुक एम्बिग्युटी (Hook Ambiguity)

शोध पत्र एक महत्वपूर्ण इंजीनियरिंग खामी की पहचान करता है: एक साझा ExpertFFN मॉड्यूल से जुड़े मानक PyTorch फॉरवर्ड हुक्स (forward hooks) उस किसी भी लेयर के लिए फायर होते हैं जो उस मॉड्यूल को कॉल करती है। इसके कारण अलग-अलग लेयर्स से आने वाले एक्टिवेशन एक ही हेसियन संचयक (accumulator) में मिल जाते हैं, जिससे प्रति-लेयर एट्रिब्यूशन दूषित हो जाता है।

समाधान: लेखक एक लेयर-अवेयर कॉलबैक मैकेनिज्म का प्रस्ताव करते हैं जिसे MoELayer.forward() सिग्नेचर के माध्यम से पास किया जाता है। यह स्पष्ट रूप से कॉलबैक को लेयर इंडेक्स प्रदान करता है, जिससे यह सुनिश्चित होता है कि भले ही अंतर्निहित वेट मॉड्यूल साझा हो, $H_a$ और $H_b$ के लिए अलग-अलग हेसियन संचित किए जाएं।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक प्रपोजिशन: यह औपचारिक रूप दिया कि साझा वेट्स के लिए इष्टतम हेसियन, प्रति-लेयर हेसियन्स का रूटिंग-फ्रीक्वेंसी-वेटेड योग है।
CLHA एल्गोरिदम: GPTQ फ्रेमवर्क के भीतर कंबाइंड हेसियन कैलिब्रेशन का एक व्यावहारिक कार्यान्वयन।
CLHA-MP: अत्यधिक संवेदनशील साझा एक्सपर्ट्स को अतिरिक्त बिट आवंटित करने वाला मिक्सड-प्रिसिजन विस्तार।
कार्यान्वयन फिक्स: "हुक एम्बिग्युटी" की पहचान की और इसे हल किया जो साझा-मॉड्यूल आर्किटेक्चर में कैलिब्रेशन को चुपचाप दूषित कर देता है।
अनुभवजन्य सत्यापन (Empirical Validation): प्रदर्शित किया कि CLHA से होने वाले लाभ क्रॉस-लेयर रूटिंग डाइवर्जेंस के साथ सह-संबंधित हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग WikiText-2 पर स्क्रैच से प्रशिक्षित 34.5M-पैरामीटर CLWS-MoE पर किए गए थे।

2-बिट पर प्रदर्शन: यह वह महत्वपूर्ण क्षेत्र है जहाँ मिसकैलिब्रेशन बढ़ता है।
- CLHA-rt (रूटिंग-वेटेड) ने PLIC की तुलना में परप्लेक्सिटी (PPL) को 4.3% कम किया।
- CLHA-eq (इक्वल-वेटेड) ने PPL को 5.4% कम किया।
- CLHA-MP ने PLIC की तुलना में 18.6% का सुधार हासिल किया।
- 4-बिट और 3-बिट पर, अंतर शोर मार्जिन (noise margins) के भीतर (<1%) था।
कैलिब्रेशन बनाम टेस्ट एरर: दिलचस्प बात यह है कि PLIC ने ट्रेनिंग सेट पर कम कैलिब्रेशन हेसियन एरर (CHE) प्राप्त किया क्योंकि यह सीधे उस वितरण के लिए ऑप्टिमाइज़ करता है। हालांकि, CLHA ने टेस्ट सेट पर बेहतर सामान्यीकरण (generalization) किया, जो इंगित करता है कि कंबाइंड हेसियन, सिंगल-लेयर व्यू की तुलना में साझा वेट के वास्तविक वितरण को बेहतर ढंग से कैप्चर करता है।
रूटिंग शार्पनेस प्रयोग: राउटर लॉजिट्स को कृत्रिम रूप से शार्प करके (क्रॉस-लेयर डाइवर्जेंस बढ़ाकर), लेखकों ने देखा:
- जैसे-जैसे डाइवर्जेंस बढ़ा, PLIC का प्रदर्शन 5% गिर गया।
- CLHA स्थिर रहा (<1% गिरावट)।
- CLHA और PLIC के बीच का अंतर +4.3% (प्राकृतिक रूटिंग) से बढ़कर +8.0% (उच्च डाइवर्जेंस) हो गया, जो CLHA के सैद्धांतिक लाभों की पुष्टि करता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि यह MoE मॉडल्स में विशेष रूप से क्रॉस-लेयर वेट शेयरिंग के लिए पहला PTQ विश्लेषण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

ऑब्जेक्टिव को ठीक करना: यह प्रदर्शित करना कि साझा वेट्स को एकल-लेयर संस्थाओं के रूप में मानना गणितीय रूप से उप-इष्टतम है और हेसियन एग्रीगेशन आवश्यक सुधार है।
लाभ की स्केलेबिलिटी: यह दिखाना कि जैसे-जैसे मॉडल बड़े होते जा रहे हैं और रूटिंग पैटर्न अधिक विशिष्ट (बढ़ता हुआ क्रॉस-लेयर डाइवर्जेंस) हो रहे हैं, CLHA के लाभ बढ़ने की संभावना है, जिससे यह भविष्य के प्रोडक्शन CLWS-MoE (जैसे, Megrez2, DeepSeek, Qwen) के लिए आवश्यक बन जाता है।
व्यावहारिक आवश्यकता: यह उजागर करना कि CLWS आर्किटेक्चर में मौजूदा PTQ टूल्स का सीधा अनुप्रयोग हुक एंबिग्युटी के कारण मौलिक रूप से त्रुटिपूर्ण है, और इस डोमेन के लिए आवश्यक फिक्स प्रदान करना।

लेखक अपने पूर्ण प्रदर्शन के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि उनका मॉडल छोटा (34.5M) है और सीमित स्टेप्स के लिए प्रशिक्षित है, लेकिन इस बात पर जोर देते हैं कि मानक कैलिब्रेशन पर सापेक्ष सुधार मजबूत और सैद्धांतिक रूप से आधारित हैं।