💬 NLP

RCPU: Rotation-Constrained Error Compensation for Structured Pruning of Large Language Models

यह शोध पत्र RCPU का प्रस्ताव करता है, जो बड़े भाषा मॉडलों (large language models) के लिए एक स्ट्रक्चर्ड प्रूनिंग विधि है जो आउटपुट ज्योमेट्री को संरक्षित करने और सीमित कैलिब्रेशन डेटा पर ओवरफिटिंग को कम करने के लिए वेरिएंस-अवेयर इम्पॉर्टेंस स्कोर को रोटेशन-कंस्ट्रेंड एरर कंपनसेशन के साथ जोड़ता है, जिससे मौजूदा बेसलाइनों की तुलना में बेहतर परप्लेक्सिटी और टास्क एक्यूरेसी प्राप्त होती है।

मूल लेखक: Shuichiro Haruta, Kazunori Matsumoto, Zhi Li, Yanan Wang, Mori Kurokawa

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuichiro Haruta, Kazunori Matsumoto, Zhi Li, Yanan Wang, Mori Kurokawa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो लगभग सब कुछ जानता है। यह इतना बड़ा है कि यह एक पूरे गोदाम में समा जाता है और इसे चलाने के लिए पुस्तकालयाध्यक्षों की एक बड़ी टीम की आवश्यकता होती है। आप इस पुस्तकालय को एक छोटी सी बुकशेल्फ़ (जैसे कि एक फोन या लैपटॉप) में फिट करने के लिए सिकोड़ना चाहते हैं, बिना उसके सही ढंग से उत्तर देने की क्षमता खोए।

यह प्रूनिंग (pruning) की समस्या है: मॉडल के हिस्सों को काटकर उसे छोटा करना।

समस्या: "अंग-भंग" (Amputation) का प्रभाव

सोचिए कि मॉडल के ज्ञान को हजारों आपस में जुड़े हुए धागों से बनी एक जटिल 3D मूर्ति के रूप में देखें। जब आप मॉडल को छोटा करने के लिए धागों के एक हिस्से को काट देते हैं (प्रूनिंग), तो बचे हुए हिस्से केवल छोटे ही नहीं होते; वे अक्सर डगमगाते हैं, झुक जाते हैं या ढह जाते हैं।

तकनीकी शब्दों में, जब आप मॉडल के हिस्सों को हटा देते हैं, तो उसका "आउटपुट" (जो उत्तर वह देता है) बिगड़ जाता है। यह एक फोटो लेने, उसके बाएं हिस्से को काटने और फिर शेष दाएं हिस्से को फ्रेम भरने के लिए खींचने जैसा है। छवि विकृत दिखाई देती है।

आमतौर पर, इसे ठीक करने के लिए, लोग मॉडल को "री-ट्रेन" (पुनः प्रशिक्षित) करने की कोशिश करते हैं या बचे हुए हिस्सों को वापस अपनी जगह पर खींचने के लिए जटिल गणित का उपयोग करते हैं। लेकिन यहाँ एक पेंच है:

री-ट्रेनिंग बहुत महंगी है: आपके पास पूरे पुस्तकालय को फिर से सिखाने के लिए न तो समय है और न ही पैसा।
साधारण खिंचाव चीजों को बिगाड़ देता है: यदि आप काम की जाँच करने के लिए बचे हुए डेटा को फिट करने के लिए उसे बस खींचते हैं, तो आप अनजाने में अर्थ को विकृत कर सकते हैं (जैसे एक रबर बैंड को तब तक खींचना जब तक वह टूट न जाए)। इसे "ओवरफिटिंग" कहा जाता है।

समाधान: RCPU (द "रोटेटिंग कंपास")

इस शोध पत्र के लेखकों ने, RCPU, इस डगमगाहट को बिना खींचे या बिना पुन: सिखाए ठीक करने का एक चतुर तरीका निकाला है।

कल्पना कीजिए कि आपके मॉडल का आउटपुट विशिष्ट दिशाओं में इशारा करने वाले तीरों (arrows) का एक समूह है। जब आप कुछ धागे काट देते हैं, तो तीर अपने रास्ते से भटक जाते हैं।

पुराना तरीका: तीरों को उनके मूल लक्ष्यों तक पहुँचने के लिए खींचने की कोशिश करना। इससे वे अजीब दिखने लगते हैं और अपना आकार खो देते हैं।
RCPU तरीका: खींचने के बजाय, पूरे समूह को घुमाएं (rotate)।

इसे एक कम्पास (दिशा सूचक यंत्र) की तरह समझें। यदि कोई कम्पास गिर जाए, तो सुई को लंबा या छोटा होने की आवश्यकता नहीं होती; उसे बस उत्तर की ओर इशारा करने के लिए घुमाने की आवश्यकता होती है। RCPU उस सटीक "स्पिन" (गणितीय रोटेशन) को खोजता है जो मॉडल के शेष हिस्सों को वापस वहीं संरेखित (align) कर देता है जहाँ उन्हें होना चाहिए था।

यह बेहतर क्यों है?

यह आकार को सुरक्षित रखता है: किसी वस्तु को घुमाने से उसका आकार या उसके हिस्सों के बीच का कोण नहीं बदलता है। यह ज्ञान की "ज्यामिति" (geometry) को बरकरार रखता है।
यह स्थिर है: क्योंकि आपको केवल घुमाने की अनुमति है, न कि खींचने की, इसलिए आप अनजाने में मॉडल के ज्ञान को विकृत नहीं कर सकते, भले ही आपके पास जाँच करने के लिए बहुत कम डेटा हो।

गुप्त सामग्री: "वेरिएंस-अवेयर" (Variance-Aware) स्कोरिंग

एक और ट्रिक है। काटने से पहले, आपको यह तय करना होता है कि किन धागों को काटना है। यदि आप गलत धागे काट देते हैं, तो कोई भी घुमाव उसे ठीक नहीं कर पाएगा।

लेखकों ने महसूस किया कि मॉडल के कुछ धागे मुख्य राजमार्गों (highways) की तरह हैं (वे सबसे महत्वपूर्ण ट्रैफिक ले जाते हैं), जबकि अन्य शांत गलियों (backstreets) की तरह हैं।

गलती: यदि आप एक "राजमार्ग" को काट देते हैं क्योंकि वह किसी विशेष क्षण में छोटा दिख रहा था, तो पूरा सिस्टम क्रैश हो जाएगा।
RCPU का समाधान: उन्होंने एक स्कोरिंग सिस्टम बनाया जो यह देखता है कि एक धागा कितना "सक्रिय" और "विविध" (varied) है। वे पूछते हैं: "क्या यह धागा इनपुट के आधार पर बहुत बदलता है, और क्या यह भारी ट्रैफिक ले जा रहा है?"
परिणाम: वे सुनिश्चित करते हैं कि राजमार्गों को रखा जाए और केवल शांत गलियों को ही काटा जाए। इससे यह सुनिश्चित होता है कि जब वे बाद में "रोटेशन" सुधार करते हैं, तो काम करने के लिए पर्याप्त महत्वपूर्ण जानकारी अभी भी मौजूद रहती है।

उपमा: ऑर्केस्ट्रा (Orchestra)

एक 100-सदस्यीय ऑर्केस्ट्रा (पूर्ण मॉडल) की कल्पना करें। आपको इसे 70-सदस्यीय बैंड (प्रूनिंग) में छोटा करना है।

कटौती: आप 30 संगीतकारों को जाने के लिए कहते हैं।
समस्या: शेष 70 संगीतकार अब तालमेल से बाहर हैं। लय बिगड़ गई है, और सामंजस्य टूट गया है।
खराब समाधान: आप शेष संगीतकारों को खाली जगह भरने के लिए ज़ोर से या तेज़ बजाने के लिए कहते हैं। संगीत कर्कश और विकृत सुनाई देता है।
RCPU समाधान:
- चरण 1 (स्कोरिंग): संगीतकारों के जाने से पहले, आप "लय बनाए रखने वालों" और "धुनों के लीडरों" की पहचान करते हैं। आप यह सुनिश्चित करते हैं कि आप उन्हें बाहर न निकालें।
- चरण 2 (रोटेशन): एक बार जब 30 लोग चले जाते हैं, तो आप उन्हें ज़ोर से बजाने के लिए नहीं कहते। इसके बजाय, आप पूरे बैंड को थोड़ा बाईं या दाईं ओर घुमाते हैं ताकि वे कंडक्टर के मूल विज़न के साथ फिर से पूरी तरह से तालमेल में आ सकें।

परिणाम

जब लेखकों ने इस परीक्षण को प्रसिद्ध AI मॉडलों (Llama-7B और Llama-2-13B) पर किया:

बेहतर उत्तर: प्रून किए गए मॉडलों ने अन्य तरीकों की तुलना में प्रश्नों के बहुत अधिक सटीक उत्तर दिए।
कम भ्रम: मॉडल टेक्स्ट के प्रति कम "परप्लेक्स" (भ्रमित) थे।
दक्षता: इस "रोटेशन फिक्स" को करने में बहुत अधिक कंप्यूटर पावर नहीं लगी। यह मौजूदा मॉडलों में जोड़ना तेज़ और आसान था।

संक्षेप में

RCPU विशाल AI मॉडलों को छोटा करने का एक स्मार्ट तरीका है। बचे हुए हिस्सों को फिट करने के लिए उन्हें खींचने के बजाय (जो उन्हें तोड़ देता है), यह बचे हुए हिस्सों को वापस संरेखित करने के लिए घुमाता है और यह सुनिश्चित करता है कि यह केवल मॉडल के "शांत" हिस्सों को ही काटे, महत्वपूर्ण और "तेज़" हिस्सों को अछूता रखे। यह एक मूर्ति को कुचलने के बजाय, उसे घुमाने और उसके किनारों को तराशने जैसा है।

यहाँ शोध पत्र "RCPU: Rotation-Constrained Error Compensation for Structured Pruning of Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को उच्च कम्प्यूटेशनल और मेमोरी लागत के कारण तैनाती में महत्वपूर्ण बाधाओं का सामना करना पड़ता है। स्ट्रक्चर्ड प्रूनिंग (वेट मैट्रिसेस की पूरी पंक्तियों या कॉलमों को हटाना) एक प्रभावी संपीड़न तकनीक है, लेकिन यह अपरिहार्य आउटपुट त्रुटियाँ उत्पन्न करती है, विशेष रूपकर जब इसे सीमित डेटा के साथ कैलिब्रेट किया जाता है।

मौजूदा दृष्टिकोण दो मुख्य चुनौतियों का सामना करते हैं:

कैलिब्रेशन में ओवरफिटिंग (Overfitting in Calibration): प्रूनिंग त्रुटियों को कम करने के लिए डायरेक्ट लीस्ट-स्क्वायर फिटिंग अक्सर छोटे कैलिब्रेशन सेट्स पर ओवरफिट हो जाती है, जो प्री-ट्रेंड वेट्स को विनाशकारी रूप से संशोधित करती है और आउटपुट रिप्रेजेंटेशन स्पेस में ज्यामितीय विरूपण (scaling और shearing) पैदा करती है।
अपर्याप्त त्रुटि सुधार (Inadequate Error Correction): साधारण बायस-आधारित क्षतिपूर्ति (जैसे, FLAP) माध्य शिफ्ट (mean shifts) को तो संबोधित करती है लेकिन इनपुट-डिपेंडेंट दिशात्मक बेमेल (directional mismatches) को ठीक करने में विफल रहती है। इसके विपरीत, अनकन्स्ट्रेंड लीनियर अपडेट्स मॉडल की सामान्यीकरण क्षमताओं (generalization capabilities) को खराब करने का जोखिम उठाते हैं।

मूल समस्या यह है कि प्रूनिंग त्रुटियों की भरपाई कैसे की जाए जबकि मूल आउटपुट रिप्रेजेंटेशन के ज्यामितीय ढांचे (geometric structure) (norms और inner products) को सुरक्षित रखा जा सके और डेटा की कमी वाली स्थितियों में ओवरफिटिंग से बचा जा सके।

2. कार्यप्रणाली: RCPU (Methodology: RCPU)

लेखक RCPU (Rotation-Constrained Parameter Update) का प्रस्ताव करते हैं, जो एक टू-स्टेज फ्रेमवर्क है जो वेरिएंस-अवेयर प्रूनिंग स्कोर और रोटेशन-कन्स्ट्रेंड पैरामीटर अपडेट को जोड़ता है।

A. वेरिएंस-अवेयर इम्पॉर्टेंस स्कोरिंग (Variance-Aware Importance Scoring)

यह सुनिश्चित करने के लिए कि रोटेशन क्षतिपूर्ति प्रभावी हो, विधि को उन कॉलमों को बनाए रखना चाहिए जो आउटपुट के प्रमुख दिशाओं (principal directions) में सबसे अधिक योगदान देते हैं। लेखक प्रत्येक इनपुट कॉलम $j$ के लिए एक स्कोरिंग नियम $\gamma_j$ पेश करते हैं:
$\gamma_j = \|W_{[:,j]}\| \cdot \|X_{[j,:]}\| \cdot \text{Var}(X_{[j,:]})$

घटक (Components): वेट मैग्नीट्यूड ( $\|W\|$ ), इनपुट एक्टिवेशन स्केल ( $\|X\|$ ), और इनपुट वेरिएंस ( $\text{Var}(X)$ )।
तर्क (Rationale): उच्च वेरिएंस वाले कॉलमों के एक्टिवेशन के आउटपुट दिशाओं के साथ संरेखित होने की संभावना अधिक होती है। इन्हें प्राथमिकता देकर, यह विधि सुनिश्चित करती है कि रिटेन्ड सबस्पेस ओरिएंटेशन रिकवरी के लिए आवश्यक आवश्यक सिग्नल को कैप्चर करता है।

B. रोटेशन-कन्स्ट्रेंड क्षतिपूर्ति (Rotation-Constrained Compensation - Orthogonal Procrustes)

प्रूनिंग के बाद, रिटेन्ड सबस्पेस ( $Z = W_K X_K$ ) मूल आउटपुट ( $Y = W X$ ) के साथ मिसअलाइन्ड होता है। एक पूर्ण लीनियर अपडेट के बजाय, RCPU एक ऑर्थोगोनल रोटेशन मैट्रिक्स $Q$ की खोज करता है जो $Z$ को $Y$ के साथ संरेखित करता है:
$Q^* = \arg \min_{Q^T Q = I} \| Y - QZ \|_F^2$

समाधान (Solution): इसे एक क्लासिकल ऑर्थोगोनल प्रोक्रुस्टेस समस्या (Orthogonal Procrustes problem) के रूप में तैयार किया गया है। इष्टतम रोटेशन क्रॉस-कोवेरिएंस मैट्रिक्स $M = YZ^T = U\Sigma V^T$ के सिंगुलर वैल्यू डीकंपोजिशन (SVD) के माध्यम से प्राप्त किया जाता है, जिससे $Q^* = UV^T$ प्राप्त होता है।
अपडेट (Update): रखे गए वेट्स को $\tilde{W}_K = Q^* W_K$ के रूप में अपडेट किया जाता है।
स्केल्ड वेरिएंट (Scaled Variant): एक वैकल्पिक आइसोट्रोपिक स्केलिंग फैक्टर $s$ जोड़ा जा सकता है ( $s^* = \text{tr}(\Sigma) / \|Z\|_F^2$ ) ताकि समग्र परिमाण (magnitude) से मेल खाया जा सके, हालांकि प्रयोग शुद्ध रोटेशन की तुलना में मामूली लाभ दिखाते हैं।

C. सैद्धांतिक लाभ (Theoretical Advantages)

ज्यामितीय संरक्षण (Geometric Preservation): रोटेशन (और वैकल्पिक स्केलिंग) तक अपडेट को सीमित करके, यह विधि कोणों और सापेक्ष नॉर्म्स को सुरक्षित रखती है, जिससे अनकन्स्ट्रेंड लीस्ट-स्क्वायर फिट्स में होने वाला सामान्य ज्यामितीय विरूपण रुक जाता है।
सांख्यिकीय स्थिरता (Statistical Stability): Ridge regression ( $d_{out} \sum \frac{\sigma_i^2}{\sigma_i^2 + \lambda}$ ) की तुलना में RCPU के डिग्री ऑफ फ्रीडम काफी कम ( $d_{out}(d_{out}-1)/2$ ) हैं, जिससे यह छोटे कैलिब्रेशन सेट्स पर ओवरफिट होने के प्रति कम संवेदनशील है।
कोई हाइपरपैरामीटर नहीं (No Hyperparameters): Ridge regression के विपरीत जिसे $\lambda$ ट्यून करने की आवश्यकता होती है, रोटेशन समाधान क्लोज्ड-फॉर्म और हाइपरपैरामीटर-मुक्त है।

3. मुख्य योगदान (Key Contributions)

नया फॉर्मूलेशन (Novel Formulation): यह पेपर पोस्ट-प्रूनिंग रिकवरी को एक ऑर्थोगोनल प्रोक्रुस्टेस समस्या के रूप में तैयार करता है, जो एक रोटेशन-कन्स्ट्रेंड अपडेट पेश करता है जो आउटपुट ज्योमेट्री को सुरक्षित रखता है।
वेरिएंस-अवेयर प्रूनिंग (Variance-Aware Pruning): लेखक एक नया इम्पॉर्टेंस स्कोर प्रस्तावित करते हैं जिसमें इनपुट वेरिएंस शामिल है, जो प्रभावी रूप से उन कॉलमों की पहचान करता है जो आउटपुट ओरिएंटेशन बनाए रखने के लिए महत्वपूर्ण हैं।
प्लग-एंड-प्ले एफिशिएंसी (Plug-and-Play Efficiency): RCPU को बिना किसी आर्किटेक्चरल बदलाव या रिट्रेनिंग के मानक कॉलम प्रूनिंग (जैसे, WANDA-sp) के बाद सीधे लागू किया जा सकता है। यह केवल मामूली कम्प्यूटेशनल ओवरहेड जोड़ता है (जो $d_{out} \times d_{out}$ के SVD द्वारा डोमिनेट होता है)।
व्यापक मूल्यांकन (Comprehensive Evaluation): Llama-7B और Llama-2-13B पर व्यापक प्रयोग निरंतर सुधार प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन WikiText-2 (परप्लेक्सिटी) और सात भाषा समझ बेंचमार्क (BoolQ, PIQA, HellaSwag, WinoGrande, ARC-easy, ARC-challenge, OpenBookQA) पर किया गया।

परप्लेक्सिटी (PPL):
- RCPU ने 10%, 20%, और 30% प्रूनिंग रेश्यो पर WANDA-sp (नो कंपनसेशन) और FLAP (बायस कंपनसेशन) को लगातार पछाड़ दिया।
- Llama-7B पर 30% प्रूनिंग पर, RCPU ने 16.91 की PPL प्राप्त की (WANDA-sp के लिए 26.20 और FLAP के लिए 18.31 के मुकाबले)।
- RCPU ने छोटे कैलिब्रेशन सेट्स ( $N_{calib}=128$ ) के साथ भी मजबूती दिखाई, जबकि अनकन्स्ट्रेंड लीस्ट-स्क्वायर मेथड्स ओवरफिटिंग के कारण काफी खराब प्रदर्शन करते हैं।
टास्क एक्यूरेसी (Task Accuracy):
- RCPU ने दोनों Llama-7B और Llama-2-13B पर सभी प्रूनिंग रेश्यो में उच्चतम औसत सटीकता प्राप्त की।
- उल्लेखनीय सुधार उन कार्यों में देखे गए जिनमें कॉन्टेक्स्टुअल कंसिस्टेंसी (HellaSwag, WinoGrande) की आवश्यकता होती है, जो यह सुझाव देता है कि रिप्रेजेंटेशन ज्योमेट्री का संरक्षण इन कार्यों के लिए महत्वपूर्ण है।
एब्लेशन स्टडीज (Ablation Studies):
- आउटपुट प्रोजेक्शन ( $o\_proj$ ) और डाउन-प्रोजेक्शन ( $down\_proj$ ) दोनों में रोटेशन लागू करने से सर्वोत्तम परिणाम मिले।
- यह विधि कम्प्यूटेशनल रूप से कुशल है, जो एक A100 GPU पर प्रति लेयर 10 सेकंड से भी कम समय लेती है।

5. महत्व (Significance)

RCPU एलएलएम संपीड़न में एक महत्वपूर्ण अंतर को संबोधित करता है: प्री-ट्रेंड नॉलेज को नष्ट किए बिना त्रुटियों को कैसे ठीक किया जाए।

ज्यामिति-संरक्षण (Geometry-Preserving): यह "डेटा को फिट करने" (जिसमें ओवरफिटिंग का जोखिम है) से "ज्यामिति को संरेखित करने" की ओर प्रतिमान (paradigm) को बदल देता है, जिससे यह सुनिश्चित होता है कि प्रून किया गया मॉडल मूल मॉडल के संरचनात्मक गुणों को बनाए रखता है।
व्यावहारिकता (Practicality): इसके लिए कोई फाइन-ट्यूनिंग, कोई अतिरिक्त ट्रेनिंग डेटा, और न्यूनतम कंप्यूट की आवश्यकता नहीं है, जो इसे एज डिवाइसेज या लागत-संवेदनशील वातावरणों में कंप्रेस्ड एलएलएम को तैनात करने के लिए अत्यधिक उपयुक्त बनाता है।
भविष्य की दिशा (Future Direction): यह पेपर सुझाव देता है कि एरर कंपनसेशन में ज्यामितीय बाधाओं (geometric constraints) को शामिल करना मॉडल कंप्रेशन में सांख्यिकीय स्थिरता और कम्प्यूटेशनल दक्षता को संतुलित करने के लिए एक आशाजनक मार्ग है।