🤖 machine learning

CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Transformers

यह शोध पत्र CORP का प्रस्ताव करता है, जो एक क्लोज्ड-फॉर्म वन-शॉट स्ट्रक्चर्ड प्रूनिंग विधि है जो बिना रिट्रेनिंग या फाइन-ट्यूनिंग के उच्च सटीकता प्राप्त करने के लिए केवल अनलेबल डेटा और एफ़ाइन रिकंस्ट्रक्शन का उपयोग करके ट्रांसफॉर्मर्स में MLP और अटेंशन घटकों को हटा देता है।

मूल लेखक: Boxiang Zhang, Baijian Yang

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boxiang Zhang, Baijian Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक ट्रांसफार्मर मॉडल) जो सवालों के जवाब दे सकता है, छवियों को पहचान सकता है और कहानियाँ लिख सकता है। लेकिन यह पुस्तकालय इतना बड़ा है कि यह एक पूरी इमारत घेर लेता है, इसे चलाने के लिए एक विशाल स्टाफ की आवश्यकता होती है, और यह इतना भारी है कि इसे एक छोटे अपार्टमेंट (जैसे कि फोन या लैपटॉप) में ले जाना संभव नहीं है।

आप इस पुस्तकालय को एक बैकपैक में फिट होने के लिए छोटा करना चाहते हैं बिना इसकी अच्छी कहानियाँ सुनाने या बिल्लियों को पहचानने की क्षमता खोए। इसे प्रूनिंग (Pruning) कहा जाता है।

समस्या: "ब्रूट फ़ोर्स" दृष्टिकोण

इन पुस्तकालयों को छोटा करने के मौजूदा अधिकांश तरीके ऐसे हैं जैसे कि संपादकों की एक टीम को हर एक किताब पढ़ने, यह तय करने के लिए कि कौन से पन्ने काटने हैं, और फिर पुस्तकालय को छूटे हुए पन्नों के साथ काम करने के लिए फिर से सिखाने के लिए शिक्षकों की एक नई टीम को नियुक्त करने के लिए कहना। इसमें बहुत समय लगता है, बहुत अधिक "लेबल वाले" डेटा (उत्तर कुंजियों) की आवश्यकता होती है, और यदि आप बहुत अधिक या बहुत तेज़ी से काटते हैं तो यह पुस्तकालय को खराब कर सकता है।

समाधान: CORP (एक "वन-शॉट" फिक्स)

इस पेपर के लेखक एक नया तरीका प्रस्तावित करते हैं जिसे CORP कहा जाता है। CORP को एक मास्टर आर्किटेक्ट (मुख्य वास्तुकार) के रूप में समझें जो पुस्तकालय को देख सकता है, तय कर सकता है कि क्या काटना है, और तुरंत शेष शेल्फों को फिर से डिज़ाइन कर सकता है ताकि बची हुई किताबें अभी भी पूरी तरह से एक साथ फिट हो सकें—यह सब एक ही बार में, बिना किसी उत्तर कुंजी या पुन: शिक्षण (re-teaching) के।

CORP कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

1. "गायब पन्ना" की समस्या

जब आप किसी किताब का एक अध्याय (एक डायमेंशन) काट देते हैं, तो कहानी टूट जाती है। शेष टेक्स्ट अब समझ में नहीं आता क्योंकि वह गायब हिस्से पर निर्भर था।

पुराना तरीका: बस पन्ना काट दें और उम्मीद करें कि पाठक समझ जाएगा कि वहां क्या था। (परिणाम: कहानी समझ में नहीं आती)।
CORP का तरीका: CORP महसूस करता है कि गायब पन्ना यादृच्छिक (random) नहीं था; वह वास्तव में उन पन्नों का एक अनुमानित मिश्रण था जो बचे हुए थे।

2. "एफाइन" ट्रांसलेटर (MLP के लिए)

पुस्तकालय के भीतर, कुछ हिस्से (जिन्हें MLPs कहा जाता है) जानकारी को प्रोसेस करते हैं। CORP उन पन्नों को देखता है जिन्हें वह रखता है और पूछता है: "क्या मैं एक सरल सूत्र लिख सकता हूँ जो भविष्यवाणी कर सके कि गायब पन्ने क्या कहते, केवल उन पन्नों के आधार पर जिन्हें मैंने रखा है?"

यह एक "ट्रांसलेटर" बनाने के लिए थोड़े से गणित (रिज रिग्रेशन) का उपयोग करता है। यह गणना करता है कि रखे गए पन्नों का गायब पन्नों से क्या संबंध है। फिर, यह इस अनुवाद को सीधे शेष शेल्फों में फोल्ड (fold) कर देता है।

जादू: आपको गायब पन्नों को रखने की आवश्यकता नहीं है। आपको बस बचे हुए शेल्फों में थोड़ा बदलाव करना है ताकि वे गायब पन्नों की "बोली" जा सकें। पुस्तकालय छोटा हो जाता है, लेकिन कहानी वही रहती है।

3. "अटेंशन" फिक्स (मस्तिष्क के लिए)

पुस्तकालय में एक "मस्तिष्क" (अटेंशन मैकेनिज्म) भी होता है जो यह तय करता है कि किन किताबों को एक साथ देखना है। जब आप इस मस्तिष्क के कुछ हिस्सों को काट देते हैं, तो कनेक्शन कमजोर हो जाते हैं।
CORP यहाँ भी ऐसा ही कुछ करता है। यह उन कनेक्शनों को देखता है जिन्हें काटा गया है और यह पता लगाता है कि शेष कनेक्शनों को कैसे समायोजित किया जाए ताकि वे अभी भी एक-दूसरे से प्रभावी ढंग से "बात" कर सकें। यह अनिवार्य रूप से पुस्तकालय के मानचित्र को फिर से लिख देता है ताकि शेष पथ उन्हीं गंतव्यों तक ले जाएं।

यह विशेष क्यों है?

कोई री-ट्रेनिंग नहीं: आपको पुस्तकालय को फिर से सिखाने की आवश्यकता नहीं है। आप बस डेटा के एक छोटे नमूने पर गणित करते हैं (जैसे कि शैली को समझने के लिए कुछ यादृच्छिक किताबें देखना) और फिर काट देते हैं।
लेबल की आवश्यकता नहीं: आपको किताबों के "सही उत्तरों" को जानने की आवश्यकता नहीं है। आपको बस टेक्स्ट देखने की आवश्यकता है।
वन-शॉट: यह एक ही चरण में होता है। कोई बार-बार अनुकूलन (optimization) नहीं।

परिणाम

लेखकों ने इसका परीक्षण एक प्रसिद्ध इमेज-रिकग्निशन लाइब्रेरी (DeiT) पर किया।

उन्होंने पुस्तकालय की संरचना का 50% हिस्सा काट दिया (आधी शेल्फ, आधे मस्तिष्क कनेक्शन)।
परिणाम: पुस्तकालय ने अभी भी 83.27% सटीकता के साथ छवियों को पहचाना।
बोनस: यह बहुत तेज़ (1.6x स्पीडअप) हो गया और इसने कम मेमोरी का उपयोग किया।

उन्होंने भाषा मॉडल (OPT) और अन्य विजन मॉडल (DINOv2) पर भी इसका परीक्षण किया, जिससे पता चला कि यह "आर्किटेक्ट" दृष्टिकोण विभिन्न प्रकार के पुस्तकालयों के लिए अच्छी तरह से काम करता है, जिससे वे काफी छोटे होने के बावजूद स्मार्ट बने रहते हैं।

संक्षेप में

CORP एक AI मॉडल के लिए एक जादुई श्रिंक-रे (shrink-ray) की तरह है। केवल हिस्सों को हटाने और बेहतर की उम्मीद करने के बजाय, यह गणना करता है कि जो हिस्सा बचा है उसे खोए हुए हिस्से की भरपाई करने के लिए कैसे बदलना होगा। यह इसे तुरंत करता है, बिना किसी शिक्षक या पुनर्लेखन के, जिससे विशाल AI मॉडल छोटे उपकरणों में फिट हो सकते हैं और स्मार्ट भी बने रहते हैं।

तकनीकी सारांश: CORP - ट्रांसफॉर्मर्स के लिए क्लोज्ड-फॉर्म वन-शॉट रिप्रेजेंटेशन-प्रिजर्विंग स्ट्रक्चर्ड प्रूनिंग

1. समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर-आधारित मॉडल अत्याधुनिक प्रदर्शन प्राप्त करते हैं, लेकिन वे अत्यधिक कम्प्यूटेशनल और मेमोरी लागत उत्पन्न करते हैं, जो संसाधन-सीमित हार्डवेयर पर तैनाती में बाधा डालते हैं। जबकि स्ट्रक्चर्ड प्रूनिंग (संपूर्ण आयामों या उप-संरचनाओं को हटाना) व्यावहारिक गति प्रदान करती है, मौजूदा अधिकांश विधियाँ रिट्रेनिंग, पुनरावृत्ति अनुकूलन (iterative optimization), या लेबल वाले डेटा और ग्रेडिएंट्स तक पहुंच पर निर्भर करती हैं। सख्त पोस्ट-ट्रेनिंग परिनियोजन (deployment) परिदृश्यों में, ये संसाधन अक्सर उपलब्ध नहीं होते हैं।

एक साधारण 'वन-शॉट स्ट्रक्चर्ड प्रूनिंग' इन बाधाओं के तहत विफल हो जाती है क्योंकि चैनलों या अटेंशन आयामों को हटाने से व्यवस्थित प्रतिनिधित्व त्रुटियां (representation errors) उत्पन्न होती हैं जो परतों के माध्यम से संचित होती हैं, जिससे मध्यम स्पर्सिटी स्तरों पर भी सटीकता तेजी से गिर जाती है। लेखक तर्क देते हैं कि यह विफलता केवल महत्व रैंकिंग (importance ranking) की गुणवत्ता के कारण नहीं है, बल्कि हटाए गए घटकों के लिए स्पष्ट त्रुटि रिकवरी (error recovery) के अभाव के कारण है।

2. कार्यप्रणाली: CORP

लेखक CORP (क्लोज्ड-फॉर्म वन-शॉट रिप्रेजेंटेशन-प्रिजर्विंग स्ट्रक्चर्ड प्रूनिंग) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो प्रूनिंग को एक रिप्रेजेंटेशन रिकवरी समस्या के रूप में पुनर्गठित करता है। CORP बिना लेबल, ग्रेडिएंट या फाइन-ट्यूनिंग के काम करता है, और केवल अनलेबल कैलिब्रेशन डेटा के एक छोटे सेट का उपयोग करता है।

मुख्य दर्शन (Core Philosophy)

प्रूनिंग को केवल एक चयन कार्य के रूप में देखने के बजाय, CORP हटाए गए घटकों को शेष घटकों के एक एफाइन फंक्शन (affine functions) के रूप में मॉडल करता है। यह लुप्त योगदानों का अनुमान लगाने के लिए क्लोज्ड-फॉर्म रिज रिग्रेशन समाधान (closed-form ridge regression solutions) व्युत्पन्न करता है और इन क्षतिपूर्ति (compensations) को सीधे शेष परतों के वेट्स (weights) में समाहित कर देता है। यह पुनरावृत्ति अनुकूलन या अतिरिक्त इन्फरेंस मॉड्यूल की आवश्यकता के बिना परत के आउटपुट वितरण को सुरक्षित रखता है।

तकनीकी घटक

यह विधि ट्रांसफॉर्मर्स में दो प्राथमिक संरचनाओं को लक्षित करती है:

A. MLP चैनल प्रूनिंग

एक MLP परत के लिए जिसे $y = Wx + b $द्वारा परिभाषित किया गया है, जहाँ इनपुट$ x $को रखे गए ($ x_S $) और प्रून किए गए ($ x_P$) चैनलों में विभाजित किया गया है:

मॉडलिंग: प्रून किए गए एक्टिवेशन्स $x_P$ को रखे गए एक्टिवेशन्स के एक एफाइन फंक्शन के रूप में अनुमानित किया जाता है: $x_P \approx Bx_S + c$ ।
क्लोज्ड-फॉर्म समाधान: पैरामीटर्स $(B, c)$ को कैलिब्रेशन सेट $D$ पर रिज रिग्रेशन के माध्यम से व्युत्पन्न किया जाता है:
$B = \Sigma_{PS}(\Sigma_{SS} + \lambda I)^{-1}, \quad c = \mu_P - B\mu_S$
जहाँ $\Sigma$ एक्टिवेशन्स के कोवेरिएंस मैट्रिसेस (covariance matrices) को दर्शाता है।
वेट फोल्डिंग (Weight Folding): क्षतिपूर्ति को शेष वेट्स में फोल्ड किया जाता है:
$\hat{W}_S = W_S + W_P B, \quad \hat{b} = b + W_P c$
इसके परिणामस्वरूप एक मानक लीनियर लेयर प्राप्त होती है जिसका आयाम कम होता है और जो मूल आउटपुट के पुनर्निर्माण त्रुटि (reconstruction error) को न्यूनतम करती है।

B. अटेंशन डायमेंशन प्रूनिंग (Query/Key)

सेल्फ-अटेंशन के लिए, CORP क्वेरी ( $Q$ ) और की ( $K$ ) प्रोजेक्शन में आयामों को प्रून करता है, और जटिल कपलिंग समस्याओं से बचने के लिए वैल्यू ( $V$ ) प्रोजेक्शन को बरकरार रखता है।

लॉगिट रिकवरी (Logit Recovery): मूल अटेंशन लॉगिट्स $L = QK^\top = Q_S K_S^\top + Q_P K_P^\top$ हैं। $Q_P K_P^\top$ (लुप्त लॉगिट्स) को रखे गए सबस्पेस का उपयोग करके अनुमानित किया जाता है: $Q_P K_P^\top \approx Q_S M K_S^\top$ , जहाँ $M$ एक छोटा क्षतिपूर्ति मैट्रिक्स है।
क्लोज्ड-फॉर्म समाधान: $M$ को कैलिब्रेशन सेट पर एक रिज रिग्रेशन समस्या को हल करके अनुमानित किया जाता है, जिसे सिल्वेस्टर समीकरण (Sylvester equation) या एक वेक्टरकृत लीनियर सिस्टम के रूप में तैयार किया गया है:
$\left[ \sum_b (K_{S,b}^\top K_{S,b}) \otimes (Q_{S,b}^\top Q_{S,b}) + \lambda I \right] \text{vec}(M) = \sum_b \text{vec}((Q_{S,b}^\top Q_{P,b})(K_{P,b}^\top K_{S,b}))$
वेट फोल्डिंग: मैट्रिक्स $I + M$ को SVD ( $U\Sigma V^\top$ ) के माध्यम से फैक्टराइज़ किया जाता है और क्वेरी और की प्रोजेक्शन में फोल्ड किया जाता है:
$\hat{W}_{Q,S} = W_{Q,S} U \Sigma^{1/2}, \quad \hat{W}_{K,S} = W_{K,S} V \Sigma^{1/2}$

रैंकिंग रणनीति (Ranking Strategy)

क्षतिपूर्ति से पहले, CORP चैनलों/आयामों को हटाने के लिए सरल, डेटा-संचालित मेट्रिक्स का उपयोग करके रैंक करता है:

MLP: एक्टिवेशन एनर्जी ( $E_i = E[x_i^2]$ ) और वेट मैग्नीट्यूड ( $|W_{:,i}|^2$ ) का एक संयुक्त मेट्रिक।
Attention: अपेक्षित लॉगिट एनर्जी ( $s_j = E[\|q_j\|^2 \|k_j\|^2]$ )।
जिन चैनलों का स्कोर सबसे कम होता है, उन्हें प्रून किया जाता है।

3. प्रमुख योगदान

प्रूनिंग का पुनर्गठन: लेखक प्रूनिंग के फोकस को शुद्ध "रैंकिंग" से बदलकर "रिप्रेजेंटेशन रिकवरी" पर ले जाते हैं, यह प्रदर्शित करते हुए कि सटीकता बनाए रखने के लिए क्षतिपूर्ति (compensation) महत्वपूर्ण है।
क्लोज्ड-फॉर्म फ्रेमवर्क: CORP एक एकीकृत, क्लोज्ड-फॉर्म समाधान प्रदान करता है जो MLP चैनल और Q/K अटेंशन डायमेंशन प्रूनिंग दोनों के लिए है, जिसमें किसी ग्रेडिएंट, लेबल या फाइन-ट्यूनिंग की आवश्यकता नहीं होती है।
एकीकृत क्षतिपूर्ति: उन पूर्ववर्ती कार्यों के विपरीत जो केवल ब्लॉक के आउटपुट की क्षतिपूर्ति कर सकते हैं, CORP लेयर-वाइज रिप्रेजेंटेशन रिकवरी करता है और अटेंशन डायमेंसन्स के लिए विशिष्ट लॉगिट-स्पेस क्षतिपूर्ति पेश करता है, जो सभी सुधारों को सीधे कम किए गए प्रोजेक्शंस में फोल्ड करता है।

4. प्रयोगात्मक परिणाम

प्रयोग ImageNet (DeiT और ViT मॉडल), WikiText-2 (OPT-1.3B), और डाउनस्ट्रीम कार्यों (NYU Depth V2 और ADE20k पर DINOv2) पर किए गए।

सटीकता संरक्षण (Accuracy Preservation):
- DeiT-Huge: MLP और अटेंशन दोनों संरचनाओं के 50% को प्रून करने के बाद 83.27% Top-1 सटीकता प्राप्त करता है (बेसलाइन 84.97% से केवल ~1.7% की गिरावट)।
- स्केलेबिलिटी: बड़े मॉडल (जैसे DeiT-Huge) छोटे मॉडलों (जैसे DeiT-Tiny) की तुलना में आक्रामक स्पर्सिटी के तहत अधिक रेडंडेंसी और बेहतर सटीकता बनाए रखते हैं।
- तुलना: CORP, GRAIL, SNOWS और VBP जैसी अत्याधुनिक विधियों के बराबर या उनसे बेहतर प्रदर्शन करता है। उदाहरण के लिए, DeiT-Base में 50% MLP स्पर्सिटी के साथ, CORP 72.0% Top-1 प्राप्त करता है, जबकि GRAIL के लिए 68.6% और VBP के लिए 66.4% है।
- कोई फाइन-ट्यूनिंग नहीं: CORP, DC-ViT (जो फ्यू-शॉट फीचर-मिमिकिंग फाइन-ट्यूनिंग का उपयोग करता है) के प्रदर्शन से बिना किसी ग्रेडिएंट अपडेट के मेल खाता है।
दक्षता लाभ (Efficiency Gains):
- DeiT-Huge: 50% स्पर्सिटी पर, पैरामीटर्स और FLOPs लगभग 40–45% कम हो जाते हैं, जिसके परिणामस्वरूप NVIDIA RTX 3090 पर 1.6× थ्रूपुट स्पीडअप मिलता है।
- OPT-1.3B: MLP और अटेंशन संरचनाओं के 30% को प्रून करने से FLOPs 27.2% और पैरामीटर्स 25.0% कम हो जाते हैं, जिससे पर्प्लेक्सिटी (perplexity) मामूली रूप से बढ़ती है (संयुक्त प्रूनिंग के लिए 14.60 से 25.41)।
- डाउनस्ट्रीम कार्य: DINOv2 पर, 50% बैकबोन प्रूनिंग डेप्थ एस्टीमेशन (RMSE 0.3308 से सुधरकर 0.3167 हो जाता है) और सेगमेंटेशन पर डाउनस्ट्रीम प्रदर्शन को सुरक्षित रखती है।
कैलिब्रेशन दक्षता:
- यह विधि कैलिब्रेशन सेट के आकार के प्रति मजबूत है; बड़े मॉडल छोटे कैलिब्रेशन सेट (जैसे 1000 नमूने) के साथ भी स्थिर रहते हैं।
- रनटाइम विश्लेषण दिखाता है कि कैलिब्रेशन मुख्य लागत है, जबकि रैंकिंग और क्लोज्ड-फॉर्म क्षतिपूर्ति नगण्य ओवरहेड जोड़ते हैं।

5. महत्व और दावे

पेपर दावा करता है कि CORP यह प्रदर्शित करता है कि स्ट्रक्चर्ड प्रूनिंग को एक सख्त वन-शॉट, पोस्ट-ट्रेनिंग सेटिंग में प्रभावी ढंग से किया जा सकता है, यदि इसे रिप्रेजेंटेशन रिकवरी समस्या के रूप में माना जाए। इसकी मुख्य महत्ता निम्नलिखित है:

व्यावहारिक तैनात करने योग्यता (Practical Deployability): यह ऐसे हार्डवेयर पर संपीड़न (compression) सक्षम बनाता है जहाँ लेबल या ग्रेडिएंट्स की कमी के कारण रिट्रेनिंग असंभव है।
सैद्धांतिक अंतर्दृष्टि: यह उजागर करता है कि हटाए गए एडिटिव घटकों द्वारा पेश की गई "व्यवस्थित त्रुटि" (systematic error) ही सटीकता के पतन का मुख्य कारण है, और सरल एफाइन/लॉगिट क्षतिपूर्ति बिना किसी जटिल अनुकूलन के इस त्रुटि को ठीक कर सकती है।
व्यापक प्रयोज्यता: विधि ने विभिन्न डोमेन (DeiT, ViT, DINOv2 और भाषा मॉडल OPT) में मजबूत परिणाम दिखाए हैं, जो दोनों मोडैलिटीज में MLP और अटेंशन रिप्रेजेंटेशन में मजबूत रेडंडेंसी का सुझाव देते हैं।

लेखक विनम्रतापूर्वक सीमाओं को नोट करते हैं, जिनमें स्वतंत्र मॉड्यूल क्षतिपूर्ति का अनुमान (क्रॉस-मॉड्यूल इंटरैक्शन को अनदेखा करना), समान स्पर्सिटी अनुपात का उपयोग, और क्वांटाइजेशन-प्रूनिंग संयोजन के लिए अनुकूलन का अभाव शामिल है। वे कहते हैं कि कैलिब्रेशन और परिनियोजन डेटा के बीच मजबूत वितरण बदलाव (distribution shifts) होने पर प्रदर्शन कम हो सकता है।