📊 statistics

Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration

यह शोध पत्र बड़े प्रीट्रेंड मॉडल्स को कंप्रेस करने के लिए रैंडमाइज्ड एसवीडी (Randomized SVD) के एक बेहतर विकल्प के रूप में रैंडमाइज्ड सबस्पेस इटरेशन (RSI) का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि इसका मल्टी-पावर इटरेशन दृष्टिकोण धीरे-धीरे घटने वाले सिंगुलर वैल्यू स्पेक्ट्रा को प्रभावी ढंग से संभालकर आक्रामक कंप्रेशन के तहत भी निकट-इष्टतम सन्निकटन गुणवत्ता और उच्च भविष्य कहनेवाला सटीकता प्राप्त करता है।

मूल लेखक: Farhad Pourkamali-Anaraki

प्रकाशित 2026-04-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Farhad Pourkamali-Anaraki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास ज्ञान का एक विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालय है। यह पुस्तकालय एक "प्रीट्रेंड मॉडल" (pretrained model) का प्रतिनिधित्व करता है—एक विशाल AI मस्तिष्क (जैसे कि वे जो आपके फोन या इंटरनेट पर उपयोग किए जाते हैं) जिसने पहले ही बिल्लियों को पहचानना, कविताएं लिखना या बीमारियों का निदान करना सीख लिया है। यह बहुत बुद्धिमान है, लेकिन यह बहुत बड़ा भी है। इसे चलाने के लिए इतनी जगह और बिजली की आवश्यकता होती है कि इसे अपनी जेब में लेकर घूमना या किसी छोटे उपकरण पर चलाना असंभव है।

इस पुस्तकालय को पोर्टेबल बनाने के लिए, हमें इसे कंप्रेस (compress) करने की आवश्यकता है। हम पुस्तकालय को छोटा करना चाहते हैं बिना उसकी सबसे महत्वपूर्ण किताबों को फेंके।

समस्या: "धुंधली फोटोकॉपी" (The "Blurry Photocopy")

इन मॉडल्स को छोटा करने का मानक तरीका एक उच्च-रिज़ॉल्यूशन वाली फोटो को लो-रिज़ॉल्यूशन वाली फोटोकॉपी बनाने जैसा है। गणितीय शब्दों में, इसे लो-रैंक डिकम्पोजिशन (Low-Rank Decomposition) कहा जाता है। यह केवल "सबसे महत्वपूर्ण" पैटर्न को रखने और बाकी को फेंकने की कोशिश करता है।

हालाँकि, इसमें एक पेच है। आधुनिक AI मॉडल इतने जटिल हैं कि उनकी "महत्ता" (importance) व्यवस्थित रूप से संगठित नहीं होती है। यह रेत के ढेर को छाँटने जैसा है जहाँ बड़े कण और बारीक कण आपस में पूरी तरह मिले हुए हैं।

पुराना तरीका (RSVD): इसके लिए उपयोग किया जाने वाला पारंपरिक उपकरण (Randomized SVD) एक निश्चित छेद आकार वाली छलनी की तरह है। यदि रेत के कण सभी लगभग एक ही आकार के हैं (महत्ता का "धीमा क्षय" या slow decay), तो छलनी बहुत सारी महत्वपूर्ण चीज़ों को नीचे गिरने देती है और बहुत सारा कचरा रोक लेती है। परिणाम एक धुंधली, गलत फोटोकॉपी होती है। AI मूर्खतापूर्ण गलतियाँ करने लगता है।

समाधान: "स्मार्ट रिफ़ाइनर" (The "Smart Refiner" - RSI)

इस शोध पत्र के लेखक, फरहाद पुरकामिली-अनारकी (Farhad Pourkamali-Anaraki), एक नया टूल प्रस्तावित करते हैं जिसे रैंडमाइज्ड सबस्पेस इटरेशन (Randomized Subspace Iteration - RSI) कहा जाता है।

RSI को एक साधारण छलनी के बजाय, एक स्मार्ट, मल्टी-पास फ़िल्टर के रूप में सोचें।

पहला पास: यह डेटा को देखता है और स्पष्ट बड़े पैटर्न को चुनता है (छलनी की तरह)।
जादुई कदम (पावर इटरेशन): वहीं रुकने के बजाय, RSI परिणाम लेता है और उसे बार-बार फ़िल्टर के माध्यम से चलाता है (यही "इटरेशन" वाला हिस्सा है)।
परिणाम: प्रत्येक पास के साथ, "बड़े, महत्वपूर्ण" पैटर्न अधिक स्पष्ट और साफ़ होते जाते हैं, जबकि "छोटे, महत्वहीन" शोर (noise) शांत होता जाता है। यह अपने पसंदीदा गाने की आवाज़ बढ़ाने और रेडियो पर आने वाले स्टैटिक (static) को कम करने जैसा है।

इस अतिरिक्त काम को करने से (जो आधुनिक कंप्यूटरों पर आश्चर्यजनक रूप से तेज़ है), RSI एक क्रिस्टल-क्लियर, उच्च-गुणवत्ता वाला संकुचित (compressed) संस्करण बनाता है, भले ही डेटा अव्यवस्थित हो।

यह क्यों मायने रखता है? (द "प्रेडिक्शन" गारंटी)

यह शोध पत्र केवल यह नहीं कहता कि "यह बेहतर दिखता है"; यह गणितीय रूप से सिद्ध करता है कि यह क्यों काम करता है।
कल्पना कीजिए कि AI एक मौसम विज्ञानी है।

यदि आप मॉडल को खराब तरीके से कंप्रेस करते हैं (पुराने छलनी का उपयोग करके), तो मौसम विज्ञानी कह सकता है कि "70% बारिश की संभावना है" जबकि वास्तव में धूप खिली है। यह एक बड़ी त्रुटि है।
शोध पत्र दिखाता है कि यदि आप नए "स्मार्ट रिफ़ाइनर" (RSI) का उपयोग करते हैं, तो मूल पूर्वानुमान और संकुचित पूर्वानुमान के बीच का अंतर गारंटीकृत रूप से बहुत कम होगा। गणित यह सिद्ध करता है कि मॉडल को सिकोड़ने से उत्पन्न होने वाला "शोर" AI के अंतिम निर्णय को भ्रमित नहीं करेगा।

वास्तविक दुनिया का परीक्षण

लेखक ने दो प्रसिद्ध प्रकार के AI मस्तिष्क पर इसका परीक्षण किया:

VGG19: एक पुराना, क्लासिक "कन्वोल्यूशनल" नेटवर्क (एक पारंपरिक कैमरा लेंस की तरह)।
ViT (Vision Transformer): एक आधुनिक, अत्याधुनिक नेटवर्क (एक भविष्यवादी डिजिटल आँख की तरह)।

परिणाम:

गति: नया तरीका अविश्वसनीय रूप से तेज़ है। AI के एक विशाल लेयर को कंप्रेस करने में एक सेकंड से भी कम समय लगा।
सटीकता (Accuracy): जब उन्होंने मॉडल्स को बहुत छोटा (आक्रामक संपीड़न) किया, तो पुराने तरीके ने AI को चीज़ों को पहचानना भुला दिया (सटीकता लगभग शून्य हो गई)। नए तरीके (RSI) ने AI को स्मार्ट बनाए रखा, और अत्यधिक छोटा होने के बावजूद उच्च सटीकता बनाए रखी।

बड़ी तस्वीर (The Big Picture)

यह शोध पत्र आपके डिजिटल जीवन के लिए एक बेहतर कंप्रेशन एल्गोरिदम का आविष्कार करने जैसा है।

पहले: आपके पास या तो एक विशाल, धीमा AI चुनने का विकल्प था जो सर्वर पर फिट होता है, या एक छोटा, मंद AI जो आपके फोन पर फिट होता है।
अब: RSI के साथ, आप विशाल AI को अपनी जेब में फिट होने के लिए इतना छोटा कर सकते हैं कि उसकी बौद्धिक क्षमता (brainpower) कम न हो।

यह हमें डेटा सेंटरों में प्रशिक्षित विशाल, शक्तिशाली मॉडल्स को हमारे रोज़मर्रा के उपकरणों पर कुशलतापूर्वक चलाने की अनुमति देता है, जिससे उन्नत AI हर किसी के लिए, हर जगह सुलभ हो जाता है।

यहाँ फरहाद पुरकामिली-अनारकी के शोध पत्र "Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बड़े पैमाने के प्रीट्रेन्ड मॉडल्स (जैसे, Transformers, VGG) के तेजी से प्रसार ने विशाल पैरामीटर गणना और मेमोरी आवश्यकताओं के कारण संसाधन-सीमित वातावरण (मोबाइल, एज डिवाइसेस) में उनकी तैनाती के लिए एक बाधा उत्पन्न कर दी है। हालांकि सिंगुलर वैल्यू डीकंपोजिशन (SVD) के माध्यम से लो-रैंक डीकंपोजिशन (Low-Rank Decomposition) मॉडल संपीड़न (compression) के लिए एक सिद्धांतवादी विधि है, लेकिन यह दो महत्वपूर्ण चुनौतियों का सामना करती है:

गणना लागत (Computational Cost): उच्च-आयामी परतों वाले आधुनिक मॉडल्स के लिए बड़े वेट मैट्रिसेस का सटीक SVD ( $O(DC^2)$ जटिलता) अत्यधिक महंगा है।
धीमी क्षय वाली शासन व्यवस्था में सन्निकटन की गुणवत्ता (Approximation Quality in Slow-Decay Regimes): मानक रैंडमाइज्ड SVD (RSVD) कुशल तो है, लेकिन जब वेट मैट्रिक्स का सिंगुलर वैल्यू स्पेक्ट्रम धीरे-धीरे घटता है, तो यह विफल हो जाता है। ऐसे मामलों में (जो प्रीट्रेन्ड मॉडल्स में सामान्य है), RSVD प्रमुख सबस्पेस (dominant subspace) को सटीक रूप से कैप्चर करने में विफल रहता है, जिससे महत्वपूर्ण सन्निकटन त्रुटियां (approximation errors) होती हैं और प्रेडिक्टिव प्रदर्शन गिर जाता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र दो-आयामी दृष्टिकोण प्रस्तावित करता है: सन्निकटन त्रुटि (approximation error) को वर्गीकरण प्रदर्शन से जोड़ने वाला एक सैद्धांतिक विश्लेषण, और एक नई एल्गोरिदम विधि।

A. सैद्धांतिक विश्लेषण: सॉफ्टमैक्स परटर्बेशन (Softmax Perturbation)

लेखक संपीड़ित भारों (compressed weights) के स्पेक्ट्रल एरर और मॉडल के आउटपुट प्रोबेबिलिटीज की स्थिरता के बीच एक सीधा गणितीय संबंध स्थापित करते हैं।

मुख्य अंतर्दृष्टि (Key Insight): वे लो-रैंक सन्निकटन के तहत सॉफ्टमैक्स फंक्शन (softmax function) के परटर्बेशन का विश्लेषण करते हैं।
परिणाम: वे सिद्ध करते हैं कि अनुमानित क्लास प्रोबेबिलिटीज में विचलन ( $\|\hat{p}(x) - p(x)\|_\infty$ ) वेट सन्निकटन की स्पेक्ट्रल नॉर्म एरर ( $\|W - \hat{W}\|_2$ ) द्वारा सीमित है।
निहितार्थ: यह सिद्ध करना कि स्पेक्ट्रल सन्निकटन त्रुटि को कम करना, मॉडल की विश्वसनीय वर्गीकरण संभावनाओं को बनाए रखने के लिए सैद्धांतिक रूप से पर्याप्त है। यह केवल पैरामीटर रिडक्शन के बजाय स्पेक्ट्रल सन्निकटन की गुणवत्ता में सुधार करने के फोकस को न्यायसंगत बनाता है।

B. प्रस्तावित एल्गोरिदम: रैंडमाइज्ड सबस्पेस इटरेशन (Randomized Subspace Iteration - RSI)

धीमी क्षय वाली स्पेक्ट्रल शासन व्यवस्था में RSVD की सीमाओं को दूर करने के लिए, लेखक रैंडमाइज्ड सबस्पेस इटरेशन (RSI) का प्रस्ताव करते हैं।

तंत्र (Mechanism): RSI रैंडमाइज्ड प्रोजेक्शन प्रक्रिया में पावर इटरेशन (power iterations) को शामिल करता है। केवल एक बार गुणा ( $W\Omega$ $W Ω$ ) करने के बजाय, यह मैट्रिक्स और उसके ट्रांसपोज़ ( $W$ $W$ और $W^T$ $W^{T}$ ) को $q$ $q$ बार पुनरावृत्त रूप से लागू करता है।
- गणितीय रूप से, एक रैंडम वेक्टर पर $(WW^T)^{q-1}W$ लागू करने से बड़े सिंगुलर मानों ( $s_i^{2q-1}$ ) का योगदान बढ़ जाता है जबकि छोटे मानों को दबा दिया जाता है।
एल्गोरिदम प्रवाह (Algorithm Flow):
1. एक रैंडम मैट्रिक्स $\Omega$ लें।
2. मैट्रिक्स मल्टीप्लिकेशन ($X = WY $, फिर$ Y = W^T X $) के$ q$ इटरेशन करें, जिसमें प्रत्येक चरण पर ऑर्थोगोनलाइजेशन (QR डिकंपोजिशन) किया जाए।
3. प्राप्त छोटी मैट्रिक्स का सटीक SVD निकालें ताकि लो-रैंक फैक्टर्स प्राप्त किए जा सकें।
लाभ: $q$ इटरेशन की संख्या बढ़ाकर, RSI स्पेक्ट्रल सेपरेशन (spectral separation) को बढ़ाता है, जिससे यह धीमी क्षय वाली सिंगुलर वैल्यूज के बावजूद प्रमुख सबस्पेस का सटीक अनुमान लगाने में सक्षम होता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक गारंटी: एक औपचारिक प्रमाण जो दिखाता है कि क्लास प्रोबेबिलिटीज में त्रुटि भारों के स्पेक्ट्रल सन्निकटन एरर से रैखिक रूप से बंधी हुई है, जो कंप्रेशन विश्वसनीयता के मूल्यांकन के लिए एक कठोर आधार प्रदान करती है।
एल्गोरिदम नवाचार: प्रीट्रेन्ड मॉडल्स के लिए RSVD के एक बेहतर विकल्प के रूप में RSI का परिचय। यह एक नियंत्रणीय तंत्र (पैरामीटर $q$ के माध्यम से) प्रदान करता है जिससे गणना लागत और सन्निकटन गुणवत्ता के बीच संतुलन बनाया जा सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि RSI वहां भी लगभग इष्टतम सन्निकटन गुणवत्ता (नॉर्मलाइज्ड एरर 1.0 के करीब) प्राप्त करता है जहां RSVD विफल हो जाता है (नॉर्मलाइज्ड एरर > 2.0 या 4.0), विशेष रूप से आक्रामक कंप्रेशन परिदृश्यों में।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Imagenette डेटासेट का उपयोग करके VGG19 (कन्वोल्यूशनल) और ViT-B/32 (ट्रांसफॉर्मर) पर इस विधि का मूल्यांकन किया। महत्वपूर्ण रूप से, कोई फाइन-ट्यूनिंग या रिट्रेनिंग नहीं की गई; संपीड़ित मॉडल्स का परीक्षण सीधे 'ऑफ-द-शेल्फ' क्लासिफायर के रूप में किया गया।

सिंगल-लेयर विश्लेषण:
- VGG19 (4096 $\times$ 25088 लेयर): RSVD ( $q=1$ ) ने $\approx 2.0$ का नॉर्मलाइज्ड एरर दिया। इटरेशन बढ़ाकर $q=4$ करने से एरर घटकर $\approx 1.1$ (इष्टतम के करीब) हो गया। RSI, सटीक SVD की तुलना में 50–76 $\times$ तेज़ था।
- ViT (768 $\times$ 3072 लेयर): RSVD काफी हद तक विफल रहा (एरर > 4.0)। RSI ( $q=3$ या $4$ के साथ) ने एरर को 1.2 से नीचे बनाए रखा, जो सटीक SVD की तुलना में एक ऑर्डर-ऑफ-मैग्निट्यूड की स्पीडअप प्रदान करता है।
एंड-टू-एंड कंप्रेशन:
- VGG19: एक आक्रामक कंप्रेशन अनुपात ( $\alpha=0.2$ , केवल 20% पैरामीटर रखना) पर, RSVD ( $q=1$ ) के कारण सटीकता गिरकर 59.27% हो गई। $q=4$ के साथ RSI ने 78.63% सटीकता बनाए रखी (मूल 82.57% के करीब)।
- ViT: समान रुझान देखे गए। हालांकि अत्यधिक कंप्रेशन ( $\alpha=0.2$ ) प्रदर्शन को नुकसान पहुँचाता है, RSI उच्च $q$ के साथ RSVD से काफी बेहतर प्रदर्शन करता है। $\alpha=0.4$ पर, RSI ने 86.37% Top-1 सटीकता प्राप्त की (बनाम RSVD की 76.17%)।
- दक्षता (Efficiency): दोनों मॉडल्स के सभी लीनियर लेयर्स के लिए कुल कंप्रेशन समय एक सिंगल A100 GPU पर 1 सेकंड से कम रहा।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

व्यावहारिक तैनाती (Practical Deployment): यह कार्य बिना रिट्रेनिंग के कम्प्यूटेशनल ओवरहेड या मानक रैंडमाइज्ड कंप्रेशन से जुड़ी सटीकता की हानि के, विशाल प्रीट्रेन्ड मॉडल्स को एज डिवाइसेस पर तैनात करने में सक्षम बनाता है।
पूरकता (Complementarity): यह विधि LoRA (Low-Rank Adaptation) के साथ संगत है। RSI पहले बैकबोन वेट्स को कंप्रेस कर सकता है, और फिर फाइन-ट्यूनिंग के लिए LoRA लागू किया जा सकता है, जिससे मेमोरी फुटप्रिंट कम करने और कुशल अनुकूलन का दोहरा लाभ मिलता है।
भविष्य का कार्य: लेखक इसे एडेप्टिव लेयर-वाइज रैंक सिलेक्शन तक विस्तारित करने, मल्टीमॉडल मॉडल्स पर लागू करने और प्रीट्रेन्ड मॉडल्स के लिए लो-रैंक एडैप्टेशन फ्रेमवर्क में एकीकृत करने का सुझाव देते हैं।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि रैंडमाइज्ड सबस्पेस इटरेशन (RSI) प्रीट्रेन्ड डीप लर्निंग मॉडल्स को कंप्रेस करने के लिए एक सैद्धांतिक रूप से सुदृढ़ और अनुभवजन्य रूप से बेहतर तरीका है, जो "स्लो स्पेक्ट्रल डिके" (slow spectral decay) की समस्या को प्रभावी ढंग से हल करता है जो मानक RSVD को प्रभावित करती है।