🤖 machine learning

UniRank: Unified Rank Allocation for Low-Rank LLM Compression

UniRank लो-रैंक LLM संपीड़न के लिए एक एकीकृत रैंक आवंटन ढांचा पेश करता है जो रैंक वितरण को अनुकूलित करने के लिए स्थानीय सिंगुलर ऊर्जा और वैश्विक कार्यात्मक महत्व को जोड़ता है, जबकि विविध मॉडल आर्किटेक्चर में व्यापक कम्प्यूटेशनल ओवरहेड की आवश्यकता के बिना महत्वपूर्ण परप्लेक्सिटी कमी प्राप्त करने के लिए रैंक-संरक्षण फाइन-ट्यूनिंग का उपयोग करता है।

मूल लेखक: Chao Han, Haozhe Hu, Fei Ma, Wei Zhang, Xiaoyu Shen

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chao Han, Haozhe Hu, Fei Ma, Wei Zhang, Xiaoyu Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, अत्यधिक स्टॉक वाली लाइब्रेरी के रूप में करें जिसमें लाखों किताबें हैं। हालांकि यह लाइब्रेरी लगभग सब कुछ जानती है, लेकिन यह बहुत भारी है जिसे साथ लेकर चलना मुश्किल है, इसे खोजने में बहुत समय लगता है, और इसे खुला रखने में बहुत खर्च आता है।

"UniRank" नामक शोध पत्र इस लाइब्रेरी को बिना सबसे महत्वपूर्ण कहानियों को खोए छोटा करने का एक स्मार्ट तरीका प्रस्तावित करता है। उन्होंने इसे कैसे किया, इसका सरल विवरण यहाँ दिया गया है:

1. समस्या: "वन-साइज़-फिट्स-ऑल" (एक ही नियम सबके लिए) की गलती

वर्तमान में, जब लोग इन मॉडल्स को छोटा करने की कोशिश करते हैं, तो वे आमतौर पर दो मुख्य तरीकों का उपयोग करते हैं:

मैनुअल नियम: "आइए हर एक शेल्फ से 50% किताबें निकाल देते हैं, चाहे कुछ भी हो।" यह कुकबुक्स (पाक कला की किताबों) और इतिहास की किताबों में से आधे-आधे हिस्से को फेंक देने जैसा है। यह आसान है, लेकिन हो सकता है कि आप किसी प्रसिद्ध रेसिपी की एकमात्र प्रति या कोई महत्वपूर्ण ऐतिहासिक तथ्य खो दें।
लर्निंग मेथड (सीखने की विधि): "आइए एक रोबोट को यह तय करने के लिए प्रशिक्षित करें कि क्या काटना है।" यह अच्छा काम करता है लेकिन इसमें बहुत अधिक समय और कंप्यूटर पावर लगती है (जैसे कि हर किताब को पढ़ने के बाद यह तय करने के लिए कि किसे रखना है, विशेषज्ञों की एक टीम को काम पर रखना)।

2. समाधान: "सॉर्टिंग-एंड-ट्रंकेशन" (छंटनी और कटौती) पाइपलाइन

लेखकों ने एक नया तरीका बनाया जिसे UniRank कहा जाता है। मॉडल को काटने के लिए अंदाज़ा लगाने या रोबोट को प्रशिक्षित करने के बजाय, वे मॉडल को पहेली के टुकड़ों (जिन्हें "सिंगुलर कंपोनेंट्स" कहा जाता है) के एक विशाल ढेर की तरह मानते हैं और उन्हें महत्व के आधार पर क्रमबद्ध (sort) करते हैं।

वे यह तय करने के लिए कि किन टुकड़ों को रखना है, एक दो-भाग वाले स्कोरकार्ड का उपयोग करते हैं:

लोकल एनर्जी (टुकड़े का "आकार"): मूल चित्र का यह विशिष्ट टुकड़ा कितना हिस्सा रखता है? यदि किसी टुकड़े में चित्र का एक बड़ा हिस्सा है, तो उसे उच्च स्कोर मिलता है।
ग्लोबल फंक्शन (टुकड़े का "प्रभाव"): जब आप इसे पढ़ते हैं तो यह कहानी को कितना बदल देता है? वे इसे यह देखकर मापते हैं कि "इनपुट" (जो आप पूछते हैं) "आउटपुट" (जो मॉडल उत्तर देता है) में कितना बदल जाता है।
- उपमा: कल्पना कीजिए कि घर में एक गलियारा है। यदि आप अंदर जाते हैं और बिल्कुल वैसे ही बाहर आते हैं (कोई बदलाव नहीं), तो वह गलियारा बहुत कम काम कर रहा है। यह "लो रैंक" है और इसे संकुचित (compress) किया जा सकता है। लेकिन यदि वह गलियारा आपको एक मेहमान से वीआईपी (बड़ा बदलाव) में बदल देता है, तो वह गलियारा "हाई रैंक" है और उसे रखा जाना चाहिए।

जादुई ट्रिक: उन्होंने पाया कि यदि मॉडल का एक हिस्सा इनपुट को बहुत अधिक नहीं बदलता है (इनपुट और आउटपुट के बीच उच्च समानता), तो वह वास्तव में बहुत सरल है और मॉडल की बुद्धिमत्ता को नुकसान पहुँचाए बिना उसे काफी हद तक छोटा किया जा सकता है।

3. परिणाम: एक तेज़, हल्का लाइब्रेरी

पूरे मॉडल के सभी टुकड़ों को क्रमबद्ध करके और केवल शीर्ष-स्कोरिंग वाले टुकड़ों को तब तक रखकर जब तक कि वे अपनी वजन सीमा तक न पहुँच जाएँ, वे एक बहुत छोटा मॉडल बनाते हैं।

दावा: परीक्षणों में, इस पद्धति ने पुराने तरीकों की तुलना में, जो चीजों को समान रूप से काटते थे, मॉडल की "भ्रम की स्थिति" (परप्लेक्सिटी) को 50% तक कम कर दिया। यह बिना दोबारा ट्यून किए विभिन्न प्रकार के मॉडल्स (जैसे Llama 2 और Llama 3) पर काम करता है।

4. फाइन-ट्यूनिंग फिक्स: "रैंक-प्रिजर्विंग" (रैंक बनाए रखना)

आमतौर पर, मॉडल को छोटा करने के बाद, आप उसे "फाइन-ट्यून" (नई चीजें सिखाना) करना चाहते हैं। लेकिन इन संकुचित मॉडल्स के साथ, मानक शिक्षण विधियाँ मॉडल को खराब कर देती हैं या आपको इसे फिर से बनाने के लिए मजबूर करती हैं, जिससे जानकारी खो जाती है।

लेखकों ने रैंक-प्रिजर्विंग फाइन-ट्यूनिंग (RPFT) पेश की है।

उपमा: कल्पना कीजिए कि आपके पास एक संकुचित सूटकेस है। आमतौर पर, नए कपड़े जोड़ने के लिए, आपको पूरा सूटकेस खोलना पड़ता है, कपड़े जोड़ने होते हैं, और फिर उसे वापस भरने की कोशिश करनी पड़ती है, जिसमें अक्सर चीजें खो जाती हैं।
UniRank का तरीका: वे सूटकेस के अंदर कुछ "लचीली जेबें" खुली छोड़ देते हैं। आप उन जेबों में सीधे नए कपड़े (नया ज्ञान) रख सकते हैं बिना पूरे सूटकेस को खोले या मूल वस्तुओं को खोए। यह मॉडल को बिना बड़ा हुए या अपने संकुचित आकार को खोए हुए नए कार्यों को कुशलतापूर्वक सीखने की अनुमति देता है।

दावों का सारांश

भारी प्रशिक्षण की आवश्यकता नहीं: सॉर्टिंग प्रक्रिया में कंप्यूटर का केवल लगभग 2 मिनट का समय लगता है, जबकि अन्य तरीकों में घंटों या दिन लगते हैं।
बेहतर प्रदर्शन: यह अन्य संपीड़न (compression) विधियों की तुलना में मॉडल को अधिक स्मार्ट बनाए रखता है, भले ही अतिरिक्त प्रशिक्षण न दिया गया हो।
प्लग-एंड-प्ले: यह मॉडल्स को कंप्रेस करने के लगभग किसी भी मौजूदा तरीके के साथ काम करता है।
सूचना की हानि नहीं: नया फाइन-ट्यूनिंग तरीका यह सुनिश्चित करता है कि जब मॉडल सीखता है, तो वह अनजाने में अपने पास मौजूद डेटा को नहीं फेंकता है।

संक्षेप में, UniRank एक विशाल AI मस्तिष्क को छोटा करने का एक स्मार्ट, तेज़ और कोमल तरीका है, जो सबसे महत्वपूर्ण न्यूरॉन्स को सक्रिय रखते हुए उन न्यूरॉन्स को बंद कर देता है जो बहुत कम काम कर रहे हैं।

तकनीकी सारांश: UniRank: लो-रैंक LLM कंप्रेशन के लिए एकीकृत रैंक आवंटन (Unified Rank Allocation for Low-Rank LLM Compression)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को महत्वपूर्ण इंफरेंस लागतों का सामना करना पड़ता है जो उनके व्यावहारिक परिनियोजन (deployment) में बाधा डालते हैं। जबकि लो-रैंक डिकंपोजिशन (low-rank decomposition) एक सघन कंपोजिट मॉड्यूल द्वारा बड़े लीनियर ट्रांसफॉर्मेशन को बदलने वाले एक आशाजनक स्ट्रक्चर्ड कंप्रेशन प्रतिमान (paradigm) के रूप में प्रस्ताव देता है, एक महत्वपूर्ण बाधा बनी हुई है: रैंक आवंटन (rank allocation)।

प्रत्येक वेट मैट्रिक्स के लिए कितने सिंगुलर घटकों (singular components) को बनाए रखा जाना चाहिए, यह निर्धारित करने के लिए मौजूदा रणनीतियाँ तीन मुख्य सीमाओं से ग्रस्त हैं:

यूनिफॉर्म एलोकेशन (Uniform Allocation): सभी परतों को समान रैंक अनुपात आवंटित करता है, जो विभिन्न मापदंडों की विषम महत्वता (heterogeneous importance) की अनदेखी करता है।
ह्यूरिस्टिक एलोकेशन (Heuristic Allocation): मैन्युअल रूप से डिज़ाइन किए गए आर्किटेक्चरल या सांख्यिकीय नियमों (जैसे, $W_v$ या $W_o$ जैसे विशिष्ट मैट्रिसेस को अधिक रैंक देना) पर निर्भर करता है। इनमें विभिन्न मॉडल आर्किटेक्चर (जैसे, Llama2 बनाम Llama3) के बीच सामान्यीकरण (generalizability) का अभाव है।
लर्निंग-बेस्ड एलोकेशन (Learning-Based Allocation): रैंक चयन को एक निरंतर अनुकूलन (continuous optimization) समस्या के रूप में मानता है। हालांकि ये विधियाँ सूक्ष्म-स्तरीय मूल्यांकन में सक्षम हैं, लेकिन इनमें पर्याप्त प्रशिक्षण ओवरहेड होता है और ये इनिशियलाइजेशन के प्रति संवेदनशील होती हैं।

इसके अलावा, प्री-डीकंपोज्ड लो-रैंक मॉडल्स को लो-रैंक एडेप्टेशन (LoRA) के अनुकूल बनाने में एक महत्वपूर्ण दोष मौजूद है। पारंपरिक पाइपलाइनों में LoRA अपडेट को मर्ज करने के लिए फुल-रैंक मैट्रिसेस को पुनर्गठित करने, फिर पुनः डीकंपोज़ करने और पुनः ट्रंकेट करने की आवश्यकता होती है। यह प्रक्रिया अपरिहार्य सूचना हानि (information loss) और अतिरिक्त कम्प्यूटेशनल लागत का कारण बनती है।

2. कार्यप्रणाली (Methodology)

लेखक UniRank प्रस्तावित करते हैं, जो दो मुख्य घटकों वाला एक एकीकृत ढांचा है: रैंक आवंटन के लिए एक सॉर्टिंग-एंड-ट्रंकेशन (S&T) पाइपलाइन और अनुकूलन के लिए एक रैंक-प्रिजर्विंग फाइन-ट्यूनिंग (RPFT) योजना।

2.1 सॉर्टिंग-एंड-ट्रंकेशन (S&T)

S&T का मूल अंतर्दृष्टि यह है कि एक सिंगुलर वेक्टर का महत्व दो कारकों पर निर्भर करता है: स्थानीय संरचनात्मक महत्व (local structural significance) और वैश्विक कार्यात्मक महत्व (global functional importance)। यह विधि मॉडल के वेट मैट्रिसेस से प्राप्त सभी सिंगुलर वेक्टर्स पर एक वैश्विक सॉर्टिंग-एंड-ट्रंकेशन पाइपलाइन के रूप में रैंक आवंटन को तैयार करती है।

स्थानीय संरचनात्मक महत्व (Local Structural Significance): एककर्ट-यंग-मिरस्की (Eckart-Young-Mirsky) प्रमेय के आधार पर, यह मूल वेट मैट्रिक्स के पुनर्निर्माण में एक सिंगुलर घटक के योगदान को मापता है। इसे नॉर्मलाइज्ड स्क्वेर्ड सिंगुलर वैल्यू एनर्जी रेश्यो द्वारा क्वांटिफाई किया जाता है: $\sigma_i^2 / \|\Sigma\|_F^2$ ।
वैश्विक कार्यात्मक महत्व (Global Functional Importance): यह नेटवर्क के भीतर एक डीकंपोज्ड मॉड्यूल के कार्यात्मक महत्व का मूल्यांकन करता है। आधुनिक प्री-नॉर्म LLMs ( $Y = X + f(X)$ $Y = X + f (X)$ ) की रेसिडुअल आर्किटेक्चर और स्केल-इनवेरिएंट नॉर्मलाइजेशन (जैसे, RMSNorm) का लाभ उठाते हुए, लेखक तर्क देते हैं कि उच्च इनपुट-आउटपुट कोसाइन सिमिलैरिटी कम प्रभावी रैंक (ट्रांसफॉर्मेशन या तो नगण्य है या इनपुट के साथ रैखिक रूप से सह-संबंधित है) को दर्शाती है।
- मीट्रिक: $I_l = 1 - \mathbb{E}_{x \sim D_c}[\cos(f_{l-1}(x), f_l(x))]$ ।
- लेखक इस कोसाइन सिमिलैरिटी मीट्रिक और रैंक ट्रंकेशन के कारण होने वाली प्रदर्शन गिरावट के बीच एक मजबूत रैखिक सहसंबंध (पियर्सन $r \approx 0.88$ ) को प्रमाणित करते हैं।

एग्रीगेशन और ट्रंकेशन (Aggregation and Truncation):
इन दोनों मीट्रिक्स को लेयर $l$ में $i$ -वें सिंगुलर ट्रिपलेट के लिए एक एकल महत्व स्कोर में एकीकृत किया जाता है:
$s_{l,i} = I_l \cdot \frac{\sigma_{l,i}^2}{\|\Sigma_l\|_F^2}$
नेटवर्क में सभी स्कोर को एकत्रित किया जाता है और अवरोही क्रम (descending order) में सॉर्ट किया जाता है। इसके बाद एक एक्युमुलेटिव रैंक प्रिजर्वेशन (accumulative rank preservation) रणनीति अपनाई जाती है: सिंगुलर वेक्टर जोड़ों को पुनरावृत्ति (iteratively) के माध्यम से तब तक चुना जाता है जब तक कि कुल पैरामीटर खपत सटीक रूप से पूर्व-निर्धारित स्पैरसिटी बजट तक नहीं पहुँच जाती। यह विभिन्न आयामों वाले मैट्रिसेस में एक सिंगुलर पेयर को बनाए रखने की परिवर्तनशील पैरामीटर लागत ( $m+n$ पैरामीटर्स) को ध्यान में रखता है।

2.2 रैंक-प्रिजर्विंग फाइन-ट्यूनिंग (RPFT)

लो-रैंक वेट्स के साथ मानक LoRA एकीकरण में सूचना हानि को संबोधित करने के लिए, UniRank RPFT पेश करता है।

तंत्र (Mechanism): LoRA को फुल-रैंक मैट्रिक्स में मर्ज करने और फिर से डीकंपोज़ करने के बजाय, RPFT आवंटित रैंक $k$ को एक ट्यूनेबल भाग ( $k_{LoRA}$ ) और एक फ्रोजन भाग ( $k - k_{LoRA}$ ) में विभाजित करता है।
प्रक्रिया: ट्यूनेबल सिंगुलर वेक्टर्स (आमतौर पर एक छोटी संख्या, जैसे, 8 या 16, जिनका महत्व स्कोर कम है) को सीधे ऑप्टिमाइज़ किया जाता है। फ्रोजन वेक्टर्स स्थिर रहते हैं।
लाभ: यह डिज़ाइन पुन: डीकंपोज़िशन और पुन: ट्रंकेशन की आवश्यकता को समाप्त करता है, जिससे यह सुनिश्चित होता है कि प्रभावी रैंक आवंटित बजट द्वारा सख्ती से सीमित रहे और सूचना हानि को रोका जा सके।

3. मुख्य योगदान (Key Contributions)

ग्लोबल रैंक एलोकेशन फ्रेमवर्क: एक कम लागत वाला, प्लग-एंड-प्ले सॉर्टिंग-एंड-ट्रंकेशन पाइपलाइन जो ग्लोबल फंक्शनल इम्पॉर्टेंस और लोकल सिंगुलर एनर्जी को संयोजित करने वाले एक एग्रीगेटेड मीट्रिक के माध्यम से लो-रैंक बजट असाइन करता है, जिससे मैन्युअल ह्यूरिस्टिक्स और भारी अनुकूलन को समाप्त किया जा सकता है।
ज्यामितीय और अनुभवजन्य सत्यापन (Geometric and Empirical Validation): पेपर एक ज्यामितीय व्याख्या और प्रयोगात्मक सत्यापन प्रदान करता है जो स्थापित करता है कि उच्च इनपुट-आउटपुट कोसाइन सिमिलैरिटी एक विश्वसनीय लो-इफेक्टिव रैंक संकेतक है, जो एक हल्का मानदंड प्रदान करता है।
रैंक-प्रिजर्विंग फाइन-ट्यूनिंग (RPFT): एक नया फाइन-ट्यूनिंग प्रतिमान जो रैंक इन्फ्लेशन या पुन: डीकंपोज़िशन लॉस के बिना प्री-डीकंपोज्ड फैक्टर मैट्रिसेस पर कुशल LoRA अपडेट का एकीकरण सक्षम करता है।
प्लग-एंड-प्ले वर्सेटिलिटी: यह फ्रेमवर्क बेस डीकंपोज़िशन मेथड से स्वतंत्र है, जो किसी भी SVD-आधारित कंप्रेस्ड मॉडल पर पोस्ट-हॉक लागू किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विविध आर्किटेक्चर (Llama2, Llama3) और स्केल्स (3B से 8B) पर रीजनिंग बेंचमार्क्स (BoolQ, PIQA, ARC, आदि) और लैंग्वेज मॉडलिंग (WikiText-2) पर प्रयोग किए गए।

जीरो-शॉट कंप्रेशन (Zero-Shot Compression): बिना किसी अतिरिक्त फाइन-ट्यूनिंग के, S&T ने विभिन्न डीकंपोज़िशन स्कीम्स (SVD, AFM, AWSVD) में यूनिफॉर्म और ह्यूरिस्टिक एलोकेशन बेसलाइन्स की तुलना में पर्प्लेक्सिटी (perplexity) को 50% तक कम कर दिया। उदाहरण के लिए, नेटिव वेट SVD पर, पर्प्लेक्सिटी 762.52 से गिरकर 291.48 हो गई।
पूर्ण प्रदर्शन (फाइन-ट्यूनिंग के साथ): Llama3.1-8B पर 25% स्पैरसिटी पर, UniRank ने औसत रीजनिंग सटीकता 66.0% प्राप्त की, जो LoRAP से 3.0% और ShortGPT से 4.0% अधिक है। इसने 10.22 की WikiText पर्प्लेक्सिटी प्राप्त की, जो केवल SliceGPT (9.22) से पीछे है।
मजबूती (Robustness): विधि ने 25% और 40% स्पैरसिटी स्तरों दोनों पर लगातार बेसलाइन्स को पछाड़ दिया। इसने विभिन्न डीकंपोज़िशन विधियों (SVD, AFM, AWSVD, Dobi) में मजबूत सामान्यीकरण प्रदर्शित किया, जबकि ह्यूरिस्टिक विधियों ने उन आर्किटेक्चर के मामले में गिरावट दिखाई जिनके लिए वे डिज़ाइन किए गए थे (जैसे, Llama2 बनाम Llama3)।
दक्षता (Efficiency):
- प्रशिक्षण ओवरहेड: रैंक आवंटन में केवल 2 मिनट लगते हैं। RPFT, LoRAP द्वारा आवश्यक 29-मिनट के पुन: डीकंपोज़िशन लागत से बचता है। Dobi जैसी लर्निंग-बेस्ड विधियों की तुलना में, UniRank रैंक लर्निंग चरण को 95% कम कर देता है।
- इंफरेंस: UniRank अन्य लो-रैंक विधियों के समान सैद्धांतिक जटिलता बनाए रखता है, जिसमें बेसलाइन्स के समान व्यावहारिक इंफरेंस त्वरण मिलता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि UniRank LLM इंफरेंस कंप्रेशन के लिए एक व्यावहारिक और सामान्यीकरण योग्य समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को पाटना (Bridging the Gap): यह व्यापक खोज (exhaustive search) की कम्प्यूटेशनल जटिलता या लर्निंग-बेस्ड चयन के ओवरहेड के बिना, डीकंपोज़िशन और रैंक आवंटन की जुड़ी हुई समस्याओं को हल करता है।
सूचना संरक्षण (Information Preservation): RPFT पेश करके, यह कंप्रेस्ड मॉडल्स पर फाइन-ट्यूनिंग के दौरान होने वाली सूचना हानि के महत्वपूर्ण मुद्दे को हल करता है, जो मौजूदा लो-रैंक पाइपलाइनों में अक्सर अनदेखा किया जाता है।
अनुकूलन क्षमता (Adaptability): यह विधि स्वचालित रूप से विभिन्न आर्किटेक्चर और डीकंपोज़िशन स्कीम्स के अनुकूल होती है, जिससे मॉडल-विशिष्ट मैन्युअल ट्यूनिंग की आवश्यकता समाप्त हो जाती है।

स्वीकृत सीमाएँ (Limitations Acknowledged):
लेखक नोट करते हैं कि विधि कठोर सैद्धांतिक त्रुटि विश्लेषण के बजाय ज्यामितीय अंतर्दृष्टि से व्युत्पन्न है। इसके अतिरिक्त, ग्लोबल फंक्शनल इम्पॉर्टेंस का मूल्यांकन मॉड्यूल स्तर पर किया जाता है न कि व्यक्तिगत पैरामीटर स्तर पर, जिससे कुछ महत्वपूर्ण मॉड्यूल के भीतर कुछ मामूली पैरामीटर्स अनप्रून्ड (unpruned) रह सकते हैं, जो संभावित रूप से प्रदर्शन की ऊपरी सीमा (performance ceiling) को सीमित कर सकता है। भविष्य का कार्य अधिक सूक्ष्म-स्तरीय (fine-grained) कंप्रेशन सिद्धांतों की खोज करना है।