🤖 machine learning

Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression

यह शोध पत्र एक नवीन भाषा मॉडल संपीड़न ढांचा प्रस्तावित करता है जो न्यूरॉन महत्व को डेटा-जागरूक लो-रैंक सन्निकटन (low-rank approximation) के साथ एकीकृत करता है और गतिशील संपीड़न दर आवंटन के लिए एक कुशल एल्गोरिदम पेश करता है, जिससे विशेष रूप से उच्च संपीड़न अनुपातों के तहत अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Athanasios Ntovas, Alexandros Doumanoglou, Petros Drakoulis, Dimitris Zarpalas

प्रकाशित 2026-07-22

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Athanasios Ntovas, Alexandros Doumanoglou, Petros Drakoulis, Dimitris Zarpalas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ विशाल, सुपर-स्मार्ट रोबोटों द्वारा किताबें लिखी जा रही हैं। ये रोबोट, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, मानव भाषा को समझने, कहानियाँ लिखने और समस्याओं को हल करने में अविश्वसनीय हैं। लेकिन इसमें एक पेंच है: इतना स्मार्ट होने के लिए, इन रोबोटों की जेबों में अरबों छोटी-छोटी टिप्पणियाँ (notes) होती हैं, जो उन्हें अविश्वसनीय रूप से भारी बनाती हैं। इन भारी रोबोटों को स्मार्टफोन या स्मार्टवॉच जैसे छोटे डिवाइस पर चलाना, एक पूरे पुस्तकालय को अपने बैकपैक में ले जाने जैसा है; यह बहुत अधिक वजन है और इससे बैटरी तुरंत खत्म हो जाएगी। वैज्ञानिक इन रोबलों को बिना कुछ भुलाए छोटा करने का तरीका खोजने की कोशिश कर रहे हैं।

इसे करने के लिए, शोधकर्ता "सिंगुलर वैल्यू डिकंपोजिशन" (SVD) नामक एक गणितीय ट्रिक का उपयोग करते हैं। SVD को एक विशाल, बिखरी हुई नोट्स के ढेर को व्यवस्थित करके एक छोटा, सुव्यवस्थित ढेर बनाने के रूप में समझें जो अभी भी वही कहानी बताता है। यह एक 500 पन्नों के उपन्यास को 50 पन्नों की रूपरेखा में संक्षिप्त करने जैसा है जिसमें सभी महत्वपूर्ण कथानक बिंदु सुरक्षित रहते हैं। एक अन्य विचार है "न्यूरॉन महत्व" (neuron importance), जो यह पूछने जैसा है कि, "इस ढेर में कौन सी टिप्पणियाँ वास्तव में कहानी के लिए मायने रखती हैं, और हम किसे फेंक सकते हैं?" इसके अलावा, सवाल यह भी है कि रोबोट के विभिन्न हिस्सों को कैसे छोटा किया जाए। क्या हमें हर हिस्से को समान मात्रा में छोटा करना चाहिए, या हमें अधिक स्मार्ट होकर उन हिस्सों को अधिक आक्रामक रूप से छोटा करना चाहिए जो कम महत्वपूर्ण हैं?

यह पेपर NIDA-SVD नामक एक नई विधि पेश करता है जो एक परम लाइब्रेरियन बनने की कोशिश करती है। केवल नोट्स का सारांश निकालने या केवल "अमहत्वपूर्ण" चीजों को फेंकने के बजाय, यह दोनों विचारों को एक चतुर तरीके से जोड़ती है। शोधकर्ताओं ने पाया कि केवल पुराने तरीकों को मिलाने से काम नहीं बना, बल्कि मॉडल के "मस्तिष्क कोशिकाओं" (न्यूरॉन्स) के कहानी के प्रति व्यवहार को देखकर, वे मॉडल को बहुत अधिक प्रभावी ढंग से छोटा कर सकते हैं। उन्होंने यह भी खोजा कि मशीन की गहराई के आधार पर मॉडल को परत-दर-परत (layer-by-layer) छोटा करना, भागों को उनके काम के आधार पर समूहबद्ध करने की तुलना में बेहतर काम करता है। जब उन्होंने BERT, DistilBERT और TinyBERT जैसे मॉडल्स पर इसका परीक्षण किया, तो उनकी नई विधि ने मॉडल की बुद्धिमत्ता को लगभग बरकरार रखते हुए उसे आधा या उससे भी अधिक छोटा कर दिया, जो पिछले तरीकों से बेहतर प्रदर्शन करती है।

भारी बैकपैक की समस्या

लार्ज लैंग्वेज मॉडल्स आधुनिक AI के सितारे हैं, जो हमसे बातचीत करने और हमारी दुनिया को समझने में सक्षम हैं। लेकिन इतना स्मार्ट होने के लिए, वे अरबों पैरामीटर्स के साथ बनाए जाते हैं—इन्हें एक विशाल दीवार में व्यक्तिगत ईंटों के रूप में समझें। समस्या यह है कि यह दीवार इतनी भारी है कि यह फोन या लैपटॉप जैसे छोटे उपकरणों में फिट नहीं हो सकती। वैज्ञानिक इन मॉडल्स को कंप्रेस (छोटा) करना चाहते हैं, जिससे उनकी बुद्धिमत्ता खोए बिना उन्हें छोटा और तेज़ बनाया जा सके।

पुराने उपकरण: सारांश और छँटाई

इन मॉडल्स को छोटा करने के लिए, शोधकर्ताओं ने दो मुख्य उपकरणों का उपयोग किया है। पहला है SVD, जो एक गणितीय विधि है जो एक सुपर-एफिशिएंट समराइज़र (सारांश देने वाला) के रूप में कार्य करती है। यह एक विशाल मैट्रिक्स (संख्याओं का ग्रिड) लेता है और इसे एक छोटे संस्करण में तोड़ देता है जो अभी भी सबसे महत्वपूर्ण जानकारी रखता है, बाकी को हटा देता है। दूसरा उपकरण है न्यूरॉन महत्व, जो यह पता लगाने की कोशिश करता है कि ग्रिड में कौन सी विशिष्ट संख्याएँ शो की "स्टार" हैं। यदि कोई संख्या अंतिम उत्तर में बहुत कम योगदान देती है, तो वह हटाने के लिए एक उम्मीदवार है।

पहले, वैज्ञानिकों ने इन उपकरणों का अलग-अलग उपयोग किया। कुछ ने डेटा के आधार पर डेटा को संक्षिप्त करने (data-aware) पर ध्यान केंद्रित किया, जबकि अन्य ने इस पर ध्यान केंद्रित किया कि अंतिम परिणाम के लिए प्रत्येक विशिष्ट संख्या कितनी महत्वपूर्ण थी (parameter importance)। हालाँकि, इस पेपर के लेखकों ने देखा कि केवल इन दो पुराने तरीकों को मिलाने से काम नहीं बना; वास्तव में इसने मॉडल्स को कम बुद्धिमान बना दिया।

नया समाधान: NIDA-SVD

लेखक NIDA-SVD (न्यूरॉन इम्पॉर्टेंस ड्रिवन डेटा-अवेयर SVD) नामक एक नया दृष्टिकोण प्रस्तावित करते हैं। व्यक्तिगत संख्याओं को यह तय करने के लिए देखने के बजाय कि क्या रखना है, वे न्यूरॉन्स (संख्याओं के कार्यात्मक समूह) को देखते हैं और पूछते हैं: "इस न्यूरॉन का आउटपुट अंतिम कार्य के लिए कितना महत्वपूर्ण है?"

कल्प hãng करें कि आप एक फिल्म एडिट कर रहे हैं। पुराना तरीका हर एक फ्रेम को देखना और यह तय करना था कि क्या महत्वपूर्ण है। नया तरीका दृश्यों को देखना और पूछना है, "क्या यह दृश्य कथानक को आगे बढ़ाता है?" यदि कोई दृश्य महत्वपूर्ण है, तो आप उसे विस्तृत रखते हैं; यदि वह केवल फालतू है, तो आप उसे काट देते हैं। केवल कच्चे नंबरों के बजाय न्यूरॉन के आउटपुट के महत्व पर ध्यान केंद्रित करके, यह नई विधि मॉडल के आकार को भारी रूप से कम करने के बावजूद प्रदर्शन को उच्च बनाए रखती है।

स्मार्ट श्रिंक: डायनेमिक रैंक एलोकेशन

यह पेपर दूसरी समस्या का भी समाधान करता है: यह कैसे तय किया जाए कि मॉडल के प्रत्येक भाग को कितना छोटा किया जाए। अतीत में, लोग अक्सर हर भाग को समान मात्रा में छोटा करते थे (यूनिफॉर्म एलोकेशन) या भागों को उनके काम के आधार पर समूहबद्ध करते थे (जैसे सभी "अटेंशन" भाग एक साथ)। लेखक तर्क देते हैं कि यह बहुत कठोर है।

उन्होंने पाया कि मॉडल के विभिन्न परतों (layers) की अलग-अलग ज़रूरतें होती हैं। कुछ परतें एक इमारत की नींव की तरह होती हैं; यदि आप उन्हें बहुत अधिक छोटा करते हैं, तो पूरी संरचना ढह जाती है। अन्य दीवारों पर पेंट की तरह होती हैं; उन्हें घर को खराब किए बिना अधिक सरल बनाया जा सकता है। लेखकों ने एक डायनेमिक रैंक एलोकेशन एल्गोरिदम विकसित किया जो मॉडल को उसकी गहराई सूचकांक (depth index) के आधार पर परत-दर-परत देखता है और प्रत्येक को एक विशिष्ट "श्रिंकेज लिमिट" आवंटित करता है। यह सुनिश्चित करता है कि सबसे संवेदनशील परतों को अधिक स्थान मिले, जबकि कम संवेदनशील परतों को अधिक दबाया जाए।

परिणाम: छोटे, तेज़ और स्मार्ट

शोधकर्ताओं ने BERT, DistilBERT, MobileBERT और TinyBERT सहित कई लोकप्रिय मॉडल्स पर अपने तरीके का परीक्षण किया। उन्होंने विभिन्न कार्यों जैसे वाक्यों को समझने और प्रश्नों के उत्तर देने के लिए NIDA-SVD की तुलना वर्तमान सर्वोत्तम तरीकों (जैसे SVD-LLMv2) से की।

परिणाम प्रभावशाली थे। मानक BERT मॉडल पर किए गए परीक्षणों में से 87.5% में, NIDA-SVD ने पिछले स्टेट-ऑफ-द-आर्ट से बेहतर प्रदर्शन किया। उच्च कंप्रेशन दरों (जब मॉडल को बहुत छोटा किया जाता है) पर अंतर और भी नाटकीय था। उदाहरण के लिए, मॉडल को 50% कंप्रेस करने पर (केवल आधे पैरामीटर्स रखने पर), NIDA-SVD ने पुराने तरीकों की तुलना में कुछ कार्यों पर प्रदर्शन में 6.41% तक सुधार किया।

TinyBERT जैसे सबसे छोटे मॉडल्स पर भी, जो पहले से ही बहुत कॉम्पैक्ट है, नए तरीके ने अपनी पकड़ बनाए रखी। चूंकि TinyBERT इतना छोटा है कि उसे और छोटा करने से वह आमतौर पर विफल हो जाता है, NIDA-SVD ने इसे 30% (14.3 मिलियन पैरामीटर्स से 10.0 मिलियन तक) कंप्रेस करने में सफलता प्राप्त की और फिर भी मजबूत प्रदर्शन बनाए रखा। वास्तव में, TinyBERT के लिए 94% परीक्षणों में, नया तरीका श्रेष्ठ था।

लागत के बिना दक्षता

कोई यह चिंता कर सकता है कि इतना स्मार्ट होने के लिए अतिरिक्त कंप्यूटिंग पावर की आवश्यकता होगी। हालाँकि, लेखक दिखाते हैं कि उनका तरीका दूसरों के समान ही तेज़ है। क्योंकि कुल पैरामीटर्स की संख्या समान है (क्योंकि वे एक ही कंप्रेशन अनुपात का लक्ष्य रख रहे हैं), कम्प्यूटेशनल लागत (MFLOPS/token में मापी गई) लगभग समान है। "जादू" अधिक काम करने में नहीं है; यह काम को स्मार्ट तरीके से वितरित करने में है।

उदाहरण के लिए, एक DistilBERT मॉडल पर, 50% कंप्रेस करने से कम्प्यूटेशनल लागत 86 MFLOPS/token से घटकर लगभग 19 MFLOPS/token हो गई। TinyBERT पर, आकार में 30% की कमी से कम्प्यूटेशनल लागत में 90% की भारी गिरावट आई, जो घटकर 1 MFLOP/token से भी कम हो गई।

निष्कर्ष

संक्षेप में, यह पेपर सुझाव देता है कि AI मॉडल्स को प्रभावी ढंग से छोटा करने के लिए, हमें केवल कच्चे नंबरों को नहीं देखना चाहिए या मॉडल के हर हिस्से के साथ एक जैसा व्यवहार नहीं करना चाहिए। इसके बजाय, हमें यह समझना चाहिए कि कौन सी "मस्तिष्क कोशिकाएं" भारी काम कर रही हैं और मॉडल को परत-दर-परत इस आधार पर छोटा करना चाहिए कि प्रत्येक परत कितना भार संभाल सकती है। लेखकों की नई विधि, NIDA-SVD, यह सिद्ध करती है कि यह दृष्टिकोण हमें इन विशाल, स्मार्ट रोबोटों को उनके सबक भुलाए बिना छोटे बैकपैक में फिट करने की अनुमति देता है, जिससे हमारे रोजमर्रा के उपकरणों पर शक्तिशाली AI के लिए मार्ग प्रशस्त होता है।

तकनीकी सारांश: क्या महत्वपूर्ण है उसे संकुचित करना (NIDA-SVD)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से ट्रांसफॉर्मर आर्किटेक्चर पर आधारित, अरबों पैरामीटर्स के माध्यम से उच्च प्रदर्शन प्राप्त करते हैं, जिसके परिणामस्वरूप अत्यधिक मेमोरी और कम्प्यूटेशनल आवश्यकताएं होती हैं। यह उन्हें एज डिवाइसेस और स्मार्टफोन जैसे संसाधन-सीमित वातावरण में तैनाती के लिए प्रतिबंधित करता है। जबकि सिंगुलर वैल्यू डिकम्पोजिशन (SVD) लो-रैंक एप्रोक्सिमेशन के माध्यम से मैट्रिक्स कंप्रेशन के लिए एक मौलिक उपकरण रहा है, मौजूदा विधियां दो प्राथमिक सीमाओं का सामना करती हैं:

पृथक दृष्टिकोण (Isolated Perspectives): पिछले कार्यों ने या तो पैरामीटर महत्व (जैसे, FWSVD, जो कार्य हानि (task loss) पर उनके प्रभाव के आधार पर पैरामीटर्स को वेट देता है) या डेटा-अवेयर फंक्शनल इक्विवेलेंस (जैसे, SVD-LLMv2, जो कैलिब्रेशन डेटा का उपयोग करके लेयर आउटपुट्स में त्रुटियों को कम करता है) पर ध्यान केंद्रित किया है। इन दृष्टिकोणों का अध्ययन अलग-अलग किया गया है, और इन्हें सहजता से मिलाने से प्रदर्शन में गिरावट आती है।
उप-इष्टतम रैंक आवंटन (Suboptimal Rank Allocation): नेटवर्क में कंप्रेशन रेट (रैंक) को वितरित करने को अक्सर यूनिफॉर्म एलोकेशन या कम्प्यूटेशनल रूप से महंगे ह्यूरिस्टिक सर्च के माध्यम से संभाला जाता है। मौजूदा डेटा-अवेयर विधियां (जैसे, SVD-LLMv2) वेट्स को कार्यात्मक भूमिका (functional role) के आधार पर समूहबद्ध करती हैं (जैसे, सभी क्वेरी मैट्रिसेस को एक साथ), जो एक ही कार्यात्मक समूह के भीतर विभिन्न परतों की परिवर्तनशील संवेदनशीलता (sensitivity) को ध्यान में नहीं रख सकती हैं।

कार्यप्रणाली: NIDA-SVD

लेखक NIDA-SVD (न्यूरॉन इम्पॉर्टेंस ड्रिवन डेटा-अवेयर SVD) प्रस्तावित करते हैं, जो एक पोस्ट-ट्रेनिंग कंप्रेशन पाइपलाइन है जो डायनेमिक रैंक एलोकेशन स्कीम द्वारा निर्देशित, न्यूरॉन महत्व को डेटा-अवेयर लो-रैंक एप्रोक्सिमेशन के साथ जोड़ती है।

1. न्यूरॉन महत्व (NI) अनुमान

व्यक्तिगत पैरामीटर्स के महत्व का अनुमान लगाने के बजाय (जैसा कि FWSVD में है), प्रस्तावित विधि न्यूरॉन आउटपुट्स (प्री-एक्टिवेशन्स) के महत्व का अनुमान लगाती है।

तंत्र (Mechanism): विधि न्यूरॉन के वेट्स ( $w_{ij}$ ) के बजाय न्यूरॉन के आउटपुट प्री-एक्टिवेशन ( $y_{ij}$ ) के संबंध में फिशर इंफॉर्मेशन की गणना करती है।
गणना: एक डेटासेट $D$ के लिए, $i$ -वें न्यूरॉन का महत्व $y_{ij}$ के सापेक्ष टास्क लॉस $L$ के स्क्वायर्ड पार्शियल डेरिवेटिव्स को एग्रीगेट करके प्राप्त किया जाता है:
$\hat{I}_i = \sqrt{\frac{1}{|D|} \sum_{k=1}^{|D|} \mathbb{E}_j \left[ \left( \frac{\partial L(y_{ij}(d_k))}{\partial y_{ij}} \right)^2 \right]}$
एकीकरण: इस महत्व मैट्रिक्स $\hat{I}$ को लो-रैंक एप्रोक्सिमेशन ऑब्जेक्टिव में एकीकृत किया जाता है। लक्ष्य लेयर के आउटपुट के वेटेड रिकंस्ट्रक्शन एरर को कम करना है: $\min_{W'} \| \hat{I}WX - \hat{I}W'X \|_F$ ।
एल्गोरिदम: लेखक इस वेटेड लॉस को कम करने के लिए इष्टतम लो-रैंक फैक्टर्स $A$ और $B$ के लिए एक क्लोज्ड-फॉर्म सॉल्यूशन (थ्योरम 1) प्रदान करते हैं, जो SVD-LLMv2 एल्गोरिदम का सामान्यीकरण करता है।

2. डेटा-अवेयर लो-रैंक एप्रोक्सिमेशन

यह विधि न्यूरॉन महत्व मैट्रिक्स को शामिल करने के लिए अनुकूलित दो-चरणीय SVD प्रक्रिया का उपयोग करती है:

इनपुट एक्टिवेशन्स $X$ से एक कोवेरिएंस मैट्रिक्स $S = XX^T$ का निर्माण करें।
$U_s, S_s, V_s$ प्राप्त करने के लिए $S$ पर SVD करें।
एक मैट्रिक्स $D = \hat{I} W U_s \sqrt{S_s}$ का निर्माण करें।
$D$ पर SVD करें और लक्षित रैंक $R$ तक ट्रंकेट करें।
संकुचित वेट मैट्रिक्स $W' = AB$ को पुनर्गठित करें।

3. डायनेमिक रैंक एलोकेशन (लेयर-इंडेक्स आधारित)

यह पेपर नेटवर्क में रैंक आवंटित करने के लिए एक कम्प्यूटेशनल रूप से कुशल एल्गोरिदम पेश करता है, जो कार्यात्मक भूमिका (जैसे, $W_Q$ मैट्रिसेस) के आधार पर समूहबद्ध करने के बजाय लेयर इंडेक्स के आधार पर समूहबद्ध करने की ओर बढ़ता है।

ग्रुपिंग स्ट्रैटेजी: एक विशिष्ट ट्रांसफॉर्मर लेयर (जैसे, लेयर $l$ के $W_Q, W_K, W_V, W_a, W_u, W_d$ ) के भीतर सभी वेट मैट्रिसेस को एक एकल समूह के रूप में माना जाता है।
सेंसिटिविटी प्रॉक्सी: एल्गोरिदम प्रत्येक मैट्रिक्स के लिए एक यूनिफॉर्म रैंक धारणा के तहत एक "सैद्धांतिक हानि" (theoretical loss) की गणना करता है ताकि रैंक रिडक्शन के प्रति उसकी संवेदनशीलता निर्धारित की जा सके।
एलोकेशन: रैंकों को नॉर्मलाइज्ड थ्योरेटिकल लॉस के आनुपातिक रूप से वितरित किया जाता है। वे लेयर्स जिन्हें अधिक संवेदनशील माना जाता है, उन्हें उच्च रैंक प्राप्त होते हैं।
रिफाइनमेंट: एक इटरेटिव रिफाइनमेंट लूप पूर्णांक रैंकों (integer ranks) को एडजस्ट करता है ताकि कुल पैरामीटर काउंट वैश्विक कंप्रेशन टारगेट को सख्ती से पूरा करे, जिससे व्यापक खोज (exhaustive search) की आवश्यकता नहीं रहती।

मुख्य योगदान

हाइब्रिड कंप्रेशन फ्रेमवर्क: पेपर पैरामीटर महत्व और डेटा-अवेयर एप्रोक्सिमेशन के बीच के अंतर को संबोधित करता है। यह प्रदर्शित करता है कि FWSVD (पैरामीटर महत्व) को SVD-LLMv2 (डेटा-अवेयर एप्रोक्सिमेशन) के साथ सहजता से मिलाने से प्रदर्शन में गिरावट आती है, जबकि न्यूरॉन महत्व (फंक्शनल ग्रुप्स) का उपयोग करने से पर्याप्त सुधार होता है।
लेयर-इंडेक्स रैंक एलोकेशन: लेखक यह दिखाने के लिए एक कुशल एल्गोरिदम प्रदान करते हैं कि कार्यात्मक भूमिका के आधार पर समूहबद्ध करने की तुलना में लेयर डेप्थ के आधार पर समूहबद्ध करना अधिक प्रभावी है। यह रणनीति नेटवर्क की संवेदनशीलता में अंतर्निहित विषमता (heterogeneity) को बेहतर ढंग से कैप्चर करती है।
कम्प्यूटेशनल दक्षता: प्रस्तावित रैंक एलोकेशन एल्गोरिदम कम्प्यूटेशनल रूप से कुशल है, जो इष्टतम एलोकेशन के लिए आवश्यक व्यापक खोज से बचता है और पिछले ह्यूरिस्टिक दृष्टिकोणों से बेहतर प्रदर्शन करता है।
पोस्ट-ट्रेनिंग फोकस: यह विधि बिना फाइन-ट्यूनिंग (जीरो-शॉट कंप्रेशन) के काम करने के लिए डिज़ाइन की गई है, हालांकि यह फाइन-ट्यूनिंग लागू होने पर भी मजबूत बनी रहती है।

प्रयोगात्मक परिणाम

NIDA-SVD का मूल्यांकन GLUE बेंचमार्क पर BERT, DistilBERT, MobileBERT और TinyBERT पर किया गया।

स्टेट-ऑफ-द-आर्ट के विरुद्ध प्रदर्शन:
- BERT पर, NIDA-SVD ने यूनिफॉर्म एलोकेशन के तहत SVD, FWSVD और SVD-LLMv2 की तुलना में 87.5% मामलों (35/40) में स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया। जब सीधे SVD-LLMv2 (इसके अपने रोल-बेस्ड एलोकेशन का उपयोग करते हुए) के विरुद्ध तुलना की गई, तो NIDA-SVD (इंडेक्स-बेस्ड एलोकेशन का उपयोग करते हुए) ने 85% मामलों में बेहतर प्रदर्शन किया, जिसमें उच्च कंप्रेशन रेश्यो (जैसे, 50% कंप्रेशन पर CoLA पर +4.41%) पर महत्वपूर्ण लाभ देखा गया।
- DistilBERT पर, NIDA-SVD ने 92% मामलों में SVD-LLMv2 को पछाड़ा।
- MobileBERT और TinyBERT पर, NIDA-SVD ने मजबूत लाभ दिखाया, क्रमशः 84% और 94.4% मामलों में SVD-LLMv2 से बेहतर प्रदर्शन किया।
एब्लेशन स्टडीज (Ablation Studies):
- न्यूरॉन बनाम पैरामीटर महत्व: न्यूरॉन महत्व (NI) का उपयोग करना 95% मामलों में पैरामीटर महत्व (PI) से बेहतर था। PI का उपयोग करने से अक्सर बेसलाइन SVD-LLMv2 से भी खराब प्रदर्शन हुआ।
- रैंक एलोकेशन: इंडेक्स-बेस्ड एलोकेशन ने SVD-LLMv2 के लिए रोल-बेस्ड एलोकेशन में 67.5% और NIDA-SVD के लिए 70% मामलों में बेहतर प्रदर्शन किया।
दक्षता:
- कंप्रेशन ने DistilBERT पैरामीटर्स को 66.9M से घटाकर ~33.4M (50% कमी) और MobileBERT को 24.5M से ~12.1M कर दिया।
- कम्प्यूटेशनल लागत (MFLOPS/token) काफी कम हो गई (जैसे, DistilBERT ~86 से ~19 MFLOPS/token, लगभग 4.5x स्पीडअप)।
- NIDA-SVD और SVD-LLMv2 ने लगभग समान पैरामीटर काउंट और MFLOPS/token मान प्राप्त किए, जिससे पुष्टि होती है कि प्रदर्शन में वृद्धि स्मार्ट रैंक वितरण से आती है, न कि बढ़ी हुई कम्प्यूटेशनल लागत से।

महत्व और दावे

पेपर का दावा है कि NIDA-SVD LLMs के लिए एक मजबूत और बहुमुखी कंप्रेशन समाधान स्थापित करता है। इसका प्राथमिक महत्व यह प्रदर्शित करना है कि न्यूरॉन-लेवल इम्पोरटेंस एस्टीमेशन को डेटा-अवेयर एप्रोक्सिमेशन और लेयर-इंडेक्स-बेस्ड रैंक एलोकेशन के साथ जोड़ने से मौजूदा स्टेट-ऑफ-द-आर्ट विधियों, विशेष रूप से उच्च कंप्रेशन रेश्यो के तहत, काफी बेहतर प्रदर्शन मिलता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण महंगी रिट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता के बिना, बड़े पैमाने के भाषा मॉडलों को संसाधन-सीमित सेटअप में कुशलतापूर्वक तैनात करने की अनुमति देता है, जबकि पिछले SVD-आधारित तकनीकों की तुलना में डाउनस्ट्रीम टास्क प्रदर्शन को बनाए रखता है या काफी सुधारता है। यह कार्य सुझाव देता है कि "फंक्शनल इक्विवेलेंस" का दृष्टिकोण, जब इसे पैरामीटर महत्व के बजाय न्यूरॉन महत्व के आधार पर वेट किया जाता है, प्रभावी कंप्रेशन की कुंजी है।