💬 NLP

SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression

SVD-Surgeon एक प्रशिक्षण-मुक्त (training-free) विधि है जो सिंगुलर वैल्यूज पर ऑप्टिमल ब्रेन सर्जन फ्रेमवर्क को लागू करके मौजूदा लो-रैंक LLM संपीड़न (compression) को बेहतर बनाती है, जिससे बिना पुन: प्रशिक्षण के परप्लेक्सिटी-कंप्रेशन ट्रेड-ऑफ को सुधारने के लिए सेकंड-ऑर्डर लॉस कंपनसेशन और सैलिएंसी-आधारित प्रूनिंग सक्षम होती है।

मूल लेखक: Mahmoud Safari, Frank Hutter

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mahmoud Safari, Frank Hutter

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से विस्तृत पेंटिंग है (एक लार्ज लैंग्वेज मॉडल) जो इतनी बड़ी है कि आपके बैकपैक में नहीं आ सकती। आपको इसे सिकोड़ना (shrink) होगा ताकि आप इसे अपने साथ ले जा सकें, लेकिन आप चाहते हैं कि चित्र जितना संभव हो सके उतना अच्छा दिखे।

यह पेपर एक नया टूल पेश करता है जिसे SVD-Surgeon कहा जाता है, जो इन AI मॉडल्स को बिना चित्र बिगाड़े सिकोड़ने में मदद करता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: "नाइव" (Naive) संकुचन

आमतौर पर, जब लोग इन मॉडल्स को सिकोड़ने की कोशिश करते हैं, तो वे SVD (सिंगुलर वैल्यू डिकम्पोजिशन) नामक विधि का उपयोग करते हैं। मॉडल के मस्तिष्क को संख्याओं के एक विशाल स्प्रेडशीट की तरह समझें। SVD इस स्प्रेडशीट को "महत्व स्कोर" (सिंगुलर वैल्यूज) की एक सूची में तोड़ देता है।

पुराना तरीका मॉडल को सिकोड़ने के लिए एक आलसी संपादक की तरह है: "चलो, लिस्ट के निचले 50% हिस्से को बस काट देते हैं क्योंकि वे संख्याएँ सबसे छोटी हैं।"

दोष: भले ही कोई संख्या छोटी हो, लेकिन वह चित्र के किसी विशिष्ट हिस्से को थामे रख सकती है। यदि आप उसे बस काट देते हैं, तो चित्र धुंधला या विकृत हो जाता है। बची हुई संख्याओं को सारा काम करना पड़ता है, और उन्हें गायब हुए हिस्सों की भरपाई करने के लिए समायोजित (adjust) नहीं किया जाता है।

समाधान: "SVD-Surgeon"

लेखकों ने SVD-Surgeon बनाया है, जो एक आलसी संपादक के बजाय एक अत्यधिक कुशल सर्जन की तरह कार्य करता है।

केवल छोटी संख्याओं को काटने और चले जाने के बजाय, सर्जन एक सटीक ऑपरेशन करता है:

कट (The Cut): यह कम महत्वपूर्ण हिस्सों को हटा देता है (ठीक पुराने तरीके की तरह)।
समायोजन (The Adjustment): यही असली जादू है। सर्जन जानता है कि किसी हिस्से को हटाने से पूरे सिस्टम का संतुलन बदल जाता है। इसलिए, यह बचे हुए हिस्सों को गणितीय रूप से थोड़ा बदल देता है (tweak करता है) ताकि वे कट के झटके को सह सकें।

इसे एक चलते-फिरते स्कल्पचर (संतुलित भारों वाला एक लटका हुआ कलात्मक पीस) की तरह समझें। यदि आप एक तरफ से एक छोटा वजन काट देते हैं, तो पूरी संरचना झुक जाती है। एक आलसी संपादक बस उसे झुका हुआ छोड़ देगा। SVD-Surgeon ठीक से गणना करता है कि कट के बाद भी मोबाइल (sculpture) को पूरी तरह संतुलित रखने के लिए अन्य भारों को कितना हिलाना होगा।

यह कैसे काम करता है (जादुई गणित)

यह पेपर ऑप्टिमल ब्रेन सर्जन (OBS) की अवधारणा का उपयोग करता है।

पुराना तरीका: "यदि मैं इस वजन को हटाता हूँ, तो चित्र X मात्रा में खराब हो जाएगा।"
SVD-Surgeon का तरीका: "यदि मैं इस वजन को हटाता हूँ, तो चित्र X मात्रा में खराब हो जाएगा। लेकिन, यदि मैं इन तीन अन्य वजनों को इन सटीक मात्राओं से थोड़ा बदल दूँ, तो चित्र मूल के लगभग उतना ही अच्छा दिखेगा।"

यह एक "सेकंड-ऑर्डर" गणना का उपयोग करके करता है। कल्पना कीजिए कि आप एक पहाड़ी पर चल रहे हैं।

फर्स्ट-ऑर्डर: आप जानते हैं कि ढलान किस दिशा में है (ढलान/slope)।
सेकंड-ऑर्डर: आप जानते हैं कि ढलान कैसे मुड़ती (curve) है।
SVD-Surgeon नुकसान को कम करने के लिए शेष संख्याओं को ठीक से समायोजित करने के लिए "वक्र" (curve) का उपयोग करता है।

मुख्य विशेषताएं

पुनः प्रशिक्षण (Retraining) की आवश्यकता नहीं: आपको AI को कुछ भी नया सिखाने की आवश्यकता नहीं है। यह एक "वन-शॉट" फिक्स है। आप इसे मॉडल देते हैं, यह गणित करता है, और आपको तुरंत एक छोटा, बेहतर मॉडल मिल जाता है।
दूसरों के ऊपर काम करता है: इससे फर्क नहीं पड़ता कि मॉडल को मूल रूप से कैसे सिकोड़ा गया था। SVD-Surgeon उनकी गलतियों को ठीक करने के लिए अन्य संकुचन विधियों (जैसे लोकप्रिय "SVD-LLM") के ऊपर एक परत के रूप में लगाया जा सकता है। यह एक "पॉलिश" चरण की तरह है जिसे आप किसी भी संकुचन प्रक्रिया में जोड़ सकते हैं।
स्मार्ट कटिंग: यह केवल सबसे छोटी संख्याओं को नहीं काटता है। यह एक "सैलियंसी स्कोर" (यह मापने का पैमाना कि किसी विशिष्ट हिस्से को हटाने से कितना नुकसान होगा, अन्य हिस्सों को ठीक करने के बाद भी) की गणना करता है। यह उन हिस्सों को काटता है जिनसे सबसे कम नुकसान होता है।

परिणाम

लेखकों ने प्रसिद्ध AI मॉडल्स (जैसे OPT और LLaMA 2) पर इनका परीक्षण किया।

जब उन्होंने मॉडल्स को आक्रामक रूप से सिकोड़ा (डेटा का 80% तक काट दिया), तो पुराने तरीकों ने AI को भ्रमित या निरर्थक बना दिया।
SVD-Surgeon ने AI को बहुत अधिक स्वाभाविक और सटीक बनाए रखा, यहाँ तक कि उन चरम आकारों पर भी।

संक्षेप में: SVD-Surgeon एक ट्रेनिंग-फ्री टूल है जो न केवल AI मॉडल से अतिरिक्त चर्बी काटता है; बल्कि यह बचे हुए मांस (muscle) को फिर से आकार देता है ताकि भारी वजन खोने के बाद भी मॉडल मजबूत और फिट बना रहे।

तकनीकी सारांश: SVD-Surgeon

समस्या विवरण (Problem Statement)
लार्ज लैंग्वेज मॉडल्स (LLMs) को उनके विशाल मेमोरी और कम्प्यूटेशनल आवश्यकताओं के कारण परिनियोजन (deployment) में महत्वपूर्ण बाधाओं का सामना करना पड़ता है। जबकि सिंगुलर वैल्यू डिकम्पोजिशन (SVD) के माध्यम से लो-रैंक डिकम्पोजिशन (Low-Rank Decomposition) एक हार्डवेयर-अनुकूल संपीड़न रणनीति प्रदान करता है, जहाँ वेट मैट्रिसेस $\theta = U\Sigma V^\top$ को एक ट्रंकेटेड रैंक $r$ के साथ अनुमानित किया जाता है, लेकिन सबसे छोटी सिंगुलर वैल्यूज का सीधा (naive) ट्रंकेशन शायद ही कभी इष्टतम होता है। मौजूदा SVD-आधारित विधियाँ मुख्य रूप से इस बात पर ध्यान केंद्रित करती हैं कि वेट्स को कैसे फैक्टराइज़ किया जाए (जैसे, डेटा व्हाइटनिंग या इम्पॉर्टेंस रीवेटिंग के माध्यम से) और किन घटकों (components) को हटाया जाए। हालाँकि, वे अक्सर ट्रंकेशन के कारण होने वाले सूचना के नुकसान की भरपाई करने के लिए शेष घटकों की मरम्मत करने की क्षमता को अनदेखा कर देते हैं।

कार्यप्रणाली: SVD-Surgeon (Methodology)
यह शोध पत्र SVD-Surgeon को पेश करता है, जो ऑप्टिमल ब्रेन सर्जन (OBS) फ्रेमवर्क को सिंगुलर-वैल्यू बेसिस पर अनुकूलित करता है। पूर्ववर्ती दृष्टिकोणों के विपरीत, जो रॉ वेट्स या विशिष्ट फैक्टराइजेशन स्कीम्स पर कार्य करते हैं, SVD-Surgeon स्वयं सिंगुलर वैल्यूज ( $\sigma_i$ ) को उन मापदंडों (parameters) के रूप में मानता है जिन्हें अनुकूलित किया जाना है।

सेकंड-ऑर्डर लॉस मॉडलिंग (Second-Order Loss Modeling):
विधि मानती है कि मॉडल लॉस मिनिमम के करीब है। यह सिंगुलर वैल्यूज ( $\delta \sigma$ ) के व्यवधान (perturbation) के तहत लॉस में परिवर्तन ( $\delta L$ ) को सेकंड-ऑर्डर टेलर एक्सपेंशन का उपयोग करके मॉडल करती है:
$\delta L \approx \frac{1}{2} \delta \sigma^\top \bar{H} \delta \sigma$
यहाँ, $\bar{H}$ एक कॉम्पैक्ट $\ell \times \ell$ हेसियन मैट्रिक्स (Hessian matrix) है (जहाँ $\ell = \min(m, n)$ ), जिसे फुल वेट-स्पेस हेसियन को सिंगुलर-वैल्यू स्पेस पर प्रोजेक्ट करके प्राप्त किया गया है। महत्वपूर्ण रूप से, इसका व्युत्पन्न (derivation) यह मान नहीं लेता है कि $U$ और $V$ ऑर्थोनॉर्मल (orthonormal) हैं, जिससे यह विधि SVD कंप्रेशर्स के एक विस्तृत वर्ग पर लागू हो सकती है।
फिशर एप्रोक्सिमेशन (Fisher Approximation):
सेकंड डेरिवेटिव्स की गणना करने से बचने के लिए, हेसियन $\bar{H}$ को एम्पिरिकल फिशर इंफॉर्मेशन मैट्रिक्स का उपयोग करके अनुमानित किया जाता है। इसे कैलिब्रेशन ग्रेडिएंट्स ( $G_n = \partial L_n / \partial \theta$ ) से कुशलतापूर्वक बनाया जाता है, जिन्हें सिंगुलर-वैल्यू बेसिस में प्रोजेक्ट किया जाता है:
$\bar{H} = \frac{1}{N} \sum_{n=1}^N \bar{g}_n \bar{g}_n^\top, \quad \text{जहाँ } \bar{g}_n = \text{diag}(U^\top G_n V)$
यह प्रथम-क्रम (first-order) की जानकारी से ही हेसियन के निर्माण की अनुमति देता है।
क्लोज्ड-फॉर्म कॉम्पन्सेशन (Closed-Form Compensation):
एक सेट सिंगुलर वैल्यूज जिन्हें प्रून (prune) किया जाना है ( $\sigma_C$ ) और एक सेट जिन्हें बनाए रखना है ( $\sigma_S$ ) दिए जाने पर, SVD-Surgeon इष्टतम अपडेट $\delta \sigma_S$ को हल करता है जो लॉस वृद्धि को कम करता है। $\delta \sigma_C = -\sigma_C$ के साथ प्रूनिंग व्यवधान को सेट करके और $\delta \sigma_S$ पर अनकन्स्ट्रेंड ऑब्जेक्टिव को मिनिमाइज़ करके, विधि एक क्लोज्ड-फॉर्म अपडेट प्राप्त करती है:
$\delta \sigma_S^\star = \bar{H}_{SS}^{-1} \bar{H}_{SC} \sigma_C$
यह अपडेट रिटेन की गई सिंगुलर वैल्यूज को समायोजित करता है ताकि वे हटाए गए (truncated) मानों के कारण होने वाले नुकसान को सोख सकें, जो प्रभावी रूप से ट्रंकेशन के बाद डिकम्पोजिशन की "सर्जिकल" मरम्मत करता है। यह बिना किसी ग्रेडिएंट-आधारित ऑप्टिमाइजेशन या पोस्ट-ट्रेनिंग फाइन-ट्यूनिंग के, एक ही शॉट में किया जाता है।
सेलियंसी-आधारित प्रूनिंग (Saliency-Based Pruning):
समान विश्लेषण प्रत्येक सिंगुलर वैल्यू के लिए एक सेलियंसी स्कोर (saliency score) भी प्रदान करता है, जो यह दर्शाता है कि यदि उस मान को हटाया जाता है और अन्य को इष्टतम रूप से सुधारा जाता है, तो कितना लॉस होगा:
$\text{Saliency}_i = \frac{\sigma_i^2}{2 [\bar{H}^{-1}]_{ii}}$
यह मैग्नीट्यूड-आधारित प्रूनिंग के मुकाबले एक सिद्धांत-आधारित, लॉस-अवेयर विकल्प प्रदान करता है।
वैरिएंट्स (Variants):

अपडेट-ओनली (U): यह एक होस्ट कंप्रेसर (जैसे, टॉप- $r$ सिंगुलर वैल्यूज को रखना) से प्रूनिंग सेट को इनहेरिट करता है और कॉम्पन्सेशन लागू करता है।
सिलेक्ट-एंड-अपडेट (S): यह किस सिंगुलर वैल्यू को प्रून करना है यह निर्धारित करने के लिए सेलियंसी स्कोर का उपयोग करता है, और फिर कॉम्पन्सेशन लागू करता है।

मुख्य योगदान (Key Contributions)

फ्रेमवर्क एक्सटेंशन: यह शोध पत्र ऑप्टिमल ब्रेन सर्जन फ्रेमवर्क को सिंगुलर-वैल्यू बेसिस में लाता है, जो रिटेन की गई सिंगुलर वैल्यूज के लिए एक ट्रेनिंग-फ्री, क्लोज्ड-फॉर्म अपडेट प्रदान करता है जो लॉस के दूसरे क्रम (second order) तक ट्रंकेशन की भरपाई करता है।
जनरैलिटी (Generality): क्योंकि इसका व्युत्पन्न $U$ और $V$ के लिए कोई ऑर्थोनॉर्मलिटी धारणा नहीं बनाता है, SVD-Surgeon मौजूदा SVD-आधारित कंप्रेशर्स पर लागू होने वाला एक सुधारात्मक लेयर (corrective layer) है।
सेलियंसी मेट्रिक: यह सरल मैग्नीट्यूड थ्रेशोल्ड के बजाय, सिंगुलर वैल्यूज को प्रून करने के लिए एक लॉस-अवेयर सेलियंसी मेट्रिक पेश करता है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने SVD-LLM (एक अग्रणी SVD-आधारित कंप्रेशन विधि) के ऊपर SVD-Surgeon को लेयर करके इसका मूल्यांकन किया।

मॉडल्स: OPT फैमिली (1.3B, 2.7B, 6.7B) और LLaMA-2-7B।
मेट्रिक्स: WikiText-2 और C4 डेटासेट पर पर्प्लेक्सिटी (Perplexity)।
प्रदर्शन: विधि ने सभी मॉडल्स और कंप्रेशन रेश्यो के लिए पर्प्लेक्सिटी-कंप्रेशन ट्रेड-ऑफ में सुधार किया। लाभ सबसे अधिक आक्रामक कंप्रेशन (उच्च प्रूनिंग रेश्यो) के तहत देखा गया, जहाँ नैइव ट्रंकेशन आमतौर पर गंभीर प्रदर्शन गिरावट का कारण बनता है।
दक्षता (Efficiency): यह विधि कैलिब्रेशन सेट का उपयोग करके एक सिंगल पास में संचालित होती है, जिसमें कोई ग्रेडिएंट-आधारित ऑप्टिमाइजेशन या फाइन-ट्यूनिंग की आवश्यकता नहीं होती है।

महत्व और दावे (Significance and Claims)
यह पेपर SVD-Surgeon को एक मॉड्यूलर एन्हांसमेंट के रूप में प्रस्तुत करता है जिसे मौजूदा SVD कंप्रेशर्स के ऊपर "लेयर किया जा सकता है"। इसका प्राथमिक महत्व वेट्स को डिकम्पोज़ कैसे किया जाए, से हटकर इस पर ध्यान केंद्रित करने में है कि ट्रंकेशन के बाद डिकम्पोज़िशन की मरम्मत कैसे की जाए। सिंगुलर वैल्यूज को पैरामीटर्स के रूप में मानकर और सेकंड-ऑर्डर ऑप्टिमाइजेशन लागू करके, यह उस मॉडल क्षमता को वापस लाता है जो आमतौर पर आक्रामक कंप्रेशन के दौरान खो जाती है। लेखक इस बात पर जोर देते हैं कि यह एक ट्रेनिंग-फ्री समाधान है जिसमें रिट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता नहीं होती है, जो इसे कंप्रेशन चरण के दौरान अतिरिक्त कम्प्यूटेशनल ओवरहेड के बिना संपीड़ित (compressed) LLMs को तैनात करने के लिए एक व्यावहारिक उपकरण बनाता है। हालांकि पोस्ट-ट्रेनिंग फाइन-ट्यूनिंग ऑर्थोगोनल और संगत बनी हुई है, SVD-Surgeon का लक्ष्य कंप्रेशन स्टेप के तुरंत बाद प्रदर्शन को अधिकतम करना है।

समस्या: "नाइव" (Naive) संकुचन

समाधान: "SVD-Surgeon"

यह कैसे काम करता है (जादुई गणित)

मुख्य विशेषताएं

परिणाम

इसी तरह के और पेपर