💬 NLP

SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices

SigmaScale एक नवीन LLM संपीड़न (compression) विधि है जो एक्टिवेशन-अवेयर SVD के माध्यम से वेट मैट्रिसेस (weight matrices) की प्रभावी इंट्रिन्सिक रैंक को कम करने के लिए सीखे गए डायगोनल स्केलिंग मैट्रिसेस को अनुकूलित करती है, जिससे Llama 3.1 और Qwen3 जैसे मॉडलों पर अत्याधुनिक तकनीकों के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त होता है।

मूल लेखक: Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "SigmaScale" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी समस्या: विशाल मॉडल बहुत भारी होते हैं

Llama 3.1 या Qwen3 जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) की कल्पना एक विशाल, अविश्वसनीय रूप से विस्तृत लाइब्रेरी के रूप में करें। इन लाइब्रेरी में अरबों किताबें (पैरामीटर्स) होती हैं जो AI को स्मार्ट बनाती हैं और सवालों के जवाब देने में सक्षम करती हैं। हालाँकि, क्योंकि ये बहुत बड़ी होती हैं, इन्हें ले जाना भारी होता है, इन्हें चलाना महंगा होता है, और एक भी वाक्य पढ़ने के लिए शक्तिशाली, ऊर्जा-खपत करने वाले कंप्यूटरों की आवश्यकता होती है।

वैज्ञानिक इन लाइब्रेरी को छोटा करना चाहते हैं ताकि वे छोटे उपकरणों पर फिट हो सकें, बिना उनके "स्मार्ट" हिस्सों को खोए। इसे कंप्रेशन (compression) कहा जाता है।

पुराना तरीका: "आंखों पर पट्टी बांधा हुआ संपादक"

इन मॉडल्स को छोटा करने का एक लोकप्रिय तरीका SVD (सिंगुलर वैल्यू डिकम्पोजिशन) है। मॉडल के मस्तिष्क को संख्याओं के एक विशाल स्प्रेडशीट के रूप में सोचें।

उपमा: कल्पना करें कि आपके पास 100 पन्नों का एक दस्तावेज़ है, लेकिन आपके पास केवल 10 पन्ने रखने की जगह है। पुराना SVD तरीका एक आंखों पर पट्टी बांधे हुए संपादक की तरह काम करता है। वह दस्तावेज़ को देखता है और कहता है, "ठीक है, मैं पहले 10 पन्ने रखूँगा जिनमें सबसे अधिक स्याही है और बाकी को फेंक दूँगा।"
दोष: कभी-कभी, सबसे महत्वपूर्ण जानकारी उन पन्नों पर नहीं होती जिनमें सबसे ज्यादा स्याही होती है। वह मार्जिन में छिपी हो सकती है या बहुत छोटे फॉन्ट में लिखी हो सकती है। डेटा के "अंत" (tail end) को अंधाधुंध काटने से, मॉडल सूक्ष्म अंतर समझने की अपनी क्षमता खो देता है, और वह गलतियाँ करने लगता है।

नया समाधान: SigmaScale (एक "स्मार्ट संकुचक")

इस पेपर के लेखकों ने SigmaScale नामक एक नई विधि प्रस्तावित की है। डेटा के निचले 90% हिस्से को बस अंधाधुंध काटने के बजाय, SigmaScale एक मैग्नीफाइंग ग्लास और हाइलाइटर के साथ एक स्मार्ट संपादक की तरह काम करता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "स्ट्रेच एंड श्रिंक" (खींचना और सिकोड़ना) का कमाल

संपादक द्वारा पन्ने काटने से पहले, SigmaScale दस्तावेज़ पर एक विशेष "स्ट्रेच एंड श्रिंक" फ़िल्टर लगाता है।

उपमा: कल्पना करें कि दस्तावेज़ रबर से बना है। SigmaScale महत्वपूर्ण हिस्सों को खींचता है (उन्हें बड़ा और आसानी से दिखने योग्य बनाता है) और कम महत्वपूर्ण हिस्सों को सिकोड़ देता है (उन्हें छोटा बना देता है)।
यह कैसे करता है: यह दो नंबरों के सेट (वेक्टर्स) को सीखता है जो पंक्ति (row) और कॉलम (column) के रूलर की तरह काम करते हैं। यह केवल यह अनुमान नहीं लगाता कि कहाँ काटना है; यह डेटा को खींचने का सटीक तरीका सीखता है ताकि सबसे महत्वपूर्ण जानकारी सूची के शीर्ष पर आ जाए।

2. "एक्टिवेशन-अवेयर" लॉस (सक्रियता-जागरूक हानि)

पेपर में उल्लेख है कि यह विधि "एक्टिवेशन-अवेयर" है।

उपमा: एक सामान्य संपादक केवल कागज को देखता है। SigmaScale इस बात पर नज़र रखता है कि कागज का वास्तव में उपयोग कैसे किया जा रहा है। यह पूछता है, "जब कोई इंसान इसे पढ़ता है, तो कहानी समझने के लिए उन्हें वास्तव में किन शब्दों की आवश्यकता होती है?" यह स्ट्रेचिंग को इस आधार पर अनुकूलित करता है कि मॉडल वास्तव में जानकारी को कैसे प्रोसेस करता है, न कि केवल इस आधार पर कि कागज पर संख्याएँ कैसी दिखती हैं।

3. परिणाम: एक छोटी, स्मार्ट लाइब्रेरी

महत्वपूर्ण हिस्सों को खींचने के बाद, संपादक (SVD) निचले हिस्से को काट देता है। क्योंकि SigmaScale ने पहले ही महत्वपूर्ण हिस्सों को खींच दिया था, इसलिए "कट" उस स्थान पर होता है जहाँ कम मूल्यवान जानकारी संग्रहीत होती है।

परिणाम: परिणामी "सिकुड़ा हुआ" मॉडल बहुत छोटा होता है, लेकिन यह पुराने तरीकों की तुलना में "इंट्रिन्सिक रैंक" (मूल बुद्धिमत्ता) को बहुत बेहतर तरीके से बनाए रखता है।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने इसका परीक्षण Llama 3.1 (8B) और Qwen3-8B पर किया। उन्होंने SigmaScale की तुलना अन्य शीर्ष-स्तरीय विधियों (SVD-LLM और ASVD+) से की।

हल्का कंप्रेशन (90% आकार बनाए रखना): SigmaScale स्पष्ट विजेता था। इसने अन्य तरीकों की तुलना में मॉडल की "परप्लेक्सिटी" (यह मापने का पैमाना कि मॉडल कितना भ्रमित है) को बहुत कम रखा। यह ऐसा था जैसे 90% लाइब्रेरी को बनाए रखते हुए भी किसी तरह 95% बुद्धिमत्ता को बरकरार रखा गया हो।
मध्यम कंप्रेशन (75% आकार बनाए रखना): SigmaScale अभी भी बहुत अच्छा प्रदर्शन करता रहा, और अक्सर विशिष्ट तर्क और रीजनिंग परीक्षणों में प्रतिस्पर्धा को पछाड़ दिया।
अत्यधिक कंप्रेशन (50% आकार बनाए रखना): यहाँ, SigmaScale संघर्ष करता है, ठीक वैसे ही जैसे अन्य विधियाँ करती हैं। पेपर स्वीकार करता है कि यदि आप लाइब्रेरी को उसके आधे आकार तक काट देते हैं, तो एक स्मार्ट संपादक भी मॉडल को अपना मानसिक संतुलन खोने से बचाने में सक्षम नहीं हो सकता। यह अत्यधिक सिकुड़ने के लिए कोई जादुई समाधान नहीं है।

"फाइन-ट्यूनिंग" का चरण

सिकुड़ने के बाद, मॉडल थोड़ा डगमगा जाता है। शोधकर्ताओं ने इसे वापस स्थिर करने के दो तरीकों का भी परीक्षण किया:

सुपरवाइज्ड फाइन-ट्यूनिंग (Supervised Fine-Tuning): सिकुड़े हुए मॉडल को नए उदाहरणों के साथ सिखाना।
नॉलेज डिस्टिलेशन (Knowledge Distillation - KD): एक विशाल, बिना सिकुड़े हुए "टीचर" मॉडल को छोटे "स्टूडेंट" मॉडल का मार्गदर्शन करने देना।

निष्कर्ष: आश्चर्यजनक रूप से, इस विशिष्ट विधि के लिए, "टीचर" (KD) सीधे सिखाने की तुलना में बहुत अधिक मदद नहीं कर पाया। दोनों विधियाँ लगभग एक समान काम करती हैं।

मुख्य निष्कर्ष (Bottom Line)

SigmaScale एक नई तकनीक है जो AI मॉडल्स को स्मार्ट तरीके से छोटा बनाती है। डेटा के निचले हिस्से को काटने के बजाय, यह पहले डेटा को पुनर्व्यवस्थित करने का तरीका सीखता है ताकि सबसे महत्वपूर्ण हिस्सों को बचाया जा सके।

सर्वश्रेष्ठ: उन स्थितियों के लिए जहाँ आपको जगह बचानी है लेकिन आप बहुत अधिक बुद्धिमत्ता खोने का जोखिम नहीं उठा सकते (हल्का से मध्यम कंप्रेशन)।
किसके लिए नहीं: मॉडल को बहुत छोटे आकार तक सिकोड़ने के लिए, जहाँ यह विधि विफल हो जाती है (अत्यधिक कंप्रेशन)।
मुख्य बात: यह एक लचीला, सीखा हुआ दृष्टिकोण है जो मॉडल के मस्तिष्क के विशिष्ट आकार के अनुकूल होता है, न कि एक "वन-साइज-फिट्स-ऑल" फॉर्मूले पर आधारित है।

तकनीकी सारांश: SigmaScale

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने अरबों पैरामीटर्स को स्केल करके उल्लेखनीय प्रदर्शन हासिल किया है, लेकिन यह विकास उच्च इन्फरेंस पावर खपत के कारण तकनीकी सुलभता और पर्यावरणीय प्रभाव के संबंध में महत्वपूर्ण बाधाएं उत्पन्न करता है। हालांकि क्वांटाइजेशन, प्रूनिंग और नॉलेज डिस्टिलेशन जैसी मॉडल कंप्रेशन तकनीकें मौजूद हैं, लेकिन इनमें से कई के लिए विशेष हार्डवेयर या जटिल रिट्रेनिंग पाइपलाइनों की आवश्यकता होती है। लो-रैंक डिकंपोजिशन, विशेष रूप से ट्रंकेटेड सिंगुलर वैल्यू डिकंपोजिशन (SVD), एक हार्डवेयर-स्वतंत्र विकल्प प्रदान करता है जो वेट मैट्रिसेस $W$ को लोअर-रैंक मैट्रिसेस के उत्पाद के रूप में अनुमानित करता है।

हालाँकि, LLMs के संदर्भ में मानक SVD दो प्राथमिक सीमाओं का सामना करता है:

विश्लेषणात्मक उप-इष्टतमता (Analytical Suboptimality): एकरट-यंग-मिरस्की प्रमेय फ्रोबेनियस नॉर्म $||W - W'||_F$ को कम करने के लिए इष्टतम विश्लेषणात्मक समाधान प्रदान करता है। फिर भी, यह संरचनात्मक न्यूनीकरण न्यूरल नेटवर्क के वेट्स पर खराब प्रदर्शन करता है क्योंकि यह एक्टिवेशन आउटलायर्स और नेटवर्क के फंक्शनल व्यवहार की अनदेखी करता है।
अनुकूलन चुनौतियां (Optimization Challenges): नैविव (Naïve) SVD गणनात्मक रूप से महंगा ( $O(n^3)$ ) है और इसमें अस्थिर डेरिवेटिव होते हैं, जिससे इसे ग्रेडिएंट-आधारित ऑप्टिमाइजेशन रूटीन में एकीकृत करना कठिन हो जाता है। इसके अलावा, स्केलिंग मैट्रिसेस (जैसे कि एक्टिवेशन आउटलायर्स को अवशोषित करने के लिए) के माध्यम से SVD को सुधारने का प्रयास करने वाली पिछली विधियां विश्लेषणात्मक व्युत्पत्ति (जैसे कि एक्टिवेशन कोवेरियंस का चोलेस्की डिकंपोजिशन) के बजाय इन रूपांतरों को सीधे सीखने पर निर्भर करती हैं।

कार्यप्रणाली (Methodology): SigmaScale

लेखक SigmaScale प्रस्तावित करते हैं, जो एक विधि है जो ट्रंकेटेड SVD-आधारित कंप्रेशन में सहायता के लिए सहायक स्केलिंग मैट्रिसेस $S$ को सीखती है। विश्लेषणात्मक व्युत्पत्ति के बजाय, SigmaScale उन्हें एक एक्टिवेशन-अवेयर लॉस के तहत ग्रेडिएंट डिसेंट के माध्यम से अनुकूलित करती है।

पाइपलाइन तीन मुख्य चरणों में विभाजित है:

सेंसिटिविटी प्रोबिंग (Sensitivity Probing): कंप्रेशन से पहले, यह विधि वैश्विक लक्ष्य कंप्रेशन अनुपात प्राप्त करने और परप्लेक्सिटी वृद्धि को न्यूनतम करने के लिए प्रत्येक लेयर और मॉड्यूल (MLP और अटेंशन) के लिए इष्टतम ट्रंकेशन रैंक निर्धारित करती है। यह ASVD के समान एक बाइनरी सर्च एल्गोरिदम का उपयोग करती है।
लर्नड स्केलिंग मैट्रिसेस (Learned Scaling Matrices):
- एक वेट मैट्रिक्स $W \in \mathbb{R}^{m \times n}$ के लिए, दो वेक्टर्स $d_r \in \mathbb{R}^m$ और $d_c \in \mathbb{R}^n$ को एक स्कैल्ड गॉसियन डिस्ट्रीब्यूशन से इनिशियलाइज किया जाता है।
- ये वेक्टर्स एक्सपोनेंशिएशन के माध्यम से पॉजिटिव डायगोनल स्केलिंग मैट्रिसेस को परिभाषित करते हैं: $S_r = \text{diag}(\exp(d_r))$ और $S_c = \text{diag}(\exp(d_c))$ ।
- वेट मैट्रिक्स को स्केल किया जाता है ( $S_r W S_c$ ), रैंक- $k$ फैक्टर्स प्राप्त करने के लिए ट्रंकेटेड SVD किया जाता है, और कंप्रेस्ड मैट्रिक्स $W'$ को पुनर्गठित करने के लिए इनवर्स स्केलिंग लागू की जाती है।
- $d_r$ और $d_c$ मापदंडों को एक एक्टिवेशन-अवेयर लॉस फंक्शन को कम करने के लिए अनुकूलित किया जाता है:
  $L_F = \frac{1}{mn} ||WX - W'X||_F^2$
  जहाँ $X$ कैलिब्रेशन सेट से एक्टिवेशन्स का प्रतिनिधित्व करता है। यह सुनिश्चित करता है कि कंप्रेशन केवल इसकी संरचना को ही नहीं, बल्कि मॉडल की कार्यक्षमता को भी सुरक्षित रखता है।
- नोट: SVD के अस्थिर डेरिवेटिव को संभालने के लिए, ट्रेनिंग लूप उन अपडेट स्टेप्स को छोड़ देता है जहाँ सिंगुलर वैल्यू अंतर शून्य के करीब पहुँच जाते हैं ताकि NaN वैल्यूज को रोका जा सके।
पोस्ट-कंप्रेशन फाइन-ट्यूनिंग (Post-Compression Fine-Tuning): कंप्रेशन के बाद, वेट्स को पुनः संरेखित करने के लिए मॉडल को फाइन-ट्यून किया जाता है। लेखक प्रदर्शन रिकवरी के संदर्भ में प्रदर्शन को बहाल करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) बनाम नॉलेज डिस्टिलेशन (KD) की तुलना करते हैं, जिसमें अनकंप्रेस्ड टीचर मॉडल का उपयोग किया जाता है।

मुख्य योगदान (Key Contributions)

स्केलिंग पैरामीटर्स को सीखना: लेखकों के ज्ञान के अनुसार, यह विशेष रूप से SVD कंप्रेशन प्रदर्शन को बेहतर बनाने के लिए रो- और कॉलम-वाइज स्केलिंग मैट्रिसेस $S$ के मापदंडों को सीखने का अन्वेषण करने वाला पहला कार्य है, जो विश्लेषणात्मक व्युत्पत्तियों से दूर जाता है।
परफॉरमेंस रिकवरी विश्लेषण: पेपर SVD-आधारित कंप्रेशन के संदर्भ में प्रदर्शन रिकवरी के लिए KD बनाम SFT का तुलनात्मक विश्लेषण प्रदान करता है, जिसमें विविध पोस्ट-कंप्रेशन डेटासेट्स का उपयोग किया गया है।
कस्टम डेटासेट: लेखक एक कस्टम वेरिएंट का अलापाका (Alpaca) डेटासेट पेश करते हैं, जिसे Llama 3.1-8B इंस्ट्रक्शन आउटपुट्स का उपयोग करके बनाया गया है, ताकि वेट रीलाइनमेंट प्रयोगों के लिए वेरिएंस पेश किया जा सके।

परिणाम और विश्लेषण (Results and Analysis)

प्रयोग विभिन्न कंप्रेशन रेश्यो (0.90x, 0.75x, 0.50x रिटेंशन) पर Llama 3.1 8B Instruct और Qwen3-8B मॉडल्स पर किए गए।

प्रतिस्पर्धात्मकता (Competitiveness): SigmaScale अत्याधुनिक SVD-आधारित विधियों (SVD-LLM और ASVD+) के साथ प्रतिस्पर्धी है।
- 0.90x रिटेंशन पर, SigmaScale दोनों मॉडल्स के लिए SVD-LLM की तुलना में परप्लेक्सिटी में काफी सुधार करता है और अधिकांश ज़ीरो-शॉट बेंचमार्क प्रदर्शन को रिकवर करता है।
- 0.75x रिटेंशन पर, SigmaScale आम तौर पर कई ज़ीरो-शॉट बेंचमार्क्स में सुधार करता है, हालांकि परप्लेक्सिटी लाभ मामूली हैं।
- 0.50x रिटेंशन पर, प्रदर्शन तेजी से गिरता है, विशेष रूप से Llama 3.1 के लिए। लेखक नोट करते हैं कि यह विधि तब सबसे प्रभावी होती है जब रिटेंड सबस्पेस पर्याप्त बड़ा होता है ताकि सीखा हुआ स्केलिंग, हटाए गए सिंगुलर दिशाओं की भरपाई कर सके; यह अत्यधिक लो-रैंक कंप्रेशन के लिए पूर्ण समाधान नहीं है।
KD बनाम SFT: पूर्व साहित्य के विपरीत जो रिकवरी के लिए KD के श्रेष्ठ होने का सुझाव देता है, लेखकों के परिणाम उनके विशिष्ट सेटअप में SigmaScale के लिए SFT पर KD के किसी बड़े सुधार को नहीं दिखाते हैं।
इंट्रिन्सिक रैंक रिडक्शन (Intrinsic Rank Reduction): लेखक अनुकूलन के दौरान सिंगुलर वैल्यूज ( $\Sigma$ ) के "इफेक्टिव रैंक एंट्रॉपी" का विश्लेषण करते हैं। वे कंप्रेशन लॉस में कमी और इफेक्टिव रैंक एंट्रॉपी में कमी के बीच एक मजबूत सहसंबंध (लगभग 0.81–0.92) देखते हैं। यह सुझाव देता है कि सीखा हुआ स्केलिंग वेट मैट्रिसेस की प्रभावी आंतरिक रैंक को कम करता है, जिससे वे कंप्रेशन बाधाओं के साथ बेहतर ढंग से संरेखित होते हैं।

महत्व और सीमाएं (Significance and Limitations)

पेपर SigmaScale को उन अनुप्रयोगों के लिए एक वैध विकल्प के रूप में स्थापित करता है जिनमें कम LLM इन्फरेंस लागत की आवश्यकता होती है, विशेष रूप से हल्के-से-मध्यम कंप्रेशन शासन (regimes) में। सीखे हुए, एक्टिवेशन-अवेयर रूपांतरों के माध्यम से व्यक्तिगत मॉडल वेट्स की संरचना के अनुकूल होकर, यह विश्लेषणात्मक विधियों की तुलना में लो-रैंक कंप्रेशन के लिए अधिक लचीला मार्ग प्रदान करता है।

लेखक स्पष्ट रूप से कई सीमाओं को स्वीकार करते हैं:

कंप्यूटेशनल लागत: स्केलिंग मैट्रिक्स ट्रेनिंग के दौरान प्रत्येक अपडेट स्टेप पर SVD कंप्यूट करने के लिए अभी भी $O(n^3)$ जटिलता की आवश्यकता होती है, और यह तेज़ अनुमानित (approximate) SVD विकल्पों का पता नहीं लगाता है।
अत्यधिक कंप्रेशन: विधि आक्रामक कंप्रेशन (जैसे, 0.50x) के तहत काफी खराब प्रदर्शन करती है, जो इंगित करता है कि यह रिटेन्ड-रैंक रिजीम में ट्रंकेशन क्वालिटी को सुधारने का एक तंत्र है न कि अत्यधिक कंप्रेशन के लिए एक समाधान।
मूल्यांकन दायरा: मूल्यांकन परप्लेक्सिटी और विशिष्ट ज़ीरो-शॉट बेंचमार्क्स तक सीमित है; लॉन्ग-फॉर्म जनरेशन या कोडिंग कार्यों पर इसके प्रभावों का अन्वेषण नहीं किया गया है।
कैलिब्रेशन डेटा: विभिन्न कैलिब्रेशन डिस्ट्रीबशंस के प्रति मजबूती को औपचारिक रूप से सत्यापित नहीं किया गया है, और निरंतरता के लिए पूर्व बेसलाइन्स के साथ संगतता के रूप में विकिटेक्ट (Wikitext) के उपयोग को नोट किया गया है।