🤖 machine learning

LegoLM: Structured Weight Sharing for Large Language Models

LegoLM एक संरचित वेट-शेयरिंग फ्रेमवर्क है जो स्केलर-ब्लॉक एनकोडिंग, पर्सेंटाइल-सिलेक्टिव रिप्लेसमेंट और बाउंड्री-लेयर प्रोटेक्शन जैसे डेटा-फ्री अनुकूलनों के माध्यम से ग्लोबल वेट शेयरिंग की डिस्ट्रीब्यूशनल मिसमैच और आउटलायर डोमिनेंस विफलताओं पर विजय प्राप्त करता है, जिससे बड़े भाषा मॉडलों के लिए लगभग लॉसलेस कंप्रेशन प्राप्त होता है और मौजूदा PTQ-8bit विधियों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Joseph Bingham

प्रकाशित 2026-08-11

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joseph Bingham

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ज्ञान के एक विशाल, जटिल पुस्तकालय को एक छोटे से बैकपैक में फिट करने की कोशिश कर रहे हैं। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) के लिए दैनिक संघर्ष है—वे सुपर-स्मार्ट कंप्यूटर दिमाग जो कहानियाँ लिखते हैं, गणित की समस्याओं को हल करते हैं, और हमसे बातें करते हैं। ये दिमाग अरबों छोटे नंबरों से बने होते हैं जिन्हें "वेट्स" (weights) कहा जाता है, जो मानव मस्तिष्क के सिनैप्स की तरह काम करते हैं और विचारों को आपस में जोड़ते हैं। इन मॉडल्स को सामान्य लैपटॉप या फोन पर चलाने के लिए, वैज्ञानिकों को उन्हें उनकी बुद्धिमत्ता खोए बिना छोटा करने की आवश्यकता होती है। उन्हें छोटा करने का एक लोकप्रिय विचार "वेट शेयरिंग" (weight sharing) है। इसे ऐसे समझें जैसे दोस्तों का एक समूह जो अपनी अलग-अलग अनूठी शर्ट खरीदने के बजाय एक कैटलॉग से बिल्कुल एक जैसी शर्ट पहनने के लिए सहमत हो जाता है। मस्तिष्क के हर कनेक्शन के लिए एक अनूठा नंबर स्टोर करने के बजाय, आप बस "मानक शर्ट्स" (centroids) की एक छोटी सूची और एक नोट स्टोर करते हैं: "हे, यह कनेक्शन शर्ट नंबर 5 पहनता है।" यह जगह बचाने का एक चतुर तरीका है, लेकिन अब तक, जब इसे इन विशाल AI दिमागों पर लागू किया गया, तो यह एक आपदा साबित हुआ है।

समस्या यह है कि AI के दिमाग बहुत अव्यवस्थित होते हैं। एक साधारण इमेज फ़िल्टर के विपरीत जहाँ हर हिस्सा एक जैसा दिखता है, एक AI मस्तिष्क के विभिन्न परतों (layers) के वेट्स के आकार बहुत अलग-अलग होते हैं। उन्हें सभी को एक ही "मानक शर्ट" पहनने के लिए मजबूर करना वैसा ही है जैसे एक विशाल हाथी और एक नन्हे चूहे को एक ही जोड़ी जूतों में फिट करने की कोशिश करना; हाथी कुचल जाएगा, और चूहा कहीं उड़ जाएगा। यह पेपर एक नई विधि पेश करता है जिसे LegoLM कहा जाता है, जो इस टूटे हुए विचार को ठीक करता है। एक "वन-साइज-फिट्स-ऑल" दृष्टिकोण अपनाने के बजाय, LegoLM एक कुशल दर्जी की तरह काम करता है। यह समझता है कि अधिकांश समय मानक शर्ट्स ठीक काम करती हैं, लेकिन कभी-कभी, कुछ "आउटलियर" (outlier) वेट्स होते हैं—विशाल, अजीब नंबर जो इतने अलग होते हैं कि यदि उन्हें मानक शर्ट में जबरदस्ती डाला गया, तो वे पूरे पहनावे को खराब कर देंगे। LegoLM का गुप्त मंत्र उन कुछ अजीब वेट्स को उनके मूल रूप में, बिना किसी बदलाव के, वैसे ही छोड़ देना है, जबकि बाकी सब कुछ कंप्रेस कर देता है। इसका परिणाम यह है कि मॉडल अपने मूल आकार के एक अंश तक सिकुड़ जाता है लेकिन अपनी लगभग पूरी बुद्धिमत्ता बनाए रखता है, और यह उन अन्य तरीकों से बेहतर काम करता है जिन्हें सुधारने के लिए महंगे डेटा की आवश्यकता होती है।

दो तरीके जिनसे वेट शेयरिंग विफल होती है

इस पेपर के लेखक, जोसेफ बिंघम ने पाया कि ग्लोबल वेट शेयरिंग दो बहुत विशिष्ट, अलग कारणों से विफल होती है। वे इन्हें "फेलियर मोड्स" (failure modes) कहते हैं, और इन्हें समझना यह देखने की कुंजी है कि LegoLM क्यों काम करता है।

फेलियर मोड 1: स्केल मिसमैच (The "Wrong Shoe Size" Problem)
कल्पना कीजिए कि आपके पास AI की विभिन्न परतों से वेट्स का एक संग्रह है। कुछ परतें "तेज़" (उनके नंबर बड़े हैं) हैं, और कुछ "शांत" (उनके नंबर छोटे हैं) हैं। यदि आप उन सभी को एक साथ समूहबद्ध करने का प्रयास करते हैं और उनके पूरे ब्लॉक के लिए एक एकल औसत "शर्ट" पाते हैं, तो आप एक गणितीय समस्या का सामना करते हैं। पेपर सिद्ध करता है कि यदि आप एक ऐसे ब्लॉक को कंप्रेस करने का प्रयास करते हैं जिसके वेट्स के आकार अलग-अलग हैं, तो त्रुटि (error) ब्लॉक के आकार के साथ रैखिक रूप से बढ़ती है। यह एक मैराथन धावक के कदम को एक छोटे बच्चे के कदम के साथ औसत निकालने जैसा है; चाहे आप अपने कैटलॉग में कितने भी अलग जूते जोड़ लें, आप दोनों को पूरी तरह से फिट करने के लिए एक ही जूता नहीं बना सकते यदि आप उन्हें एक ही आकार में मजबूर करते हैं। पेपर दिखाता है कि यह मिसमैच इतनी गंभीर भ्रम की स्थिति पैदा करता है कि मॉडल की टेक्स्ट भविष्यवाणी करने की क्षमता (जिसे "परप्लेक्सिटी" द्वारा मापा जाता है) लाखों में पहुँच जाती है, जिससे AI बड़बड़ाने लगता है।

फेलियर मोड 2: आउटलियर डोमिनेंस (The "Giant" Problem)
यह अधिक नाटकीय विफलता है। भले ही आप ब्लॉक्स के बजाय एकल नंबरों (स्केलर ब्लॉक्स) का उपयोग करें, AI में कुछ वेट्स ऐसे होते हैं जो बाकी सब की तुलना में बहुत विशाल होते हैं। ये "आउटलियर्स" (outliers) हैं। यदि आपके पास मान लीजिए 8 मानक शर्टों का एक कोडबुक है, तो कैटलॉग की सबसे बड़ी शर्ट शायद XL साइज की हो सकती है। लेकिन क्या होगा यदि कोई वेट 10XL साइज का है? यदि आप उस 10XL वेट को XL शर्ट पहनने के लिए मजबूर करते हैं, तो विकृति (distortion) विनाशकारी होती है। पेपर दिखाता है कि जैसे-जैसे मॉडल बड़े होते जाते हैं (124 मिलियन से 7.2 बिलियन पैरामीटर्स तक), ये आउटलियर्स और भी खतरनाक होते जाते हैं। एक छोटे मॉडल पर, इन आउटलियर्स को बदलने से AI थोड़ा भ्रमित हो सकता है। लेकिन मिस्ट्रल-7B (Mistral-7B) जैसे विशाल मॉडल पर, उन कुछ विशाल वेट्स को बदलने से मॉडल पूरी तरह से ढह जाता है, जिसमें गुणवत्ता में 1,134,279% से अधिक की गिरावट आती है। यह ऐसा है जैसे एक विशाल कैथेड्रल से एक एकल कीस्टोन (keystone) हटाने से पूरा ढांचा धूल में मिल जाए।

LegoLM समाधान: स्मार्ट टेलरिंग

LegoLM इन समस्याओं को तीन सरल, डेटा-मुक्त तरीकों से ठीक करता है। इसे प्रशिक्षण डेटा देखने या मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; यह बस वेट्स को पुनर्व्यवस्थित करता है।

स्केलर एनकोडिंग (Scalar Encoding): वेट्स को ब्लॉक्स में समूहबद्ध करने के बजाय (जिससे स्केल मिसमैच होता है), LegoLM प्रत्येक व्यक्तिगत वेट को एक इकाई के रूप में मानता है। यह "गलत जूते के आकार" वाली समस्या को समाप्त करता है क्योंकि प्रत्येक वेट अपने पड़ोसियों द्वारा खींचे जाने के बिना, निकटतम मानक शर्ट चुनने के लिए स्वतंत्र होता है।
परसेंटाइल-सिलेक्टिव रिप्लेसमेंट (Percentile-Selective Replacement): यह जादुई ट्रिक है। एल्गोरिदम सभी वेट्स को देखता है और उन वेट्स को ढूंढता है जो किसी भी मानक शर्ट से सबसे दूर हैं। ये "आउटलियर्स" हैं। उन्हें शर्ट पहनाने के बजाय, LegoLM कहता है, "तुम बहुत विशेष हो; तुम बिल्कुल वैसे ही रहोगे जैसे तुम हो।" यह इन अजीब वेट्स के शीर्ष 1% को उनके मूल, उच्च-परिशुद्धता (high-precision) रूप में सुरक्षित रखता है। बाकी 99% को छोटे कोडबुक में कंप्रेस कर दिया जाता है।
बाउंड्री-लेयर प्रोटेक्शन (Boundary-Layer Protection): AI की सबसे पहली और सबसे आखिरी परतें अतिरिक्त संवेदनशील होती हैं। LegoLM उन्हें थोड़ा अतिरिक्त ध्यान देता है, हालांकि पेपर में उल्लेख किया गया है कि बड़े मॉडल्स के लिए आउटलियर प्रोटेक्शन की तुलना में यह कम महत्वपूर्ण है।

परिणाम: छोटा आकार, बड़ा दिमाग

लेखक ने दो मॉडल्स पर LegoLM का परीक्षण किया: GPT-2 Small (124 मिलियन पैरामीटर्स) और Mistral-7B (7.2 बिलियन पैरामीटर्स)। परिणाम आश्चर्यजनक और प्रभावशाली थे।

Mistral-7B पर: 128 मानक मानों के कोडबुक का उपयोग करने और केवल 1% आउटलियर वेट्स को सुरक्षित रखने के साथ, LegoLM ने मॉडल को 4.41 गुना कंप्रेस कर दिया। परिणाम? मॉडल की गुणवत्ता में केवल 0.03% की गिरावट आई। यह अनिवार्य रूप से "लॉसलेस" (lossless) कंप्रेशन है। इसने वास्तव में PTQ-8bit नामक एक लोकप्रिय पद्धति से बेहतर प्रदर्शन किया, जिसने इसे केवल 4 गुना कंप्रेस किया था और इसमें थोड़ा अधिक एरर था।
आउटलियर रेस्क्यू (The Outlier Rescue): सबसे नाटकीय खोज आउटलियर्स के बारे में थी। जब उन्होंने सभी वेट्स (विशालों सहित) को मानक मानों से बदलकर Mistral-7B को कंप्रेस करने की कोशिश की, तो मॉडल की गुणवत्ता 1,134,279% गिर गई। लेकिन केवल उस 1% आउटलियर्स को बचाकर, उन्होंने मॉडल को बचा लिया, जिससे भारी 9.74x कंप्रेशन के बावजूद एरर घटकर केवल 14.24% रह गया।
स्केल मायने रखता है (Scale Matters): पेपर ने पाया कि "आउटलियर समस्या" मॉडल बड़े होने के साथ और भी बदतर हो जाती है। छोटे GPT-2 पर, आउटलियर्स को बदलने से 23% की गिरावट आई। विशाल Mistral-7B पर, इससे 1,134,279% की गिरावट आई। यह सुझाव देता है कि बड़े मॉडल कार्य करने के लिए इन कुछ अजीब नंबरों पर और भी अधिक निर्भर करते हैं।

यह क्यों मायने रखता है

LegoLM विशेष है क्योंकि यह डेटा-मुक्त (data-free) है। अन्य अधिकांश कंप्रेशन विधियों को यह समझने के लिए हजारों उदाहरण वाक्यों को मॉडल में फीड करने की आवश्यकता होती है कि इसे कैसे छोटा किया जाए। LegoLM केवल वेट्स को देखता है और गणित लगाता है। यह 7-बिलियन पैरामीटर वाले मॉडल को एक सिंगल ग्राफिक्स कार्ड पर 30 मिनट से कम समय में कंप्रेस कर सकता है।

पेपर निष्कर्ष निकालता है कि वेट शेयरिंग को सफल बनाने की कुंजी केवल बेहतर शर्ट कैटलॉग होना नहीं है; बल्कि यह जानना है कि कब कैटलॉग का उपयोग नहीं करना है। उन कुछ "विशाल" वेट्स की पहचान करके और उन्हें सुरक्षित रखकर, जो मॉडल को थामे रखते हैं, LegoLM हमें इन विशाल AI दिमागों को उनकी बुद्धि खोए बिना बैकपैक में सिकोड़ने की अनुमति देता है। यह एक ऐसी विधि को, जो पहले बड़े मॉडल्स के लिए टूटी हुई थी, एक प्रतिस्पर्धी, कुशल उपकरण में बदल देता है।

तकनीकी सारांश: LegoLM – लार्ज लैंग्वेज मॉडल्स के लिए स्ट्रक्चर्ड वेट शेयरिंग (Structured Weight Sharing)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को व्यावहारिक तैनाती के लिए आक्रामक संपीड़न (aggressive compression) की आवश्यकता होती है, क्योंकि 16-बिट प्रिसिजन वाले मॉडल भी उपभोक्ता GPU मेमोरी की सीमा से बाहर हो जाते हैं। जबकि पोस्ट-ट्रेनिंग कंप्रेशन विधियाँ जैसे क्वांटाइजेशन (quantization), प्रूनिंग (pruning), और लो-रैंक फैक्टराइजेशन (low-rank factorization) स्थापित हैं, वेट शेयरिंग (weight sharing)—जहाँ कई वेट्स एक ग्लोबल कोडबुक से सीखे गए एकल सेंट्रॉइड (centroid) मान साझा करते हैं—ऐतिहासिक रूप से LLMs पर विफल रही है। पिछले कार्यों ने कनवल्शनल नेटवर्क्स पर वेट शेयरिंग को सफलतापूर्वक लागू किया था, लेकिन ट्रांसफॉर्मर्स पर इसके अनुप्रयोग का व्यवस्थित अध्ययन नहीं हुआ है।

यह शोध पत्र पहचानता है कि LLMs के लिए ग्लोबल वेट शेयरिंग दो विशिष्ट, सैद्धांतिक रूप से आधारित विफलता मोड (failure modes) के कारण विफल होती है:

वितरण संबंधी विसंगति (Distributional Mismatch): जब वेट्स को वेक्टर ब्लॉक्स ( $d \ge 2$ ) में समूहीकृत किया जाता है और वैश्विक स्तर पर क्लस्टर किया जाता है, तो कोडबुक को विषम वेट स्केल्स वाली परतों (जो 3 $\times$ तक भिन्न हो सकते हैं) की सेवा करनी पड़ती है। एक पूल्ड डिस्ट्रीब्यूशन पर प्रशिक्षित सेंट्रॉइड एक स्केल-मिसमैच पेनल्टी लगाता है जो ब्लॉक डायमेंशन $d$ के साथ रैखिक रूप से बढ़ता है, जिसके परिणामस्वरूप कोडबुक के आकार के बावजूद पर्प्लेक्सिटी (perplexity) लाखों में पहुँच जाती है।
आउटलियर डोमिनेंस (Outlier Dominance): स्केलर ब्लॉक्स ( $d=1$ ) में, जबकि स्केल मिसमैच समाप्त हो जाता है, LLM वेट डिस्ट्रीब्यूशन में अत्यधिक परिमाण वाले स्केलर्स (आउटलियर्स) होते हैं। छोटे कोडबुक आकार ( $K$ ) के लिए, वेट्स का एक अंश ( $\approx 1/K$ ) सबसे बाहरी लॉयड-मैक्स (Lloyd-Max) निर्णय थ्रेशोल्ड से परे होता है। इन आउटलियर्स को निकटतम सेंट्रॉइड से बदलने से विनाशकारी गुणवत्ता हानि होती जो परतों में संचित होती है। महत्वपूर्ण रूप से, यह प्रभाव मॉडल के आकार के साथ सुपरलीनियर (superlinearly) रूप से बढ़ता है; पूर्ण प्रतिस्थापन (full replacement) 124M पैरामीटर वाले मॉडल को ~23% और 7.2B पैरामीटर वाले मॉडल को 1,000,000% से अधिक तक खराब कर देता है।

कार्यप्रणाली: LegoLM फ्रेमवर्क (Methodology: The LegoLM Framework)

LegoLM एक स्ट्रक्चर्ड, डेटा-फ्री कंप्रेशन फ्रेमवर्क है जिसे बिना किसी कैलिब्रेशन डेटा या ग्रेडिएंट के दोनों विफलता मोडों को एक साथ हल करने के लिए डिज़ाइन किया गया है। यह तीन प्रमुख अनुकूलनों का उपयोग करता है:

स्केलर-ब्लॉक एनकोडिंग ( $d=1$ ): $d$ -लीनियर मिसमैच घटक को समाप्त करने के लिए, वेट्स को वेक्टर ब्लॉक्स के बजाय स्केलर ब्लॉक्स के रूप में माना जाता है। यह प्रत्येक वेट को एक निश्चित बहु-आयामी स्केल के लिए प्रतिबद्ध किए बिना स्वतंत्र रूप से अपने निकटतम सेंट्रॉइड को असाइन करने की अनुमति देता है, जिससे क्रॉस-लेयर रिकंस्ट्रक्शन एरर काफी कम हो जाता है।
परसेंटाइल-सिलेक्टिव रिप्लेसमेंट (Percentile-Selective Replacement): आउटलियर डोमिनेंस को संबोधित करने के लिए, यह विधि उन वेट्स की पहचान करती है जिनमें सबसे बड़ा क्वांटाइजेशन एरर (निकटतम सेंट्रॉइड से दूरी) है और उन्हें यथावत (verbatim) सुरक्षित रखती है (उन्हें सेंट्रॉइड इंडेक्स के बजाय fp16 के रूप में स्टोर करती है)। यह मैग्नीट्यूड-आधारित आउटलियर डिटेक्शन के लिए एक जीरो-डेटा प्रॉक्सी के रूप में कार्य करता है। थ्रेशोल्ड एक पर्सेंटाइल $p$ (जैसे, शीर्ष 1% एरर्स को सुरक्षित रखना) द्वारा निर्धारित किया जाता है।
बाउंड्री-लेयर प्रोटेक्शन (Boundary-Layer Protection): पहले और अंतिम ट्रांसफॉर्मर ब्लॉक्स को असमान रूप से संवेदनशील माना जाता है। छोटे मॉडल्स के लिए, एरर संचय को रोकने के लिए इन परतों को कंप्रेशन से बाहर रखा जाता है, हालांकि यह तंत्र सिलेक्टिव रिप्लेसमेंट की तुलना में बड़े मॉडल्स के लिए कम महत्वपूर्ण पाया गया है।

कंप्रेशन रेशियो गणना (Compression Ratio Calculation):
कंप्रेशन रेशियो (CR) ग्लोबल कोडबुक, इंडेक्स स्ट्रीम (ओवरहेड को कम करने के लिए हफमैन कोडिंग के माध्यम से संपीड़ित), और संरक्षित आउटलियर वेट्स के स्टोरेज को ध्यान में रखता है। सूत्र है:
$CR = \frac{(N_c + N_s) \cdot 32}{n_r \cdot \lceil \log_2 K \rceil + n_k \cdot 32 + K \cdot 32 + N_s \cdot 32}$
जहाँ $N_c$ और $N_s$ पात्र और स्किप्ड लेयर्स के वेट्स हैं, $n_r$ बदले गए वेट्स हैं, और $n_k$ रखे गए सटीक (kept-exact) आउटलियर वेट्स हैं।

मुख्य योगदान (Key Contributions)

औपचारिक विफलता मोड (Formal Failure Modes): शोध पत्र LLM वेट शेयरिंग के दो विफलता मोड (क्रॉस-लेयर डिस्ट्रीबशनल मिसमैच (वेक्टर ब्लॉक्स) और आउटलियर डोमिनेंस (स्केलर ब्लॉक्स)) के लिए सैद्धांतिक लक्षण वर्णन (प्रपोजिशन 1 और थ्योरम 3) और अनुभवजन्य सत्यापन प्रदान करता है।
LegoLM फ्रेमवर्क: एक नवीन, डेटा-फ्री कंप्रेशन विधि जो स्केलर एनकोडिंग, सिलेक्टिव आउटलियर प्रिजर्वेशन और बाउंड्री प्रोटेक्शन को जोड़ती है। इसमें सिलेक्टिव रिप्लेसमेंट को ध्यान में रखते हुए कंप्रेशन रेशियो के सटीक सूत्र शामिल हैं।
स्केल-इनवेरिएंट रेस्क्यू मैकेनिज्म (Scale-Invariant Rescue Mechanism): यह खोज कि आउटलियर डोमिनेंस मॉडल स्केल के साथ सुपरलीनियर रूप से बढ़ता है। जहाँ फुल रिप्लेसमेंट 7B मॉडल्स पर विनाशकारी रूप से विफल होता है, वहीं केवल 1% आउटलियर वेट्स को सुरक्षित रखने से मॉडल को लगभग लॉसलेस क्वालिटी तक बचा लिया जाता है। यह रेस्क्यू मैकेनिज्म 60 $\times$ पैरामीटर रेंज (124M से 7.2B) में सुसंगत है।
मैकेनिज्म एब्लेशन (Mechanism Ablation): एक नियंत्रित एब्लेशन अध्ययन जो दर्शाता है कि सिलेक्टिव रिप्लेसमेंट ही डेटा-फ्री कंप्रेशन के लिए प्रमुख तंत्र है। सिलेक्टिव रिप्लेसमेंट को स्टैंडर्ड पर-लेयर K-means में जोड़ने से लगभग लॉसलेस क्वालिटी (+0.05% PPL) प्राप्त होती है, जो ग्लोबल LegoLM दृष्टिकोण के 0.02 प्रतिशत अंक के भीतर है। ग्लोबल कोडबुक स्ट्रक्चर व्यावहारिक दक्षता (128 सेंट्रॉइड्स बनाम 4,096 स्टोर करना) प्रदान करता है, लेकिन जब सिलेक्टिव रिप्लेसमेंट लागू किया जाता है तो गुणवत्ता में अंतर नगण्य होता है।

प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन GPT-2 Small (124M), GPT-2 Medium (354M), और Mistral-7B (7.2B) पर WikiText-2 टेस्ट सेट और डाउनस्ट्रीम टास्क (LAMBADA, HellaSwag) का उपयोग करके किया गया।

Mistral-7B प्रदर्शन:
- नियर-लॉसलेस (Near-Lossless): $K=128, p=99\%$ पर, LegoLM केवल +0.03% पर्प्लेक्सिटी (PPL) गिरावट के साथ 4.41 $\times$ कंप्रेशन प्राप्त करता है। यह गुणवत्ता और कंप्रेशन रेशियो दोनों में PTQ-8bit (4.00 $\times$ , +0.04% PPL) से बेहतर प्रदर्शन करता है।
- हाई कंप्रेशन (High Compression): $K=8, p=99\%$ पर, यह 9.74 $\times$ कंप्रेशन प्राप्त करता है जिसमें +14.24% PPL गिरावट होती है, जो PTQ-4bit (8.00 $\times$ , +17.85% PPL) से बेहतर है।
- डाउनस्ट्रीम एक्यूरेसी (Downstream Accuracy): $K=64, p=99\%$ (5.12 $\times$ कंप्रेशन) पर, मॉडल डाउनस्ट्रीम एक्यूरेसी को माप शोर (measurement noise) के भीतर सुरक्षित रखता है, जो PTQ-8bit की सटीकता से मेल खाता है जबकि 1.28 $\times$ उच्च कंप्रेशन प्रदान करता है।
बेसलाइन्स के साथ तुलना:
- PTQ-8bit/4bit: LegoLM बिना किसी कैलिब्रेशन डेटा या हेसियन (Hessian) गणना की आवश्यकता के, तुलनीय या उच्च कंप्रेशन अनुपात पर इनकी गुणवत्ता के बराबर या उससे बेहतर परिणाम देता है।
- डीप कंप्रेशन (Per-layer K-means): सिलेक्टिव रिप्लेसमेंट के बिना, पर-लेयर K-means Mistral-7B पर विनाशकारी रूप से विफल हो जाता है (उदाहरण के लिए, +930,306% PPL)। सिलेक्टिव रिप्लेसमेंट ( $p=99\%$ ) के साथ, यह नियर-लॉसलेस क्वालिटी (+0.05%) तक वापस आता है, जो आउटलियर प्रिजर्वेशन की केंद्रीयता की पुष्टि करता है।
- प्रूनिंग और फैक्टराइजेशन: अनस्ट्रक्चर्ड मैग्नीट्यूड प्रूनिंग और SVD-आधारित फैक्टराइजेशन उच्च कंप्रेशन स्तरों पर Mistral-7B पर विनाशकारी रूप से विफल हो जाते हैं।
स्केल सेंसिटिविटी (Scale Sensitivity):
- फुल रिप्लेसमेंट ( $p=100\%$ ) $K=128$ पर GPT-2 Small को +23%, GPT-2 Medium को +79%, लेकिन Mistral-7B को +1,134,279% तक खराब कर देता है।
- सिलेक्टिव रिप्लेसमेंट ( $p=99\%$ ) सभी स्केल्स पर लगभग समान गुणवत्ता बनाए रखता है (+0.03% से +0.18% PPL गिरावट)।
फेज ट्रांजिशन (Phase Transition): $K=4$ (विनाशकारी विफलता) और $K=8$ (कार्यात्मक) के बीच मजबूती में एक तीव्र संक्रमण होता है। $K=8$ पर, 1% आउटलियर्स को सुरक्षित रखना मॉडल को बचाने के लिए पर्याप्त है, जबकि $K=4$ 5% प्रिजर्वेशन के साथ भी टूटा हुआ रहता है।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि LegoLM डेटा-फ्री LLM कंप्रेशन के लिए एक नया प्रतिमान (paradigm) स्थापित करता है क्योंकि यह व्यवस्थित रूप से उन सैद्धांतिक कारणों को संबोधित करता है कि क्यों ग्लोबल वेट शेयरिंग पहले विफल रही थी। इसका प्राथमिक महत्व है:

डेटा-फ्री दक्षता: यह बिना किसी कैलिब्रेशन डेटा, ग्रेडिएंट या हेसियन गणना के प्रतिस्पर्धी या बेहतर परिणाम प्राप्त करता है, जिससे यह उन सेटिंग्स में लागू करने योग्य हो जाता है जहाँ डेटा गोपनीय या अनुपलब्ध है।
सैद्धांतिक अंतर्दृष्टि: यह पहचानता है कि आउटलियर डोमिनेंस एक ऐसा स्केलिंग लॉ है जहाँ एरर संचय मॉडल के आकार के साथ सुपरलीनियर रूप से बढ़ता है, जिसके लिए विशिष्ट संरक्षण रणनीतियों की आवश्यकता होती है।
व्यावहारिक व्यवहार्यता: यह प्रदर्शित करता है कि स्केलर एनकोडिंग और सिलेक्टिव आउटलियर प्रिजर्वेशन का एक सरल संयोजन 7B पैरामीटर वाले मॉडल्स को नगण्य गुणवत्ता हानि के साथ ~4.5 $\times$ तक और कार्यात्मक उपयोगिता के साथ ~10 $\times$ तक कंप्रेस कर सकता है, और यह सब एक सिंगल GPU पर 30 मिनट से कम समय में संभव है।

लेखक "आउटलियर डोमिनेंस स्केलिंग लॉ" और "सिलेक्टिव रिप्लेसमेंट" तंत्र को स्वतंत्र योगदान के रूप में प्रस्तुत करते हैं जो अन्य कंप्रेशन तकनीकों (क्वांटाइजेशन, प्रूनिंग) को लाभान्वित कर सकते हैं जो वर्तमान में सभी वेट्स को समान रूप से देखते हैं।