💬 NLP

FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression

FLAT-LLM एक तेज़, प्रशिक्षण-मुक्त संरचनात्मक संपीड़न विधि है जो हेड-वार PCA और अनुकूलित रैंक आवंटन के माध्यम से सूक्ष्म-स्तरीय लो-रैंक एक्टिवेशन स्पेस ट्रांसफॉर्मेशन का उपयोग करती है ताकि बिना किसी रिकवरी फाइन-ट्यूनिंग की आवश्यकता के, उच्च सटीकता बनाए रखते हुए LLM मॉडल के आकार को महत्वपूर्ण रूप से कम करने और अनुमान गति में सुधार करने के लिए।

मूल लेखक: Jiayi Tian, Ryan Solgi, Jinming Lu, Yifan Yang, Hai Li, Zheng Zhang

प्रकाशित 2026-02-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiayi Tian, Ryan Solgi, Jinming Lu, Yifan Yang, Hai Li, Zheng Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) मानव ज्ञान के सार से भरी विशाल, अत्यंत बुद्धिमान पुस्तकालयों की तरह हैं। वे अविश्वसनीय रूप से स्मार्ट हैं, लेकिन वे बहुत विशाल भी हैं। एक मानक लैपटॉप या फोन पर इन पुस्तकालयों को चलाने की कोशिश करना एक पॉकेट वॉच में पूरी विश्वकोश (encyclopedia) को फिट करने जैसा है—यह बहुत भारी है, इसे पढ़ने में बहुत समय लगता है, और अक्सर डिवाइस को क्रैश कर देता है।

यह शोध पत्र FLAT-LLM को पेश करता है, जो एक नई विधि है जो इन विशाल पुस्तकालयों को उनकी अच्छी कहानियाँ सुनाने या सटीक उत्तर देने की क्षमता खोए बिना, एक प्रबंधनीय आकार में सिकोड़ने का काम करती है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "भारी" पुस्तकालय

इन मॉडल्स को सिकोड़ने के मौजूदा तरीके एक चौकोर खांचे में गोल खूंटी डालने की कोशिश करने जैसे हैं।

पुराने तरीके (जैसे SVD): कल्पना कीजिए कि आप पुस्तकालय को सिकोड़ने के लिए हर एक किताब को बीच से काटने और पन्नों को आपस में चिपकाने की कोशिश कर रहे हैं। आप जगह तो बचाते हैं, लेकिन किताबें पढ़ना कठिन हो जाता है, और पुस्तकालय धीमा हो जाता है क्योंकि हर बार एक वाक्य पढ़ने के लिए आपको पन्नों को फिर से जोड़ने की आवश्यकता होती है।
अन्य तरीके (जैसे SliceGPT): कल्पना कीजिए कि जगह बचाने के लिए आप किताबों की पूरी अलमारियों को ही हटा देते हैं। इससे जगह तो बचती है, लेकिन अक्सर आप महत्वपूर्ण विधाएं (genres) खो देते हैं, और आपको शेष अलमारियों को जोड़ने के लिए अजीब से पुल (अडैप्टर मॉड्यूल) बनाने पड़ते हैं, जो चलने की गति को धीमा कर देते हैं।

2. समाधान: FLAT-LLM (एक "स्मार्ट सॉर्टर")

FLAT-LLM एक अलग दृष्टिकोण अपनाता है। किताबों को काटने या अलमारियों को हटाने के बजाय, यह एक अत्यंत कुशल लाइब्रेरियन की तरह कार्य करता है जो इस आधार पर पुस्तकालय को पुनर्गठित करता है कि लोग वास्तव में क्या पढ़ते हैं।

चरण A: "हेड-वाइज" सॉर्ट (फाइन-ग्रेन्ड PCA)

मॉडल के भीतर, जानकारी कई समानांतर "हेड्स" (सोचिए कि ये एक कंपनी में विभिन्न विभागों की तरह हैं) में प्रोसेस की जाती है।

अंतर्दृष्टि: शोधकर्ताओं ने देखा कि "वैल्यू" विभाग (जहाँ जानकारी संग्रहीत की जाती है) में, अधिकांश डेटा वास्तव में अनावश्यक (redundant) है। यह एक ही मेमो की 100 प्रतियों को रखने जैसा है।
तरीका: FLAT-LLM एक गणितीय उपकरण जिसका नाम PCA (प्रिंसिपल कंपोनेंट एनालिसिस) है, का उपयोग प्रत्येक विभाग में डेटा को अलग-अलग देखने के लिए करता है। यह पहचानता है कि "शीर्ष 10% मेमो" में 90% महत्वपूर्ण जानकारी है और बाकी को हटा देता है।
जादू: बाकी हिस्से को केवल फेंकने के बजाय, यह शेष किताबों में आवश्यक भागों को सीधे अवशोषित (absorb) कर लेता है। इसका मतलब है कि पुस्तकालय छोटा हो जाता है, लेकिन किताबों में अभी भी सारा आवश्यक अर्थ होता है। इसके लिए किसी अतिरिक्त पुल या अडैप्टर की आवश्यकता नहीं होती।

चरण B: "ग्रीडी बजट" (महत्व-संरक्षण रैंक चयन)

पुस्तकालय के सभी विभाग समान रूप से महत्वपूर्ण नहीं होते। कुछ सरल कार्य संभालते हैं (जैसे "नमस्ते"), जबकि अन्य जटिल तर्क (जैसे "इस गणित के सवाल को हल करें") संभालते हैं।

समस्या: यदि आप हर विभाग को बिल्कुल समान मात्रा में सिकोड़ते हैं (उदाहरण के लिए, हर किसी के स्टाफ में 20% की कटौती करना), तो जटिल विभाग ढह जाएंगे और मॉडल मूर्ख बन जाएगा।
समाधान: FLAT-LLM एक ग्रीडी रिडिस्ट्रीब्यूशन स्ट्रैटेजी का उपयोग करता है। यह एक स्मार्ट मैनेजर की तरह कार्य करता है जो प्रत्येक विभाग के "महत्व स्कोर" को देखता है।
- यह जटिल, संवेदनशील विभागों को अधिक स्टाफ देता है (उनके आकार को बड़ा रखता है)।
- यह सरल, दोहराव वाले विभागों में अधिक कटौती करता है।
परिणाम: कुल आकार काफी कम हो जाता है, लेकिन मॉडल का "मस्तिष्क" तेज बना रहता है क्योंकि महत्वपूर्ण हिस्सों को सुरक्षित रखा गया था। यह पूरी प्रक्रिया केवल कुछ मिनटों में पूरी हो जाती है और इसमें किसी री-ट्रेनिंग (पुनः प्रशिक्षण) की आवश्यकता नहीं होती (पुस्तकालय को नई चीजें सीखने की जरूरत नहीं है; इसे बस पुनर्गठित करने की आवश्यकता है)।

3. परिणाम: तेज़ और स्मार्ट

लेखकों ने कई प्रसिद्ध मॉडल्स (जैसे Llama-2 और Mistral) पर इसका परीक्षण किया और पाया:

बेहतर गुणवत्ता: अन्य संकुचन विधियों की तुलना में, FLAT-LLM मॉडल्स कम गलतियाँ करते हैं और बेहतर टेक्स्ट लिखते हैं (कम "परप्लेक्सिटी", जो कि एक तकनीकी शब्द है जिसका अर्थ है "कम भ्रमित होना")।
गति: क्योंकि मॉडल सुव्यवस्थित है और इसे अजीब अतिरिक्त पुलों की आवश्यकता नहीं है, यह मानक हार्डवेयर पर 1.5x से 1.6x तेज़ चलता है।
मेमोरी: यह काफी कम मेमोरी का उपयोग करता है, जिससे इन मॉडल्स को उन उपकरणों पर चलाना संभव हो जाता है जो पहले इन्हें संभालने में सक्षम नहीं थे।
कोई फाइन-ट्यूनिंग नहीं: अन्य तरीकों के विपरीत, जिन्हें संकुचन के कारण हुए नुकसान को ठीक करने के लिए हफ्तों के री-ट्रेनिंग की आवश्यकता होती है, FLAT-LLM पुनर्गठन के तुरंत बाद काम करता है।

सारांश

FLAT-LLM को एक स्मार्ट, सर्जिकल श्रिंक-रे (shrink-ray) के रूप में सोचें। मॉडल को बेरहमी से आधा काटने या उसके बड़े हिस्से को हटाने के बजाय, यह सावधानीपूर्वक विश्लेषण करता है कि मॉडल के कौन से हिस्से भारी काम कर रहे हैं और कौन से हिस्से केवल जगह भर रहे हैं। यह अतिरिक्त चर्बी को काटता है, मांसपेशियों को पुनर्वितरित करता है, और सब कुछ अधिक सघन रूप से पैक करता है, जिसके परिणामस्वरूप एक ऐसा मॉडल प्राप्त होता है जो मूल मॉडल की तुलना में छोटा, तेज़ और उतना ही स्मार्ट है।

तकनीकी सारांश: FLAT-LLM

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) ने अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन अपने विशाल पैरामीटर काउंट और कम्प्यूटेशनल मांगों के कारण संसाधन-सीमित वातावरण में तैनाती की महत्वपूर्ण चुनौतियों का सामना करते हैं। जबकि मॉडल संपीड़न (compression) तकनीकें जैसे कि क्वांटाइजेशन, नॉलेज डिस्टिलेशन, प्रूनिंग और लो-रैंक डिकंपोजिशन मौजूद हैं, वर्तमान लो-रैंक डिकंपोजिशन विधियां महत्वपूर्ण सीमाओं से ग्रस्त हैं:

सटीकता में गिरावट (Accuracy Degradation): मानक सिंगुलर वैल्यू डिकंप bersama (SVD) को अक्सर सूचना सुरक्षित करने के लिए उच्च-रैंक सन्निकटन (high-rank approximations) की आवश्यकता होती है, जो महत्वपूर्ण रूप से पैरामीटर्स को कम करने में विफल रहता है, विशेष रूप से LLMs (जैसे Llama) में सामान्य वर्गाकार मैट्रिसेस (square matrices) के लिए। बहुत अधिक सिंगुलर वैल्यूज को काटने (truncating) से सूचना की भारी हानि होती है।
अकुशल आर्किटेक्चर (Inefficient Architectures): SliceGPT जैसी विधियां, जो हिडन स्टेट्स को लो-रैंक सबस्पेस में प्रोजेक्ट करती हैं, अक्सर रेसिडुअल पाथ्स के साथ एडॉप्टर मॉड्यूल डालने की आवश्यकता रखती हैं। यह अतिरिक्त मेमोरी ओवरहेड पेश करता है और इन्फरेंस स्पीडअप को सीमित करता है।
उच्च कैलिब्रेशन लागत (High Calibration Costs): मौजूदा रैंक-एडेप्टिव विधियां (जैसे Adaptive SVD) अक्सर कार्य-विशिष्ट पुन: प्रशिक्षण या व्यापक हाइपरपैरामीटर ट्यूनिंग की मांग करती हैं, जिससे वे बड़े मॉडल्स (जैसे LLaMA-70B) तक स्केल करने के लिए अव्यावहारिक हो जाती हैं।

कार्यप्रणाली (Methodology)

लेखक FLAT-LLM (Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री स्ट्रक्चरल कंप्रेशन विधि है जो मल्टी-हेड अटेंशन (MHA) लेयर्स के एक्टिवेशन स्पेस के भीतर कार्य करती है।

1. हेड-वाइज PCA-आधारित वेट ट्रंकेशन (Head-wise PCA-based Weight Truncation)

FLAT-LLM MHA मॉड्यूल के भीतर प्रति-हेड आधार पर प्रिंसिपल कंपोनेंट एनालिसिस (PCA) करके एक्टिवेशन स्पेस की लो-रैंक प्रकृति का लाभ उठाता है।

तंत्र (Mechanism): प्रत्येक अटेंशन हेड के लिए, विधि कैलिब्रेशन सैंपल्स का उपयोग करके वैल्यू आउटपुट्स ( $Y^h_v$ ) का कोवेरिएंस मैट्रिक्स कंप्यूट करती है। इसके बाद आइजनवेक्टर्स (eigenvectors) प्राप्त करने के लिए PCA करती है।
संयुक्त अवशोषण (Joint Absorption): केवल वेट्स को काटने के बजाय, FLAT-LLM आइजनवेक्टर्स को एक लोअर रैंक $r$ तक ट्रंकेट करता है और परिणामी बेसिस को वैल्यू ( $W^h_v$ ) और आउटपुट ( $W^h_o$ ) प्रोजेक्शन मैट्रिसेस में अवशोषित (absorb) कर देता है। यह गणना को $Y^h_o = \text{Softmax}(A^h) X (W^h_v)^\top (W^h_o)^\top$ से बदलकर एक संपीड़ित रूप में बदल देता है जहाँ इंटरमीडिएट डायमेंशन $d_{hid}$ से घटकर $r$ हो जाता है।
क्वेरी/की हैंडलिंग (Query/Key Handling): जबकि वैल्यू और आउटपुट वेट्स को संयुक्त रूप से संपीड़ित किया जाता है, क्वेरी और की प्रोजेक्शन को उसी हेड-वाइज PCA प्रक्रिया का उपयोग करके स्वतंत्र रूप से संपीड़ित किया जाता है। लेखक तर्क देते हैं कि इन प्रोजेक्शन्स पर हेड-वाइज PCA लागू करने से समान स्पर्सिटी लेवल पर फुल-मैट्रिक्स लो-रैंक डिकंपोजिशन की तुलना में कम एप्रोक्सिमेशन एरर मिलता है।
अनुकूलता (Compatibility): यह दृष्टिकोण ग्रुपेड-क्वेरी अटेंशन (GQA) आर्किटेक्चर के साथ संगत है और एडॉप्टर मॉड्यूल से कोई अतिरिक्त मेमोरी ओवरहेड पेश नहीं करता है।

2. इम्पॉर्टेंस-प्रिजर्विंग रैंक सिलेक्शन (Importance-Preserving Rank Selection - IPRS)

यह पहचानते हुए कि डिकोडर लेयर्स में इंट्रिन्सिक डायमेंशनलिटी भिन्न होती है, FLAT-LLM विषम रैंकों को आवंटित करने के लिए एक ग्रीडी रिडिस्ट्रिब्यूशन रणनीति का उपयोग करता है।

महत्व मेट्रिक (Importance Metric): विधि प्रत्येक डिकोडर लेयर के इनपुट और आउटपुट हिडन स्टेट्स के बीच कोसाइन सिमिलैरिटी की गणना करती है। एक नॉर्मलाइज्ड एंगुलर डेविएशन ( $t_l$ ) को एक महत्व स्कोर के रूप में प्राप्त किया जाता है, जहाँ उच्च विचलन इंगित करता है कि एक लेयर कम संपीड़ित योग्य (उच्च इंट्रिन्सिक डायमेंशन) है।
ग्रीडी रिडिस्ट्रिब्यूशन (Greedy Redistribution): एक ग्रीडी एल्गोरिदम (Algorithm 1) शेष रैंक बजट को आवंटित करता है। यह महत्व स्कोर के अनुपात में रैंकों को इटरेटिवली असाइन करता है, ऊपरी सीमा (रैंक रेशियो ऑफ 1) से अधिक होने वाले मानों को क्लिप करता है और शेष बजट को अन्य लेयर्स में पुनर्वितरित करता है। यह सुनिश्चित करता है कि कुल कंप्रेशन रेशियो पूरा हो और महत्वपूर्ण लेयर्स की क्षमता बनी रहे।
दक्षता (Efficiency): चयन प्रक्रिया ट्यूनिंग-फ्री है और सेकंडों में पूरी हो जाती है, जो ट्रेन करने योग्य हाइपरनेटवर्क-आधारित रैंक सिलेक्शन विधियों की तुलना में 100 $\times$ से अधिक समय दक्षता प्रदान करती है।

मुख्य योगदान (Key Contributions)

ट्रेनिंग-फ्री फाइन-ग्रेन्ड कंप्रेशन: एक नवीन तकनीक जो मल्टी-हेड अटेंशन लेयर्स के भीतर हेड-वाइज PCA का उपयोग करके कार्य करती है, जो पूर्व डिकंपोजिशन-आधारित विधियों की अक्षमताओं से बचती है जिन्हें फाइन-ट्यूनिंग या एडॉप्टर ओवरहेड की आवश्यकता होती है।
नवीन रैंक सिलेक्शन एल्गोरिदम: एक इम्पॉर्टेंस-प्रिजर्विंग, ग्रीडी रिडिस्ट्रिब्यूशन रणनीति (IPRS), जो बिना किसी कार्य-विशिष्ट पुन: प्रशिक्षण या व्यापक हाइपरपैरामीटर ट्यूनिंग के डिकोडर लेयर्स में रैंकों को एडेप्टिवली आवंटित करती है।
सैद्धांतिक और अनुभवजन्य सत्यापन: एक सैद्धांतिक विश्लेषण जो सिद्ध करता है कि ट्रंकेशन एरर सीधे ट्रंकेटेड आइजनवैल्यूज के योग के अनुरूप है, जो न्यूनतम रिकंस्ट्रक्शन एरर सुनिश्चित करता है। व्यापक मूल्यांकन स्ट्रक्चरल प्रूनिंग और लो-रैंक बेसलाइन्स की तुलना में बेहतर जनरलाइजेशन और डाउनस्ट्रीम परफॉरमेंस प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन पांच मॉडल्स (Llama-2 7B, 13B, 70B; Llama-3 8B; Mistral-7B) पर 11 डेटासेट्स और विभिन्न कंप्रेशन रेश्यो के माध्यम से किया गया।

प्रदर्शन (Performance): FLAT-LLM लगातार स्ट्रक्चरल प्रूनिंग बेसलाइन्स (LLM-Pruner, FLAP, SliceGPT, SVD-LLM) को लैंग्वेज मॉडलिंग परप्लेक्सिटी और डाउनस्ट्रीम टास्क एक्यूरेसी (जैसे MMLU, ARC, PIQA) दोनों में पछाड़ता है। उदाहरण के लिए, Llama-2 13B के साथ 20% कंप्रेशन रेशियो पर, FLAT-LLM 63.00% की औसत एक्यूरेसी प्राप्त करता है, जो SliceGPT (50.58%) और SVD-LLM (55.86%) से काफी बेहतर है।
इन्फरेंस दक्षता (Inference Efficiency): SliceGPT के विपरीत, जो मेमोरी ओवरहेड उत्पन्न करता है, FLAT-LLM वैल्यू कैश में एक्टिवेशन मेमोरी को कम करता है। यह सभी कंप्रेशन रेश्यो (10%–50%) पर Llama-2 7B पर 1.50 $\times$ से अधिक का इन्फरेंस स्पीडअप प्राप्त करता है, जिसमें 10% कंप्रेशन पर 1.68 $\times$ का पीक स्पीडअप मिलता है। यह SVD-LLM और SliceGPT की तुलना में मेमोरी उपयोग को 20% तक कम भी करता है।
कैलिब्रेशन दक्षता (Calibration Efficiency): विधि को 256 सैंपल्स का उपयोग करके कुछ ही मिनटों में कैलिब्रेशन की आवश्यकता होती है, जिसमें किसी रिकवरी फाइन-ट्यूनिंग की आवश्यकता नहीं होती है।
क्वांटाइजेशन के साथ संयोजन (Combination with Quantization): पोस्ट-ट्रेनिंग क्वांटाइजेशन (GPTQ) के साथ मिलकर, FLAT-LLM नगण्य एक्यूरेसी लॉस के साथ 5–8 $\times$ मॉडल कंप्रेशन सक्षम बनाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि FLAT-LLM LLM कंप्रेशन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो कंप्रेशन रेशियो, सटीकता और इन्फरेंस दक्षता के बीच के ट्रेड-ऑफ को संबोधित करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

रिकवरी फाइन-ट्यूनिंग की आवश्यकता को समाप्त करना, जिससे यह बड़े मॉडल्स के लिए अत्यधिक स्केलेबल हो जाता है।
बिना मेमोरी ओवरहेड के स्ट्रक्चरल कंप्रेशन प्राप्त करना, उन विधियों के विपरीत जो एडॉप्टर लेयर्स डालती हैं।
एक मजबूत, ट्रेनिंग-फ्री समाधान प्रदान करना जो विविध आर्किटेक्चर (Mistral और Llama-3 जैसे नए मॉडल्स सहित) और कंप्रेशन स्तरों पर उच्च प्रदर्शन बनाए रखता है।

लेखक नोट करते हैं कि हालांकि FLAT-LLM पर्याप्त थ्रूपुट एक्सेलेरेशन प्रदान करता है, वास्तविक अभ्यास में पूर्ण क्षमता प्राप्त करने के लिए आगे के CUDA कर्नेल-लेवल ऑप्टिमाइजेशन की आवश्यकता है, और वे भविष्य के कार्य के लिए हार्डवेयर-अवेयर रैंक एलोकेशन को छोड़ देते हैं।