SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression
SLIM बड़े भाषा मॉडलों (large language models) के लिए एक वन-शॉट कंप्रेशन फ्रेमवर्क है जो हार्डवेयर-अनुकूल यूनिफॉर्म क्वांटाइजेशन, सेमी-स्ट्रक्चर्ड स्पर्सिटी और एक नवीन सैलिएंसी-आधारित लो-रैंक एप्रोक्सिमेशन विधि को समग्र रूप से एकीकृत करता है ताकि कम्प्यूटेशनल रूप से महंगे रिट्रेनिंग की आवश्यकता को समाप्त करते हुए सटीकता और इन्फरेंस गति में महत्वपूर्ण रूप से सुधार किया जा सके।
लार्ज लैंग्वेज मॉडल्स (Large language models) आर्टिफिशियल इंटेलिजेंस की एक नई पीढ़ी के पीछे के इंजन हैं, जो उल्लेखनीय प्रवाह के साथ कहानियाँ लिखने, समस्याओं को हल करने और बातचीत करने में सक्षम हैं। ये सिस्टम अरबों गणितीय कनेक्शनों, या पैरामीटर्स (parameters) से बने होते हैं, जो सूचना को प्रोसेस करने के लिए मिलकर काम करते हैं। हालांकि यह विशाल पैमाना उन्हें सूक्ष्मता और संदर्भ को समझने की अनुमति देता है, लेकिन यह एक भारी बोझ भी पैदा करता है: इन मॉडल्स को चलाने के लिए अत्यधिक कंप्यूटर मेमोरी और प्रोसेसिंग पावर की आवश्यकता होती है। यह उन्हें स्मार्टफोन या लैपटॉप जैसे रोजमर्रा के उपकरणों पर उपयोग करना कठिन बनाता है, जिससे वे अक्सर महंगे, विशेषीकृत डेटा सेंटरों तक ही सीमित रह जाते हैं। वर्षों से, शोधकर्ता इन मॉडल्स को छोटा करने की कोशिश कर रहे हैं ताकि उन्हें अधिक सुलभ बनाया जा सके, लेकिन यह प्रक्रिया एक समझौते (trade-off) के रूप में रही है। वे तकनीकें जो मॉडल्स को कंप्रेस करती हैं, अक्सर उनकी बुद्धिमत्ता को कम कर देती हैं, जिससे एक छोटे, तेज़ प्रोग्राम और एक स्मार्ट, सटीक प्रोग्राम के बीच चुनाव करने की मजबूरी पैदा होती है।
शोधकर्ताओं की एक टीम ने SLIM नामक एक नई विधि विकसित की है जिसका उद्देश्य इस समझौते को तोड़ना है। उनका कार्य एक विशिष्ट चुनौती पर केंद्रित है: एक बड़े लैंग्वेज मॉडल को एक ही चरण में, महंगे पुन: प्रशिक्षण (retraining) की आवश्यकता के बिना, कैसे कंप्रेस किया जाए, जबकि इसके प्रदर्शन को मूल के लगभग समान रखा जा सके। शोधकर्ताओं ने एक एकीकृत प्रक्रिया बनाने के लिए तीन अलग-अलग संपीड़न (compression) तकनीकों को संयोजित किया—मॉडल द्वारा उपयोग किए जाने वाले नंबरों की सटीकता (precision) को कम करना, अनावश्यक कनेक्शनों को हटाना, और छोटे, लचीले समायोजन जोड़ना। इसका परिणाम एक ऐसा सिस्टम है जो मॉडल को काफी हद तक सिकोड़ सकता है और साथ ही प्रश्नों के उत्तर देने और टेक्स्ट उत्पन्न करने की उसकी क्षमता को बनाए रख सकता है, और कुछ मामलों में उसमें सुधार भी कर सकता है।
मुख्य कठिनाई जिसका सामना शोधकर्ताओं ने किया वह यह थी कि मॉडल को कंप्रेस करने से आमतौर पर त्रुटियाँ आती हैं। कल्पना कीजिए कि आप एक बड़ी, विस्तृत पेंटिंग को एक छोटे फ्रेम में फिट करने की कोशिश कर रहे हैं; यदि आप केवल किनारों को काट देते हैं या छवि को पिचका देते हैं, तो आप महत्वपूर्ण विवरण खो देते हैं। डिजिटल दुनिया में, ऐसा तब होता है जब शोधकर्ता नंबरों को स्टोर करने के लिए उपयोग किए जाने वाले बिट्स की संख्या कम करते हैं या जब वे मॉडल की संरचना के हिस्सों को हटा देते हैं। पिछली विधियों ने मॉडल को भारी मात्रा में डेटा पर पुन: प्रशिक्षित करके इन त्रुटियों को ठीक करने की कोशिश की, जो एक धीमी और गणनात्मक रूप से महंगी प्रक्रिया है। अन्य विधियों ने एक ही चरण में त्रुटियों को ठीक करने का प्रयास किया लेकिन अक्सर विभिन्न संपीड़न तकनीकों को मिलाने की कोशिश करते समय विफल रहीं, जिससे गुणवत्ता में भारी गिरावट आई।
SLIM फ्रेमवर्क इस समस्या को संपीड़न प्रक्रिया को तीन चरणों के एक समन्वित क्रम के रूप में मानकर हल करता है। सबसे पहले, शोधकर्ताओं ने मॉडल के भीतर के नंबरों को सरल बनाया। डेटा के विभिन्न हिस्सों के लिए जटिल, परिवर्तनशील स्केल का उपयोग करने के बजाय, उन्होंने नंबरों के पूरे समूहों पर एक एकल, समान स्केल लागू करने का एक नया तरीका विकसित किया। यह प्रक्रिया को मानक कंप्यूटर हार्डवेयर के लिए संभालने में बहुत तेज़ और आसान बनाता है। हालांकि, वे जानते थे कि यह समान दृष्टिकोण अभी भी कुछ अशुद्धियाँ छोड़ देगा, इसलिए वे तुरंत दूसरे चरण पर चले गए: सबसे कम महत्वपूर्ण कनेक्शनों को हटाना। उन्होंने यह पहचानने के लिए एक सिद्ध विधि का उपयोग किया कि मॉडल के कौन से हिस्से सबसे कम काम कर रहे हैं और उन्हें हटा दिया, जिससे एक स्पार्स (sparse) संरचना बनी जो प्रोसेस करने में तेज़ है।
तीसरा चरण वह है जहाँ नवाचार वास्तव में चमकता है। नंबरों को सरल बनाने और कनेक्शनों को हटाने के बाद, मॉडल अनिवार्य रूप से अपनी मूल सटीकता का कुछ हिस्सा खो देता है। पूरे सिस्टम को पुन: प्रशिक्षित किए बिना इस खोई हुई सटीकता को वापस पाने के लिए, शोधकर्ताओं ने छोटे, लो-रैंक एडेप्टर (low-rank adapters) जोड़े। इन एडेप्टर्स को फाइन-ट्यूनिंग टूल्स के एक सेट के रूप में समझें जिन्हें मॉडल की गलतियों को सुधारने के लिए कंप्रेस किए गए मॉडल से जोड़ा जा सकता है। शोधकर्ताओं ने यह गणना करने का एक अनूठा गणितीय तरीका तैयार किया कि ये टूल्स वास्तव में क्या होने चाहिए, इस आधार पर कि मॉडल के प्रत्येक हिस्से ने त्रुटियों में कितना योगदान दिया। डेटा के विभिन्न हिस्सों के महत्व को मापने वाले एक विशिष्ट फंक्शन का उपयोग करके, वे एक ही पास में इन एडेप्टर्स के लिए सटीक सेटिंग्स गणितीय रूप से प्राप्त कर सके। इसने उन्हें पहले दो चरणों द्वारा पेश की गई त्रुटियों की भरपाई करने, प्रभावी रूप से मॉडल की बुद्धिमत्ता को बहाल करने की अनुमति दी।
इस दृष्टिकोण के परिणामों का परीक्षण 7 बिलियन और 13 बिलियन पैरामीटर्स वाले संस्करणों सहित कई बड़े लैंग्वेज मॉडल्स पर किया गया। जब शोधकर्ताओं ने अपनी विधि लागू की, तो उन्होंने पाया कि कंप्रेस किए गए मॉडल्स ने पिछले प्रयासों की तुलना में काफी बेहतर प्रदर्शन किया। एक 7-बिलियन-पैरामीटर वाले मॉडल के लिए, नई विधि ने अन्य वन-शॉट (one-shot) संपीड़न तकनीकों की तुलना में सटीकता में 5.66 प्रतिशत तक सुधार किया। कुछ मामलों में, कंप्रेस किए गए मॉडल, उनके द्वारा घेरी गई समान मेमोरी के आधार पर, मूल, अनकंप्रेस्ड मॉडल्स की तुलना में भी अधिक सटीक थे। यह सुझाव देता है कि यह विधि न केवल गुणवत्ता को सुरक्षित रखती है; यह वास्तव में मॉडल की दक्षता को उस स्तर तक अनुकूलित कर सकती है जो मूल, भारी संस्करण समान संसाधन सीमाओं के भीतर प्राप्त नहीं कर सकता था।
सटीकता के अलावा, यह विधि पर्याप्त गति सुधार भी प्रदान करती है। क्योंकि मॉडल्स छोटे भी हैं और इस तरह से संरचित हैं कि आधुनिक ग्राफिक्स कार्ड उन्हें कुशलतापूर्वक प्रोसेस कर सकें, इसलिए वे बहुत तेज़ चलते हैं। एक मानक उपभोक्ता ग्राफिक्स कार्ड पर, कंप्रेस किए गए मॉडल्स मूल डेंस (dense) मॉडल्स की तुलना में 4.3 गुना अधिक तेज़ी से चले। अधिक शक्तिशाली प्रोफेशनल हार्डवेयर पर, गति में वृद्धि अभी भी महत्वपूर्ण थी, जो 3.8 गुना तक पहुँची। इसके अतिरिक्त, इन मॉडल्स को चलाने के लिए आवश्यक मेमोरी नाटकीय रूप रूप से गिर गई, जिसमें कुछ कॉन्फ़िगरेशन मूल डेंस संस्करणों के लिए आवश्यक मेमोरी के एक चौथाई से भी कम का उपयोग कर रहे थे। मेमोरी फुटप्रिंट में इस कमी का अर्थ है कि जो मॉडल पहले विशाल सर्वरों की मांग करते थे, वे संभावित रूप से अधिक सुलभ हार्डवेयर पर चल सकते हैं।
शोधकर्ताओं ने यह भी पता लगाया कि क्या थोड़े से अतिरिक्त प्रशिक्षण से और भी मदद मिल सकती है। उन्होंने पाया कि थोड़े से डेटा पर छोटे एडेप्टर्स को थोड़ा समायोजित करने की अनुमति देने से, मॉडल की सटीकता को अन्य 1.66 प्रतिशत तक बढ़ाया जा सकता है। यह वैकल्पिक चरण एक तरीका प्रदान करता है जिससे प्रदर्शन को और भी निकाला जा सके यदि एप्लिकेशन थोड़े समायोजन की अवधि की अनुमति देता है, लेकिन मुख्य विधि इसके बिना भी प्रभावी रहती है। टीम ने अपने कार्य की तुलना अन्य अग्रणी विधियों से की और पाया कि उनका दृष्टिकोण लगातार उनसे बेहतर प्रदर्शन करता है, विशेष रूप से विभिन्न प्रकार के संपीड़न को मिलाने के दौरान। जबकि अन्य विधियाँ कनेक्शन हटाने और नंबर प्रिसिजन को कम करने के संयोजन को एक साथ संभालने में संघर्ष करती थीं, SLIM उन्हें सहजता से एकीकृत करने में सफल रहा।
यह कार्य बड़े लैंग्वेज मॉडल्स को उपकरणों की एक विस्तृत श्रृंखला के लिए व्यावहारिक बनाने की दिशा में एक महत्वपूर्ण कदम है। मॉडल की बुद्धिमत्ता से समझौता किए बिना उसे एक ही चरण में कंप्रेस करने की समस्या को हल करके, शोधकर्ताओं ने उन्नत आर्टिफिशियल इंटेलिजेंस को ऐसे हार्डवेयर पर तैनात करने का मार्ग प्रशस्त किया है जो अधिक सामान्य और किफायती है। यह विधि जटिल, कस्टम हार्डवेयर या भारी पुन: प्रशिक्षण प्रयासों पर निर्भर नहीं करती है, जो इसे वास्तविक दुनिया के अनुप्रयोगों के लिए एक व्यवहार्य समाधान बनाती है। जैसे-जैसे कुशल और सुलभ आर्टिफिशियल इंटेलिजेंस की मांग बढ़ रही है, SLIM जैसी तकनीकें उच्च-गुणवत्ता, बुद्धिमान प्रदर्शन की मांग के साथ गति और मेमोरी की आवश्यकता को संतुलित करने का एक तरीका प्रदान करती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।