Sensitivity-aligned Mixed-precision Quantization and Low-rank Adaptation for LLMs
यह शोध पत्र एक संवेदनशीलता-निर्देशित ढांचे (sensitivity-guided framework) का प्रस्ताव करता है जो बड़े भाषा मॉडलों को कुशलतापूर्वक संकुचित करने के लिए ब्लॉक-वाइज मिश्रित-परिशुद्धता क्वांटाइजेशन (block-wise mixed-precision quantization) को एडेप्टिव लो-रैंक एडेप्टेशन (adaptive low-rank adaptation) के साथ जोड़ता है, जिससे FP16 बेसलाइन की तुलना में डाउनस्ट्रीम प्रदर्शन और परप्लेक्सिटी (perplexity) को बनाए रखते हुए या यहाँ तक कि सुधारते हुए संपीड़न किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) आज की सबसे उन्नत आर्टिफिशियल इंटेलिजेंस प्रणालियों के इंजन हैं, जो कहानियाँ लिखने, जटिल समस्याओं को हल करने और मानवीय संवेदनाओं वाली बातचीत करने में सक्षम हैं। ये सिस्टम गणितीय कनेक्शनों के विशाल नेटवर्क पर बने होते हैं, जिनमें अक्सर अरबों पैरामीटर्स होते हैं, जो उन्हें टेक्स्ट की विशाल मात्रा से पैटर्न सीखने की अनुमति देते हैं। हालाँकि, इस बुद्धिमत्ता की एक भारी कीमत है: इन मॉडल्स का अत्यधिक आकार बहुत अधिक कंप्यूटर मेमोरी और प्रोसेसिंग पावर की मांग करता है। यह उन्हें स्मार्टफोन या लैपटॉप जैसे रोजमर्रा के उपकरणों पर चलाना कठिन बनाता है, और यहाँ तक कि महंगे डेटा सेंटर्स भी ऐसे बड़े सिस्टम की ऊर्जा और गति की मांगों से जूझते हैं। इन शक्तिशाली उपकरणों को अधिक सुलभ बनाने के लिए, शोधकर्ताओं ने वर्षों तक उन्हें उनकी स्पष्ट रूप से सोचने की क्षमता खोए बिना छोटा करने के तरीके विकसित करने में बिताया है।
इन मॉडल्स को छोटा करने के सबसे आशाजनक तरीकों में से एक है 'क्वांटाइजेशन' (quantization)। कल्पना कीजिए कि एक लाइब्रेरी है जहाँ हर किताब हाई-रिज़ॉल्यूशन, फुल-कलर फॉर्मेट में लिखी गई है जो बहुत अधिक शेल्फ स्पेस लेती है। क्वांटाइजेशन उन किताबों को छोटे, अधिक कॉम्पैक्ट फॉन्ट में फिर से छापने या जगह बचाने के लिए कम रंगों का उपयोग करने जैसा है। कंप्यूटर की दुनिया में, इसका अर्थ है मॉडल के भीतर मौजूद संख्याओं को सूचना के कम बिट्स के साथ दर्शाना। जबकि यह मॉडल के आकार को काफी कम कर देता है, यह अक्सर त्रुटियाँ भी पेश करता है, ठीक वैसे ही जैसे एक फोटोकॉपी जिसमें कुछ विवरण खो जाते हैं। यदि संपीड़न (compression) बहुत अधिक आक्रामक हो जाए, तो भाषा समझने की मॉडल की क्षमता घट सकती है, जिससे निरर्थक या गलत उत्तर मिल सकते हैं। चुनौती इस बात की रही है कि मॉडल को इतना कंप्रेस कैसे किया जाए कि वह छोटे उपकरणों पर फिट हो सके और साथ ही उसकी आउटपुट की गुणवत्ता भी उच्च बनी रहे।
जेजू नेशनल यूनिवर्सिटी के शोधकर्ताओं द्वारा एक नया अध्ययन इस समस्या का एक चतुर समाधान प्रस्तावित करता है, जो पूरे मॉडल पर एक ही संपीड़न नियम लागू करने के बजाय, मॉडल के विभिन्न हिस्सों के साथ अलग तरह से व्यवहार करता है। उन्होंने देखा कि भाषा मॉडल के सभी हिस्से समान रूप से महत्वपूर्ण नहीं होते हैं। कुछ खंड अत्यधिक संवेदनशील होते हैं और मॉडल के तर्क (reasoning) के महत्वपूर्ण आधार के रूप में कार्य करते हैं, जबकि अन्य खंड अधिक मजबूत होते हैं और अधिक भारी संपीड़न को सहन कर सकते हैं। शोधकर्ताओं ने एक ऐसा सिस्टम विकसित किया जो इन संवेदनशील क्षेत्रों का मानचित्र तैयार करता है और उन्हें उच्च परिशुद्धता (precision) प्रदान करता है, जिससे वे विस्तृत और स्पष्ट बने रहें, जबकि कम संवेदनशील क्षेत्रों को एक छोटे, अधिक कुशल फॉर्मेट में कंप्रेस होने की अनुमति दी जाती है। यह दृष्टिकोण वैसा ही है जैसे एक फोटोग्राफर विषय के चेहरे को शार्प फोकस में रखता है जबकि स्पेस बचाने के लिए बैकग्राउंड को थोड़ा सॉफ्ट कर देता है, जिससे यह सुनिश्चित होता है कि सबसे महत्वपूर्ण विवरण सुरक्षित रहें।
शोधकर्ताओं, सैयद फैजान हुसैन शाह और ग्योंगमिन किम ने एक फ्रेमवर्क बनाया जिसे वे A2BQ कहते हैं, जिसका अर्थ है 'अटेंशन-डिराइव्ड ब्लॉक-वाइज मिक्स्ड-प्रिसिजन क्वांटाइजेशन'। मॉडल को डेटा के एक एकल ब्लॉक के रूप में देखने के बजाय, उन्होंने इसे छोटे टुकड़ों में विभाजित किया। फिर उन्होंने विश्लेषण किया कि प्रत्येक टुकड़े ने मॉडल के भीतर सूचना के प्रवाह पर कितना भरोसा किया, इसके लिए उन्होंने एक सिग्नल का उपयोग किया जो इस बात से प्राप्त हुआ कि मॉडल विभिन्न शब्दों पर कैसे ध्यान (attention) देता है। इस विश्लेषण के आधार पर, उन्होंने प्रत्येक टुकड़े को अलग-अलग स्तर की परिशुद्धता सौंपी। कुछ टुकड़ों को उच्च स्तर के विवरण के साथ आठ बिट्स का उपयोग करके रखा गया, जबकि अन्य को छह या यहाँ तक कि चार बिट्स में कंप्रेस कर दिया गया। इसने एक मिक्स्ड-प्रिसिशन मैप बनाया जहाँ मॉडल के सबसे महत्वपूर्ण हिस्से मजबूत रहे, और कम महत्वपूर्ण हिस्सों को जगह बचाने के लिए छोटा कर दिया गया।
हालाँकि, केवल मॉडल को कंप्रेस करना, भले ही वह स्मार्ट तरीके से किया गया हो, अभी भी कुछ त्रुटियों की गुंजाइश छोड़ देता है। इसे ठीक करने के लिए, शोधकर्ताओं ने दूसरा चरण जोड़ा जिसे 'एडाप्टिव लो-रंक अडैप्टेशन' या qLoRA+ कहा जाता है। इसे एक फाइन-ट्यूनिंग प्रक्रिया के रूप में सोचें जहाँ मॉडल को संपीड़न के कारण हुई छोटी गलतियों को सुधारने का मौका दिया जाता है। पिछले तरीकों में, यह फाइन-ट्यूनिंग पूरे मॉडल पर समान रूप से लागू की जाती थी, जिससे हर हिस्से को समान सहायता मिलती थी। नया दृष्टिकोण अधिक रणनीतिक है: यह उन हिस्सों को अधिक "सीखने की क्षमता" (learning capacity) देता है जिन्हें सबसे अधिक कंप्रेस किया गया था या जिन्हें सबसे संवेदनशील पहचाना गया था। इन क्षेत्रों की ओर मॉडल की सीखने की क्षमता को विशेष रूप से निर्देशित करके, शोधकर्ता उस गुणवत्ता को काफी हद तक वापस पाने में सफल रहे जो संपीड़न के दौरान खो सकती थी।
टीम ने 1.1 बिलियन से 8 बिलियन पैरामीटर्स तक के आकार के पांच अलग-अलग लार्ज लैंग्वेज मॉडल्स पर इस संयुक्त दृष्टिकोण का परीक्षण किया। उन्होंने मानक भाषा कार्यों पर इन मॉडल्स के प्रदर्शन को मापा, जैसे कि वाक्य में अगले शब्द की भविष्यवाणी करना, जो इस बात का मुख्य संकेतक है कि मॉडल भाषा को कितनी अच्छी तरह समझता है। परिणामों ने दिखाया कि उनका तरीका उन मॉडल्स की तुलना में लगातार बेहतर प्रदर्शन करता है जिन्हें एक समान, यूनिफॉर्म प्रिसिजन स्तर का उपयोग करके कंप्रेस किया गया था। वास्तव में, उनके द्वारा परीक्षण किए गए सबसे छोटे मॉडल के लिए, इस नए तरीके ने एक मानक टेस्ट पर 7.884 का एक विशिष्ट स्कोर प्राप्त किया, जो संबंधित मिक्स्ड-बिट बेसलाइन की तुलना में एक सुधार था, जबकि यह 73.11 टोकन प्रति सेकंड की गति से चला। यह सुझाव देता है कि सावधानीपूर्वक यह संतुलन बनाकर कि कहाँ कंप्रेस करना है और कहाँ विवरण रखना है, और फिर मॉडल को उन परिवर्तनों के अनुकूल होने में मदद करके, इन शक्तिशाली प्रणालियों को उनकी बुद्धिमत्ता से समझौता किए बिना छोटा बनाना संभव है।
इस अध्ययन का एक सबसे महत्वपूर्ण निष्कर्ष इस बात से संबंधित है कि एक मॉडल सैद्धांतिक रूप से कितनी जगह बचाता है और चलते समय वास्तव में कितनी मेमोरी का उपयोग करता है। शोधकर्ताओं ने नोट किया कि जबकि उनका तरीका सैद्धांतिक रूप से मॉडल के स्टोरेज साइज को लगभग 4 से 8 प्रतिशत तक कम कर सकता है, संचालन के दौरान वास्तविक मेमोरी उपयोग मूल, अनकंप्रेस्ड मॉडल के करीब बना रहता है। ऐसा इसलिए है क्योंकि उनका वर्तमान सिस्टम डिस्क पर मौजूद कंप्रेस्ड डेटा को कंप्यूटर द्वारा प्रोसेस करने से पहले मानक फॉर्मेट में पुनर्गठित (reconstruct) करता है। जबकि इसका अर्थ यह है कि डिस्क पर छोटे फ़ाइल होने का तत्काल गति लाभ उनके वर्तमान सेटअप में पूरी तरह से साकार नहीं हुआ है, अध्ययन यह सिद्ध करता है कि अलग-अलग परिशुद्धता स्तरों को मिलाने और मॉडल को तदनुसार अनुकूलित करने की रणनीति गुणवत्ता बनाए रखने में काम करती है। इसके अलावा, शोधकर्ताओं ने पाया कि जबकि इस पद्धति ने लैंग्वेज मॉडलिंग स्कोर में सुधार किया, इसने सभी डाउनस्ट्रीम कार्यों में समान सुधार की गारंटी नहीं दी; विशिष्ट बेंचमार्क पर प्रदर्शन आम तौर पर मूल अनकंप्रेस्ड मॉडल्स के करीब रहा, जिसमें कुछ कार्यों में मामूली गिरावट देखी गई। शोधकर्ता तर्क देते हैं कि यह दृष्टिकोण एक स्पष्ट मार्ग प्रदान करता: यह समझकर कि मॉडल के कौन से हिस्से नाजुक हैं और कौन से मजबूत, हम ऐसी प्रणालियाँ डिजाइन कर सकते हैं जो कुशल और बुद्धिमान दोनों हों, जिससे हमारे रोजमर्रा के उपकरणों पर अधिक सक्षम आर्टिफिशियल इंटेलिजेंस चलने का मार्ग प्रशस्त होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।