FAMPWQ: Fisher Information-based Adaptive Mixed Precision Weight Quantization for Effective LLM Inference

लार्ज लैंग्वेज मॉडल्स (LLMs) कृत्रिम बुद्धिमत्ता की एक नई पीढ़ी के पीछे के इंजन हैं, जो कहानियाँ लिखने, समस्याओं को हल करने और ऐसी प्रवाहपूर्णता के साथ बातचीत करने में सक्षम हैं जो कभी असंभव लगती थी। ये सिस्टम गणितीय कनेक्शनों के विशाल नेटवर्क पर बने होते हैं, जिन्हें 'पैरामीटर्स' कहा जाता है, जिन्हें कंप्यूटर की मेमोरी में संख्याओं के रूप में संग्रहीत किया जाता है। मॉडल जितना अधिक जटिल होगा, उसे चलाने के लिए उतनी ही अधिक मेमोरी की आवश्यकता होगी। हालांकि ये मॉडल शक्तिशाली डेटा सेंटरों पर शानदार प्रदर्शन करते हैं, लेकिन इनका विशाल आकार इन्हें लैपटॉप या स्मार्टफोन जैसे रोजमर्रा के उपकरणों पर उपयोग करना कठिन बना देता है, जिनमें स्टोरेज और प्रोसेसिंग पावर बहुत कम होती है। इस अंतर को पाटने के लिए, इंजीनियर 'क्वांटाइजेशन' नामक तकनीक का उपयोग करते हैं। यह प्रक्रिया मॉडल के भीतर की संख्याओं को सरल बनाती है, जिससे स्थान बचाने के लिए उनकी सटीकता (precision) को कम कर दिया जाता है। हालांकि, यह सरलीकरण एक नाजुक संतुलन है: यदि संख्याओं को बहुत अधिक आक्रामक रूप से राउंड (round) किया जाता है, तो मॉडल की बुद्धिमत्ता कम होने लगती है, और यह गलतियाँ करने लगता है या संदर्भ को समझने की अपनी क्षमता खोने लगता है।

वर्षों से, इस समस्या के लिए मानक दृष्टिकोण यह रहा है कि मॉडल के हर हिस्से के साथ एक जैसा व्यवहार किया जाए। इंजीनियर पूरे सिस्टम पर सरलीकरण का एक समान स्तर लागू करते थे, ठीक वैसे ही जैसे लकड़ी की एक मूर्ति को पूरी सतह पर एक ही ग्रिट वाले रेगमाल (sandpaper) से घिसा जाता है। यह विधि सरल है, लेकिन यह एक महत्वपूर्ण वास्तविकता को अनदेखा करती है: भाषा मॉडल के सभी हिस्से समान रूप से महत्वपूर्ण नहीं होते हैं। नेटवर्क के कुछ हिस्से परिवर्तनों के प्रति अत्यधिक संवेदनशील होते हैं, जहाँ एक छोटी सी त्रुटि भी आउटपुट को खराब कर सकती है, जबकि अन्य हिस्से मजबूत होते हैं और बिना किसी ध्यान देने योग्य गुणवत्ता हानि के महत्वपूर्ण सरलीकरण को सहन कर सकते हैं। हालिया शोध से पता चला है कि संवेदनशील और मजबूत दोनों क्षेत्रों पर समान स्तर का संपीड़न (compression) लगाने से एक विकल्प चुनना पड़ता है: या तो उन हिस्सों पर मेमोरी बर्बाद करना जिनकी आवश्यकता नहीं है, या उन हिस्सों को अत्यधिक कंप्रेस करके मॉडल की बुद्धिमत्ता को नष्ट करना जिनकी आवश्यकता है।

शोधकर्ताओं की एक टीम ने अब FAMPWQ नामक एक नई विधि विकसित की है जो इस समस्या को हल करती है, और यह मॉडल के प्रत्येक लेयर (layer) के साथ व्यक्तिगत रूप से व्यवहार करती है। पूरे सिस्टम पर एक एकल नियम लागू करने के बजाय, उनका दृष्टिकोण यह मापने के लिए कि प्रत्येक विशिष्ट लेयर संपीड़न के प्रति कितनी संवेदनशील है, यह तय करता है कि उसे कितना सरल बनाया जाए। ऐसा करने के लिए, वे 'फिशर इंफॉर्मेशन' (Fisher information) नामक एक गणितीय अवधारणा का उपयोग करते हैं, जो मॉडल की आंतरिक संरचना के लिए एक 'स्ट्रेस टेस्ट' की तरह कार्य करती है। वे एक विशिष्ट लेयर के नंबरों में एक छोटा, सिम्युलेटेड व्यवधान (disturbance) पेश करते हैं और देखते हैं कि मॉडल का प्रदर्शन इसके जवाब में कितना बदलता है। यदि प्रदर्शन तेजी से गिरता है, तो उस लेयर को संवेदनशील माना जाता है और उसे उच्च सटीकता (higher precision) पर रखा जाता है। यदि प्रदर्शन स्थिर रहता है, तो उस लेयर को मजबूत माना जाता है और उसे अधिक आक्रामक रूप से कंप्रेस किया जाता है। यह सिस्टम मॉडल के महत्वपूर्ण और नाजुक हिस्सों को सुरक्षित रखते हुए अनावश्यक हिस्सों को आक्रामक रूप से सिकोड़ने की अनुमति देता है, जिससे हर एकल मॉडल के लिए एक कस्टम-टेलर संतुलित व्यवस्था तैयार होती है।

एक बार जब शोधकर्ता प्रत्येक लेयर की संवेदनशीलता का मानचित्र तैयार कर लेते हैं, तो वे एक लर्निंग एल्गोरिदम का उपयोग यह तय करने के लिए करते हैं कि प्रत्येक को कितने बिट्स की सटीकता आवंटित की जाए। यह एल्गोरिदम एक रणनीतिक योजनाकार (strategic planner) की तरह कार्य करता है, जो एक सख्त मेमोरी सीमा के भीतर फिट होने वाले उच्च और निम्न सटीकता के सटीक मिश्रण की खोज करता है। लक्ष्य एक ऐसी कॉन्फ़िगरेशन खोजना है जहाँ कुल मेमोरी का उपयोग न्यूनतम हो, लेकिन सटीकता की हानि को यथासंभव कम रखा जा सके। इस अनुकूलन योग्य रणनीति का उपयोग करके, शोधकर्ता उन सीमाओं को आगे बढ़ाने में सक्षम रहे जो कंप्रेस्ड मॉडल्स के लिए संभव थीं। विभिन्न अलग-अलग लार्ज लैंग्वेज मॉडल्स पर परीक्षणों में, उनकी विधि ने लगातार मौजूदा तकनीकों को पछाड़ दिया। जब मॉडल्स को औसतन केवल तीन बिट्स प्रति नंबर तक कंप्रेस किया गया, तो उनके नए दृष्टिकोण ने अन्य विधियों की तुलना में काफी अधिक सटीक परिणाम दिए, जिसमें कुछ परीक्षणों में त्रुटियों में लगभग 7 प्रतिशत की कमी देखी गई।

इस कार्य के परिणाम बताते हैं कि छोटे उपकरणों पर शक्तिशाली कृत्रिम बुद्धिमत्ता चलाने का भविष्य एकरूपता के बजाय लचीलेपन (flexibility) में निहित है। शोधकर्ताओं ने पाया कि नेटवर्क के प्रत्येक भाग की अनूठी जरूरतों का सम्मान करके, वे अत्यंत कम मेमोरी फुटप्रिंट के बावजूद उच्च प्रदर्शन बनाए रख सकते हैं। प्रत्यक्ष तुलनाओं में, जहाँ मॉडल्स को अपने स्वयं के उत्तरों की गुणवत्ता का मूल्यांकन करने के लिए कहा गया था, वहां इस नई विधि ने 76 प्रतिशत मामलों तक अन्य अग्रणी दृष्टिकोणों को हरा दिया। यह इंगित करता है कि मॉडल्स ने इतनी कड़ी सीमाओं के तहत भी भाषा और तर्क की बहुत गहरी समझ बनाए रखी, जितनी पहले संभव नहीं मानी जाती थी। हालांकि इस विधि के लिए सर्वोत्तम सेटिंग्स निर्धारित करने के लिए विश्लेषण की एक प्रारंभिक अवधि की आवश्यकता होती है, लेकिन यह एक 'वन-टाइम' खर्च है जिसका लाभ उन हार्डवेयर पर इन परिष्कृत मॉडल्स को चलाने की क्षमता से मिलता है जो पहले इनके लिए बहुत सीमित थे। यह कार्य प्रदर्शित करता है कि सिस्टम के घटकों की नाजुकता को सावधानीपूर्वक मापकर, हम एक-आकार-सभी-के-लिए-उपयुक्त (one-size-fits-all) समाधान लागू करने की तुलना में इसे बहुत अधिक प्रभावी ढंग से कंप्रेस कर सकते हैं।