Every Expert Counts: ExactMoE for Memory-Efficient W4A16 Inference
ExactMoE एक W4A16 Mixture-of-Experts मॉडल्स के लिए एक मेमोरी-कुशल इन्फरेंस फ्रेमवर्क है जो केवल रूटेड एक्सपर्ट्स को क्वांटाइज़ करता है और 87% तक GPU मेमोरी की कमी लाने के साथ-साथ बेसलाइन सटीकता के 99% से अधिक को बनाए रखते हुए और अनुक्रमिक निष्पादन (sequential execution) की तुलना में थ्रूपुट में काफी सुधार करने के लिए एक GPU-रेसिडेंट स्लॉट कैश का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस अक्सर विशाल डिजिटल मस्तिष्क पर निर्भर करता है जिसमें अरबों पैरामीटर होते हैं, जो वे समायोज्य नॉब्स (knobs) हैं जो यह निर्धारित करते हैं कि सिस्टम कैसे सोचता है। इन प्रणालियों को तेज़ और अधिक कुशल बनाने के लिए, इंजीनियरों ने 'स्पार्स मिक्स्चर ऑफ एक्सपर्ट्स' (sparse mixture of experts) नामक एक डिज़ाइन विकसित किया है। एक पुस्तकालय की कल्पना करें जहाँ, हर पाठक के लिए मेज पर हर किताब खुली रखने के बजाय, किसी विशेष प्रश्न का उत्तर देने के लिए केवल कुछ विशिष्ट खंडों को निकाला जाता है। इन मॉडलों में, "किताबें" विशेषज्ञ उप-नेटवर्क (specialized sub-networks) हैं जिन्हें 'एक्सपर्ट्स' कहा जाता है। प्रत्येक टेक्स्ट के लिए जिसे मॉडल प्रोसेस करता है, एक राउटर यह तय करता है कि विशेषज्ञों के किस छोटे समूह को सक्रिय किया जाए, जिससे बाकी हिस्से निष्क्रिय रहते हैं। यह सशर्त दृष्टिकोण सोचने की प्रक्रिया के दौरान गणना शक्ति (computing power) की भारी बचत करता है। हालाँकि, जो कोई भी इन मॉडलों को मानक हार्डवेयर पर चलाने की कोशिश कर रहा है, उसके लिए एक महत्वपूर्ण बाधा बनी हुई है: भले ही किसी विशिष्ट कार्य के लिए अधिकांश विशेषज्ञों का उपयोग नहीं किया जाता है, फिर भी विशेषज्ञों के पूरे पुस्तकालय को कंप्यूटर की मेमोरी में संग्रहीत करना आवश्यक होता है। यह आवश्यकता अक्सर सिस्टम को महंगे, उच्च-क्षमता वाले ग्राफिक्स कार्ड का उपयोग करने के लिए मजबूर करती है, या विभिन्न प्रकार की मेमोरी के बीच डेटा को स्थानांतरित करने के कारण इसे काफी धीमा कर देती है।
एक शोधकर्ता ने 'ExactMoE' नामक एक नई विधि प्रस्तावित की है जो मॉडल की पूर्ण ज्ञान आधार तक पहुँचने की क्षमता से समझौता किए बिना इस भंडारण और गति की समस्या का समाधान करती है। उनका दृष्टिकोण एक विशिष्ट प्रकार की मेमोरी-कुशल संपीड़न (compression) पर केंद्रित है जिसे 'फोर-बिट क्वांटाइजेशन' (four-bit quantization) कहा जाता है। सरल शब्दों में, यह तकनीक विशेषज्ञों के भार (weights) को दर्शाने के लिए उपयोग किए जाने वाले नंबरों की सटीकता को कम करती है, जिससे उनका आकार नाटकीय रूप से सिकुड़ जाता है जबकि वे उपयोग योग्य बने रहते हैं। नवाचार इस बात में निहित है कि इस संपीड़ित डेटा को कैसे प्रबंधित किया जाता है। पूरे विशाल पुस्तकालय को ग्राफिक्स कार्ड की तेज़ लेकिन सीमित मेमोरी में फिट करने के बजाय, शोधकर्ता संपीड़ित विशेषज्ञों को कंप्यूटर की मुख्य मेमोरी (main memory) में संग्रहीत करते हैं। वे फिर एक स्मार्ट, लचीली प्रणाली का उपयोग करते हैं ताकि वर्तमान क्षण के लिए आवश्यक विशिष्ट विशेषज्ञों को ग्राफिक्स कार्ड की मेमोरी में लाया जा सके, और उन्हें कड़े समूहों (batches) में निष्पादित किया जा सके। महत्वपूर्ण रूप से, यह प्रणाली सुनिश्चित करती है कि प्रत्येक विशेषज्ञ उपलब्ध रहे और मूल पुस्तकालय के किसी भी हिस्से को हटाए या बदले बिना, ठीक वैसे ही निष्पादित हो जैसा कि मॉडल का राउटर निर्देश देता है।
शोधकर्ता ने एक एकल उपभोक्ता-ग्रेड ग्राफिक्स कार्ड पर 'OLMoE' नामक एक बड़े, ओपन-सोर्स भाषा मॉडल पर इस प्रणाली का परीक्षण किया। उन्होंने अपने नए तरीके की तुलना मॉडल के मानक, असंपीडित संस्करण से की। परिणामों ने दिखाया कि सिस्टम को चलाने के लिए आवश्यक मेमोरी में भारी कमी आई है। जब एक ऐसी कॉन्फ़िगरेशन का उपयोग किया गया जिसमें विशेषज्ञों की एक मध्यम संख्या को किसी भी समय ग्राफिक्स कार्ड की मेमोरी में तैयार रखा गया, तो पीक मेमोरी उपयोग लगभग 87 प्रतिशत तक गिर गया। इस विशाल बचत ने मॉडल को ऐसे हार्डवेयर पर चलने की अनुमति दी जो अन्यथा इसे संभालने के लिए बहुत छोटा होता। गति के मामले में, संपीड़ित मॉडल कुछ सेटिंग्स में मानक संस्करण की तुलना में थोड़ा धीमा था, लेकिन अन्य सेटिंग्स में इसने बराबरी कर ली और यहाँ तक कि इसे पीछे भी छोड़ दिया जब मेमोरी का पूरी तरह से उपयोग किया गया। विशेष रूप से, जब सिस्टम को इस तरह कॉन्फ़िगर किया गया कि सभी विशेषज्ञों को ग्राफिक्स कार्ड की मेमोरी में रखा जाए, तो इसने मानक संस्करण की तुलना में टेक्स्ट को लगभग 47 प्रतिशत तेज़ी से प्रोसेस किया, जबकि कुल मेमोरी का उपयोग काफी कम था।
गति और मेमोरी के अलावा, शोधकर्ता इस बात को मापने में भी सावधान थे कि क्या इस संपीड़न ने मॉडल द्वारा दिए गए उत्तरों की गुणवत्ता को नुकसान पहुँचाया। उन्होंने मॉडल को विभिन्न विषयों पर हजारों बहुविकल्पीय प्रश्नों के माध्यम से चलाया, संपीड़ित संस्करण के परिणामों की मूल मॉडल के साथ तुलना की। निष्कर्ष उल्लेखनीय रूप से करीब थे। संपीड़ित मॉडल ने मूल मॉडल की सटीकता का 99 प्रतिशत से अधिक हिस्सा बनाए रखा। हालांकि प्रदर्शन में एक बहुत छोटा, सांख्यिक रूप से मापने योग्य अंतर था, लेकिन गिरावट इतनी कम थी कि यह सुझाव देती है कि यह विधि वास्तविक दुनिया के उपयोग के लिए व्यवहार्य है। अध्ययन ने यह भी प्रदर्शित किया कि इन विशेषज्ञों के निष्पादन को एक साथ समूहित करके, सिस्टम उन्हें एक-एक करके संभालने की तुलना में डेटा को बहुत अधिक कुशलता से प्रोसेस कर सकता है, जिससे अनुक्रमिक (sequential) दृष्टिकोण की तुलना में गति लगभग दोगुनी हो गई।
यह कार्य एक ऐसे व्यावहारिक मोर्चे को उजागर करता जहाँ मेमोरी, डेटा ट्रांसफर और प्रोसेसिंग स्पीड आपस में मिलते हैं। शोधकर्ता इस बात पर जोर देते हैं कि उनकी विधि मॉडल के विचारों को रूट करने के मौलिक तर्क या यह नहीं बदलती कि वह किन विशेषज्ञों को चुनता है; यह केवल यह बदलती है कि उन विशेषज्ञों को कैसे संग्रहीत और स्थानांतरित किया जाता है। राउटर अभी भी वही निर्णय लेता है, और प्रत्येक चयनित विशेषज्ञ अभी भी अपनी गणना करता है। एकमात्र अंतर यह है कि विशेषज्ञों को एक अत्यधिक संपीड़ित प्रारूप में संग्रहीत किया जाता है और उनके पूर्ण, भारी रूप के बजाय कुशल बैचों में स्थानांतरित किया जाता है। यह अंतर महत्वपूर्ण है क्योंकि इसका अर्थ है कि सिस्टम मूल मॉडल के डिज़ाइन के प्रति वफादार रहता है, और उन तरीकों के दोषों से बचता है जो स्थान बचाने के लिए कुछ विशेषज्ञों को काट देते हैं या स्थायी रूप से अक्षम कर देते हैं।
अंत में, यह शोध परिष्कृत भाषा मॉडलों को अधिक सुलभ हार्डवेयर पर तैनात करने के लिए एक स्पष्ट मार्ग प्रदान करता है। यह सिद्ध करके कि एक मॉडल विशेषज्ञों के अपने पूरे पुस्तकालय को उपलब्ध रखते हुए भी उसकी मेमोरी का एक अंश ही उपयोग कर सकता है, शोधकर्ता ने दिखाया है कि उच्च-प्रदर्शन वाले आर्टिफिशियल इंटेलिजेंस के लिए आवश्यक रूप से विशाल, विशेष बुनियादी ढांचे की आवश्यकता नहीं होती है। यह विधि संपीड़ित विशेषज्ञों को एक एकल, एकीकृत संसाधन के रूप में मानने से काम करती है जिसे मांग पर प्राप्त और उपयोग किया जा सकता है, जिससे यह सुनिश्चित होता है कि मॉडल सक्षम और कुशल बना रहे। हालांकि यह अध्ययन एक विशिष्ट मॉडल और हार्डवेयर सेटअप पर किया गया था, इसके सिद्धांत संकेत देते हैं कि उन्नत एआई को अधिक व्यापक रूप से उपलब्ध कराने की व्यापक क्षमता है, बशर्ते मेमोरी बचत और डेटा मूवमेंट के बीच संतुलन को सावधानीपूर्वक प्रबंधित किया जाए। परिणाम दर्शाते हैं कि सही इंजीनियरिंग के साथ, इन जटिल प्रणालियों को चलाने की बाधा को उनकी बुद्धिमत्ता से समझौता किए बिना काफी कम किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।