FluxBin: Flexible LUT-based Ultra-low-bit LLM Inference by Algorithm-Kernel Synergy
FluxBin एक एल्गोरिदम-कर्नेल को-डिज़ाइन फ्रेमवर्क है जो एक नवीन डिकपल्ड बाइनरी डिकंपोजिशन पद्धति को लुकअप टेबल्स और वर्चुअल कॉलमनर मैपिंग का उपयोग करने वाले एक विशिष्ट CUDA कर्नेल के साथ जोड़ता है ताकि उच्च सटीकता बनाए रखते हुए महत्वपूर्ण गति वृद्धि, ऊर्जा बचत और मेमोरी न्यूनीकरण के साथ अल्ट्रा-लो-बिट LLM इन्फरेंस को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स शक्तिशाली कंप्यूटर प्रोग्राम हैं जो कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और बातचीत कर सकते हैं, लेकिन वे एक भारी भौतिक लागत के साथ आते हैं। इन मॉडल्स को चलाने के लिए, आपको कंप्यूटर मेमोरी और ऊर्जा की विशाल मात्रा की आवश्यकता होती है, जिसके लिए अक्सर विशेष, महंगे हार्डवेयर की आवश्यकता होती है जो बहुत कम लोगों के पास उपलब्ध है। ऐसा इसलिए है क्योंकि ये मॉडल्स अपने ज्ञान को संख्याओं के विशाल ग्रिडों में संग्रहीत करते हैं, और उन सभी संख्याओं को उनके मूल, उच्च-परिशुद्धता (high-precision) रूप में रखना बहुत अधिक स्थान घेरता है। वैज्ञानिक लंबे समय से इन मॉडल्स को संख्याओं को कंप्रेस करके छोटा करने की कोशिश कर रहे हैं, ठीक वैसे ही जैसे एक उच्च-रिज़ॉल्यूशन वाली फोटो को एक छोटी फ़ाइल में बदलना। इस संपीड़न (compression) का एक चरम संस्करण इन संख्याओं को उनके सबसे सरल रूप में कम करना है, केवल दो मानों का उपयोग करना, जो अनिवार्य रूप से उन्हें 'ऑन' और 'ऑफ' स्विचों की एक श्रृंखला में बदल देता है। सैद्धांतिक रूप से, यह मॉडल्स को अविश्वसनीय रूप से तेज़ और कुशल बनाना चाहिए, लेकिन व्यवहार में, कंप्यूटर इन सरल संख्याओं का उपयोग करने में संघर्ष करते हैं जिससे या तो गति धीमी हो जाती है या सटीकता कम हो जाती है। सरल संख्याओं को वापस उपयोग करने योग्य प्रारूप में बदलने की प्रक्रिया में अक्सर इतना समय लग जाता है कि यह गति के लाभों को समाप्त कर देता है, जिससे मॉडल्स पहले जितने ही धीमे रह जाते हैं।
शोधकर्ताओं की एक टीम ने अब इस गतिरोध को तोड़ने का एक तरीका खोज लिया है, जिससे एक नई विधि विकसित हुई है जो इन अत्यधिक-सरलीकृत मॉडल्स को उनकी स्पष्ट रूप से सोचने की क्षमता खोए बिना उच्च गति से चलने की अनुमति देती है। उन्होंने 'फ्लक्सबिन' (FluxBin) नामक एक प्रणाली विकसित की, जो यह बदलकर काम करती है कि कंप्यूटर मॉडल की मेमोरी को कैसे पढ़ता है। हर बार जब मॉडल को कुछ गणना करने की आवश्यकता होती है, तो सरल संख्याओं को जटिल संख्याओं में वापस बदलने के बजाय, यह नई प्रणाली एक पूर्व-निर्मित 'लुकअप टेबल' (lookup table) का उपयोग करती है। एक पुस्तकालय की कल्पना करें जहाँ, हर एक किताब को उत्तर खोजने के लिए पढ़ने के बजाय, आप बस एक शेल्फ पर दिए गए कोड को देखते हैं और तुरंत तैयार उत्तर प्राप्त कर लेते हैं। शोधकर्ताओं ने एक विशेष कंप्यूटर प्रोग्राम बनाया जो इन लुकअप टेबल्स को इस तरह से बनाता है कि वे मॉडल के सबसे महत्वपूर्ण हिस्सों को अतिरिक्त सावधानी के साथ संभाल सकें, यह सुनिश्चित करते हुए कि संपीड़न के दौरान सबसे महत्वपूर्ण जानकारी नष्ट न हो। उन्होंने डेटा को व्यवस्थित करने का एक नया तरीका भी डिज़ाइन किया ताकि कंप्यूटर इसे सुचारू रूप से एक्सेस कर सके, जिससे उस ट्रैफ़िक जाम से बचा जा सके जो आमतौर पर बिखरी हुई या छितरी हुई जानकारी को पढ़ने के दौरान होता है।
इस कार्य के परिणाम महत्वपूर्ण हैं क्योंकि वे सिद्ध करते हैं कि अत्यधिक संपीड़न का अर्थ गति की कीमत पर होना आवश्यक नहीं है। जब शोधकर्ताओं ने एक शक्तिशाली कंप्यूटर चिप पर अपने सिस्टम का परीक्षण किया, तो उन्होंने पाया कि यह एक विशाल मॉडल को, जिसे आमतौर पर बहुत अधिक मेमोरी की आवश्यकता होती है, एक एकल मानक ग्राफिक्स कार्ड पर चला सकता है। यह प्रणाली एक मानक, अनकंप्रेस्ड वर्ज़न की तुलना में लगभग छह गुना तेज़ी से टेक्स्ट उत्पन्न करने में सक्षम थी। इसके अलावा, क्योंकि कंप्यूटर कम भारी काम कर रहा था और कम डेटा इधर-उधर भेज रहा था, इसने लगभग दस गुना कम ऊर्जा का उपयोग किया। यह दक्षता इस बात का प्रमाण है कि जो मॉडल पहले एक एकल मशीन पर चलाने के लिए बहुत बड़े थे, वे अब प्रभावी ढंग से फिट और संचालित हो सकते हैं, जिससे सीमित संसाधनों वाले स्थानों में अधिक शक्तिशाली आर्टिफिशियल इंटेलिजेंस का उपयोग करने का मार्ग खुलता है।
इस दृष्टिकोण की सफलता डेटा को कैसे कंप्रेस किया जाता है और कंप्यूटर हार्डवेयर को डेटा पढ़ने के लिए कैसे निर्देशित किया जाता है, इसके बीच एक सावधानीपूर्ण संतुलन पर निर्भर करती है। शोधकर्ताओं ने महसूस किया कि केवल सब कुछ सरल बनाना पर्याप्त नहीं था; उन्हें यह पहचानना था कि मॉडल के कौन से हिस्से त्रुटियों के प्रति सबसे अधिक संवेदनशील हैं और उनके साथ अलग तरह से व्यवहार करना था। उन्होंने मॉडल के ज्ञान को एक सामान्य, सरलीकृत आधार और सबसे महत्वपूर्ण हिस्सों के लिए विशेष, विस्तृत नोट्स के सेट में विभाजित करने की एक विधि बनाई। यह हाइब्रिड दृष्टिकोण यह सुनिश्चित करता है कि मॉडल अपनी बुद्धिमत्ता बनाए रखे और साथ ही सरलीकृत प्रारूप की गति का भी लाभ उठाए। इस स्मार्ट संपीड़न रणनीति को कंप्यूटर के प्रोसेसर पर सीधे चलने वाले कस्टम-निर्मित प्रोग्राम के साथ जोड़कर, उन्होंने उन धीमी रूपांतरण चरणों को समाप्त कर दिया जो पिछले प्रयासों में बाधा बने हुए थे। यह प्रणाली सरलीकृत डेटा को सीधे पूर्व-गणना किए गए परिणामों से मैप करके काम करती है, जिससे कंप्यूटर को गणित को पूरी तरह से छोड़ने और सीधे उत्तर पर कूदने की अनुमति मिलती है।
अपने प्रयोगों में, टीम ने छोटे मॉडल्स से लेकर अरबों पैरामीटर्स वाले विशाल मॉडल्स तक, लार्ज लैंग्वेज मॉडल्स के कई विभिन्न संस्करणों पर अपने तरीके का परीक्षण किया। हर मामले में, नए सिस्टम ने गति में नाटकीय वृद्धि और ऊर्जा की खपत में भारी कमी प्रदान की। परीक्षण किए गए सबसे बड़े मॉडल्स के लिए, सिस्टम एक एकल कंप्यूटर कार्ड पर उन्हें चलाने में सक्षम था, जहाँ मानक वर्ज़न मेमोरी की कमी के कारण पूरी तरह से विफल हो जाता। मॉडल्स की सटीकता उच्च बनी रही, जो अन्य उन्नत तरीकों के प्रदर्शन से मेल खाती है जिनमें सेटअप के लिए बहुत अधिक समय और कंप्यूटिंग पावर की आवश्यकता होती है। शोधकर्ताओं ने नोट किया कि उनका तरीका मॉडल्स को फिर से प्रशिक्षित (retrain) करने की आवश्यकता के बिना काम करता है, जिसका अर्थ है कि इसे मौजूदा सिस्टम पर तुरंत लागू किया जा सकता है। यह सुझाव देता है कि शक्तिशाली आर्टिफिशियल इंटेलिजेंस को रोज़मर्रा के हार्डवेयर पर चलाने की बाधा अब यह नहीं है कि क्या यह संभव है, बल्कि यह सही उपकरणों का उपयोग करके उस क्षमता को अनलॉक करने का मामला है जो पहले से ही वहां मौजूद है।
इस कार्य के निहितार्थ केवल मॉडल्स को तेज़ बनाने तक ही सीमित नहीं हैं; यह सॉफ्टवेयर और हार्डवेयर के बीच के संबंध को मौलिक रूप से बदल देता है। वर्षों से, यह क्षेत्र एक ऐसे चक्र में फंसा हुआ था जहाँ नए एल्गोरिदम सैद्धांतिक दक्षता के लिए डिज़ाइन किए गए थे लेकिन उन्हें व्यवहार में साकार नहीं किया जा सका क्योंकि हार्डवेयर उनके साथ तालमेल नहीं बिठा सका। यह नया दृष्टिकोण एल्गोरिदम और हार्डवेयर निर्देशों को एक साथ डिज़ाइन करके इस अंतर को पाटता है, यह सुनिश्चित करता है कि प्रक्रिया का प्रत्येक चरण उस विशिष्ट मशीन के लिए अनुकूलित हो जिस पर वह चलता है। शोधकर्ताओं ने प्रदर्शित किया कि डेटा को कैसे संग्रहीत और एक्सेस किया जाता है, इसका सावधानीपूर्वक प्रबंधन करके, उन स्तरों की प्रदर्शन क्षमता प्राप्त करना संभव है जो ऐसे अत्यधिक संपीड़ित मॉडल्स के लिए पहले पहुंच से बाहर मानी जाती थी। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस बड़ा और अधिक जटिल होता जा रहा है, इस तरह के तरीके व्यक्तिगत उपकरणों से लेकर बड़े पैमाने के डेटा केंद्रों तक, व्यापक अनुप्रयोगों के लिए इन तकनीकों को सुलभ और व्यावहारिक बनाने के लिए आवश्यक होंगे। यह कार्य दिखाता है कि चालाक गणित और कुशल इंजीनियरिंग के सही संयोजन के साथ, आज की तकनीक की सीमाओं को पार किया जा सकता है, जिससे एक ऐसा भविष्य संभव होगा जहाँ शक्तिशाली बुद्धिमत्ता केवल एक विलासिता नहीं, बल्कि एक मानक उपकरण होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।