OASIS: Outlier-Aware LUT-Based GEMM with Dual-Side Quantization for LLM Inference Acceleration
OASIS एक लुकअप टेबल-आधारित आर्किटेक्चर है जो ड्यूल-साइड क्वांटाइजेशन, आउटलियर-अवेयर एरर कंपनसेशन और एक नवीन टॉप-k डिटेक्शन इंजन के माध्यम से गैर-समान रूप से क्वांटाइज्ड वेट्स और एक्टिवेशन्स के साथ कुशल जनरल मैट्रिक्स मल्टीप्लिकेशन को सक्षम करके LLM इन्फरेंस को त्वरित करता है, जिससे मौजूदा तरीकों की तुलना में गति, ऊर्जा दक्षता और सटीकता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और समस्याओं को हल कर सकता है। लेकिन यह पुस्तकालय इतना बड़ा है कि यह एक विशाल गोदाम (मेमोरी) घेरता है और एक अकेला पन्ना खोजने के लिए भी हजारों पुस्तकालयाध्यक्षों (कंप्यूटरों) की एक टीम की आवश्यकता होती है। यह इसे उपयोग करने में धीमा और महंगा बनाता है।
इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर किताबों को छोटा करने के लिए उन्हें छोटे, सरल संस्करणों में सारांशित करने (क्वांटाइजेशन) की कोशिश करते हैं। हालाँकि, इसमें एक पेच है:
- विधि A (वेट-ओनली/भार-मात्र): आप किताबों को सिकोड़ते हैं लेकिन संदर्भ कार्डों (रेफरेंस कार्ड्स) को एक जटिल प्रारूप में रखते हैं। उपयोग करने के लिए, आपको हर बार उन्हें देखने के लिए कार्डों को मूल प्रारूप में वापस अनुवादित करना पड़ता है। यह अनुवाद करने में बहुत समय लगता है।
- विधि B (मानक कम-परिशुद्धता/स्टैंडर्ड लो-प्रिसिजन): आप सब कुछ सिकोड़कर छोटे, सरल नोट्स बना देते हैं। यह तेज़ है, लेकिन आप विवरण का इतना हिस्सा खो देते हैं कि कहानियाँ गलतियाँ करने लगती हैं।
- विधि C (गैर-समान/नॉन-यूनिफॉर्म): आप एक विशेष, कस्टम डिक्शनरी बनाते हैं जहाँ सबसे सामान्य शब्दों को छोटे कोड मिलते हैं और दुर्लभ शब्दों को लंबे कोड मिलते हैं। यह कहानियों को सटीक रखता है, लेकिन आपके वर्तमान पुस्तकालयाध्यक्ष इस विशेष डिक्शनरी को बिना अनुवाद किए नहीं पढ़ सकते, जिससे गति खत्म हो जाती है।
मिलिए OASIS से: एक नया सिस्टम जिसे इन विशेष, कस्टम डिक्शनरीज़ को बिना अनुवाद किए तुरंत पढ़ने के लिए डिज़ाइन किया गया है।
यहाँ बताया गया है कि OASIS कैसे काम करता है, सरल अवधारणाओं में विभाजित:
1. जादुई चीट शीट (The LUT)
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको दो संख्याओं को गुणा करना है। हर बार गणित करने के बजाय, आपके पास एक विशाल चीट शीट (लुकअप टेबल, या LUT) है जिसमें उत्तर पहले से ही लिखा हुआ है।
- समस्या: पिछले चीट शीट इतने बड़े थे कि वे आपकी जेब में नहीं समा सकते थे, या वे हर बार बदलते थे जब आप खेलते थे, इसलिए आपको उन्हें ऑन-द-फ्लाई फिर से लिखना पड़ता था।
- OASIS का समाधान: OASIS एक "कार्टेशियन प्रोडक्ट" चीट शीट का उपयोग करता है। इसे एक ग्रिड की तरह सोचें जहाँ एक तरफ सभी संभावित "वेट" (भार) कोड होते हैं और दूसरी तरफ सभी संभावित "एक्टिवेशन" (सक्रियण) कोड होते हैं। क्योंकि कोड पहले से निर्धारित हैं और पहले से सीखे गए हैं, OASIS खेल शुरू होने से पहले इसे एक बार प्रिंट कर सकता है।
- परिणाम: यह चीट शीट पिछले संस्करणों की तुलना में 64 गुना छोटी है, और क्योंकि यह इतनी सघन है, OASIS समानांतर (पैरेलल) में उत्तरों को 1,024 गुना तेज़ी से देख सकता है। यह एक सुपर-फास्ट लाइब्रेरियन की तरह है जो एक विशाल, बदलते हुए संग्रह के बजाय एक छोटे, पूर्व-व्यवस्थित कार्ड से उत्तर लेने के लिए झपटता है।
2. "आउटलायर" की समस्या (तेज़ शोर)
इन मॉडल्स में, अधिकांश संख्याएँ शांत और अनुमानित (इनलायर्स) होती हैं, लेकिन कुछ संख्याएँ अत्यंत तेज़ और अजीब (आउटलायर्स) होती हैं। यदि आप पूरी किताब को सारांशित करने की कोशिश करते हैं, तो ये तेज़ संख्याएँ विकृत हो जाती हैं, जिससे कहानी खराब हो जाती है।
- पुराना तरीका: इन तेज़ नंबरों को खोजने के लिए, लाइब्रेरियन रुक जाता है, पूरे पन्ने को स्कैन करता है, तेज़ नंबरों को ढूंढता है, और फिर पढ़ना शुरू करता है। यह "रुकने और स्कैन करने" की प्रक्रिया सब कुछ धीमा कर देती है।
- OASIS का समाधान (लुक-अहेड): OASIS "लुक-अहेड" नामक एक चतुर ट्रिक का उपयोग करता है।
- शाखा 1 (मुख्य पाठक): शोर की परवाह किए बिना पूरे पन्ने को तेज़ी से पढ़ता है। यह एक "रफ ड्राफ्ट" उत्तर देता है।
- शाखा 2 (नॉइज़ क्लीनर/शोर सफाईकर्मी): समानांतर में चलता है, विशेष रूप से उन तेज़ नंबरों की तलाश करता है। यह गणना करता है कि शोर के कारण "रफ ड्राफ्ट" में कितनी गलती हुई और एक "करेक्शन नोट" (सुधार नोट) बनाता है।
- विलय (The Merge): बिल्कुल अंत में, रफ ड्राफ्ट और करेक्शन नोट को आपस में जोड़ दिया जाता है।
- परिणाम: सिस्टम को तेज़ नंबरों को खोजने के लिए कभी रुकना या इंतज़ार नहीं करना पड़ता। यह दोनों काम एक साथ करता है, इसलिए गति कम नहीं होती है।
3. "ओरिज़ुरु" इंजन (पेपर क्रेन हंटर)
"नॉइज़ क्लीनर" शाखा को तेज़ बनाने के लिए, शोधकर्ताओं ने Orizuru (एक पेपर क्रेन के नाम पर) नामक एक विशेष टूल बनाया है।
- कल्पना कीजिए कि आपके पास 1,000 कागज़ों का ढेर है और आपको तुरंत उनमें से 5 सबसे भारी और 5 सबसे हल्के कागज़ ढूँढने हैं। एक सामान्य व्यक्ति एक-एक करके उन्हें उठाएगा।
- Orizuru एक स्मार्ट सॉर्टिंग मशीन की तरह है जो एक "टूर्नामेंट" संरचना का उपयोग करती है। यह कागज़ों की जोड़ियाँ बनाता है, एक "मैक्स" टूर्नामेंट में हल्के कागज़ों को बाहर करता है और एक "मिन" टूर्नामेंट में भारी कागज़ों को बाहर करता है, और यह सब परिणामों का पुन: उपयोग करते हुए किया जाता है। यह न्यूनतम प्रयास के साथ आउटलायर्स को खोज लेता है, जिससे यह सुनिश्चित होता है कि "नॉइज़ क्लीनर" शाखा अटक न जाए।
अंतिम स्कोरकार्ड
पेपर ने OASIS का परीक्षण मौजूदा सर्वोत्तम विधियों के विरुद्ध किया:
- सटीकता (Accuracy): इसने मूल गुणवत्ता (पूर्ण, बिना संकुचित मॉडल की तुलना में) का केवल 1.94% ही नुकसान उठाया। यह अन्य तेज़ विधियों की तुलना में बहुत बेहतर है, जो अक्सर 6% या उससे अधिक का नुकसान करती हैं।
- गति (Speed): यह वर्तमान के सर्वश्रेष्ठ विशेष हार्डवेयर (FIGLUT) से 3 गुना तेज़ है।
- ऊर्जा (Energy): यह समान काम करने के लिए 1.44 गुना कम ऊर्जा का उपयोग करता है।
संक्षेप में: OASIS डेटा को सिकोड़ने का एक नया तरीका है जिससे कहानी का नुकसान नहीं होता, जो गणित को तुरंत करने के लिए एक पहले से बनी चीट शीट का उपयोग करता है, और बिना प्रक्रिया को धीमा किए गलतियों को सुधारने के लिए एक समानांतर "करेक्शन टीम" चलाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।