GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding
यह शोध पत्र ग्रुप-क्वेरी लेटेंट अटेंशन (GQLA) का प्रस्ताव करता है, जो डीपसीक (DeepSeek) के मल्टी-हेड लेटेंट अटेंशन का एक हार्डवेयर-अनुकूलनशील संशोधन है, जो वेट्स के एक एकल सेट को H100-श्रेणी के GPU के लिए MQA-एब्जॉर्ब पाथ और H20 जैसे कमोडिटी GPU के लिए GQA पाथ के बीच गतिशील रूप से स्विच करने में सक्षम बनाता है, जिससे बिना किसी रिट्रेनिंग या कस्टम कर्नेल के इन्फरेंस दक्षता को अनुकूलित किया जा सकता है और मल्टी-टोकन प्रेडिक्शन को सपोर्ट किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) चला रहे हैं जहाँ हर बार जब एक लाइब्रेरियन एक नया वाक्य लिखता है, तो उसे यह सुनिश्चित करने के लिए कि नया वाक्य समझ में आए, उन सभी किताबों को वापस देखना पड़ता है जो उसने अब तक पढ़ी हैं। यह "वापस देखना" सबसे महंगा हिस्सा है, जिसके लिए बहुत अधिक मेमोरी ट्रैफिक की आवश्यकता होती है।
लंबे समय तक, इसे संभालने का सबसे अच्छा तरीका एक विधि था जिसे MLA (मल्टी-हेड लेटेंट अटेंशन) कहा जाता था। MLA को एक अत्यंत कुशल "सारांश नोट" प्रणाली के रूप में समझें। हर किताब के हर विवरण को रखने के बजाय, लाइब्रेरियन सारी महत्वपूर्ण जानकारी को एक छोटे, लो-रैंक "चीट शीट" (एक लेटेंट वेक्टर) में संकुचित कर देता है।
पुराने सिस्टम के साथ समस्या (MLA):
पेपर का तर्क है कि हालांकि यह चीट शीट सिस्टम शानदार है, लेकिन इसे विशेष रूप से एक बहुत ही महंगे, उच्च-शक्ति वाले कंप्यूटर (NVIDIA H100) के लिए बनाया गया था।
- H100 के अनुकूल: इस महंगे कंप्यूटर पर, यह सिस्टम पूरी तरह से काम करता है क्योंकि यह कंप्यूटर गणित करने में तेज़ है लेकिन इसकी मेमोरी स्पीड सीमित है। चीट शीट मेमोरी उपयोग को कम रखती है, जो कंप्यूटर की ताकत से मेल खाती है।
- H20 का बेमेल होना: हालाँकि, एक सस्ता, निर्यात-प्रतिबंधित कंप्यूटर (H20) भी है जिसमें बहुत अधिक मेमोरी स्पीड है लेकिन यह गणित करने में बहुत धीमा है। इस मशीन के लिए, पुराना चीट शीट सिस्टम एक आपदा है। यह कंप्यूटर को डेटा मूव करने की मात्रा के अनुपात में बहुत अधिक गणित करने के लिए मजबूर करता है, जिससे वह रुक (stall) जाता है।
- कठोरता: पुराना सिस्टम एक ऐसे सूट की तरह है जो एक विशिष्ट व्यक्ति के लिए तैयार किया गया है। यदि आप अपना आकार बदलते हैं, तो आप इसे पहन नहीं सकते। यह लाइब्रेरी को कई श्रमिकों (टेन्सर पैरेललिज्म) का कुशलतापूर्वक उपयोग करने से रोकता है और उन्हें एक साथ अगले कुछ शब्दों का अनुमान लगाने (मल्टी-टोकन प्रेडिक्शन) से भी रोकता है।
नया समाधान: GQLA (ग्रुप-क्वेरी लेटेंट अटेंशन)
लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे GQLA कहा जाता है। इसे एक नए सूट के रूप में नहीं, बल्कि एक परिवर्तनीय सूट के रूप में सोचें जो एक ही कपड़े (समान प्रशिक्षित वेट्स) का उपयोग करके दो अलग-अलग शरीर के प्रकारों पर पूरी तरह फिट बैठता है।
यह इस प्रकार काम करता है (एक उपमा के साथ):
दो मार्ग:
- मार्ग A ("सुपर-कॉम्पैक्ट" मोड): यह मूल MLA शैली है। यह छोटा चीट शीट रखता है। यह महंगे, गणित-प्रधान H100 कंप्यूटर के लिए एकदम सही है। यह मेमोरी ट्रैफिक को कम करता है।
- मार्ग B ("ग्रुपड" मोड): यह नया तरीका है। सब कुछ एक छोटे नोट में संकुचित करने के बजाय, यह नोट्स को 8 अलग-अलग "फोल्डरों" में समूहित करता है। यह एक थोड़ा बड़ा कैश बनाता है, लेकिन यह कंप्यूटर को प्रत्येक चरण में कम गणित करने की अनुमति देता है। यह सस्ते, गणित में धीमे लेकिन डेटा मूव करने में तेज़ H20 कंप्यूटर के लिए एकदम सही है।
जादुई स्विच:
सबसे अच्छी बात यह है कि लाइब्रेरी को फिर से बनाने की आवश्यकता नहीं है। "सूट" (मॉडल वेट्स) वही है। जब आप मॉडल को तैनात करते हैं:- यदि आप H100 पर हैं, तो आप मार्ग A का उपयोग करने के लिए एक स्विच घुमाते हैं।
- यदि आप H20 पर हैं, तो आप मार्ग B का उपयोग करने के लिए एक स्विच घुमाते हैं।
- कोई री-ट्रेनिंग की आवश्यकता नहीं: आपको लाइब्रेरियन को कुछ भी नया सिखाने की आवश्यकता नहीं है। आप बस उन्हें अपने नोट्स पढ़ने का तरीका बदलते हैं।
- कोई कस्टम टूल्स नहीं: यह कंप्यूटर के टूलबॉक्स में पहले से मौजूद मानक उपकरणों का उपयोग करता है।
यह बेहतर क्यों है:
- हार्डवेयर के अनुकूल: यह दोनों प्रकार के कंप्यूटरों के लिए "स्वीट स्पॉट" ढूंढ लेता है, जिससे दोनों पर गति अधिकतम हो जाती है।
- टीम वर्क: पुराने सिस्टम के विपरीत, नया "ग्रुपड" मार्ग कई श्रमिकों को कुशलतापूर्वक सहयोग करने (टेन्सर पैरेललिज्म) की अनुमति देता है, जो पहले बाधित था।
- भविष्य के लिए सुरक्षित: यह सस्ते कंप्यूटरों पर "एक साथ कई शब्दों का अनुमान लगाने" (मल्टी-टोकन प्रेडिक्शन) का भी समर्थन करता है, जो पुराने सिस्टम के लिए बिना क्रैश हुए संभव नहीं था।
"TransGQLA" ट्रिक:
पेपर यह भी दिखाता है कि कैसे मौजूदा लाइब्रेरी (एक मॉडल जिसे पहले से ही पुराने ग्रुपड सिस्टम के साथ प्रशिक्षित किया गया है) को बिना शुरुआत से शुरू किए तुरंत इस नए "परिवर्तनीय सूट" में कैसे बदला जा सकता है। यह एक मानक जैकेट लेने और उसमें एक छिपी हुई ज़िप जोड़ने जैसा है जो इसे तुरंत सुपर-कॉम्पैक्ट संस्करण में बदलने देती है।
परिणाम:
- H100 पर, यह मूल सिस्टम जितना ही अच्छा प्रदर्शन करता है।
- H20 पर, यह मूल सिस्टम की तुलना में 3.4 गुना तेज़ है क्योंकि यह कंप्यूटर को अनावश्यक गणित में समय बर्बाद करने से रोकता है।
- उन्होंने एक मानक मॉडल (LLaMA-3-8B) पर इसका परीक्षण किया और पाया कि इस नए प्रारूप में बदलने से इसकी बुद्धिमत्ता में बहुत कम बदलाव आया, जिससे बहुत कम क्षमता का नुकसान हुआ और सस्ते हार्डवेयर पर भारी गति प्राप्त हुई।
सारांश में:
यह पेपर एक लचीला अटेंशन मैकेनिज्म पेश करता है जो एक "यूनिवर्सल एडाप्टर" की तरह कार्य करता है। यह एक एकल AI मॉडल को उच्च-स्तरीय, महंगे चिप्स और सस्ते, प्रतिबंधित चिप्स दोनों पर अपनी चरम दक्षता पर चलाने की अनुमति देता है, और यह केवल यह बदलकर कि वह अपनी मेमोरी को कैसे व्यवस्थित करता है, बिना मॉडल को फिर से प्रशिक्षित किए या नया सॉफ़्टवेयर बनाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।