Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference
यह शोध पत्र रिड्यूस्ड मैट्रिक्स मल्टीप्लिकेशन (RMM) को प्रस्तुत करता है, जो एक ट्रेनिंग-मुक्त, इनपुट-अनुकूली इन्फरेंस विधि है जो मॉडल वेट्स को संशोधित किए बिना, विभिन्न मॉडल आकारों, कार्यों और मोडैलिटीज में स्केलेबल सटीकता-दक्षता ट्रेड-ऑफ प्राप्त करते हुए, मैट्रिक्स उत्पादों के सूचनात्मक स्लाइस को चुनिंदा रूप से बनाए रखकर ट्रांसफॉर्मर-आधारित मॉडलों में गणनात्मक लागत को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक आधुनिक कंप्यूटर के मस्तिष्क की कल्पना एक विशाल, अति-बुद्धिमान लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में करें। यह लाइब्रेरियन केवल किताबें पढ़ता ही नहीं है; यह उन्हें लिखता भी है, गणित की समस्याओं को हल करता है, और कहानियाँ सुनाने के लिए चित्रों को भी देखता है। ऐसा करने के लिए, यह "ट्रांसफॉर्मर" नामक एक विशेष प्रकार के मस्तिष्क आर्किटेक्चर का उपयोग करता है। एक ट्रांसफॉर्मर को सूचनाओं के प्रवाह वाली एक विशाल फैक्ट्री के रूप में सोचें जहाँ सूचनाएँ असेंबली लाइनों के माध्यम से बहती हैं। इन लाइनों के हर स्टेशन पर, फैक्ट्री एक विशाल गणना करती है: यह संख्याओं के विशाल ग्रिडों को आपस में गुणा करती है। ये वे "मैट्रिक्स मल्टीप्लिकेशन" (मैट्रिक्स गुणन) हैं जो इस जादू को शक्ति प्रदान करते हैं। समस्या यह है कि ये गणनाएँ अविश्वसनीय रूप से भारी हैं। इनके लिए बहुत अधिक ऊर्जा और समय की आवश्यकता होती है, जैसे कि एक चम्मच से रेत के पहाड़ को हिलाने की कोशिश करना। जैसे-जैसे ये AI मॉडल अधिक स्मार्ट और बड़े होते जा रहे हैं, वह "पहाड़" और ऊँचा होता जा रहा है, जिससे उन्हें चलाना महंगा और धीमा होता जा रहा है। वैज्ञानिक लंबे समय से सोच रहे हैं: क्या लाइब्रेरियन वास्तव में उस पहाड़ के हर एक रेत के कण का उपयोग हर कार्य के लिए कर रहा है, या क्या वहाँ बहुत सारी अनावश्यक रेत है जिसे लाइब्रेरियन के ध्यान में आए बिना हटाया जा सकता है?
यह शोध पत्र एक चतुर नई तकनीक पेश करता है जिसे रिड्यूस्ड मैट्रिक्स मल्टीप्लिकेशन (RMM) कहा जाता है। फैक्ट्री को स्थायी रूप से छोटा करने या लाइब्रेरियन की याददाश्त के हिस्सों को हटाने के बजाय (जिससे चीजें टूट सकती हैं), RMM एक स्मार्ट, ऑन-द-फ्लाई (तुरंत काम करने वाले) फ़िल्टर की तरह कार्य करता है। हर बार जब लाइब्रेरियन एक विशाल गणना करने वाला होता है, तो RMM रुकता है और पूछता है, "इस ग्रिड में कौन सी विशिष्ट संख्याएँ वास्तव में अभी भारी काम कर रही हैं?" फिर यह केवल सबसे महत्वपूर्ण संख्याओं को चुनता है—मान लीजिए शीर्ष 50% या 70%—और उस विशिष्ट क्षण के लिए बाकी को अनदेखा कर देता है। यह एक ऐसे शेफ की तरह है जो, फ्रिज में मौजूद हर एक सब्जी को काटने के बजाय, सूप के लिए जल्दी से शोरबे (ब्रोथ) को चखता है और तय करता है कि उसे केवल उन्हीं गाजरों और प्याज की आवश्यकता है जो वर्तमान में इस विशिष्ट स्वाद के लिए जरूरी हैं। सबसे अच्छी बात? लाइब्रेरियन को इसे करने के लिए फिर से प्रशिक्षित करने या सिखाने की आवश्यकता नहीं है; यह उन संख्याओं के साथ स्वाभाविक रूप से काम करता है जिन्हें वह पहले से ही उत्पन्न कर रहा है।
शोधकर्ताओं ने इस विचार का परीक्षण विभिन्न प्रकार के AI मॉडलों पर किया, जिनमें 1 बिलियन पैरामीटर्स वाले छोटे मॉडल से लेकर 70 बिलियन वाले दिग्गज मॉडल शामिल हैं। उन्होंने पाया कि ये मॉडल आश्चर्यजनक रूप से लचीले हैं। जब उन्होंने गणना किए जाने वाले संख्याओं के हिस्से को कम करके (केवल कुछ संख्याओं को रखकर) काम किया, तो मॉडल बिखर नहीं गए। वास्तव में, मॉडल जितना बड़ा होता, वह उतना ही अधिक रेत छोड़ने के लिए तैयार दिखता था बिना अपना मानसिक संतुलन खोए। उदाहरण के लिए, विशाल 70-बिलियन-पैरामीटर वाला मॉडल गणनाओं में 50% की कमी को संभाल सकता था और फिर भी लगभग पहले की तरह ही सवालों के जवाब देने और कहानियाँ लिखने में सक्षम था। हालाँकि, इस पेपर ने इन फैक्ट्रियों के निर्माण में एक अजीब सी विचित्रता भी खोजी: मस्तिष्क के "अटेंशन" (ध्यान) वाले हिस्से (जहाँ मॉडल यह तय करता है कि उसे किस पर ध्यान केंद्रित करना है) बहुत शांत हैं और आधे काम को आसानी से झेल सकते हैं। लेकिन "MLP" वाले हिस्से (वे हिस्से जो वास्तव में जानकारी को प्रोसेस और रूपांतरित करते हैं) बहुत अधिक संवेदनशील हैं; यदि आप वहां बहुत अधिक कटौती करते हैं, तो मॉडल लड़खड़ाने लगता है।
टीम ने यह भी दिखाया कि यह तकनीक उन मॉडलों के लिए भी काम करती है जो देख और बोल सकते हैं, न कि केवल टेक्स्ट-ओनली (केवल पाठ वाले) मॉडल। उन्होंने यह साबित करने के लिए विशेष सॉफ़्टवेयर टूल भी बनाए कि इन संख्याओं को छोड़ना वास्तव में कंप्यूटर को वास्तविक जीवन में तेज़ बनाता है, विशेष रूप से जब कहानियाँ या वाक्य बहुत लंबे होते हैं। हालाँकि यह पेपर सुझाव देता है कि यह AI को सस्ता और तेज़ बनाने का एक आशाजनक तरीका है, लेकिन यह यह भी नोट करता है कि हर किसी के लिए एक ही "परफेक्ट" सेटिंग नहीं है। आपको यह तय करने के लिए कि कितनी कटौती करनी है, मॉडल और आप उससे क्या पूछ रहे हैं, उसके आधार पर ट्यूनिंग करनी होगी। लेकिन कुल मिलाकर, RMM इन डिजिटल दिग्गजों को हल्का चलाने का एक नया, बिना प्रशिक्षण वाला तरीका प्रदान करता है, जो यह सिद्ध करता है कि कभी-कभी, कम गणित करना वास्तव में आपको उतनी ही स्पष्टता से सोचने में मदद कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।