CUDA-L2: Surpassing cuBLAS Performance for Matrix Multiplication through Reinforcement Learning
यह शोध पत्र CUDA-L2 को प्रस्तुत करता है, जो एक ऐसा सिस्टम है जो हाफ-प्रिसिजन जनरल मैट्रिक्स मल्टीप्लाई (HGEMM) कर्नेल्स को स्वचालित रूप से अनुकूलित करने के लिए लार्ज लैंग्वेज मॉडल्स और रीइन्फोर्समेंट लर्निंग का लाभ उठाता है, जिससे torch.matmul, cuBLAS और cuBLASLt जैसे स्थापित बेसलाइन्स की तुलना में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है, क्योंकि यह उन पैमानों पर कॉन्फ़िगरेशन स्पेस का व्यवस्थित रूप से अन्वेषण करता है जो मानव इंजीनियरों के लिए अव्यवहारिक हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आदर्श केक बनाने की कोशिश कर रहे हैं। वर्षों से, दुनिया के सर्वश्रेष्ठ बेकर्स (मानव विशेषज्ञ) "मैट्रिक्स मल्टीप्लिकेशन" (Matrix Multiplication) नामक एक विशिष्ट प्रकार के केक के लिए रेसिपी में बदलाव करते रहे हैं। यह केक लगभग हर आधुनिक AI मस्तिष्क में एक गुप्त सामग्री है। इन बेकर्स ने इसे तेज़ बनाने के लिए वर्षों बिताए हैं, लेकिन वे एक दीवार से टकरा गए: हर बार जब केक का आकार बदलता है (एक छोटे कप केक से लेकर एक विशाल वेडिंग टियर तक), तो उन्हें शून्य से शुरुआत करनी पड़ती है, और जो तरकीबें एक आकार के लिए काम करती थीं, वे अक्सर दूसरे आकार के लिए विफल हो जाती हैं। यह एक विशाल सूप खाने के लिए छोटी चम्मच का उपयोग करने जैसा है; उपकरण बस फिट नहीं बैठता।
यहाँ CUDA-L2 आता है, जो एक "AI बेकर्स" की नई टीम है जिसे एक सुपर-स्मार्ट लैंग्वेज मॉडल और एक वीडियो गेम-शैली की लर्निंग सिस्टम, जिसे रीइन्फोर्समेंट लर्निंग (RL) कहा जाता है, को मिलाकर बनाया गया है। मानव विशेषज्ञों से सबसे अच्छी रेसिपी पूछने के बजाय, CUDA-L2 "कोशिश करो, असफल हो, सीखो और फिर से कोशिश करो" का एक बड़ा खेल खेलता है।
बड़ी खोज: AI तेज़ केक बनाता है
इस शोध पत्र का मुख्य निष्कर्ष यह है कि CUDA-L2 स्वचालित रूप से इन मैट्रिक्स मल्टीप्लिकेशन "रेसिपी" (जिन्हें 'कर्नेल' कहा जाता है) को डिजाइन कर सकता है और वर्तमान में उपलब्ध सर्वश्रेष्ठ मानव-निर्मित रेसिपी की तुलना में उन्हें तेज़ बना सकता है।
शोधकर्ताओं ने इसका परीक्षण 1,000 अलग-अलग केक आकारों (M, N, और K आयामों के संयोजन जो 64 से 16,384 तक हैं) पर किया। ये आकार Qwen, Llama और DeepSeek जैसे प्रसिद्ध ओपन-सोर्स AI मॉडल में उपयोग किए जाने वाले सटीक आयामों को कवर करते हैं।
AI मौजूदा चैंपियनों की तुलना में कितना तेज़ बेक करता है, इसका विवरण यहाँ दिया गया, जिसे A100 GPU पर मापा गया है:
- मानक टूल (torch.matmul) के मुकाबले: एक निरंतर बेकिंग सत्र (ऑफलाइन मोड) में, CUDA-L2 22.0% तेज़ है। एक व्यस्त रसोई में जहाँ ऑर्डर अचानक आते हैं (सर्वर मोड), यह 28.7% तेज़ है।
- गोल्ड स्टैंडर्ड (cuBLAS) के मुकाबले: NVIDIA की अपनी अत्यधिक अनुकूलित लाइब्रेरी के खिलाफ भी, CUDA-L2 जीतता है। यह निरंतर मोड में 19.2% और व्यस्त सर्वर मोड में 26.0% तेज़ है।
- "ऑटो-ऑप्टिमाइज़र" (cuBLASLt-AutoTuning) के मुकाबले: यह सबसे महत्वपूर्ण तुलना है। cuBLASLt-AutoTuning सबसे अच्छी रेसिपी खोजने के लिए 100 अलग-अलग रेसिपी आज़माता है। इसके बावजूद, CUDA-L2 निरंतर मोड में इसे 11.4% और सर्वर मोड में 15.9% से हरा देता है।
शोध पत्र इस बात को लेकर बहुत आश्वस्त है क्योंकि ये संख्याएँ कोड को हजारों बार चलाकर सीधे मापी गई हैं, न कि केवल अनुमानित या सिम्युलेट की गई हैं।
AI ने क्या नहीं किया
यह जानना महत्वपूर्ण है कि यह सिस्टम क्या नहीं करता है। शोध पत्र स्पष्ट रूप से बताता है कि वर्तमान संस्करण CUDA-L2 A100 आर्किटेक्चर तक ही सीमित है। हालाँकि, यह फ्रेमवर्क व्यापक प्रयोज्यता के लिए डिज़ाइन किया गया है, और टीम इसे अन्य GPU आर्किटेक्चर, जिसमें पुराने एम्पीयर (Ampere) चिप्स जैसे RTX 3090, साथ ही नए हॉपर (जैसे H100) और ब्लैकवेल (जैसे B200) चिप्स शामिल हैं, तक विस्तारित करने के लिए सक्रिय रूप से काम कर रही है। शोध पत्र इस विचार का भी खंडन करता है कि मानव विशेषज्ञों ने मैट्रिक्स मल्टीप्लिकेशन को "हल" कर लिया है; तथ्य यह है कि AI ने बेहतर रेसिपी खोजी है, यह साबित करता है कि मानव ट्यूनिंग अभी भी पूर्णता से बहुत दूर है।
AI ने बेहतर बेक करना कैसे सीखा
AI ने केवल अनुमान नहीं लगाया; इसने कुछ विशिष्ट, चतुर तरकीबें सीखीं जिन्हें मानव विशेषज्ञ भी मिस कर सकते हैं क्योंकि वे हर एक संभावना की जांच करने के लिए बहुत व्यस्त होते हैं।
- केक को पैडिंग देना (Padding the Cake): कल्पना कीजिए कि आपके पास एक केक है जो 8,192 इंच चौड़ा है, लेकिन आपका बेकिंग पैन केवल तभी फिट बैठता है जब चौड़ाई 160 से विभाज्य हो। 8,192, 160 से विभाज्य नहीं है। एक इंसान कह सकता है, "मैं 128 का आकार वाला पैन इस्तेमाल करूँगा क्योंकि यह फिट बैठता है।" लेकिन AI ने कहा, "मैं थोड़ा अतिरिक्त बैटर (पैडिंग) डालूँगा ताकि मेरा केक 8,320 इंच चौड़ा हो जाए ताकि मैं 160-इंच के पैन का उपयोग कर सकूँ।" यह थोड़ा सा अतिरिक्त काम वास्तव में पूरी प्रक्रिया को तेज़ बना देता है।
- पिंग-पोंग रणनीति (The Ping-Pong Strategy): आमतौर पर, एक बेकर सामग्री लोड करता है, मिश्रण करता है, फिर अगला बैच लोड करता है। AI ने एक "पिंग-पोंग" विधि खोजी: जबकि मिक्सर बैच A पर काम कर रहा है, सहायक पहले से ही बैच B के लिए सामग्री लोड कर रहा है। इसका मतलब है कि मिक्सर को कभी इंतज़ार नहीं करना पड़ता।
- "स्टैगर्ड" डिलीवरी (The "Staggered" Delivery): कभी-कभी, AI ने महसूस किया कि एक साथ दो सामग्रियां (A और B) माँगने से रसोई में ट्रैफिक जाम हो जाता है। इसके बजाय, उसने सामग्री A माँगी, मिश्रण शुरू किया, और फिर सामग्री B माँगी। इससे रसोई सुचारू रूप से चलती रही।
- सही पैन का आकार चुनना (Choosing the Right Pan Size): AI ने सीखा कि छोटे केक के लिए छोटे पैन सबसे अच्छे होते हैं। लेकिन विशाल केक के लिए, उसे बहुत बड़े पैन की आवश्यकता होती है। उसने हर एक केक आयाम के लिए एकदम सही आकार का पता लगाया, एक ऐसा कार्य जिसे करने में एक इंसान को 1,000 अलग-अलग आकारों के लिए जीवन भर लग जाएगा।
"सर्वर" बनाम "ऑफलाइन" का अंतर
शोध पत्र ने रसोई के वातावरण के बारे में कुछ दिलचस्प भी देखा।
- ऑफलाइन मोड: एक फैक्ट्री लाइन की कल्पना करें जहाँ केक बिना रुके एक के बाद एक बेक किए जाते हैं। ओवन गर्म रहता है, और कार्यकर्ता एक लय में काम करते हैं। यहाँ, AI प्रतिस्पर्धा से 11.4% से 22.0% तक तेज़ था।
- सर्वर मोड: एक व्यस्त रेस्टोरेंट की कल्पना करें जहाँ रैंडम समय पर ऑर्डर आते हैं। ऑर्डर्स के बीच में ओवन ठंडा हो सकता है, और कार्यकर्ताओं को फिर से गर्म होने की आवश्यकता होती है। इस "वास्तविक दुनिया" की अराजकता में, AI का लाभ वास्तव में बढ़ गया, जिसने प्रतिस्पर्धा को 15.9% से 28.7% तक पीछे छोड़ दिया। शोध पत्र का सुझाव है कि ऐसा इसलिए है क्योंकि AI की रेसिपी "कोल्ड स्टार्ट" और अप्रत्याशित ठहराव को संभालने में बेहतर होती हैं।
निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि मैट्रिक्स मल्टीप्लिकेशन जैसे सबसे महत्वपूर्ण, अत्यधिक अनुकूलित कार्यों के लिए भी, LLM-गाइडेड रीइन्फोर्समेंट लर्निंग उन समाधानों को खोज सकती है जो मानव द्वारा खोजे जाने की तुलना में बेहतर हैं, क्योंकि यह संभावनाओं के उस स्थान की खोज करती है जो एक व्यक्ति के लिए जाँच करना बहुत बड़ा है। हालांकि यह विशिष्ट संस्करण CUDA-L2 वर्तमान में A100 GPU तक सीमित है, लेकिन फ्रेमवर्क को भविष्य में अन्य चिप्स तक विस्तारित करने के लिए डिज़ाइन किया गया है।
संक्षेप में: AI ने केवल रेसिपी में बदलाव नहीं किया; इसने केक बनाने के पूरी तरह से नए तरीके खोज लिए जिन्हें मनुष्य नहीं सोच पाए थे, यह साबित करते हुए कि GPU ऑप्टिमाइज़ेशन के क्षेत्र में, जो इतना विकसित है, वहां भी सुधार की बहुत गुंजाइश है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।