Evaluating CUDA Tile for AI Workloads on Hopper and Blackwell GPUs
यह शोध पत्र हॉपर और ब्लैकवेल जीपीयू (GPU) पर NVIDIA के पायथन-आधारित CUDA टाइल (CuTile) एब्स्ट्रैक्शन का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि यह उच्च-स्तरीय ब्लैकवेल हार्डवेयर पर फ्यूज्ड अटेंशन जैसे विशिष्ट वर्कलोड के लिए महत्वपूर्ण प्रदर्शन लाभ और कोड सरलता प्रदान करता है, लेकिन इसमें ट्राइटन (Triton) की तरह क्रॉस-आर्किटेक्चर पोर्टेबिलिटी और सुसंगत प्रदर्शन का अभाव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक उच्च-स्तरीय रेस्तरां में एक पेशेवर शेफ हैं। एक विश्व-स्तरीय भोजन बनाने के लिए, आपके पास दो विकल्प हैं: या तो आप एक विशेष चाकू के साथ हर एक सब्जी को हाथ से काटने की कला में वर्षों बिता सकते हैं (यह hand-optimized CUDA code लिखने जैसा है), या आप एक उच्च-तकनीकी, प्रोग्राम करने योग्य फूड प्रोसेसर का उपयोग कर सकते हैं जो अधिकांश काम आपके लिए कर देता है (यह NVIDIA का नया टूल, CuTile है)।
यह शोध पत्र एक "स्वतंत्र स्वाद परीक्षण" (independent taste test) है यह देखने के लिए कि क्या यह नया फूड प्रोसेसर वास्तव में अपनी चर्चा के अनुरूप है।
खिलाड़ी (रसोई के उपकरण)
शोधकर्ताओं ने NVIDIA के नवीनतम सुपर-शक्तिशाली चिप्स (Blackwell और Hopper GPUs) पर डेटा को "पकाने" (AI गणित चलाने) के कई तरीकों की तुलना की:
- cuBLAS (मास्टर शेफ): एक दिग्गज, क्लोज्ड-सोर्स विशेषज्ञ। यह अविश्वसनीय रूप से तेज़ है लेकिन आप इसे अपनी रेसिपी बदलने के लिए नहीं कह सकते।
- Triton (विश्वसनीय sous-chef): एक बहुत ही लोकप्रिय, लचीला टूल। यह मास्टर शेफ जितना तेज़ नहीं है, लेकिन यह रसोई के लगभग किसी भी चूल्हे पर पूरी तरह से काम करता है।
- CuTile (नया हाई-टेक गैजेट): NVIDIA का नया पायथन-आधारित टूल। यह वादा करता है कि यह आपको सैकड़ों कोड लाइनों के बजाय केवल कुछ लाइनों में "रेसिपी" लिखने की अनुमति देगा, जबकि यह अविश्वसनीय रूप से तेज़ भी रहेगा।
- WMMA (पुराना मैन्युअल तरीका): कोडिंग का एक ऐसा तरीका जो बहुत सटीक है लेकिन इसके लिए भारी, थका देने वाली मैन्युअल मेहनत की आवश्यकता होती है।
परिणाम: दो रसोईओं की कहानी
शोधकर्ताओं ने पाया कि CuTile थोड़ा "डिवा" (नखरेबाज) है—इसका प्रदर्शन पूरी तरह से इस बात पर निर्भर करता है कि आप इसे किस "चूल्हे" (GPU) में प्लग करते हैं।
1. "सुपर-किचन" (B200 डेटासेंटर GPU)
NVIDIA के सबसे महंगे, टॉप-टियर प्रोफेशनल चूल्हे पर, CuTile एक सुपरस्टार है।
- जीत: एक विशिष्ट कार्य जिसे "अटेंशन" (Attention) कहा जाता है (जो यह तय करता है कि AI मॉडल जानकारी पर कैसे ध्यान केंद्रित करता है), उसके लिए CuTile वर्तमान उद्योग मानक (FlashAttention-2) की तुलना में 2.5 गुना तेज़ था।
- जादू: इसने यह काम केवल 60 लाइनों के कोड के साथ किया, जबकि पुराने तरीके में हजारों लाइनों की आवश्यकता होती थी। यह एक ऐसे गैजेट की तरह है जो एक बटन दबाने पर 5-स्टार भोजन तैयार कर देता है।
2. "होम-प्रो किचन" (RTX PRO 6000 वर्कस्टेशन GPU)
थोड़े छोटे, प्रोफेशनल वर्कस्टेशन चूल्हे पर, CuTile संघर्ष करता है।
- हार: यह प्रतिस्पर्धा की तुलना में काफी धीमा था।
- कारण: शोधकर्ताओं का मानना है कि CuTile के अंदर का "सॉफ्टवेयर ब्रेन" (कंपाइलर) अभी तक इस विशिष्ट चूल्हे को संभालने के लिए पूरी तरह से प्रशिक्षित नहीं हुआ है। यह एक ऐसे हाई-टेक ओवन की तरह है जो केवल एक पेशेवर रसोई में पूरी तरह से खाना बनाना जानता है, लेकिन घर के रसोईघर में टोस्ट जला देता है।
3. "मानक कार्य" (GEMM/मैट्रिक्स मैथ)
बुनियादी, रोजमर्रा के गणित (GEMM) के लिए, CuTile मैन्युअल श्रमिकों के लिए एक शानदार अपग्रेड है। यदि आप पहले "पुराने-स्कूल के मैन्युअल तरीके" (WMMA) का उपयोग कर रहे थे, तो CuTile बहुत तेज़ है और इसमें बहुत कम काम लगता है। हालांकि, यदि आपके पास पहले से ही "मास्टर शेफ" (cuBLas) उपलब्ध है, तो CuTile अभी तक उसे बदलने के लिए पर्याप्त तेज़ नहीं है।
"चीट शीट" (आपको इसका उपयोग कब करना चाहिए?)
पेपर AI डेवलपर्स के लिए एक गाइड के साथ समाप्त होता है, जो बिल्कुल "मुझे किस टूल का उपयोग करना चाहिए?" फ्लोचार्ट की तरह है:
- CuTile का उपयोग करें यदि: आप सबसे शक्तिशाली डेटासेंटर चिप्स (B200) पर काम कर रहे हैं और बहुत कम प्रयास के साथ कस्टम, बिजली जैसी तेज़ AI सुविधाएँ बनाना चाहते हैं।
- Triton का उपयोग करें यदि: आप चाहते हैं कि आपका कोड हर जगह (पुराने चिप्स और नए चिप्स दोनों पर) काम करे ताकि आपको हर बार नया GPU खरीदने पर उसे फिर से न लिखना पड़े।
- cuBLAS पर टिके रहें यदि: आपको बस मानक गणित को यथासंभव तेज़ी से करने की आवश्यकता है और आपको अपनी रेसिपी को कस्टमाइज़ करने की आवश्यकता नहीं है।
बड़ी तस्वीर
शोधकर्ता निष्कर्ष निकालते हैं कि हम एक पैराडाइम शिफ्ट (प्रतिमान परिवर्तन) देख रहे हैं। हम एक ऐसी दुनिया से दूर जा रहे हैं जहाँ आपको हजारों लाइनों के जटिल कोड लिखने के लिए एक "गणित के भिक्षु" (math monk) होने की आवश्यकता थी, और एक ऐसी दुनिया की ओर बढ़ रहे हैं जहाँ आप सरल, उच्च-स्तरीय निर्देशों का उपयोग करके सुपर-फास्ट हार्डवेयर को "प्रोग्राम" कर सकते हैं। CuTile अभी भी पूर्ण नहीं है, लेकिन AI का "फूड प्रोसेसर" युग आधिकारिक रूप से यहाँ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।