💻 computer science

High-Performance FP16 General Matrix Multiplication on NVIDIA Ada Lovelace via CUTLASS and WMMA: A Benchmark and Pipeline-Depth Analysis

यह शोध पत्र NVIDIA के Ada Lovelace RTX 4060 पर cuBLAS, CUTLASS और कस्टम WMMA कार्यान्वयन पर FP16 GEMM प्रदर्शन का बेंचमार्किंग करता है, जो यह प्रकट करता है कि तीन की पाइपलाइन गहराई और विशिष्ट टाइल ज्यामिति (tile geometry) के साथ 52.7% पीक थ्रूपुट प्राप्त होता है और यह प्रदर्शित करता है कि पाइपलाइन गहराई के बजाय शेयर्ड-मेमोरी दबाव (shared-memory pressure), आगे के अनुकूलन को सीमित करने वाला प्राथमिक बॉटलनेक है।

मूल लेखक: Lucas Lima Freitag

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lucas Lima Freitag

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-फास्ट किचन (एक GPU) है जिसमें टेंसर कोर्स (Tensor Cores) नामक विशेषज्ञ शेफ की एक टीम है। ये शेफ सामग्री को काटने और मिलाने (मैट्रिक्स मल्टीप्लिकेशन) में अविश्वसनीय रूप से तेज़ हैं ताकि एक विशाल दावत (डीप लर्निंग) तैयार की जा सके। नए "एडा लवलेस" (Ada Lovelace) चूल्हे (एक RTX 4060 ग्राफिक्स कार्ड) पर यह किचन सैद्धांतिक रूप से 60.55 TFLOPS (यानी 60.55 ट्रिलियन गणितीय ऑपरेशन प्रति सेकंड) सेवा करने में सक्षम है।

लेकिन यहाँ एक पेंच है: भले ही शेफ इतनी तेज़ी से काटने के सक्षम हों, इसका मतलब यह नहीं है कि वे वास्तव में उतनी तेज़ी से काट रहे हैं। उन्हें अक्सर पेंट्री से सामग्री आने का इंतज़ार करना पड़ता है।

बड़ा प्रयोग: शेफ को व्यस्त कैसे रखें

शोधकर्ता यह पता लगाना चाहते थे कि किचन को कैसे व्यवस्थित किया जाए ताकि शेफ कभी भी काटना बंद न करें। उन्होंने किचन चलाने के तीन अलग-अलग तरीके टेस्ट किए:

ब्लैक बॉक्स (cuBLAS): NVIDIA से एक प्री-पैकेज्ड, क्लोज्ड-सोर्स रेसिपी जो आमतौर पर बहुत अच्छा काम करती है लेकिन यह आपको विवरणों में बदलाव करने की अनुमति नहीं देती।
ओपन ब्लूप्रिंट (CUTLASS): एक लचीला, ओपन-सोर्स टूलकिट जो आपको शून्य से अपना खुद का किचन बनाने की अनुमति देता है।
DIY दृष्टिकोण (WMMA): एक कस्टम-निर्मित किचन जहाँ आप शेफ की हर एक गतिविधि को नियंत्रित करते हैं, लेकिन इसे बनाना बहुत कठिन है।

उन्होंने 8192 × 8192 आकार की सामग्री के साथ एक बड़ा कुकिंग चैलेंज सेट किया और विभिन्न "पाइपलाइन डेप्थ" (pipeline depths) का परीक्षण किया। पाइपलाइन डेप्थ को सामग्री की ट्रे की संख्या के रूप में समझें जिन्हें किचन तैयार रखता है।

पाइपलाइन डेप्थ 2: केवल 2 ट्रे तैयार।
पाइपलाइन डेप्थ 3: 3 ट्रे तैयार।
पाइपलाइन डेप्थ 4: 4 ट्रे तैयार।

सामान्य ज्ञान और एक सरल गणितीय मॉडल ने सुझाव दिया था कि अधिक ट्रे = अधिक गति। तर्क यह था: "यदि हमारे पास अधिक ट्रे होंगे, तो शेफ के पास सामग्री की कमी नहीं होगी, इसलिए वे तेज़ी से काम करेंगे।"

आश्चर्य: अधिक होना हमेशा बेहतर नहीं होता

शोधकर्ताओं ने किचन की गति मापी, और उन्हें यह पता चला:

डेप्थ 2: किचन 25.6 TFLOPS पर चला। शेफ बहुत अधिक इंतज़ार कर रहे थे।
डेप्थ 3: किचन की गति बढ़कर 31.9 TFLOPS (52.7% सैद्धांतिक अधिकतम का) हो गई। यह सबसे सटीक बिंदु (sweet spot) था!
डेप्थ 4: किचन की गति वास्तव में घटकर 31.1 TFLOPS हो गई।

यह मुख्य निष्कर्ष है: चौथी ट्रे जोड़ने से कोई मदद नहीं मिली; इसने चीज़ों को और खराब कर दिया। एक साधारण गणितीय मॉडल ने भविष्यवाणी की थी कि गति बढ़कर 35.4 TFLOPS हो जानी चाहिए। लेकिन ऐसा नहीं हुआ। मॉडल 13.8% गलत था।

जोड़ने से काम उल्टा क्यों पड़ गया?

पेपर बताता है कि किचन में सीमित जगह होती है। जब उन्होंने चौथी ट्रे जोड़ी (जिससे "शेयर्ड मेमोरी" का उपयोग बढ़कर 96 KB हो गया), तो इसने किचन को एक ही समय में काम करने वाले शेफ की टीमों (थ्रेडब्लॉक्स) की संख्या कम करने के लिए मजबूर कर दिया।

3 ट्रे के साथ, किचन में प्रत्येक चूल्हे पर शेफ की 2 टीमें फिट हो सकती थीं।
4 ट्रे के साथ, किचन में केवल 1 टीम ही फिट हो सकी।

भले ही एक टीम के पास अधिक सामग्री थी, लेकिन उन्हें अधिक इंतज़ार करना पड़ा क्योंकि जब एक टीम अटक जाती है, तो बदलने के लिए दूसरी टीम उपलब्ध नहीं थी। किचन सामग्री से "भीड़भाड़" वाला हो गया लेकिन श्रमिकों से "खाली" हो गया। शोधकर्ताओं ने मापा कि ऑक्यूपेंसी (कितनी टीमें काम कर रही हैं) गिर गई, और शेफ को अधिक "रजिस्टर्स" (उनके व्यक्तिगत नोटपैड) का उपयोग करना पड़ा, जिससे उनकी गति भी धीमी हो गई।

विजेता और हारने वाले

विजेता: CUTLASS टूलकिट, 3 ट्रे और 256 × 128 के विशिष्ट टाइल साइज के साथ। इसने 31.9 TFLOPS हासिल किया। यह इतना अच्छा था कि इसने मानक "ब्लैक बॉक्स" (cuBLAS) को मामूली रूप से, लगभग न के बराबर 1.3% से भी पीछे छोड़ दिया (लेखक कहते हैं कि यह संभवतः केवल शोर/noise है, लेकिन यह साबित करता है कि ओपन ब्लूप्रिंट क्लोज्ड वाले के बराबर पहुँच सकता है)।
DIY रनर-अप: कस्टम WMMA कर्नेल (पूरी तरह से DIY किचन) ने थोड़े छोटे टेस्ट पर 25.1 TFLOPS प्रबंधित किया। यह इसलिए धीमा था क्योंकि इसने खाना पकाने के साथ सामग्री की डिलीवरी को ओवरलैप करने के लिए फैंसी "डबल बफरिंग" ट्रिक्स का उपयोग नहीं किया था।
हारने वाला: यह विचार कि "अधिक पाइपलाइन डेप्थ हमेशा बेहतर होता है।" पेपर स्पष्ट रूप से इस विशेष हार्डवेयर के लिए इसे खारिज करता है।

वे कितने आश्वस्त हैं?

लेखक इन नंबरों को लेकर बहुत आश्वस्त हैं क्योंकि उन्होंने इन्हें सीधे हार्डवेयर पर मापकर, टेस्ट को 10 बार चलाकर और औसत निकालकर प्राप्त किया है। उन्होंने अपने गणित की जाँच NVIDIA के एक बिल्ट-इन टूल (प्रोफ़ाइलर) के विरुद्ध की और पाया कि उनका कस्टम कोड उससे पूरी तरह मेल खाता है।

हालाँकि, वे कुछ बातें स्वीकार करते हैं जो उन्होंने सिद्ध नहीं की हैं:

उन्होंने केवल एक विशिष्ट समस्या आकार (8192) का परीक्षण किया। उन्हें नहीं पता कि "3 ट्रे सबसे अच्छी है" का नियम छोटे या अजीब आकार की समस्याओं के लिए भी लागू होगा या नहीं।
वे 4 से अधिक पाइपलाइन डेप्थ का परीक्षण नहीं कर सके क्योंकि किचन में जगह खत्म हो गई थी (मेमोरी की कमी)।
उन्हें विंडोज (Windows) पर अपने परीक्षण चलाने पड़े, जहाँ एक ड्राइवर ग्लिच के कारण वे एक ही रन में अपने कस्टम कोड और मानक कोड की तुलना नहीं कर सके (हालांकि उन्होंने इसे अलग-अलग रन में किया)।

मुख्य सीख (Takeaway)

यदि आप गणित-प्रधान कार्यों के लिए RTX 4060 जैसे कंज्यूमर ग्राफिक्स कार्ड का अधिकतम लाभ उठाना चाहते हैं, तो बस अधिक बफ़र्स जोड़ते न रहें। एक "गोल्डिलॉक्स" ज़ोन (Goldilocks zone) होता है। इस मामले में, तैयारी के 3 चरण एकदम सही थे। 4 चरणों पर जाने से किचन बहुत तंग हो गया, जिससे सब कुछ धीमा हो गया।

शोधकर्ताओं ने अपना सारा कोड ओपन-सोर्स के रूप में जारी किया है, ताकि कोई भी अपना खुद का किचन बना सके और देख सके कि क्या वे 31.9 TFLOPS का रिकॉर्ड तोड़ सकते हैं। वे सुझाव देते हैं कि भविष्य के कार्य में विभिन्न समस्या आकारों को देखना चाहिए और अधिक स्वच्छ डेटा के लिए लिनक्स (Linux) का उपयोग करना चाहिए, लेकिन फिलहाल, उन्होंने दिखाया है कि इस सेटअप के लिए 31.9 TFLOPS वर्तमान शिखर है, और 31.1 TFLOPS वह है जो तब होता है जब आप मेमोरी के साथ बहुत अधिक लालची होते हैं।

तकनीकी सारांश: CUTLASS और WMMA के माध्यम से NVIDIA Ada Lovelace पर उच्च-प्रदर्शन FP16 GEMM

समस्या विवरण
जनरल मैट्रिक्स मल्टीप्लिकेशन (GEMM) डीप लर्निंग और वैज्ञानिक कंप्यूटिंग का आधार है। जबकि NVIDIA का Ada Lovelace आर्किटेक्चर (विशेष रूप से AD107 चिप के साथ उपभोक्ता-श्रेणी का RTX 4060) 60.55 TFLOPS का सैद्धांतिक FP16 टेंसर कोर पीक थ्रूपुट प्रदान करता है, उच्च प्रदर्शन प्राप्त करने के लिए GPU मेमोरी पदानुक्रम (hierarchy) के जटिल समन्वय की आवश्यकता होती है। चुनौती टाइलिंग रणनीतियों, सॉफ्टवेयर पाइपलाइनिंग गहराई और थ्रेडब्लॉक ऑक्यूपेंसी के बीच संतुलन बनाने में निहित है, ताकि शेयर्ड मेमोरी दबाव या रजिस्टर बाधाओं के कारण बाधित हुए बिना टेंसर कोर को संतृप्त (saturate) किया जा सके। पूर्व साहित्य ने लाइब्रेरी-प्रॉफ़ाइल स्तर पर GEMM का व्यापक रूप से लक्षण वर्णन किया है, लेकिन उपभोक्ता हार्डवेयर पर CUTLASS डिवाइस-लेवल API का उपयोग करके मनमाने पाइपलाइन डेप्थ और टाइल ज्योमेट्री के प्रभाव का व्यवस्थित मूल्यांकन करने में एक अंतर मौजूद है।

कार्यप्रणाली
लेखकों ने Windows 11 और CUDA 13.1 पर चलने वाले NVIDIA RTX 4060 (Ada Lovelace) पर FP16→FP32 GEMM ऑपरेशन्स का एक व्यवस्थित बेंचमार्क आयोजित किया। अध्ययन ने तीन कार्यान्वयन स्तरों की तुलना की:

cuBLAS: क्लोज्ड-सोर्स, वेंडर-ऑप्टिमाइज्ड लाइब्रेरी जिसे संदर्भ (reference) के रूप में उपयोग किया गया।
CUTLASS डिवाइस-लेवल API: एक ओपन-सोर्स C++ टेम्पलेट लाइब्रेरी जो टाइल आयामों, पाइपलाइन गहराई ( $S$ ), और एपिलॉग वेक्टराइजेशन के कंपाइल-टाइम अनुकूलन की अनुमति देती है।
कस्टम WMMA कर्नेल: शिक्षण सत्यापन के लिए CUDA Warp Matrix Multiply Accumulate (WMMA) API का उपयोग करके बनाया गया एक हैंड-ट्यून्ड कर्नेल।

प्रयोगों ने $N = 8192$ ( $M=N=K=8192$ ) के एक निश्चित समस्या आकार पर ध्यान केंद्रित किया। कार्यप्रणाली में शामिल था:

पाइपलाइन डेप्थ वेरिएशन: $256 \times 128$ और $128 \times 128$ के थ्रेडब्लॉक टाइल्स का उपयोग करके $S=3$ और $S=4$ पाइपलाइन डेप्थ के साथ CUTLASS कॉन्फ़िगरेशन का परीक्षण।
एनालिटिकल मॉडलिंग: थ्रूपुट का अनुमान लगाने के लिए पाइपलाइन दक्षता ( $S/(S+\kappa)$ ) पर आधारित एक प्रदर्शन मॉडल विकसित किया गया और इसे थ्रूपुट की भविष्यवाणी करने के लिए ऑक्यूपेंसी बाधाओं ( $\gamma(S)$ ) को शामिल करने के लिए विस्तारित किया गया।
वैलिडेशन: $10^{-2}$ के सापेक्ष त्रुटि थ्र्रेसहोल्ड के साथ cuBLAS के विरुद्ध कस्टम WMMA कर्नेल की संख्यात्मक शुद्धता सुनिश्चित करना।
मापन प्रोटोकॉल: क्लॉक स्केलिंग और इनिशियलाइजेशन ओवरहेड को कम करने के लिए वार्मअप चरणों के साथ होस्ट-साइड टाइमिंग का उपयोग करना, साथ ही विशिष्ट विंडोज ड्राइवर स्थिरता मुद्दों (TDR) को नोट करना जिन्होंने cuBLAS और CUTLASS निष्पादन स्ट्रीम को अलग करने को आवश्यक बनाया।

मुख्य परिणाम

इष्टतम कॉन्फ़िगरेशन: पाइपलाइन डेप्थ $S=3$ , $256 \times 128$ थ्रेडब्लॉक टाइल, और 4 के एपिलॉग वेक्टराइजेशन वाले CUTLASS कॉन्फ़िगरेशन ने 31.9 TFLOPS (सैद्धांतिक पीक का 52.7%) प्राप्त किया। इसने CUTLASS प्रॉफ़ाइलर के बिल्ट-इन s16816gemm_f16 कर्नेल के प्रदर्शन से मेल खाया और cuBLAS संदर्भ (31.5 TFLOPS) से 1.3% अधिक प्रदर्शन किया, जिसका अंतर एल्गोरिदम की श्रेष्ठता के बजाय बेंचमार्क ओवरहेड के कारण था।
पाइपलाइन डेप्थ विसंगति: इसके विपरीत, पाइपलाइन डेप्थ को $S=4$ तक बढ़ाने से प्रदर्शन घटकर 31.1 TFLOPS (2.5% की गिरावट) हो गया।
बॉटलनेक विश्लेषण: $S=4$ पर गिरावट का कारण ऑक्यूपेंसी कोलैप्स (occupancy collapse) को बताया गया। जबकि $S=3$ (72 KB शेयर्ड मेमोरी की आवश्यकता) ने प्रति स्ट्रीमिंग मल्टीप्रोसेसर (SM) 2 ब्लॉक की अनुमति दी, $S=4$ (96 KB की आवश्यकता) ने ऑक्यूपेंसी को घटाकर प्रति SM 1 ब्लॉक कर दिया। इसने समवर्ती वॉर्प्स (concurrent warps) की संख्या को आधा कर दिया, जिससे मेमोरी लेटेंसी को छिपाने की शेड्यूलर की क्षमता कम हो गई। इसके अतिरिक्त, रजिस्टर प्रेशर प्रति थ्रेड ~64 से बढ़कर ~72 हो गया।
मॉडल सटीकता: एक सरल एनालिटिकल मॉडल ने $S=2$ और $S=3$ के लिए प्रदर्शन का सटीक अनुमान लगाया, लेकिन $S=4$ के लिए प्रदर्शन को 13.8% अधिक आंका। ऑक्यूपेंसी सीलिंग को शामिल करने वाले एक विस्तारित मॉडल ने $S=4$ के अनुमान को मापे गए मान के 1% के भीतर सही किया।
कस्टम कर्नेल प्रदर्शन: कस्टम WMMA कर्नेल ने $N=4096$ पर 25.1 TFLOPS (पीक का 41.5%) प्राप्त किया। इसका कम प्रदर्शन सॉफ्टवेयर पाइपलाइनिंग की कमी (सिंगल बफरिंग) और ऑप्टिमाइज्ड CUTLASS टेम्पलेट्स की तुलना में उच्च सिंक्रोनाइज़ेशन ओवरहेड के कारण था।

मुख्य योगदान

पुनरुत्पादक बेंचमार्किंग फ्रेमवर्क: Ada Lovelace GPU पर मनमाने कंपाइल-टाइम पैरामीटर्स के साथ GEMM कर्नेल को इंस्टैंशिएट करने के लिए CUTLASS डिवाइस-लेवल API का उपयोग करने वाला एक ओपन-सोर्स फ्रेमवर्क।
पाइपलाइन डेप्थ एम्पिरिसिज्म: प्रयोगात्मक साक्ष्य जो यह दर्शाता है कि उपभोक्ता GPU पर गहरी पाइपलाइन्स ( $S=4$ ) हमेशा उच्च थ्रूपुट नहीं देती हैं, क्योंकि वे शेयर्ड मेमोरी और ऑक्यूपेंसी बाधाओं के कारण बाधित होती हैं, जो सरल थ्रूपुट मॉडलों का खंडन करती हैं।
कैलिब्रेटेड एनालिटिकल मॉडल: एक प्रदर्शन मॉडल जो $S=2$ और $S=3$ के लिए थ्रूपुट की सफलतापूर्वक भविष्यवाणी करता है, लेकिन $S=4$ शासन (regime) को सटीक रूप से मॉडल करने के लिए एक ऑक्यूपेंसी-कैप्ड विस्तार की आवश्यकता होती है।
शैक्षणिक संदर्भ: लो-लेवल टेंसर कोर प्रोग्रामिंग के लिए एक संदर्भ के रूप में कार्य करने वाला एक पूर्णतः वैलिडेटेड कस्टम WMMA कर्नेल।
ड्राइवर व्यवहार अवलोकन: CUTLASS और cuBLAS कर्नेल को इंटरलीव करने पर एक विशिष्ट विंडोज ड्राइवर अस्थिरता (TDR-संबंधित) का दस्तावेजीकरण, जो विंडोज पर क्रॉस-लाइब्रेरी बेंचमार्किंग में व्यावहारिक बाधाओं को उजागर करता है।

महत्व और दावे
यह पेपर दावा करता है कि आधुनिक उपभोक्ता GPU पर उच्च-प्रदर्शन GEMM प्राप्त करना एक मल्टी-बॉटलनेक समस्या है जहाँ पाइपलाइन डेप्थ थ्रूपुट का एकमात्र निर्धारक नहीं है। अध्ययन इस बात पर प्रकाश डालता है कि शेयर्ड मेमोरी दबाव और ऑक्यूपेंसी बाधाएं गहरे सॉफ्टवेयर पाइपलाइनों के अपेक्षित लाभों को उलट सकती हैं। यह प्रदर्शित करके कि एक उपभोक्ता-श्रेणी का RTX 4060 सैद्धांतिक टेंसर कोर पीक का ~53% (31.9 TFLOPS) प्राप्त कर सकता है, यह कार्य सुझाव देता है कि विशिष्ट वर्कलोड के लिए किफायती हार्डवेयर पर भी डेटासेंटर-स्तर का प्रदर्शन सुलभ है। लेखक अपने ओपन-सोर्स टूल्स और निष्कर्षों को शिक्षाविदों और शोधकर्ताओं के लिए GPU ऑप्टिमाइज़ेशन तकनीकों का अध्ययन करने हेतु एक संसाधन के रूप में प्रस्तुत करते हैं, जो सुलभ उच्च-प्रदर्शन कंप्यूटिंग और ऊर्जा-कुशल मशीन लर्निंग इन्फरेंस के व्यापक लक्ष्यों में योगदान देता है। यह कार्य यह दावा नहीं करता है कि इसने सभी GEMM ऑप्टिमाइज़ेशन चुनौतियों को हल कर दिया है, बल्कि यह Ada Lovelace आर्किटेक्चर पर पाइपलाइन डेप्थ और ऑक्यूपेंसी के बीच के ट्रेड-ऑफ का एक विशिष्ट, पुनरुत्पादक विश्लेषण प्रदान करता है।