How Much Progress Has There Been in NVIDIA Datacenter GPUs?
यह शोध पत्र 2000 के दशक के मध्य से 2025 तक NVIDIA डेटासेंटर GPU की तकनीकी प्रगति का विश्लेषण करता है, जो कंप्यूट प्रदर्शन के लिए तीव्र दोहरीकरण दरों को प्रकट करता है जो मेमोरी और बिजली दक्षता के लाभों से आगे निकल जाती है, जबकि प्रतिस्पर्धियों के विरुद्ध एक संकुचित लेकिन निरंतर प्रदर्शन अंतराल को उजागर करती है और यह मात्रात्मक रूप से बताती है कि कैसे अमेरिकी निर्यात नियंत्रण परिणामी अंतर्राष्ट्रीय तकनीकी विभाजन को महत्वपूर्ण रूप से चौड़ा कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर चिप्स की दुनिया की कल्पना एक हाई-स्टेक्स रेस कार प्रतियोगिता के रूप में करें। दशकों तक, लक्ष्य केवल कारों को तेज़ बनाना था। लेकिन हाल ही में, दौड़ बदल गई है। कारें (GPUs) अब केवल ट्रैक पर दौड़ने के लिए नहीं हैं; वे अब पूरी आर्टिफिशियल इंटेलिजेंस (AI) के भविष्य को चलाने वाले इंजन बन गई हैं।
MIT के शोधकर्ताओं द्वारा लिखा गया यह शोध पत्र एक विस्तृत मैकेनिक के लॉगबुक की तरह है। उन्होंने सबसे प्रसिद्ध रेसिंग टीम, NVIDIA, के इतिहास को मध्य-2로00 के दशक से लेकर 2025 तक देखा। वे यह देखना चाहते थे कि ये "रेस कारें" वास्तव में कितनी तेज़ हुई हैं, इनकी लागत कितनी है, और ये कितना ईंधन जलाती हैं।
उनके निष्कर्षों का विवरण यहाँ दिया गया है, जिसे सरल भाषा में समझाया गया है:
1. इंजन पहले से कहीं अधिक तेज़ी से गरज रहा है
लंबे समय तक, कंप्यूटर चिप्स एक नियम का पालन करते थे जिसे "मूर का नियम" (Moore's Law) कहा जाता था, जो कहता था कि प्रोसेसिंग पावर हर दो साल में दोगुनी हो जाएगी।
- निष्कर्ष: NVIDIA के AI चिप्स इस नियम को तोड़ रहे हैं। वे बहुत तेज़ी से बेहतर हो रहे हैं।
- उपमा: यदि मूर का नियम एक स्थिर गति से बढ़ने वाली कार थी, तो NVIDIA के AI चिप्स एक रॉकेट शिप की तरह हैं। साधारण गणित (जिसे FP16 और FP32 कहा जाता है) करने की शक्ति लगभग हर 1.4 से 1.7 साल में दोगुनी हो रही है। यह अविश्वसनीय रूप से तेज़ है।
- पेंच: हालाँकि, "भारी काम" वाला गणित (FP64), जिसका उपयोग बहुत सटीक वैज्ञानिक कार्यों के लिए किया जाता है, सुधार की गति में धीमा होता जा रहा है। यह ऐसा है जैसे टीम ने कार को तेज़ बनाने के लिए भारी कवच हटा दिया हो, भले ही इसका मतलब यह हो कि कार भारी माल ढोने में उतनी अच्छी नहीं रहेगी।
2. "मेमोरी वॉल" (रुकावट)
कल्पना कीजिए कि एक सुपर-फास्ट रेस कार इंजन (प्रोसेसर) एक छोटी स्ट्रॉ (नली) से पीने की कोशिश कर रहा है (मेमोरी)। इंजन चाहे कितनी भी तेज़ी से घूम जाए, वह उस गति से आगे नहीं बढ़ सकता जिस गति से स्ट्रॉ ईंधन पहुँचा सकती है।
- निष्कर्ष: इंजन, ईंधन वितरण प्रणाली (मेमोरी बैंडविड्थ) की तुलना में बहुत तेज़ी से बढ़ रहे हैं।
- उपमा: शोधकर्ताओं ने पाया कि "इंजन" स्प्रिंट (तेज़ दौड़) लगा रहा है, जबकि "स्ट्रॉ" केवल जॉगिंग (धीमी दौड़) कर रहा है। यह एक "मेमोरी वॉल" बनाता है। चिप इतनी तेज़ है कि वह डेटा आने का इंतज़ार करती रहती है, जिससे अंततः सब कुछ धीमा हो सकता है।
3. गति की कीमत
- निष्कर्ष: सबसे तेज़, सबसे शक्तिशाली चिप औसत चिप की तुलना में काफी महंगी और "प्यासी" (अधिक बिजली खर्च करने वाली) होती जा रही हैं।
- उपमा: इसे एक लग्जरी स्पोर्ट्स कार बनाम एक मानक सेडान खरीदने जैसा समझें। टॉप-टियर मॉडल लाइनअप के औसत मॉडलों की तुलना में दोगुने महंगे और दोगुने अधिक ईंधन खपत करने वाले होते जा रहे हैं। जबकि औसत चिप चलाना सस्ता होता जा रहा है, "चैंपियन" चिप्स एक लग्जरी आइटम बन रहे हैं जो बहुत अधिक ऊर्जा जलाते हैं।
4. प्रतिस्पर्धा बराबरी कर रही है (लेकिन जीत नहीं रही है)
शोधकर्ताओं ने दौड़ में अन्य टीमों को भी देखा: AMD और Intel।
- निष्कर्ष: लंबे समय तक, NVIDIA इतना आगे था कि यह एक साइकिल के मुकाबले फेरारी जैसा था। अब, AMD और Intel ने अपनी खुद की फेरारी बना ली है। कुछ विशिष्ट क्षेत्रों में (जैसे गणित के कुछ प्रकारों में), वे NVIDIA से आगे भी निकल गए हैं।
- रियलिटी चेक: कच्ची गति में बराबरी करने के बावजूद, उन्होंने अभी तक दौड़ नहीं जीती है। क्यों? क्योंकि NVIDIA के पास एक विशाल "पिट क्रू" लाभ है: उनका सॉफ्टवेयर (CUDA)। यह सबसे अच्छे मैकेनिक और सबसे अच्छे ट्रैक मैप होने जैसा है। भले ही अन्य कारें तेज़ हों, लेकिन उन्हें NVIDIA की कारों की तरह सुचारू रूप से ट्रैक पर नेविगेट करने में संघर्ष करना पड़ता है। इसलिए, NVIDIA अभी भी प्रमुख लीडर है।
5. "द्वारपाल" (निर्यात नियंत्रण)
यह कहानी का सबसे राजनीतिक हिस्सा है। अमेरिकी सरकार ने कुछ देशों को सबसे तेज़ रेस कारें खरीदने से रोकने के लिए एक घेरा बनाया है, क्योंकि उन्हें डर है कि वे इनका उपयोग शक्तिशाली हथियार या AI बनाने के लिए करेंगे।
- निष्कर्ष:
- पुराना घेरा (2022): इसने शीर्ष कारों को रोक दिया, जिससे एक बड़ा अंतर पैदा हुआ। अमेरिका के पास ऐसे कार थे जो प्रतिबंधित देशों द्वारा खरीदी जा सकने वाली कारों की तुलना में 23.6 गुना अधिक शक्तिशाली थे।
- नया घेरा (2025): नियम सख्त हो गए, लेकिन फिर अमेरिका ने एक थोड़ा धीमा (लेकिन फिर भी बहुत तेज़) कार बेचने का सौदा किया जिसे H200 कहा जाता है।
- परिणाम: अंतर नाटकीय रूप से कम हो गया। अब, अमेरिका के पास ऐसी कारें हैं जो प्रतिबंधित देशों के लिए उपलब्ध कारों की तुलना में केवल 3.54 गुना अधिक शक्तिशाली हैं।
- उपमा: कल्पना कीजिए कि अमेरिका के पास एक जेट फाइटर था, और दूसरे देश के पास एक प्रोपेलर प्लेन था। अंतर बहुत बड़ा था। अब, अमेरिका उस दूसरे देश को एक बहुत ही उन्नत प्रोपेलर प्लेन बेच रहा है। अंतर बहुत कम है, लेकिन अमेरिका के पास अभी भी एक जेट है। हालाँकि, शोधकर्ता नोट करते हैं कि इतिहास दिखाता है कि जब आप तकनीक तक पहुँच को रोकते हैं, तो प्रतिबंधित देश अक्सर अपने स्वयं के इंजन बनाना शुरू कर देते हैं, जो अंततः बराबरी कर सकते हैं।
"मैकेनिक" की रिपोर्ट का सारांश
- गति: AI चिप्स बहुत तेज़ गति से बेहतर हो रहे हैं, उनकी शक्ति हर 1.5 साल में दोगुनी हो रही है।
- रुकावट: मेमोरी (ईंधन वितरण) इंजन की गति के साथ तालमेल बिठाने के लिए संघर्ष कर रही है।
- लागत: सर्वश्रेष्ठ चिप्स महंगी और अधिक बिजली खपत करने वाली होती जा रही हैं।
- प्रतिस्पर्धा: प्रतिद्वंद्वी तेज़ हो रहे हैं, लेकिन NVIDIA का सॉफ्टवेयर लाभ उन्हें शीर्ष पर बनाए रखता है।
- राजनीति: अमेरिकी प्रतिबंधों ने अमेरिका और प्रतिबंधित राष्ट्रों के बीच प्रदर्शन के अंतर को "विशाल" से "महत्वपूर्ण लेकिन प्रबंधनीय" में बदल दिया है।
पेपर यह निष्कर्ष निकालता है कि हालांकि ये रुझान अभी अद्भुत हैं, लेकिन वे हमेशा के लिए नहीं रह सकते। चिप्स को तेज़ बनाने के तरीके (जैसे उन्हें बड़ा बनाना या कम परिशुद्धता वाले गणित का उपयोग करना) अंततः दम तोड़ सकते हैं, ठीक वैसे ही जैसे एक कार का इंजन तब तक ट्यून किया जा सकता है जब तक कि वह टूट न जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।