Performance Optimization and Comparative Analysis of Generative AI Models on Advanced Accelerators
यह शोध पत्र विभिन्न डाउनस्ट्रीम कार्यों और विषम उन्नत त्वरकों (heterogeneous advanced accelerators) पर विविध जनरेटिव एआई मॉडलों के प्रदर्शन को अनुकूलित करने और उनकी तुलना करने पर एक व्यवस्थित अध्ययन प्रस्तुत करता है, जो नवीन मिश्रित-परिशुद्धता क्वांटाइजेशन मूल्यांकनों, फाइन-ट्यूनिंग रणनीतियों और आधुनिक उच्च-प्रदर्शन कंप्यूटिंग प्रणालियों पर मूल्यांकनों के माध्यम से प्रमुख परिनियोजन चुनौतियों का समाधान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास किताबों का एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (जेनरेटिव एआई मॉडल्स) है जो कहानियाँ लिख सकता है, पहेलियाँ सुलझा सकता है, या चित्र बना सकता है। समस्या यह है कि ये पुस्तकालय इतने विशाल हैं कि वे एक सामान्य बुकशेल्फ़ में नहीं समा सकते, एक अकेला पन्ना खोजने में बहुत समय लगता है, और उन्हें चलाने के लिए बिजली का बिल भी बहुत अधिक आता है।
यह पेपर एक टीम के मैकेनिक्स और इंजीनियरों की तरह है जो तीन अलग-अलग हाई-टेक गैरेज (सुपरकंप्यूटर) में गए यह देखने के लिए कि वे अलग-अलग प्रकार के इंजनों पर इन विशाल पुस्तकालयों को कितनी तेज़ी से चला सकते हैं। उन्होंने तीन विशिष्ट "इंजनों" का परीक्षण किया: NVIDIA GPUs (उद्योग का मानक), Intel Gaudi (एक नया, विशेष इंजन), और Intel Gaudi इंजन की विभिन्न पीढ़ियाँ (Gen 1, 2, और 3)।
यहाँ उन्होंने क्या खोजा, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. "सिकुड़ने" वाली ट्रिक (क्वांटाइजेशन - Quantization)
कल्पना कीजिए कि आप एक भारी पत्थर की मूर्ति को कमरे के एक कोने से दूसरे कोने तक ले जाने की कोशिश कर रहे हैं। इसे तेज़ी से ले जाना बहुत कठिन है। इंजीनियरों ने क्वांटाइजेशन नामक एक ट्रिक का परीक्षण किया। मूर्ति के पूरे भारी विवरण को ले जाने के बजाय, उन्होंने उसके छोटे, महत्वहीन विवरणों पर पेंट कर दिया, जिससे भारी पत्थर एक हल्के, फोम वाले संस्करण में बदल गया।
- लक्ष्य: एआई मॉडल्स को उनकी "बौद्धिक क्षमता" को बहुत कम किए बिना छोटा और तेज़ बनाना।
- विधि: उन्होंने पूरी चीज़ को एक साथ नहीं सिकोड़ा। उन्होंने एक "सेंसिटिविटी मैप" (संवेदनशीलता मानचित्र) का उपयोग किया। इसे एक बॉडी स्कैन की तरह समझें: मूर्ति के कुछ हिस्से (जैसे चेहरा) बहुत संवेदनशील होते हैं और उन्हें विस्तृत (उच्च सटीकता) रहने की आवश्यकता होती है, जबकि आधार या कपड़े हल्के फोम (कम सटीकता) के बनाए जा सकते हैं।
- परिणाम: NVIDIA और Intel दोनों मशीनों पर, वे मॉडल्स को 2 से 6 गुना तक सफलतापूर्वक सिकोड़ने में सफल रहे। मॉडल्स बहुत तेज़ हो गए और कम मेमोरी का उपयोग करने लगे, और आश्चर्यजनक रूप से, वे अभी भी अपने विशाल, भारी संस्करणों की तरह लगभग उतनी ही सटीकता से सवालों के जवाब दे पा रहे थे।
2. इंजन अपग्रेड रेस (फाइन-ट्यूनिंग - Fine-Tuning)
"फाइन-ट्यूनिंग" एक सामान्य ड्राइवर को फॉर्मूला 1 रेसर के रूप में प्रशिक्षित करने जैसा है। टीम ने यह परीक्षण किया कि Intel Gaudi इंजन की विभिन्न पीढ़ियों पर यह प्रशिक्षण कितनी तेज़ी से हुआ।
- Gen 1 बनाम Gen 2 बनाम Gen 3: उन्होंने पाया कि नए इंजन काफी तेज़ थे।
- Gen 2, Gen 1 की तुलना में लगभग 2.5 से 3 गुना तेज़ था।
- Gen 3, Gen 2 की तुलना में 1.8 से 2 गुना और तेज़ था।
- "फ्लैश" शॉर्टकट: उन्होंने "फ्लैश अटेंशन" (Flash Attention) नामक एक विशेष तकनीक का भी उपयोग किया। कल्पना कीजिए कि एक लाइब्रेरियन जिसे आमतौर पर किताब लेने के लिए पुस्तकालय के पीछे से सामने तक चलना पड़ता है। फ्लैश अटेंशन एक कन्वेयर बेल्ट की तरह है जो किताब सीधे लाइब्रेरियन के हाथों में पहुँचा देती है। इसने प्रशिक्षण को 10% से 20% तेज़ बना दिया।
- आकार की सीमा: एक समस्या थी। यदि मॉडल बहुत बड़ा था (जैसे 70-बिलियन-पैरामीटर वाला मॉडल), तो वह एक सिंगल इंजन कार्ड पर फिट ही नहीं हो पाता था, चाहे इंजन कितना भी तेज़ क्यों न हो।
- इसे ठीक करने के लिए, उन्हें "शार्डिंग" (मॉडल को कई कार्डों में विभाजित करना) का उपयोग करना पड़ा।
- निष्कर्ष: मॉडल को विभाजित करने से काम धीमा हो जाता है क्योंकि कार्डों को आपस में लगातार बात करनी पड़ती है। टीम ने पाया कि यदि मॉडल एक कार्ड पर फिट बैठता है, तो बस एक ही कार्ड का उपयोग करें। यह विभाजित करने की तुलना में बहुत तेज़ है। केवल तभी विभाजित करें जब आपके पास कोई और विकल्प न हो।
3. इमेज एनहेंसर (डिफ्यूजन मॉडल्स - Diffusion Models)
उन्होंने एक ऐसे मॉडल का भी परीक्षण किया जो धुंधली, कम गुणवत्ता वाली छवियों को स्पष्ट (सुपर-रिज़ॉल्यूशन) बनाता है। इसका उपयोग वैज्ञानिक अंतरिक्ष की धूल की छवियों को देखने के लिए करते हैं।
- तुलना: उन्होंने NVIDIA GPUs (V100, A100, H100) और Intel Gaudi कार्डों पर एक ही कार्य चलाया।
- परिणाम:
- NVIDIA पर, प्रत्येक नई पीढ़ी का चिप पिछले चिप से लगभग 2 गुना तेज़ था।
- Intel Gaudi पर, Gen 1 से Gen 2 का उछाल बहुत बड़ा था (4 गुना तेज़)। हालाँकि, Gen 2 से Gen 3 के बीच का उछाल उतना बड़ा नहीं दिखा; गति बढ़ने की दर धीमी हो गई।
- स्केलिंग: जब उन्होंने इसमें अधिक कार्ड जोड़े, तो गति लगभग पूरी तरह से बढ़ गई, जैसे हाईवे में अधिक लेन जोड़ना।
मुख्य निष्कर्ष (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि:
- मॉडल्स को सिकोड़ना (क्वांटाइजेशन) NVIDIA और Intel दोनों हार्डवेयर पर बहुत अच्छा काम करता है, जिससे गुणवत्ता में बहुत कम कमी के साथ स्थान और समय की बचत होती है।
- नए हार्डवेयर (Intel Gaudi Gen 2 और 3) पुराने संस्करणों की तुलना में काफी तेज़ हैं।
- मॉडल को विभाजित न करें जब तक कि आपको इसकी आवश्यकता न हो। मॉडल को कई कार्डों में विभाजित करने के बजाय एक शक्तिशाली सिंगल कार्ड पर चलाना हमेशा तेज़ होता है।
- Intel Gaudi, NVIDIA का एक बहुत मजबूत प्रतिस्पर्धी है, जो विशिष्ट कार्यों में जबरदस्त गति प्रदान करता है, हालांकि पीढ़ियों के बीच गति में वृद्धि हमेशा पूरी तरह से रैखिक (linear) नहीं होती है।
संक्षेप में: उन्होंने यह पता लगाया कि कैसे इन विशाल एआई दिमागों को अलग-अलग प्रकार के सुपर-कंप्यूटर इंजनों पर चलाना हल्का, तेज़ और सस्ता बनाया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।