HYDRA: A Heterogeneous Chiplet DSE Framework for Serving Dynamic Hybrid LLM Workloads
यह शोध पत्र HYDRA प्रस्तुत करता है, जो एक व्यापक डिज़ाइन स्पेस एक्सप्लोरेशन फ्रेमवर्क है जो हाइब्रिड ट्रांसफॉर्मर-मैम्बा लार्ज लैंग्वेज मॉडल्स को सर्व करने के लिए थ्रूपुट और लेटेंसी में महत्वपूर्ण सुधार करने हेतु हेट्रोजेनियस चिपलेट आर्किटेक्चर और डायनेमिक रनटाइम पॉलिसीज़ को संयुक्त रूप से अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया एक नए प्रकार की डिजिटल बुद्धिमत्ता पर चलती है, जो बड़े भाषा मॉडल (large language models) हैं जो कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और बातचीत कर सकते हैं। ये प्रणालियाँ इतनी विशाल हो गई हैं कि इन्हें चलाने के लिए डिज़ाइन किए गए कंप्यूटर चिप्स उनके साथ तालमेल बिठाने के लिए संघर्ष कर रहे हैं। वर्षों तक, उद्योग ने प्रत्येक कार्य को संभालने के लिए एक एकल, विशाल प्रोसेसर पर भरोसा किया, लेकिन जैसे-जैसे ये मॉडल अधिक जटिल होते जा रहे हैं, वह दृष्टिकोण एक दीवार से टकरा जाता है। चिप्स बनाना बहुत महंगा, उन्हें ठंडा रखना बहुत कठिन और लाखों उपयोगकर्ताओं को एक साथ सेवा देने के लिए आवश्यक कार्यों के अराजक मिश्रण को प्रबंधित करने के लिए बहुत धीमा होता जा रहा है। इसे हल करने के लिए, इंजीनियर एक मॉड्यूलर दृष्टिकोण की ओर मुड़ रहे हैं, जिसमें कंप्यूटर को 'चिपलेट्स' (chiplets) नामक छोटे, विशिष्ट टुकड़ों में विभाजित किया जाता है। एक उच्च-प्रदर्शन वाले वाहन की कल्पना करें जहाँ इंजन, ट्रांसमिशन और ईंधन टैंक अलग-अलग, अनुकूलित मॉड्यूल हैं जिन्हें बदला या पुनर्व्यवस्थित किया जा सकता है, बजाय एक एकल, अपरिवizable धातु के ब्लॉक के। यह एक अधिक लचीली और कुशल प्रणाली की अनुमति देता है, लेकिन यह एक नई समस्या पेश करता है: इन टुकड़ों को सटीक रूप से कैसे व्यवस्थित किया जाए और उनके बीच डेटा के प्रवाह को कैसे प्रबंधित किया जाए, यह समझना एक अत्यंत कठिन पहेली है।
शोधकर्ताओं ने इस पहेली को सुलझाने के लिए HYDRA नामक एक नया ढांचा विकसित किया है। यह एक परिष्कृत उपकरण है जिसे इन मॉड्यूलर चिप्स को असेंबल करने के अनगिनत तरीकों और चलते समय उनके प्रबंधन के तरीकों का पता लगाने के लिए डिज़ाइन किया गया है। चुनौती यह है कि संभावित व्यवस्थाओं की संख्या इतनी विशाल है कि शक्तिशाली कंप्यूटरों के साथ भी एक-एक करके उनका परीक्षण करने में वर्षों लग जाएंगे। इसके अलावा, ये मॉडल जो कार्य करते हैं वे स्थिर नहीं होते; वे उपयोगकर्ताओं द्वारा पूछे जाने वाले प्रश्नों के आधार पर लगातार बदलते रहते हैं। कभी सिस्टम को किसी लंबे दस्तावेज़ को तेज़ी से पढ़ने की आवश्यकता होती है, और कभी उसे शब्द दर शब्द प्रतिक्रिया उत्पन्न करने की आवश्यकता होती है। इन विभिन्न चरणों के लिए अलग-अलग संसाधनों की आवश्यकता होती है, और उपयोगकर्ताओं से आने वाले अनुरोधों का मिश्रण अप्रत्याशित होता है। यदि सिस्टम को पूरी तरह से ट्यून नहीं किया गया, तो यह ऊर्जा और समय बर्बाद करता है, जिससे उपयोगकर्ता उत्तरों के लिए प्रतीक्षा करते रह जाते हैं।
HYDRA के पीछे की टीम ने इस जटिलता को बिना हर एक संभावना का परीक्षण किए नेविगेट करने के लिए एक विधि बनाई है। हर संभावित डिज़ाइन के हर विवरण का अनुकरण (simulate) करने के बजाय, जो धीमा और बोझिल है, उन्होंने एक तेज़, स्मार्ट अनुमानक (estimator) बनाया है। यह उपकरण एक कुशल नाविक की तरह कार्य करता है, जो संभावित डिज़ाइनों के परिदृश्य को तेज़ी से स्कैन करके सबसे आशाजनक रास्तों को खोजता है। यह गतिविधि के विभिन्न स्तरों के बीच सिस्टम के घूमने के तरीके पर आधारित एक गणितीय दृष्टिकोण का उपयोग करता है, जिससे यह हफ्तों के बजाय मिनटों में प्रदर्शन का पूर्वानुमान लगा सकता है। एक बार जब यह उपकरण सर्वोत्तम उम्मीदवारों की पहचान कर लेता है, तो शोधकर्ता पुष्टि करने के लिए कि वे उम्मीद के अनुसार काम करते हैं, केवल उन्हीं शीर्ष विकल्पों पर विस्तृत, धीमे सिमुलेशन चलाते हैं। यह दो-चरणीय प्रक्रिया उन्हें एक ऐसे डिज़ाइन स्पेस को खोजने की अनुमति देती है जो पहले संभालने के लिए बहुत बड़ा था, जिससे वे ऐसे कॉन्फ़िगरेशन पाते हैं जो स्पष्ट नहीं थे, लेकिन गति और दक्षता के बीच संतुलन बनाते हैं।
इस अन्वेषण के परिणाम महत्वपूर्ण हैं। जब शोधकर्ताओं ने अपने सर्वोत्तम डिज़ाइनों का परीक्षण मौजूदा उन्नत प्रणालियों के विरुद्ध किया, तो उन्होंने पाया कि नया दृष्टिकोण समान समय में 1.55 गुना अधिक कार्य संभाल सकता है। साथ ही, उपयोगकर्ता को उसकी प्रतिक्रिया का पहला शब्द प्राप्त करने में लगने वाला समय लगभग आधा हो गया। कुछ विशिष्ट परिदृश्यों में, सुधार और भी नाटकीय था, जहाँ सिस्टम ने पिछले तरीकों की तुलना में दोगुने से अधिक वर्कलोड संभाला। ये लाभ हार्डवेयर आर्किटेक्चर और उसे चलाने वाले सॉफ़्टवेयर के सावधानीपूर्वक सह-डिज़ाइन (co-design) से आए हैं। शोधकर्ताओं ने पाया कि केवल अधिक शक्ति जोड़ना पर्याप्त नहीं है; सिस्टम को इस तरह व्यवस्थित किया जाना चाहिए कि सही हिस्से उस डेटा के करीब हों जिसकी उन्हें आवश्यकता है, और सॉफ़्टवेयर इतना लचीला होना चाहिए कि कार्य के प्रकार में बदलाव होने पर संसाधनों को तुरंत स्थानांतरित कर सके।
इस कार्य में एक प्रमुख खोज यह है कि भौतिक घटकों की व्यवस्था स्वयं घटकों जितनी ही महत्वपूर्ण है। शोधकर्ताओं ने संचार की आवृत्ति के आधार पर सिलिकॉन बोर्ड पर विभिन्न चिपलेट्स को रखने की रणनीति विकसित की। उन टुकड़ों को एक साथ समूहबद्ध करके जो सबसे अधिक संवाद करते हैं, उन्होंने सिस्टम में डेटा यात्रा करने के समय को कम कर दिया। इस संचार-जागरूक प्लेसमेंट (communication-aware placement) ने, उपयोगकर्ताओं के अनुरोधों को गतिशील रूप से समूहीकृत करने के तरीके के साथ मिलकर, सिस्टम को बहुत सुचारू रूप से चलने में मदद की। सॉफ़्टवेयर काम शुरू करने से पहले अनुरोधों के पूर्ण बैच के आने का इंतज़ार नहीं करता है; यह संसाधनों के मुक्त होते ही नए अनुरोधों को स्वीकार कर लेता है, जिससे सिस्टम लगातार व्यस्त और कुशल बना रहता है। यह लचीलापन महत्वपूर्ण है क्योंकि यह अगले उपयोगकर्ताओं के समूह की प्रतीक्षा करते समय सिस्टम को खाली बैठने से रोकता है।
अध्ययन ने यह भी देखा कि यदि उपयोग किए जा रहे विशिष्ट मॉडल का प्रकार बदल जाता है, तो ये डिज़ाइन कितने प्रभावी होंगे। उन्होंने एक विशिष्ट मॉडल के लिए अनुकूलित कॉन्फ़िगरेशन का परीक्षण अन्य, अलग मॉडलों के विरुद्ध किया। उन्होंने पाया कि एक विशिष्ट मॉडल के लिए बनाया गया डिज़ाइन दूसरे मॉडल को चलाने के लिए पूछे जाने पर खराब प्रदर्शन करता है। हालांकि, एक ऐसा डिज़ाइन जो विभिन्न मॉडलों के मिश्रण को संभालने के लिए अनुकूलित था, अपने स्वयं के कार्यों पर विशिष्ट मॉडलों के लगभग उतना ही अच्छा प्रदर्शन करता है, और नए, अनदेखे मॉडलों का सामना करने पर भी मजबूत बना रहता है। यह सुझाव देता है कि कई अलग-अलग उपयोगकर्ताओं और अनुप्रयोगों को सेवा देने के लिए बने सिस्टम के लिए, एक अत्यधिक विशिष्ट डिज़ाइन की तुलना में एक लचीला, सामान्य-उद्देश्य वाला डिज़ाइन अधिक मूल्यवान है। यह एक सुरक्षा जाल प्रदान करता है, यह सुनिश्चित करता है कि जैसे-जैसे कृत्रिम बुद्धिमत्ता (AI) द्वारा समर्थित प्रकार विकसित होते हैं, सिस्टम कुशल बना रहे।
अंततः, यह कार्य यह प्रदर्शित करता है कि बड़े भाषा मॉडलों को चलाने वाले भविष्य का आधार हार्डवेयर आर्किटेक्चर और सॉफ़्टवेयर प्रबंधन की साझेदारी है। आप केवल एक तेज़ चिप बनाकर समस्या को हल करने की अपेक्षा नहीं कर सकते; आपको उस चिप के माध्यम से सूचना के प्रवाह को प्रबंधित करने का एक स्मार्ट तरीका भी बनाना होगा। HYDRA ढांचा इस सह-डिज़ाइन के लिए एक ब्लूप्रिंट प्रदान करता है, यह दिखाते हुए कि कैसे टुकड़ों के फिट होने के तरीके और उनके वास्तविक समय में प्रबंधन पर सावधानीपूर्वक विचार करके, काफी तेज़ और अधिक कुशल सिस्टम बनाया जा सकता है। शोधकर्ताओं ने अपने उपकरणों को दूसरों के लिए उपलब्ध करा दिया है, इस उम्मीद में कि यह भविष्य की कृत्रिम बुद्धिमत्ता को संचालित करने वाली अगली पीढ़ी के कंप्यूटिंग सिस्टम के विकास को गति देगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।