DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs
यह शोध पत्र प्रदर्शित करता है कि सेवानिवृत्त दूसरे हाथ के हार्डवेयर से निर्मित 128-जीपीयू क्लस्टर आर्थिक रूप से LLaMA-70B जैसे लार्ज लैंग्वेज मॉडल्स की सेवा कर सकता है, हालांकि इसकी पर्यावरणीय स्थिरता पूरी तरह से पुराने जीपियू के उच्च ऊर्जा उपभोग को संतुलित करने के लिए कम-कार्बन बिजली वाले क्षेत्रों में तैनाती पर निर्भर है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया वर्तमान में तेजी से आगे बढ़ रही है, जिसे जीपीयू (GPU) नामक विशाल कंप्यूटर चिप्स द्वारा संचालित किया जा रहा है जो जटिल भाषा मॉडलों को प्रशिक्षित करने और चलाने के लिए इंजन के रूप में कार्य करते हैं। ये मॉडल कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और बातचीत कर सकते हैं, लेकिन उन्हें भारी मात्रा में कंप्यूटिंग शक्ति की आवश्यकता होती है। तालमेल बनाए रखने के लिए, डेटा सेंटर लगातार अपने हार्डवेयर को अपग्रेड करते हैं, जिससे नए और तेज़ चिप्स के लिए जगह बनाने हेतु कार्यात्मक चिप्स को रिटायर कर दिया जाता है। यह चक्र सक्षम लेकिन "पुराने" एक्सीलरेटरों का एक बढ़ता हुआ ढेर पीछे छोड़ देता है, जिससे एक माध्यमिक बाजार बनता है जहाँ इन छोड़े गए घटकों को उनकी मूल कीमत के एक अंश पर बेचा जाता है। शोधकर्ताओं और इंजीनियरों के सामने सवाल यह है कि क्या इन रिटायर मशीनों को आधुनिक एआई कार्यों की सेवा करने के लिए एक उत्पादक दूसरा जीवन दिया जा सकता है, या क्या उनकी उम्र उन्हें उपयोगी होने के लिए बहुत अक्षम और अपव्ययी बना देती है।
शोधकर्ताओं की एक टीम ने पूरी तरह से सेकंड-हैंड पुर्जों का उपयोग करके शून्य से एक विशाल कंप्यूटिंग क्लस्टर बनाकर इसका उत्तर देने का प्रयास किया। उन्होंने केवल पुराने ग्राफिक्स कार्ड ही नहीं खरीदे; उन्होंने एक सिस्टम बनाने के लिए उपयोग किए गए प्रोसेसर, मेमोरी, मदरबोर्ड और नेटवर्किंग उपकरण जुटाए जिसमें 128 रिटायर्ड एनवीडिया (NVIDIA) V100 जीपीयू शामिल थे। इस संग्रह को, जिसे उन्होंने "डंपस्टरक्लस्टर" (DumpsterCluster) नाम दिया, को यह परीक्षण करने के लिए डिज़ाइन किया गया था कि क्या पुराना हार्डवेयर बड़े भाषा मॉडलों, विशेष रूप से LLaMA-70B नामक 70-बिलियन-पैरामीटर वाले मॉडल को चलाने के भारी कार्यभार को संभाल सकता है। टीम ने एक वर्ष तक इस क्लस्टर को वास्तविक दुनिया के परिवेश में चलाने, वास्तविक उपयोगकर्ता अनुरोधों को पूरा करने, में बिताया, ताकि यह देखा जा सके कि क्या यह दृष्टिकोण आर्थिक रूप से व्यवहार्य और पर्यावरणीय रूप से टिकाऊ है। उनके निष्कर्ष आश्चर्यजनक क्षमता की एक कहानी उजागर करते हैं जो सख्त शर्तों के साथ आती है: हालांकि हार्डवेयर काम कर सकता है, इसकी सफलता पूरी तरह से इस बात पर निर्भर करती है कि इसे कहाँ रखा गया है और इसे कैसे प्रबंधित किया गया है।
इस दृष्टिकोण के लिए आर्थिक मामला प्रभावशाली है। शोधकर्ताओं ने अपना पूरा 128-जीपीयू सिस्टम लगभग 32,000 से कम हो गई। इसके विपरीत, नवीनतम पीढ़ी के केवल आठ जीपीयू वाला एक आधुनिक सिस्टम लगभग $600,000 की लागत रखता है। शुरुआती लागत में यह विशाल अंतर यह सुनिश्चित करता है कि भले ही पुराने चिप्स व्यक्तिगत रूप से कम शक्तिशाली हों, लेकिन उनकी भारी संख्या क्लस्टर को डेटा की एक महत्वपूर्ण मात्रा को संसाधित करने की अनुमति देती है। इस सिस्टम को एक वर्ष तक चलाकर, टीम ने सिद्ध किया कि वे बड़े भाषा मॉडल को प्रभावी ढंग से सेवा दे सकते हैं, जिससे टेक्स्ट उत्पन्न करने की गति प्राप्त हुई, जो नवीनतम सुपर-चिप्स की तुलना में धीमी तो थी, लेकिन कई व्यावहारिक अनुप्रयोगों के लिए पर्याप्त थी। इसे सफल बनाने की कुंजी केवल पुर्जे खरीदना नहीं था, बल्कि उन्हें चलाने वाले सॉफ्टवेयर को फिर से लिखना था।
इन मॉडलों को चलाने के लिए मानक सॉफ्टवेयर नवीनतम हार्डवेयर के लिए डिज़ाइन किया गया है, जिसमें चिप्स के बीच बहुत तेज़ कनेक्शन होते हैं। डंपस्टरक्लस्टर में मौजूद पुराने V100 चिप्स में धीमे कनेक्शन और कम मेमोरी होती है, जिसके कारण सामान्यतः वे बड़े मॉडलों के भार से दब जाते हैं। इसे हल करने के लिए, शोधकर्ताओं ने एक कस्टम इंजन विकसित किया जो इस बात को बदल देता है कि काम को कैसे विभाजित किया जाता है। चिप्स को आपस में लगातार बात करने के लिए मजबूर करने के बजाय, उन्होंने मॉडल को इस तरह व्यवस्थित किया कि प्रत्येक चिप गणना के एक विशिष्ट भाग को एक लंबी श्रृंखला में संभालता है, और परिणाम को अगली कतार में पास करता है। उन्होंने सिस्टम को इस तरह भी अनुकूलित किया कि कंप्यूटर का सेंट्रल प्रोसेसर बैकग्राउंड में डेटा ट्रांसफर को संभालता है जबकि ग्राफिक्स चिप्स काम करते रहते हैं, जिससे सिस्टम खाली न बैठा रहे। इस रणनीति ने 128 पुराने चिप्स को एक एकल, सुसंगत इकाई के रूप में कार्य करने की अनुमति दी, जो एक ऐसे मॉडल को चलाने में सक्षम है जो एक अकेले चिप पर फिट भी नहीं होगा।
हालाँकि, अध्ययन यह स्पष्ट करता है कि यह समाधान एआई उद्योग की ऊर्जा और पर्यावरणीय समस्याओं के लिए सार्वभौमिक समाधान नहीं है। शोधकर्ताओं ने पाया कि हालांकि शुरुआती लागत कम है, लेकिन मशीनों को चलाने की लागत समय के साथ बिजली की कीमत और उस बिजली के स्रोत पर बहुत अधिक निर्भर करती है। पुराने चिप्स आधुनिक चिप्स की तुलना में कम ऊर्जा-कुशल होते हैं, जिसका अर्थ है कि वे समान मात्रा में टेक्स्ट उत्पन्न करने के लिए अधिक बिजली की खपत करते हैं। यदि इस क्लस्टर को ऐसे क्षेत्र में चलाया जाता है जहाँ बिजली जीवाश्म ईंधन से आती है, तो उत्पन्न प्रति शब्द कार्बन उत्सर्जन, एक नए, कुशल सिस्टम की तुलना में दर्जनों गुना अधिक हो सकता है। हार्डवेयर के पुन: उपयोग का पर्यावरणीय लाभ पूरी तरह से समाप्त हो जाता है यदि इसे चलाने के लिए उपयोग की जाने वाली बिजली "गंदी" है। यह सिस्टम केवल तभी वास्तव में टिकाऊ होता है जब यह उन क्षेत्रों में स्थित हो जहाँ प्रचुर मात्रा में, सस्ती और स्वच्छ ऊर्जा उपलब्ध हो, जैसे कि पवन या जलविद्युत से संचालित क्षेत्र। उन विशिष्ट स्थानों में, बिजली की कम लागत पुराने चिप्स की अक्षमता की भरपाई करती है, जिससे कुल स्वामित्व लागत कम और कार्बन फुटप्रिंट प्रबंधनीय रहता है।
हार्डवेयर की विश्वसनीयता ने भी ऐसी चुनौतियाँ पेश कीं जिन्हें टीम को प्रबंधित करना पड़ा। एक वर्ष के दौरान, क्लस्टर ने कई तकनीकी बाधाओं का अनुभव किया, लेकिन अधिकांश सॉफ़्टवेयर संबंधी त्रुटियाँ थीं जिन्हें भौतिक मरम्मत के बजाय एक साधारण रीस्टार्ट के साथ ठीक किया जा सकता था। वास्तविक हार्डवेयर विफलताएँ, जहाँ कोई चिप या घटक वास्तव में टूट गया हो, दुर्लभ थीं, जो घटनाओं के 14 प्रतिशत से भी कम मामलों में हुईं। यह सुझाव देता है कि सावधानीपूर्वक परीक्षण और विफलताओं को संभालने के लिए थोड़ी अतिरिक्त क्षमता के साथ, उपयोग किया गया हार्डवेयर उत्पादन उपयोग के लिए पर्याप्त विश्वसनीय हो सकता है। शोधकर्ताओं ने नोट किया कि यह सिस्टम प्रश्नों के उत्तर देने और टेक्स्ट उत्पन्न करने के लिए सबसे उपयुक्त है, न कि नए मॉडलों को शुरू से प्रशिक्षित करने के लिए, जिसके लिए एक अलग प्रकार की कंप्यूटिंग शक्ति और स्थिरता की आवश्यकता होती है।
अंततः, यह पेपर प्रदर्शित करता है कि तकनीक को दूसरा जीवन देना संभव है, लेकिन यह केवल पुराने पुर्जों को प्लग-इन करने का सरल मामला नहीं है। ऐसे "डंपस्टरक्लस्टर" की सफलता इंजीनियरिंग, अर्थशास्त्र और भूगोल के एक नाजुक संतुलन पर निर्भर करती है। इसके लिए पुराने हार्डवेयर की सीमाओं को दूर करने के लिए विशेष सॉफ्टवेयर, चलाने की लागत और उत्सर्जन को कम करने के लिए सस्ती और स्वच्छ बिजली वाला स्थान, और नए सिस्टम की तुलना में रखरखाव की थोड़ी उच्च दर को सहन करने की आवश्यकता होती है। जब ये शर्तें पूरी होती हैं, तो यह दृष्टिकोण लगातार नए चिप्स बनाने की भारी वित्तीय और पर्यावरणीय लागतों के बिना एआई क्षमता का विस्तार करने का एक व्यवहार्य मार्ग प्रदान करता है। यह एक ऐसा भविष्य सुझाता है जहाँ कंप्यूटिंग हार्डवेयर के जीवनचक्र को बढ़ाया जा सकता है, बशर्ते हम सही उपकरणों को सही ऊर्जा स्रोतों के साथ जोड़ने के लिए तैयार हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।