Kareus: Joint Reduction of Dynamic and Static Energy in Large Model Training
कैरियस (Kareus) एक प्रशिक्षण प्रणाली है जो संयुक्त अनुकूलन समस्या को विभाजन-आधारित उप-समस्याओं में विभाजित करके और एक मल्टी-पास मल्टी-ऑब्जेक्टिव एल्गोरिदम का उपयोग करके बड़े मॉडल प्रशिक्षण में गतिशील और स्थिर दोनों ऊर्जा खपत को एक साथ अनुकूलित करती है, जिससे अत्याधुनिक तरीकों की तुलना में प्रशिक्षण समय या ऊर्जा खपत में से किसी एक में महत्वपूर्ण कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Kareus" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके किया गया विवरण है।
बड़ी समस्या: AI का बिजली बिल
कल्पना कीजिए कि एक विशाल, हाई-टेक फैक्ट्री चलाने के लिए एक बड़े AI मॉडल को ट्रेन करना बिल्कुल वैसा ही है। इस फैक्ट्री को चालू रखने के लिए दो चीजों की आवश्यकता होती है: बिजली (ऊर्जा) और समय।
अभी, दुनिया इन फैक्ट्रियों को उतनी तेजी से बना रही है जितनी तेजी से हम बिजली की आपूर्ति नहीं कर पा रहे हैं। यह पेपर तर्क देता है कि ऊर्जा एक दुर्लभ और महंगी संसाधन बन गई है। यदि हम इसका बेहतर प्रबंधन नहीं करते हैं, तो हम AI को अगले स्तर तक ले जाने में सक्षम नहीं हो पाएंगे।
"बर्बाद" ऊर्जा के दो प्रकार
समाधान को समझने के लिए, हमें पहले यह समझना होगा कि ये फैक्ट्रियां (GPUs) ऊर्जा कैसे बर्बाद करती हैं। लेखक इसे दो प्रकारों में विभाजित करते हैं:
- डायनेमिक एनर्जी (काम करने की लागत): यह वह बिजली है जो तब उपयोग होती है जब मशीन वास्तव में गणित (math) कर रही होती है। इसे एक कार के इंजन की तरह समझें जो चलते समय रेस (revving) ले रहा है। आप जितनी तेज़ गाड़ी चलाएंगे (उच्च फ्रीक्वेंसी), उतना ही अधिक ईंधन जलेगा।
- स्टैटिक एनर्जी (आइडलिंग की लागत): यह वह बिजली है जो मशीन केवल चालू रहने के लिए उपयोग करती है, भले ही वह कुछ भी उपयोगी काम न कर रही हो। इसे एक कार के इंजन की तरह समझें जो रेड लाइट पर खड़ा होने पर भी आइडल (idle) चल रहा है। यदि आप 5 मिनट तक रेड लाइट पर रुकते हैं, तो आप ईंधन जलाते हैं भले ही आप आगे नहीं बढ़ रहे हों। AI ट्रेनिंग में, ऐसा तब होता है जब कंप्यूटर डेटा के आने का इंतज़ार कर रहा होता है या जब चिप के कुछ हिस्से खाली बैठे होते हैं।
पुराने समाधान: एक को ठीक करना, दूसरे को अनदेखा करना
इस पेपर से पहले, शोधकर्ता इन समस्याओं को ठीक करने की कोशिश करते थे, लेकिन वे सिक्के के केवल एक ही पहलू को देखते थे:
- समाधान A (Perseus): उन्होंने इंजन की गति को धीमा कर दिया (फ्रीक्वेंसी कम कर दी) जब मशीन "क्रिटिकल पाथ" (सबसे महत्वपूर्ण हिस्से) पर नहीं थी। इसने डायनेमिक एनर्जी (ईंधन) तो बचा ली, लेकिन आइडलिंग में लगने वाले समय को ठीक नहीं किया।
- समाधान B (Nanobatching): उन्होंने काम को इस तरह से व्यवस्थित किया कि जब मशीन का एक हिस्सा डेटा का इंतज़ार कर रहा हो, तो दूसरा हिस्सा काम शुरू कर सके। इससे कुल समय कम हो गया, जिससे स्टैटिक एनर्जी (कम आइडलिंग) बची, लेकिन उन्होंने इंजन की गति को एडजस्ट नहीं किया।
पेपर का तर्क है कि ऐसा करना एक लीक होती नाव को ठीक करने जैसा है—या तो केवल बाईं ओर के छेदों को भरना, या केवल दाईं ओर से पानी बाहर निकालना। आपको दोनों को एक साथ करने की आवश्यकता है।
खोज: सब कुछ आपस में जुड़ा हुआ है
लेखकों ने पाया कि ये दोनों समस्याएं गहराई से जुड़ी हुई हैं। आप केवल स्वतंत्र रूप से "इंजन की गति कम करने" या "काम को फिर से व्यवस्थित करने" का निर्णय नहीं ले सकते।
उपमा: एक रसोई की कल्पना करें जिसमें एक शेफ (कंप्यूटेशन) और एक वेटर (कम्युनिकेशन) है।
- यदि शेफ बहुत तेज़ काम करता है, तो वेटर तालमेल नहीं बिठा पाता, और शेफ को रुकना पड़ता है (समय बर्बाद होता है/आइडलिंग)।
- यदि शेफ धीमा हो जाता है, तो वेटर काम जल्दी खत्म कर सकता है और बस इंतज़ार करता रह सकता है (यह भी समय की बर्बादी है)।
- महत्वपूर्ण बात: रसोई को व्यवस्थित करने का सबसे अच्छा तरीका इस बात पर निर्भर करता है कि शेफ कितनी तेज़ी से काम कर रहा है। यदि शेफ धीमा है, तो आप चाहते होंगे कि वेटर पहले ही काम शुरू कर दे। यदि शेफ तेज़ है, तो आप चाहते होंगे कि वेटर थोड़ा इंतज़ार करे।
पेपर ने पाया कि फ्रीक्वेंसी (इंजन की गति) को बदलने से इष्टतम शेड्यूल (रसोई का लेआउट) बदल जाता है। मौजूदा टूल्स ने इन्हें अलग-अलग समस्याओं के रूप में माना, जिससे परिणाम उप-इष्टतम (suboptimal) रहे।
समाधान: Kareus
Kareus एक नया सिस्टम है जो एक सुपर-स्मार्ट फैक्ट्री मैनेजर की तरह काम करता है। यह केवल एक सेटिंग नहीं चुनता; यह पूरी तस्वीर को देखता है और गति, काम और आइडलिंग के बीच सही संतुलन ढूंढता है।
यह कैसे काम करता है, इसके लिए Lego की उपमा देखें:
- टुकड़ों में तोड़ना (Partitioning): पूरे विशाल AI मॉडल को एक साथ ऑप्टिमाइज़ करने के बजाय (जो बहुत जटिल है), Kareus ट्रेनिंग प्रक्रिया को छोटे, दोहराने वाले लेगो ब्लॉक्स में तोड़ देता है जिन्हें "पार्टिशन" कहा जाता है। यह पहले एक छोटे ब्लॉक के लिए पहेली को हल करता है।
- मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन: प्रत्येक लेगो ब्लॉक के लिए, Kareus एक परिष्कृत खोज (search) चलाता है। यह पूछता है: "यदि मैं इंजन की गति बदलता हूँ, तो मुझे वेटर के लिए कितने कार्यकर्ता लगाने चाहिए? वेटर को कब शुरू करना चाहिए?" यह "पारेटो फ्रंटियर" (Pareto Frontier)—यानी काम को जल्दी खत्म करने और कम ऊर्जा खर्च करने के बीच का सबसे अच्छा समझौता—खोजने के लिए हजारों संयोजनों का परीक्षण करता है।
- वापस जोड़ना: एक बार जब इसे प्रत्येक छोटे लेगो ब्लॉक को चलाने का सबसे अच्छा तरीका पता चल जाता है, तो यह पूरे कारखाने के लिए एक योजना बनाने के लिए उन्हें वापस जोड़ देता है।
परिणाम: जीत-जीत (Win-Win)
पेपर ने वास्तविक AI मॉडल्स (जैसे Llama और Qwen) पर Kareus का परीक्षण किया और इसकी तुलना सबसे अच्छे मौजूदा सिस्टम से की। परिणाम प्रभावशाली थे:
- परिदृश्य 1 (समान समय): यदि आप चाहते हैं कि AI पहले की तरह ही सटीक समय में समाप्त हो जाए, तो Kareous 28.3% तक कम ऊर्जा का उपयोग करता है।
- परिदृश्य 2 (समान ऊर्जा): यदि आपके पास एक सख्त ऊर्जा बजट है (जैसे बिजली की एक निश्चित मात्रा), तो Kareus ट्रेनिंग को 27.5% तक तेज़ी से पूरा कर सकता है।
यह क्यों मायने रखता है
पेपर निष्कर्ष निकालता है कि बड़े और स्मार्ट AI बनाने के लिए, हम केवल समस्या पर अधिक हार्डवेयर नहीं लगा सकते। हमें ऐसे स्मार्ट सॉफ्टवेयर की आवश्यकता है जो यह समझ सके कि गति, शेड्यूलिंग और ऊर्जा, ये सभी एक बड़ा, आपस में जुड़ा हुआ पहेली (puzzle) है। Kareus इस पहेली को एक साथ हल करने वाला पहला सिस्टम है, जो भारी मात्रा में बिजली और समय बचाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।