← नवीनतम पेपर
⚡ electrical engineering

Provisioning to Runtime Optimization of a +100 MW AI Cluster

यह शोध पत्र एक हाइपर-स्केल एआई डेटासेंटर के लिए पावर मैनेजमेंट का पहला एंड-टू-एंड विवरण प्रस्तुत करता है, जिसमें अगली पीढ़ी के एक्सेलेरेटर्स के लिए प्रारंभिक पावर प्लानिंग से लेकर 83,000 GB200 GPUs को होस्ट करने वाली 150 MW की सुविधा के रनटाइम ऑप्टिमाइज़ेशन तक की प्रक्रिया का विस्तृत विवरण दिया गया है।

मूल लेखक: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valent
प्रकाशित 2026-05-26
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valentin Andrei, Mauricio Cespedes, Julien Prigent, James Monahan, Tyler Graf, Bin Li, Charles Marquez, Shobhit Kanaujia, Kaushik Veeraraghavan, Chunqiang Tang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दुनिया का सबसे बड़ा, सबसे शक्तिशाली सुपरकंप्यूटर बनाने की कोशिश कर रहे हैं ताकि आर्टिफिशियल इंटेलिजेंस की सबसे कठिन समस्याओं को हल किया जा सके। आपने दुनिया के सबसे तेज़ कंप्यूटर चिप्स (GPUs) खरीदे हैं, जिन्हें खरीदने के लिए असीमित पैसा भी खर्च किया जा सकता है। लेकिन एक समस्या है: आपके पास उन सभी को पूरी गति से चलाने के लिए पर्याप्त बिजली नहीं है।

वास्तव में, यह शोध पत्र तर्क देता है कि कंप्यूटर चिप्स खत्म होने से ज्यादा बड़ी समस्या अब बिजली खत्म होना है। यह वैसा ही है जैसे आपके पास 100 रेस कारों का बेड़ा हो, लेकिन केवल आधी कारों को भरने के लायक ही ईंधन हो।

यह पेपर बताता है कि कैसे मेटा (फेसबुक के पीछे की कंपनी) ने एक विशाल 150-मेगावाट के डेटा सेंटर की इस समस्या को हल किया। उन्होंने बस सब कुछ प्लग-इन करके उम्मीद नहीं की; बल्कि उन्होंने बिजली को एक कीमती, सीमित संसाधन की तरह माना जिसे तीन अलग-अलग चरणों में प्रबंधित करने की आवश्यकता थी।

यह उनके काम करने का तरीका है, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।

बिजली प्रबंधन के तीन चरण

लेखक इस प्रक्रिया को तीन चरणों में विभाजित करते हैं: योजना (Planning), जांच (Checking), और संचालन (Running)।

चरण 1: योजना (बजट बनाने का चरण)

इससे पहले कि कंप्यूटर आते, टीम को यह पता लगाना था कि वे अपने निश्चित बिजली बजट में कितने चिप्स फिट कर सकते हैं।

  • पुराना तरीका: आमतौर पर, इंजीनियर एक चिप की "अधिकतम गति" (इसका थर्मल डिजाइन पावर, या TDP) को देखते हैं और मान लेते हैं कि वह हमेशा उतना ही उपयोग करेगा। यदि एक चिप 1,200 वॉट के लिए रेट किया गया है, तो वे 1,200 वॉट की योजना बनाते हैं।
  • मेटा का तरीका: उन्हें एहसास हुआ कि यदि वे हर चिप को उसकी पूर्ण अधिकतम क्षमता पर चलाने के लिए मजबूर करते, तो वे इमारत में बहुत कम चिप्स लगा पाते। इसके बजाय, उन्होंने पूछा: "क्या होगा अगर हम सभी चिप्स को थोड़ा धीमा चलाएं?"
  • उपमा: कल्पना कीजिए कि एक बुफे (buffet) में भोजन की एक निश्चित मात्रा है।
    • रणनीति A: हर किसी को एक विशाल, 10-कोर्स का भोजन दें। आप केवल 50 लोगों को खिला सकते हैं।
    • रणनीति B: हर किसी को थोड़ा छोटा, 8-कोर्स का भोजन दें। अब आप 60 लोगों को खिला सकते हैं।
    • परिणाम: भले ही प्रत्येक व्यक्ति को थोड़ा कम भोजन मिला, लेकिन समूह द्वारा खाए गए भोजन की कुल मात्रा अधिक है, और अधिक लोग खा पा रहे हैं।
  • खोज: उन्होंने पाया कि प्रत्येक GPU की बिजली सीमा को 1,200 वॉट से घटाकर लगभग 1,000 वॉट करने से, वे डेटा सेंटर में बहुत अधिक GPU फिट कर सके। प्रत्येक व्यक्तिगत चिप की गति में मामूली गिरावट की भरपाई अधिक चिप्स को एक साथ काम करने से हुई। इसने उन्हें कुल कंप्यूटिंग शक्ति में 10% की वृद्धि दी।

चरण 2: जांच (वास्तविकता की जांच का चरण)

एक बार जब कंप्यूटर स्थापित हो गए, तो टीम को एहसास हुआ कि उनकी योजनाएं वास्तविकता से पूरी तरह मेल नहीं खातीं।

  • समस्या: कंप्यूटरों के आंतरिक पावर मीटर (PSUs) झूठ बोल रहे थे। वे अत्यधिक सतर्क थे, और रिपोर्ट कर रहे थे कि मशीनें वास्तव में उपयोग से अधिक बिजली का उपयोग कर रही हैं। यह एक कार के फ्यूल गेज जैसा है जो हमेशा "खाली" दिखाता है जब वास्तव में एक चौथाई टैंक बचा होता है।
  • समाधान: उन्होंने आंतरिक मीटरों की तुलना इमारत के मुख्य पावर सेंसर (जो बहुत सटीक होते हैं) से की। उन्होंने पाया कि यदि वे "सबसे खराब स्थिति" वाली रीडिंग को अनदेखा करें और "औसत" उपयोग (विशेष रूप से 70वें पर्सेंटाइल) को देखें, तो वे नंबरों पर अधिक भरोसा कर सकते हैं।
  • परिणाम: क्योंकि उन्होंने अत्यधिक सतर्क आंतरिक मीटरों पर भरोसा करना बंद कर दिया, उन्हें एहसास हुआ कि उनके पास थोड़ी "छिपी हुई" बिजली थी जिसका वे उपयोग नहीं कर रहे थे। उन्होंने बिजली को थोड़ा और बढ़ा दिया (1,000W से 1,020W तक), जिससे प्रदर्शन में 2% की और वृद्धि हुई।

चरण 3: संचालन (ट्रैफिक पुलिस का चरण)

अब डेटा सेंटर लाइव AI ट्रेनिंग जॉब्स चला रहा है। समस्या यह है कि AI वर्कलोड "सिंक्रोनस" (synchronous) होते हैं, जिसका अर्थ है कि सभी चिप्स को एक-दूसरे का इंतजार करना पड़ता है। यदि एक चिप धीमी होती है, तो पूरा काम धीमा हो जाता है।

  • समस्या: कभी-कभी, पावर ग्रिड में अचानक उछाल (spike) आता है। यदि सिस्टम स्पाइक का पता लगाता है, तो पुराने तरीके में बिजली बचाने के लिए एक विशिष्ट चिप को तुरंत बंद कर दिया जाता है या धीमा कर दिया जाता है। लेकिन एक सिंक्रोनाइज्ड दौड़ में, यदि आप एक धावक को धीमा करते हैं, तो पूरी टीम हार जाती है।
  • समाधान (Dimmer): उन्होंने "डिमर" (Dimmer) नामक एक स्मार्ट सिस्टम बनाया। एक चिप को दंडित करने के बजाय, यह जॉब के हर चिप की शक्ति को थोड़े, समान रूप से कम कर देता है।
  • उपमा: रिले रेस में धावकों के एक समूह की कल्पना करें। यदि ट्रैक फिसलन भरा हो जाता है (पावर लिमिट), तो एक धावक को गिराने के बजाय (जिससे पूरी टीम रुक जाएगी), कोच सभी को बस थोड़ा सा धीमा दौड़ने के लिए कहता है। टीम एक साथ रहती है, और दौड़ बिना रुके जारी रहती है।
  • परिणाम: यह सिस्टम को क्रैश होने से रोकता है और उन्हें उस अंतिम कुछ प्रतिशत "स्ट्रैंडेड" (stranded) बिजली का उपयोग करने की अनुमति देता है जो पहले बर्बाद हो जाती थी। इसने ~2% की और वृद्धि दी।

अन्य प्रमुख अंतर्दृष्टि

  • "बॉटलनेक" प्रभाव: डेटा सेंटर विभिन्न हार्डवेयर (कंप्यूटर, कूलिंग, नेटवर्क स्विच) का मिश्रण है। कभी-कभी, बिजली की सीमा कंप्यूटरों द्वारा नहीं, बल्कि कूलिंग सिस्टम या नेटवर्क केबल द्वारा तय की जाती है। यदि श्रृंखला का एक हिस्सा कमजोर है, तो वह पूरी श्रृंखला को सीमित कर देता है।
  • पावर स्विंग्स: जब AI चिप्स काम करते हैं, तो वे कभी-कभी एक-दूसरे से बात करने के लिए एक सेकंड के अंश के लिए रुक जाते हैं, जिससे बिजली का उपयोग घटता और फिर बढ़ता है। टीम ने इन छोटे अंतराल को "डमी वर्क" के साथ भरने के लिए एक "सॉफ्टवेयर स्मूदर" बनाया, जिससे बिजली का उपयोग उबड़-खाबड़ समुद्र के बजाय एक शांत नदी की तरह स्थिर बना रहता है। यह इमारत के इलेक्ट्रिकल ग्रिड को झटकों से बचाता है।
  • नया बेहतर है: उन्होंने अपने नए चिप्स (GB200) की तुलना पुराने चिप्स (H100) से की। नए चिप्स इतने कुशल हैं कि भले ही वे प्रति चिप कम बिजली का उपयोग करते हैं, फिर भी नया क्लस्टर पुराने क्लस्टर की तुलना में उसी इमारत में लगभग दोगुनी तेजी से काम करता है।

निष्कर्ष

बिजली को एक निश्चित सीमा के बजाय एक लचीले संसाधन के रूप में प्रबंधित करके, और योजना चरण से लेकर दैनिक संचालन तक इसे सावधानीपूर्वक प्रबंधित करके, मेटा ने बिना एक भी नई दीवार बनाए या एक भी नया तार खरीदे, अपने 150-मेगावाट के डेटा सेंटर से लगभग 14% अधिक कंप्यूटिंग शक्ति प्राप्त की।

उन्होंने कोई जादुई बैटरी नहीं ढूंढी; उन्होंने बस यह सीखा कि उनके पास पहले से मौजूद बिजली का अधिक समझदारी से उपयोग कैसे किया जाए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें ⚡ eess →