The Hidden Energy Cost of Scaling AI Hardware: A Comparative Analysis of Manufacturing and Operational Energy
यह शोध पत्र प्रकट करता है कि एआई हार्डवेयर, विशेष रूप से हाई-बैंडविड्थ मेमोरी के निर्माण में निहित तेजी से बढ़ती ऊर्जा, एक महत्वपूर्ण और अक्सर अनदेखा किया जाने वाला पर्यावरणीय लागत है जो जल्द ही परिचालन ऊर्जा खपत से अधिक हो जाएगी, जिससे हार्डवेयर स्थिरता आकलन के लिए एक व्यापक ढांचे की आवश्यकता होगी।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, उच्च-गति वाली ट्रेन रेस के रूप में करें। वर्षों से, हर कोई इस बात को लेकर जुनूनी रहा है कि जब ट्रेन चल रही होती है तो वह कितनी तेज़ चलती है—इंजन की गति, ईंधन की दक्षता, और वह प्रति गैलन बिजली में कितने यात्रियों (डेटा) को ले जा सकती है। इसे वैज्ञानिक "ऑपरेशनल एनर्जी" (परिचालन ऊर्जा) कहते हैं। यह वह शक्ति है जिसके लिए आप तब भुगतान करते हैं जब आप स्विच चालू करते हैं और कंप्यूटर काम करना शुरू करता है। लेकिन यात्रा का एक छिपा हुआ हिस्सा है जिसे अक्सर अनदेखा कर दिया जाता है: ट्रेन बनाने की लागत। एक भी यात्री के चढ़ने से पहले, हजारों टन स्टील, कांच और तांबे को खनन, पिघलाया और असेंबल किया जाना चाहिए। कंप्यूटर चिप्स की दुनिया में, यह "मैन्युफैक्चरिंग एनर्जी" (विनिर्माण ऊर्जा) है। यह वह बिजली है जिसका उपयोग सिलिकॉन में सूक्ष्म सर्किट उकेरने और मेमोरी की उन परतों को एक के ऊपर एक रखने के लिए किया जाता है जो AI के मस्तिष्क को थामे रखती हैं। सवाल केवल यह नहीं है कि AI सोचने के दौरान कितनी ऊर्जा का उपयोग करता है; बल्कि यह है कि उस विचारक (थिंकर) को बनाने में कितनी ऊर्जा लगी थी।
यह शोध पत्र, जिसे शोधकर्ता एमरे सलमान और अबरार अब्दुरोब द्वारा लिखा गया है, केवल चलने की लागत पर नहीं, बल्कि पूरी तस्वीर पर नज़र डालने का निर्णय लेता है। वे उस विशिष्ट हार्डवेयर पर ध्यान केंद्रित करते हैं जो आज के सबसे स्मार्ट AI मॉडल को शक्ति प्रदान करता है: डेटासेंटर एक्सेलेरेटर। ये वे सुपर-चिप्स हैं जो विशाल भाषा मॉडलों (लैंग्वेज मॉडल्स) को प्रशिक्षित करते हैं। लेखकों ने एक आश्चर्यजनक असंतुलन की खोज की। जबकि हम इन चिप्स को कुशलतापूर्वक चलाने (प्रति कार्य कम बिजली का उपयोग करने) में बहुत अच्छे हो गए हैं, उन्हें बनाने की लागत आसमान छू रही है। मुख्य कारण क्या है? एक विशेष प्रकार की सुपर-फास्ट मेमोरी जिसे हाई-बैंडविड्थ मेमोरी (HBM) कहा जाता है। HBM को एक विशाल पुस्तकालय के रूप में समझें जो मस्तिष्क के ठीक बगल में रखी किताबों के ढेर की तरह है ताकि मस्तिष्क जानकारी को तुरंत प्राप्त कर सके। AI की डेटा की भूख को पूरा करने के लिए, निर्माता इन मेमोरी परतों को एक के ऊपर एक दर्जनों की संख्या में स्टैक (एक के ऊपर एक रखना) कर रहे हैं। शोध पत्र पाता है कि यह स्टैकिंग प्रक्रिया इतनी ऊर्जा-गहन है कि यह अब चिप चालू होने से पहले ही, उसे बनाने में उपयोग की जाने वाली कुल ऊर्जा के आधे से अधिक हिस्से के लिए जिम्मेदार है।
शोधकर्ताओं ने इन चिप्स की "जन्म लागत" (विनिर्माण) की तुलना उनकी "जीवन लागत" (संचालन) से की। उन्होंने पाया कि आज एक एकल AI एक्सेलेरेटर के लिए, इसे बनाने में उपयोग की जाने वाली ऊर्जा लगभग 146 किलोवाट-घंटे (kWh) है। हालांकि, तीन साल तक चलने के दौरान यह जितनी ऊर्जा का उपयोग करता है वह बहुत अधिक है, जो लगभग 6.4 से 12.8 मेगावाट-घंटे (MWh) के बीच है—जो निर्माण लागत से हजारों गुना अधिक है। इसलिए, फिलहाल, परिचालन लागत ही जीत रही है। लेकिन यहाँ एक मोड़ है: शोध पत्र सुझाव देता है कि जबकि हम इन चिप्स को कुशलतापूर्वक चलाने में बेहतर हो रहे हैं, इन्हें बनाने की लागत विस्फोट करने वाली है। 2035 तक, एक एकल AI चिप बनाने के लिए आवश्यक ऊर्जा आज की तुलना में छह से नौ गुना अधिक हो सकती है।
ऐसा क्यों हो रहा है? लेखक बताते हैं कि AI को स्मार्ट और तेज़ बनाने के नवीनतम तरीके—जैसे "स्पार्स" (विरल) मॉडल का उपयोग करना जो एक समय में मस्तिष्क के केवल कुछ हिस्सों को ही सक्रिय करते हैं—वास्तव में मेमोरी लाइब्रेरी को छोटा नहीं करते हैं। भले ही AI किसी दिए गए क्षण में अपने ज्ञान के एक बहुत छोटे हिस्से का उपयोग करता हो, फिर भी उस पूरे ज्ञान को तुरंत उपलब्ध होने के लिए HBM स्टैक्स में संग्रहीत होना आवश्यक है। इसलिए, भले ही चिप किसी विशिष्ट कार्य को चलाने के लिए कम बिजली का उपयोग करे, कारखाने को अभी भी उस सभी अप्रयुक्त डेटा को रखने के लिए एक विशाल, ऊर्जा-गहन मेमोरी स्टैक बनाना पड़ता है। शोध पत्र का तर्क है कि हम एक जाल में फंसे हुए हैं: हर बार जब हम अधिक मेमोरी जोड़कर AI को अधिक सक्षम बनाते हैं, तो उस मेमोरी को बनाने की "एम्बोडीड" (अंतर्निहित) ऊर्जा लागत बढ़ जाती है, चाहे बाद में चिप कितनी भी कुशलता से क्यों न चले।
यह अध्ययन भविष्य पर भी नज़र डालता है। यदि वर्तमान रुझान जारी रहे, तो 2035 तक इन चिप्स के लिए विनिर्माण ऊर्जा प्रति डिवाइस 1,141 और 1,660 kWh के बीच पहुंच सकती है। यह आज की तुलना में छह से नौ गुना वृद्धि है। लेखक सुझाव देते हैं कि केवल चिप्स को बेहतर ढंग से चलाने से यह समस्या हल नहीं होगी क्योंकि दोनों प्रकार की ऊर्जा अलग-अलग चीजों से संचालित होती है। चिप को तेज़ी से चलाना इंजन को ट्यून करने जैसा है; चिप को बनाना सस्ता करने के लिए इंजन के डिज़ाइन को पूरी तरह से बदलने की आवश्यकता होगी, शायद अलग सामग्रियों या स्टैकिंग विधियों का उपयोग करके जिन्हें बनाने में इतनी ऊर्जा की आवश्यकता न हो।
संक्षेप में, यह शोध पत्र चेतावनी देता है कि यदि हम केवल यह देखते हैं कि एक AI डेटासेंटर काम करते समय कितनी बिजली का उपयोग करता है, तो हम पर्यावरणीय कहानी के एक बड़े हिस्से को अनदेखा कर रहे हैं। हार्डवेयर बनाने की "छिपी हुई लागत" तेजी से बढ़ रही है, और बिजली बचाने के लिए उपयोग किए जाने वाले चतुर सॉफ्टवेयर ट्रिक्स भी कुल ऊर्जा बिल को बढ़ने से रोकने के लिए पर्याप्त नहीं हो सकते हैं। लेखक निष्कर्ष निकालते हैं कि AI के पर्यावरणीय प्रभाव को वास्तव में समझने के लिए, हमें मशीनों को बनाने में लगने वाली ऊर्जा को गिनना शुरू करना होगा, न कि केवल उन्हें चलाने में लगने वाली ऊर्जा को। उनका सुझाव है कि भविष्य के समाधानों को केवल मौजूदा मेमोरी को अधिक कुशलता से चलाने के बजाय, हमें जितनी मेमोरी की आवश्यकता है उसे कम करने पर ध्यान केंद्रित करने की आवश्यकता हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।