The Hidden Cost of Thinking: Energy Use and Environmental Impact of LMs Beyond Pretraining
यह शोध पत्र प्रकट करता है कि आधुनिक भाषा मॉडल विकास का पर्यावरणीय प्रभाव पोस्ट-ट्रेनिंग प्रयोगों और जटिल रीजनिंग पाइपलाइनों द्वारा नियंत्रित होता है—जो कुल कंप्यूट का 82.2% हिस्सा है और रीजनिंग मॉडल्स को इंस्ट्रक्शन-ट्यून्ड मॉडल्स की तुलना में पोस्ट-ट्रेन करने में 17 गुना अधिक महंगा बनाता है—जो वर्तमान पर्यावरणीय रिपोर्टिंग मानकों में एक महत्वपूर्ण, अपरिपोर्ट अंतराल को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द हिडन कॉस्ट ऑफ थिंकिंग (सोचने की छिपी हुई लागत) का सरल विवरण
बड़ी तस्वीर: AI लागतों का हिमशैल (Iceberg)
कल्पना कीजिए कि आप एक बेहतरीन केक (एक स्मार्ट AI मॉडल) बेक करने के लिए एक विशाल, हाई-टेक फैक्ट्री बना रहे हैं। सालों से, हर कोई केवल उस बिजली को गिन रहा है जिसका उपयोग अंतिम केक बेक करने में हुआ है और उस नंबर को लेबल पर लगा रहा है।
यह पेपर तर्क देता है कि यह एक हिमशैल (iceberg) को देखने जैसा है जहाँ आप केवल पानी के ऊपर दिखने वाले हिस्से को गिन रहे हैं। लेखकों ने पूरे हिमशैल को मापने के लिए पानी के नीचे जाकर देखा। उन्होंने पाया कि अंतिम मॉडल की "बेकिंग" वास्तव में कहानी का एक बहुत छोटा हिस्सा है। असली ऊर्जा, कार्बन उत्सर्जन और पानी का उपयोग उस अव्यवस्थित, प्रयोगात्मक प्रक्रिया के दौरान होता है जिसमें यह पता लगाया जाता है कि केक बेक करना कैसे है।
1. "थिंकिंग" (सोचने वाले) मॉडल ऊर्जा के भूखे होते हैं
शोधकर्ताओं ने Olmo 3 नामक AI मॉडलों के एक नए परिवार का अध्ययन किया। उन्होंने दो प्रकार के मॉडल बनाए:
- "इंस्ट्रक्ट" (Instruct) मॉडल: निर्देशों का अच्छी तरह पालन करता है (जैसे एक सहायक)।
- "थिंक" (Think) मॉडल: जटिल समस्याओं को चरणों में "सोचकर" हल करता है (जैसे एक गणितज्ञ जो प्रमाण पर काम कर रहा हो)।
उपमा (Analogy):
कल्पना कीजिए कि "इंस्ट्रक्ट" मॉडल एक स्प्रिंटर (तेज धावक) है। वह एक छोटी दौड़ दौड़ता है और समाप्त करता है। "थिंक" मॉडल एक मैराथन धावक है जो रास्ते में पहेलियाँ सुलझाने के लिए रुकता है।
- निष्कर्ष: "थिंक" मॉडल को प्रशिक्षित करने के लिए "इंस्ट्रक्ट" मॉडल की तुलना में 17 गुना अधिक ऊर्जा की आवश्यकता पड़ी।
- क्यों? "थिंक" मॉडल को यह सीखने के लिए कि तर्क कैसे किया जाए, भारी मात्रा में "प्रैक्टिस रन" (जिसे रोलआउट्स कहा जाता है) उत्पन्न करने होते हैं। यह उस छात्र की तरह है जिसे एक अच्छा निबंध लिखने के लिए 100 अभ्यास निबंध लिखने पड़ते हैं। इस पेपर में इसे "सोचने की लागत" (cost of thinking) कहा गया है।
2. "छिपी हुई" लागत: परीक्षण और त्रुटि (Trial and Error)
इस पेपर का सबसे बड़ा आश्चर्य विकास लागत (development costs) के बारे में है।
- पुरानी धारणा: हमें लगा था कि अधिकांश ऊर्जा अंतिम प्रशिक्षण रन (अंतिम परीक्षा) के दौरान उपयोग की जाती है।
- नई वास्तविकता: कुल ऊर्जा का 82% प्रयोगों (experimentation) के लिए उपयोग किया गया था। इसमें असफल प्रयास, विभिन्न सेटिंग्स का परीक्षण और अंतिम मॉडल बनने से पहले विभिन्न डेटा मिश्रणों को आज़माना शामिल है।
उपमा:
इसे एक शेफ (chef) की तरह सोचें जो एक नया सिग्नेचर डिश बनाने की कोशिश कर रहा है।
- अंतिम डिश: वह जो ग्राहक को परोसी जाती है (अंतिम मॉडल)।
- विकास (Development): शेफ द्वारा 100 बर्तन सूप जलाना, 50 बैच कुकीज़ फेंक देना और सही स्वाद पाने के लिए 20 अलग-अलग मसालों के मिश्रण को चखना।
- पेपर का बिंदु: यदि आप केवल उस बिजली को गिनते हैं जिसका उपयोग ग्राहक को परोसी जाने वाली एक अंतिम डिश बनाने में हुआ है, तो आप रसोई में जले हुए 100 बर्तनों के सूप को अनदेखा कर रहे हैं। इस पेपर ने पाया कि आधुनिक AI के लिए, "जला हुआ सूप" (असफल प्रयोग) अंतिम डिश की तुलना में 5 गुना अधिक महंगा पड़ता है।
3. पानी की समस्या: यह डेटा सेंटर की गलती नहीं है
इस पेपर ने पानी के उपयोग पर भी नज़र डाली। उन्होंने पाया कि इस प्रक्रिया में भारी मात्रा में पानी का उपयोग हुआ (इतना कि एक व्यक्ति 140 वर्षों तक पी सके)।
उपमा:
कई लोग सोचते हैं कि AI पानी का उपयोग इसलिए करता है क्योंकि कंप्यूटर गर्म हो जाते हैं और उन्हें ठंडा करने के लिए पानी की आवश्यकता होती है (जैसे कार का रेडिएटर)।
- वास्तविकता: डेटा सेंटर ने एक "क्लोज्ड-लूप" सिस्टम का उपयोग किया, जिसका अर्थ है कि पानी ठंडा करने के लिए नष्ट नहीं हुआ।
- असली अपराधी: पानी का उपयोग उस बिजली को बनाने के लिए किया गया था जो कंप्यूटर को चलाने के लिए आवश्यक थी। पावर प्लांट (कोयला, गैस, परमाणु) AI को चलाने के लिए आवश्यक बिजली उत्पन्न करने के लिए भारी मात्रा में पानी का उपयोग करते हैं।
- सबक: यदि आप पानी बचाना चाहते हैं, तो आपको केवल बेहतर कंप्यूटर बनाने की ही नहीं, बल्कि उन्हें चलाने वाली बिजली उत्पन्न करने के तरीके को बदलने की भी आवश्यकता है।
4. कुल बिल
जब शोधकर्ताओं ने सब कुछ जोड़ा—अंतिम प्रशिक्षण, असफल प्रयोग, डेटा जनरेशन और हार्डवेयर निर्माण—तो Olmo 3 मॉडल बनाने की कुल लागत थी:
- ऊर्जा: लगभग 12.3 मिलियन किलोवाट-घंटे (847 अमेरिकी घरों को एक साल तक बिजली देने के बराबर)।
- कार्बन: लगभग 4,251 टन CO2।
- पानी: लगभग 15,887,000 लीटर।
यह क्यों महत्वपूर्ण है
पेपर निष्कर्ष निकालता है कि AI के पर्यावरणीय प्रभाव को रिपोर्ट करने का हमारा वर्तमान तरीका गलत है। हम केवल "अंतिम रन" की लागत रिपोर्ट कर रहे हैं, जिससे समस्या वास्तविक से बहुत छोटी दिखाई देती है।
जैसे-जैसे AI मॉडल अधिक स्मार्ट और अधिक "सोचने" (तर्क करने) की आवश्यकता वाले होंगे, और जैसे-जैसे विकास प्रक्रिया अधिक जटिल होती जाएगी, ये छिपी हुई लागतें आसमान छू लेंगी। लेखक डेवलपर्स से कह रहे हैं कि वे "जले हुए सूप" को छिपाना बंद करें और केवल अंतिम भोजन की नहीं, बल्कि पूरी रसोई की पूरी लागत की रिपोर्ट करना शुरू करें।
संक्षेप में: स्मार्ट AI बनाना महंगा है, लेकिन इसे बनाने का तरीका कैसे है वह और भी अधिक महंगा है, और "थिंकिंग" मॉडल सबसे अधिक ऊर्जा की खपत करने वाले होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।