From Tokens to Watt-hours: Analytical Energy Estimation for LLM Inference on Modern GPUs
यह शोधपत्र वर्कलोड को कंप्यूट और मेमोरी-ट्रैफिक घटकों में विभाजित करके, NVIDIA H100 GPU पर LLM इन्फरेंस (inference) की ऊर्जा खपत का अनुमान लगाने के लिए एक अनुभवजन्य रूप से कैलिब्रेटेड (empirically calibrated), विश्लेषणात्मक कार्यप्रणाली प्रस्तुत करता है, जो प्रत्यक्ष हार्डवेयर माप की आवश्यकता के बिना पारदर्शी, पुनरुत्पादनीय ऊर्जा मूल्यांकन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ लाखों लोग लगातार एक जादुई लाइब्रेरियन (एक आर्टिफिशियल इंटेलिजेंस) से कहानियाँ लिखने, गणित की समस्याएँ हल करने या समाचारों का सारांश बनाने के लिए कह रहे हैं। लंबे समय तक, हमें केवल इस बात की चिंता थी कि इस लाइब्रेरियन को अपनी कला सीखने के लिए कितनी "मस्तिष्क शक्ति" (ट्रेनिंग) की आवश्यकता है। लेकिन अब, लाइब्रेरियन बिना रुके काम कर रहा है, हर दिन लाखों सवालों के जवाब दे रहा है। यह निरंतर काम भारी मात्रा में बिजली का उपयोग करता है, जो ग्रह के लिए बुरा है। बड़ा सवाल वैज्ञानिकों और इंजीनियरों के लिए यह है: "सिर्फ एक सवाल का जवाब देने में वास्तव में कितनी ऊर्जा लगती है?" समस्या यह है कि ऊर्जा को सीधे मापना एक तूफान में उड़ते हुए रेत के एक अकेले कण को तौलने जैसा है; इसके लिए विशेष, महंगे सेंसर और आदर्श स्थितियों की आवश्यकता होती है जो अधिकांश लोगों के पास नहीं होते। ऊर्जा लागत का अनुमान लगाने का कोई तरीका न होने के कारण, यह जानना कठिन है कि कौन सा AI "अधिक हरा-भरा" (पर्यावरण के अनुकूल) है या सवाल पूछने का कोई विशिष्ट तरीका बिजली बर्बाद कर रहा है।
यह शोध पत्र, जिसका शीर्षक "फ्रॉम टोकन्स टू वाट-घंटे" (From Tokens to Watt-hours) है, इस पहेली को सुलझाने का एक चतुर तरीका प्रदान करता है जिसमें पावर मीटर लगाने की आवश्यकता नहीं है। लेखकों ने, जो विश्वविद्यालयों और तकनीकी कंपनियों के शोधकर्ताओं की एक टीम है, एक गणितीय "कैलकुलेटर" बनाया है जो यह अनुमान लगाता है कि एक AI केवल AI के आकार और बातचीत की लंबाई को देखकर कितनी ऊर्जा का उपयोग करता है। इसे AI के लिए एक पोषण लेबल (nutrition label) की तरह समझें: कैलोरी गिनने के बजाय, यह "वाट-घंटे" (ऊर्जा की एक इकाई) गिनता है। उन्होंने अपने कैलकुलेटर का परीक्षण NVIDIA H100 जैसे शक्तिशाली कंप्यूटर चिप्स पर किया, जो आज के सबसे स्मार्ट AI को चलाने वाले इंजन हैं।
उनका कैलकुलेटर एक सरल उपमा का उपयोग करके कैसे काम करता है, यहाँ बताया गया है। कल्पना कीजिए कि AI रसोई में एक शेफ (रसोइया) है। भोजन पकाने के लिए (उत्तर उत्पन्न करने के लिए), शेफ दो काम करता है: वे रेसिपी पढ़ते हैं और सामग्री इकट्ठा करते हैं (यह "कंप्यूट" वाला हिस्सा है), और वे मसालों और औजारों को लेने के लिए पेंट्री (भंडार कक्ष) में इधर-उधर दौड़ते हैं (यह "मेमोरी" वाला हिस्सा है)। शोधकर्ताओं ने पाया कि छोटे ऑर्डरों के लिए, शेफ मुख्य रूप से केवल खाना पकाता है, इसलिए ऊर्जा की लागत मुख्य रूप से खाना पकाने के बारे में होती है। लेकिन लंबे, जटिल ऑर्डरों के लिए, शेफ को सामान लेने के लिए पेंट्री में इतनी बार दौड़ना पड़ता है कि इधर-उधर दौड़ने में खर्च होने वाली ऊर्जा बिल पर हावी होने लगती है।
शोध पत्र ऊर्जा लागत को दो चरणों में विभाजित करता है:
- "प्रीफिल" (Prefill) चरण: यह वह समय है जब शेफ ग्राहक का ऑर्डर पढ़ता है (इनपुट प्रॉम्प्ट)। यहाँ ऊर्जा की लागत इस बात पर निर्भर करती है कि ऑर्डर कितना लंबा है।
- "डिकोड" (Decode) चरण: यह वह समय है जब शेफ उत्तर लिखता है, शब्द दर शब्द। ऊर्जा की लागत इस बात पर निर्भर करती है कि उत्तर कितना लंबा है।
शोधकर्ताओं ने पाया कि ऊर्जा की लागत केवल AI के आकार (कितने "सामग्री" या पैरामीटर्स हैं) के बारे में नहीं है। यह इस बात पर भी बहुत अधिक निर्भर करती है कि बातचीत कितनी लंबी हो जाती है। उन्होंने पाया कि जैसे-जैसे उत्तर लंबा होता जाता है, ऊर्जा केवल एक सीधी रेखा में नहीं बढ़ती; यह तेजी से ऊपर की ओर मुड़ जाती है। क्यों? क्योंकि AI द्वारा लिखा जाने वाला हर नया शब्द लिखने के लिए उसे कहानी को समझने के लिए पिछले सभी शब्दों को फिर से देखना पड़ता है। यह बिल्कुल वैसा ही है जैसे शेफ को नमक का एक नया चुटकी भर डालने के हर बार पूरी रेसिपी को फिर से पढ़ना पड़ता है। रेसिपी जितनी लंबी होगी, इधर-उधर उतनी ही अधिक दौड़ना पड़ेगा, और उतनी ही अधिक ऊर्जा बर्बाद होगी।
अपने फॉर्मूले का उपयोग करते हुए, टीम ने गणना की कि एक छोटा AI (लगभग 0.3 बिलियन पैरामीटर्स वाला) एक अनुरोध के लिए बहुत कम ऊर्जा, लगभग 0.001 वाट-घंटे का उपयोग करता है। लेकिन एक विशाल AI (120 बिलियन पैरामीटर्स वाला) उसी कार्य के लिए बहुत अधिक—लगभग 0.15 वाट-घंटे का उपयोग करता है। उन्होंने यह भी दिखाया कि 70-बिलियन-पैरामीटर वाले मॉडल के लिए, उनका अनुमान अन्य वैज्ञानिकों द्वारा वास्तविक दुनिया के माप के बहुत करीब (5% के भीतर) था, जो यह साबित करता है कि उनका "कैलकुलेटर" विश्वसनीय है जब आप सीधे बिजली को नहीं माप सकते।
यह पत्र स्पष्ट रूप से कहता है कि यह उपकरण मीटर से बिजली मापने का पूर्ण विकल्प नहीं है। यह एयर कंडीशनिंग, इंटरनेट केबल्स या डेटा सेंटर के अन्य कंप्यूटरों द्वारा उपयोग की जाने वाली ऊर्जा को नहीं गिनता है। यह केवल उस विशिष्ट चिप द्वारा उपयोग की जाने वाली ऊर्जा को गिनता है जो सोच (thinking) का काम कर रहा है। हालांकि, लेखकों का तर्क है कि यह चिप ऊर्जा ही बिल का सबसे बड़ा हिस्सा है जिसे इंजीनियर नियंत्रित कर सकते हैं।
तो, भविष्य के लिए इसका क्या अर्थ है? शोध पत्र सुझाव देता है कि यदि हम ऊर्जा बचाना चाहते हैं, तो हमें केवल बड़े AI बनाने की कोशिश नहीं करनी चाहिए। इसके बजाय, हमें "रेसिपी" को छोटा (इनपुट को कंप्रेस करना) बनाना चाहिए, छोटे उत्तरों की मांग करनी चाहिए, या सरल कार्यों के लिए छोटे, विशिष्ट शेफ का उपयोग करना चाहिए। लेखक आशा करते हैं कि यह कैलकुलेटर डेवलपर्स को विभिन्न AI मॉडल की तुलना करने और उन मॉडलों को चुनने में मदद करेगा जो अधिक ऊर्जा-कुशल हैं, जिससे हर कंप्यूटर पर पावर मीटर लगाने की आवश्यकता के बिना एक "अधिक हरा-भरा" डिजिटल संसार बनाने में मदद मिलेगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।