Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware
यह शोध पत्र एक कंज्यूमर RTX 4060Ti GPU पर नौ ओपन-सोर्स LLMs का एक मात्रात्मक बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि ऊर्जा दक्षता पैरामीटर गणना की तुलना में मॉडल आर्किटेक्चर और क्वांटाइजेशन द्वारा अधिक संचालित होती है, जिसमें gemma3 और llama3.2 जैसे 1B मॉडल प्रति टोकन सबसे कम ऊर्जा लागत प्राप्त करते हैं जबकि 7B-Mistral जैसे बड़े मॉडल काफी अधिक ऊर्जा की खपत करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट दोस्त बनाया है जो आपके कंप्यूटर के ठीक अंदर रहता है, जो आपके सवालों के जवाब देने, कहानियाँ लिखने या बिना अपने रहस्यों को किसी विशाल क्लाउड सर्वर पर भेजे कोडिंग में मदद करने के लिए तैयार है। यह "लोकल" (स्थानीय) आर्टिफिशियल इंटेलिजेंस की दुनिया है, एक ऐसा चलन जो तेजी से बढ़ रहा है क्योंकि लोग गोपनीयता और गति चाहते हैं। लेकिन इसमें एक पेंच है: ये बुद्धिमान रोबोट बहुत भूखे होते हैं। हालांकि हम काफी समय से जानते हैं कि इन विशाल AI दिमागों को बड़े सुपरकंप्यूटरों पर प्रशिक्षित करने के लिए बहुत अधिक बिजली की आवश्यकता होती है (जैसे एक दिन के लिए एक छोटे शहर को बिजली देना), लेकिन हमें वास्तव में यह नहीं पता था कि एक सामान्य घरेलू कंप्यूटर पर उनसे केवल बात करने में कितनी ऊर्जा लगती है। यह वैसा ही है जैसे यह जानना कि एक कार हाईवे पर बहुत कम माइलेज देती है, लेकिन हमें यह नहीं पता कि ड्राइवर के साथ चैट करते समय आपके घर के ड्राइववे में आइडल (खड़ी) रहने के दौरान वह कितना ईंधन जलाती है। जैसे-जैसे अधिक लोग अपने लैपटॉप और गेमिंग पीसी पर इन AI सहायकों को चलाना शुरू कर रहे हैं, उस "सक्रिय" ऊर्जा बिल को समझना आपकी जेब और ग्रह दोनों के लिए एक वास्तविक चिंता का विषय बन रहा है।
यहीं पर जर्मनी के FH Aachen यूनिवर्सिटी ऑफ एप्लाइड साइंसेज के शोधकर्ताओं की एक टीम ने कदम रखा। वे यह देखना चाहते थे कि लोकप्रिय, मुफ्त में उपयोग किए जाने वाले AI मॉडल में से कौन सा एक मानक उपभोक्ता ग्राफिक्स कार्ड पर चलने के लिए सबसे अधिक "ऊर्जा-कुशल" (energy-efficient) है—विशेष रूप से, एक NVIDIA RTX 4060 Ti, जो उस तरह का कार्ड है जो आप एक हाई-एंड गेमिंग पीसी में पा सकते हैं। उन्होंने केवल यह पूछने के बजाय कि "कौन सा मॉडल सबसे अच्छे उत्तर देता है?", पूछा, "कौन सा मॉडल सबसे कम बिजली की खपत करते हुए सबसे अच्छे उत्तर देता है?" उन्होंने एक नियंत्रित प्रयोग स्थापित किया जहाँ उन्होंने नौ अलग-अलग ओपन-सोर्स AI मॉडल (1-बिलियन-पैरामीटर वाले छोटे मॉडल से लेकर 7-बिलियन-पैरामीटर वाले बड़े मॉडल तक) को 15 प्रश्नों का एक निश्चित सेट दिया, जिसमें "फ्रांस की राजधानी क्या है?" जैसे सरल तथ्यों से लेकर कोडिंग लिखने या गहरी अवधारणाओं को समझाने जैसे जटिल कार्यों तक शामिल थे।
शोधकर्ता ऊर्जा जासूसों की तरह काम कर रहे थे, ग्राफिक्स कार्ड की बिजली खपत की जांच करने के लिए हर सेकंड दो बार nvidia-smi नामक टूल का उपयोग किया। महत्वपूर्ण रूप से, उन्होंने केवल कुल बिजली की माप नहीं की; उन्होंने कार्ड की बेसलाइन "आइडल" बिजली को सावधानीपूर्वक घटा दिया ताकि AI की सोचने की प्रक्रिया की सटीक ऊर्जा लागत को अलग किया जा सके। उनका मुख्य लक्ष्य यह गणना करना था कि प्रत्येक एकल शब्द (या "टोकन") को उत्पन्न करने में कुल कितनी ऊर्जा (जूल में) लगी। उनके निष्कर्ष बताते हैं कि ऊर्जा दक्षता के मामले में बड़ा हमेशा बेहतर नहीं होता है। वास्तव में, छोटे मॉडल, विशेष रूप से gemma3:1b और llama3.2:1b, दक्षता के चैंपियन साबित हुए। इन छोटे पावरहाउस ने ऊर्जा के मात्र 0.56 जूल का उपयोग करके एक शब्द का टेक्स्ट उत्पन्न किया और प्रति सेकंड 170 से अधिक शब्द निकाल सकते थे।
इसके विपरीत, बड़ा 7-बिलियन-पैरामीटर वाला मॉडल (Mistral) बहुत कम कुशल था, जो सबसे कुशल छोटे मॉडल की तुलना में प्रति शब्द 4.4 गुना अधिक ऊर्जा की खपत करता था। अध्ययन में एक अजीब आश्चर्य भी सामने आया: एक मॉडल, qwen3.5:2b, ने एक प्रॉम्प्ट के लिए आश्चर्यजनक रूप से उच्च मात्रा में ऊर्जा का उपयोग किया। शोधकर्ताओं का सुझाव है कि यह इसलिए नहीं था क्योंकि मॉडल धीमा था, बल्कि इसलिए क्योंकि वह आंतरिक रूप से "सोच" रहा था—बोलने से पहले अपने उत्तर की योजना बनाने के लिए 'एक्सटेंडेड रीजनिंग' जैसी तकनीक का उपयोग कर रहा था—जो अतिरिक्त ऊर्जा जलाता है भले ही अंतिम आउटपुट छोटा हो। यह इस बात पर प्रकाश डालता है कि केवल पूरे प्रश्न के लिए कुल ऊर्जा को देखना भ्रामक हो सकता है; वास्तविक दक्षता मीट्रिक यह है कि प्रत्येक टोकन उत्पन्न करने में कितनी ऊर्जा लगती है। अंततः, यह पेपर सुझाव देता है कि जो कोई भी अपने स्वयं के हार्डवेयर पर AI चला रहा है, उसके लिए सबसे ऊर्जा-कुशल विकल्प आवश्यक रूप से सबसे शक्तिशाली या सबसे बड़ा मॉडल नहीं है, बल्कि वह है जिसका आर्किटेक्चर और आकार काम के लिए सही है, जो यह सिद्ध करता है कि कभी-कभी, सबसे छोटा दिमाग ही सबसे हरा-भरा (पर्यावरण के अनुकूल) होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।