Comparing energy consumption and accuracy in text classification inference
यह अध्ययन टेक्स्ट वर्गीकरण इन्फरेंस (inference) में सटीकता और ऊर्जा खपत के बीच के समझौतों का व्यवस्थित रूप से मूल्यांकन करता है, जो यह प्रकट करता है कि जबकि एलएलएम (LLMs) अक्सर पारंपरिक मॉडलों की तुलना में अधिक ऊर्जा की खपत करते हैं, वे शून्य-शॉट (zero-shot) सेटिंग्स में अनिवार्य रूप से उनसे बेहतर प्रदर्शन नहीं करते हैं, और इन्फरेंस रनटाइम ऊर्जा उपयोग के लिए एक व्यावहारिक प्रॉक्सी के रूप में कार्य कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त डाकघर चला रहे हैं। हर दिन, हजारों पत्र (टेक्स्ट मैसेज) आते हैं, और आपको उन्हें सही डिब्बों (श्रेणियों) में छांटना होता है ताकि वे सही विभाग तक पहुँच सकें। आपके पास आपकी मदद के लिए दो प्रकार के कर्मचारी हैं:
- स्थानीय विशेषज्ञ (पारंपरिक मॉडल): ये वे कर्मचारी हैं जिन्हें विशेष रूप से आपके डाकघर के नियमों पर प्रशिक्षित किया गया है। ये तेज़ हैं, बहुत कम बिजली का उपयोग करते हैं, और इन्हें ठीक से पता है कि पत्रों को कहाँ रखना है।
- सुपर-जीनियस (लार्ज लैंग्वेज मॉडल्स या LLMs): ये वे बुद्धिमान विद्वान हैं जो दुनिया के बारे में सब कुछ जानते हैं। इन्हें विशेष रूप से आपके डाकघर के लिए प्रशिक्षित नहीं किया गया है, लेकिन वे पत्र को पढ़कर ही सही डिब्बे का अनुमान लगा सकते हैं। हालाँकि, ये धीमे हैं, इनके दिमाग को चलाने के लिए भारी मात्रा में बिजली की आवश्यकता होती है, और ये सरल कार्यों पर बहुत अधिक सोच-विचार करने लगते हैं।
यह शोधपत्र इन दोनों प्रकार के कर्मचारियों के बीच एक आमने-सामने की दौड़ है, यह देखने के लिए कि कौन बेहतर तरीके से मेल छाँटता है और सबसे अधिक ऊर्जा बचाता है।
बड़ी हैरानी: स्थानीय विशेषज्ञ अक्सर जीत जाते हैं
शोधकर्ताओं ने एक परीक्षण आयोजित किया जिसमें रेडियोधर्मी कचरे (radioactive waste) के बारे में जर्मन सरकारी कार्यालय के वास्तविक पत्रों का उपयोग किया गया। उन्होंने स्थानीय विशेषज्ञों और सुपर-जीनियस दोनों से 189 पत्रों को छाँटने के लिए कहा।
- परिणाम: स्थानीय विशेषज्ञ (विशेष रूप से "सेंटेंस एम्बेडिंग्स" का उपयोग करने वाला एक सरल मॉडल) सबसे सटीक थे और उन्होंने सबसे कम ऊर्जा का उपयोग किया।
- चौंकाने वाली बात: सुपर-जीनियस (विशाल AI मॉडल) ने स्थानीय विशेषज्ञों की तुलना में हजारों गुना अधिक बिजली का उपयोग किया। कुछ मामलों में, सुपर-जीनियस वास्तव में स्थानीय विशेषज्ञों से भी कम सटीक थे, भले ही उन्होंने इतनी ऊर्जा खर्च की थी जिससे एक दिन के लिए एक छोटा घर रोशन किया जा सकता था।
उपमा: यह एक पत्र को सड़क के उस पार पहुँचाने के लिए परमाणु-संचालित पनडुब्बी (nuclear-powered submarine) का उपयोग करने जैसा है। निश्चित रूप से, पनडुब्बी अविश्वसनीय रूप से उन्नत है, लेकिन यह इस काम के लिए एक बुरा विकल्प है। एक साइकिल (पारंपरिक मॉडल) काम को तेजी से, सस्ते में और शून्य कार्बन उत्सर्जन के साथ पूरा करती है।
"सोचने" का जाल
अध्ययन ने एक नए चलन को भी देखा जहाँ AI मॉडल्स को उत्तर देने से पहले "सोचने" के लिए कहा जाता है (जैसे कि DeepSeek मॉडल्स)।
- उपमा: कल्पना कीजिए कि एक कर्मचारी एक पत्र पढ़ता है, फिर इस बारे में 5 पन्नों का निबंध लिखने में 10 मिनट बिताता है कि वह क्यों सोचता है कि वह एक विशिष्ट डिब्बे में जाना चाहिए, और अंत में उसे डिब्बे में डाल देता है।
- निष्कर्ष: इस "सोचने" की प्रक्रिया ने AI को और धीमा कर दिया और अधिक ऊर्जा का उपयोग किया, लेकिन इसने छंटनी को अधिक सटीक नहीं बनाया। वास्तव में, सरल टेक्स्ट सॉर्टिंग के लिए, यह अतिरिक्त सोच केवल एक व्यर्थ प्रयास था।
हार्डवेयर का कारक: बड़ा होना हमेशा बेहतर नहीं होता
शोधकर्ताओं ने इन मॉडल्स का परीक्षण विभिन्न कंप्यूटर "इंजनों" (GPUs) पर किया, जो पुराने और धीमे से लेकर बिल्कुल नए और सुपर-फास्ट तक थे।
- निष्कर्ष: सबसे तेज़, सबसे महंगे इंजनों के साथ भी, सुपर-जीनियस ने बहुत अधिक बिजली की खपत की।
- नियम: शोधकर्ताओं ने एक सरल ट्रिक खोजी: समय ही ऊर्जा है। यदि आप जानते हैं कि किसी कार्य में कितना समय लगता है, तो आप लगभग अनुमान लगा सकते हैं कि कितनी बिजली का उपयोग हुआ है। यदि एक मॉडल एक पत्र छाँटने में 10 सेकंड लेता है, तो वह एक निश्चित मात्रा में शक्ति का उपयोग करता है। यदि यह 100 सेकंड लेता है, तो यह 10 गुना अधिक शक्ति का उपयोग करता है। आपको हमेशा एक फैंसी मीटर की आवश्यकता नहीं होती; बस एक स्टॉपवॉच ही काफी है।
अन्य कार्यों के बारे में क्या?
शोधकर्ताओं को चिंता हुई, "क्या यह केवल रेडियोधर्मी कचरे के पत्रों के लिए काम करता है?" इसलिए, उन्होंने मूवी रिव्यूज, समाचार लेखों और भावनाओं जैसे अन्य कार्यों पर मॉडल्स का परीक्षण किया।
- फैसला: यह पैटर्न ज्यादातर कायम रहा। सरल कार्यों के लिए, छोटे, कुशल मॉडल आमतौर पर बेहतर थे।
- अपवाद: जब कार्य बहुत जटिल हो गया (जैसे गहरे मानवीय भावनाओं या सूक्ष्म समाचारों को समझना), तो सुपर-जीनियस सटीकता के मामले में जीतना शुरू कर दिए। लेकिन तब भी, आपको खुद से पूछना होगा: क्या सटीकता में मामूली सुधार, बिजली के बिल में भारी उछाल के लायक है?
वास्तविक दुनिया के लिए सीख
लेखकों का तर्क है कि हम वर्तमान में AI को "स्मार्टर" (बड़े मॉडल्स) बनाने के प्रति जुनूनी हैं, बिना लागत की परवाह किए। वे सोचने का एक नया तरीका सुझाते हैं:
- छोटी शुरुआत करें: एक सुपर-जीनियस को काम पर रखने से पहले, एक स्थानीय विशेषज्ञ को आजमाएं। आप पाएंगे कि वे बहुत कम लागत में उतना ही अच्छा काम करते हैं।
- बिल मापें: केवल यह न देखें कि AI कितना सटीक है; इसके ऊर्जा "मूल्य टैग" को भी देखें।
- ज्यादा न सोचें: यदि एक सरल उत्तर काम करता है, तो AI को वहां तक पहुँचने के लिए उपन्यास लिखने के लिए मजबूर न करें।
संक्षेप में: सिर्फ इसलिए कि आप अपने मेल को छाँटने के लिए एक विशाल, ऊर्जा-भूखी रोबोट का उपयोग कर सकते हैं, इसका मतलब यह नहीं है कि आपको ऐसा करना चाहिए। कभी-कभी, सबसे अच्छा समाधान एक सरल, कुशल उपकरण होता है जो ग्रह को जलाए बिना काम पूरा करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।