Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU

एक ऐसी दुनिया की कल्पना करें जहाँ हमारे आधुनिक जीवन को चलाने वाला सॉफ़्टवेयर केवल मानव हाथों द्वारा नहीं, बल्कि कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) द्वारा लिखा जाता है। ये डिजिटल सहायक, जिन्हें लार्ज लैंग्वेज मॉडल्स के रूप में जाना जाता, कोडिंग लिखने में इतने कुशल हो गए हैं कि वे अब लाखों डेवलपर्स के दैनिक कार्यप्रवाह का हिस्सा बन गए हैं। वे प्रोग्रामिंग के एक वाक्य को पूरा कर सकते हैं, एक टूटे हुए फंक्शन को ठीक कर सकते हैं, या एक सरल विवरण से एक छोटा प्रोग्राम बना सकते हैं। हालाँकि, इस सुविधा के साथ एक छिपी हुई लागत भी आती है। हर बार जब ये मॉडल सोचते हैं, तो वे भारी मात्रा में बिजली की खपत करते हैं, जिससे एक बढ़ता हुआ कार्बन फुटप्रिंट बनता है जो उस पर्यावरण को खतरे में डालता है जिसे हम बचाने की आशा करते हैं। जैसे-जैसे इन उपकरणों की मांग बढ़ रही है, वैज्ञानिक एक महत्वपूर्ण प्रश्न पूछ रहे हैं: हम उन्हें ग्रह को जलाए बिना तेज़ और सस्ता कैसे बना सकते हैं?

इसका उत्तर देने के लिए, शोधकर्ताओं ने हाल ही में यह परीक्षण करने का निर्णय लिया कि ये कृत्रिम मस्तिष्क एक प्रकार के कंप्यूटर हार्डवेयर से दूसरे प्रकार के हार्डवेयर में जाने पर कैसा व्यवहार करते हैं। वर्षों से, डेवलपर्स जानते हैं कि इन मॉडल्स को विशेष ग्राफिक्स चिप्स पर चलाना, जो मूल रूप से वीडियो गेम के लिए डिज़ाइन किए गए थे, मानक कंप्यूटर प्रोसेसरों पर चलाने की तुलना में बहुत तेज़ है। लेकिन गति केवल आधी कहानी है। टीम यह जानना चाहती थी कि क्या तेज़ हार्डवेयर पर स्विच करने से ऊर्जा की भी बचत हुई, और अधिक महत्वपूर्ण बात यह कि क्या इसने मॉडल द्वारा बनाए गए कोड की गुणवत्ता को बदल दिया। वे इस सूक्ष्म तकनीक के बारे में भी जिज्ञासु थे जिसका उपयोग प्रॉम्प्टिंग में किया जाता है: मॉडल से काम करने के लिए कहने से पहले उसे कार्य के कुछ उदाहरण देना। क्या मॉडल को काम का एक नमूना दिखाने से उसे ऊर्जा बचाने में मदद मिलती है, या यह केवल प्रक्रिया को लंबा कर देता है?

शोधकर्ताओं ने पांच अलग-अलग ओपन-सोर्स कोडिंग मॉडल्स को लिया और उन्हें एक कठोर परीक्षण से गुजारा। उन्होंने दो बहुत ही अलग मशीनों पर कोडिंग की चुनौतियों का एक ही सेट चलाया: एक मानक कंप्यूटर प्रोसेसर और ग्राफिक्स कार्डों का एक शक्तिशाली क्लस्टर। उन्होंने सटीक रूप से मापा कि प्रत्येक रन ने कितनी ऊर्जा खपत की, इसमें कितना समय लगा, और क्या उत्पन्न किया गया कोड वास्तव में काम कर रहा था। उन्होंने मॉडल्स से मदद मांगने के दो तरीकों की भी तुलना की। पहले तरीके में, उन्होंने मॉडल को बिना किसी उदाहरण के एक कार्य दिया, जिसे "ज़ीरो-शॉट" दृष्टिकोण कहा जाता है। दूसरे में, उन्होंने मॉडल को निर्देशित करने के लिए समान कार्यों के तीन उदाहरण दिए, जिसे "थ्री-शॉट" दृष्टिकोण कहा जाता है।

परिणाम चौंकाने वाले थे और उन्होंने गति और स्थिरता के बीच एक स्पष्ट समझौते (ट्रेड-ऑफ) को उजागर किया। जब मॉडल्स को शक्तिशाली ग्राफिक्स हार्डवेयर पर स्थानांतरित किया गया, तो गति में अंतर अकल्पनीय था। कोड उत्पन्न करने में लगने वाला समय 99 प्रतिशत से अधिक कम हो गया, जिससे सेकंडों में लगने वाली प्रक्रिया अंशों में बदल गई। इस विशाल गति वृद्धि ने ऊर्जा के उपयोग में भी भारी गिरावट ला दी, जिसमें कुछ कार्यों ने मानक प्रोसेसर की तुलना में लगभग 90 प्रतिशत कम बिजली की खपत की। यह दक्षता की एक स्पष्ट जीत थी। हालाँकि, कहानी तब अधिक जटिल हो गई जब शोधकर्ताओं ने कोड की गुणवत्ता को देखा।

जब मॉडल्स को बिना किसी उदाहरण के काम करने के लिए कहा गया, तो तेज़ हार्डवेयर पर स्विच करने से उनका व्यवहार अप्रत्याशित हो गया। क्योंकि ग्राफिक्स चिप्स सूचना को मानक प्रोसेसरों की तुलना में अलग तरीके से प्रोसेस करते हैं, इसलिए मॉडल्स ने कभी-कभी ऐसा कोड बनाया जो संरचनात्मक रूप से भिन्न था या जो बस काम करने में विफल रहा, भले ही सेटिंग्स बिल्कुल समान थीं। यह वैसा ही था जैसे एक ही व्यक्ति से दो अलग-अलग कमरों में कहानी लिखने को कहा जाए, और वह पूरी तरह से अलग अंत लेकर आए। यह विसंगति तब सबसे गंभीर थी जब मॉडल्स को अपने आप चीजें समझने के लिए छोड़ दिया गया था।

इस अस्थिरता का समाधान आश्चर्यजनक रूप से सरल निकला। जब शोधकर्ताओं ने मॉडल को कोड लिखने के लिए कहने से पहले तीन उदाहरण दिए, तो व्यवहार नाटकीय रूप रूप से बदल गया। मॉडल्स बहुत अधिक सुसंगत हो गए, और वे चाहे किसी भी कंप्यूटर पर चल रहे हों, विश्वसनीय परिणाम देने लगे। इसके अलावा, उदाहरण दिखाने की इस पद्धति ने ऊर्जा की भी बचत की। मॉडल को एक स्पष्ट मार्ग देने से, इसने अनावश्यक बातों या लंबी व्याख्याओं को उत्पन्न करने से बचने में मदद की जो अक्सर बिना उदाहरणों के आउटपुट में दिखाई देती हैं। इस "थ्री-शॉट" दृष्टिकोण ने प्रक्रिया से अनावश्यक भार को कम कर दिया, जिससे ऊर्जा की खपत में कुछ परीक्षणों में 60 प्रतिशत से अधिक की कमी आई और कोड जनरेशन तेज़ और अधिक सटीक हो गया।

अध्ययन अंततः यह सुझाव देता है कि कृत्रिम बुद्धिमत्ता में ऊर्जा और गुणवत्ता की समस्याओं को हल करने के लिए केवल तेज़ हार्डवेयर खरीदना ही पर्याप्त नहीं है। जबकि शक्तिशाली ग्राफिक्स कार्डों पर जाना प्रक्रिया को अविश्वसनीय रूप से कुशल बनाता है, यह अपने आप में बेहतर परिणाम देने की गारंटी नहीं देता है। वास्तव में, सही मार्गदर्शन के बिना, गति विश्वसनीयता की कीमत पर आ सकती है। सबसे प्रभावी रणनीति जो मिली वह दोनों का संयोजन थी: गति के लिए शक्तिशाली हार्डवेयर का उपयोग करना, लेकिन इसे एक ऐसी प्रॉम्प्टिंग शैली के साथ जोड़ना जो मॉडल को पालन करने के लिए कुछ उदाहरण दे। इस दृष्टिकोण ने न केवल ऊर्जा के उपयोग को कम रखा बल्कि यह भी सुनिश्चित किया कि उत्पन्न कोड स्थिर और सही हो।

अंत में, यह शोध इस बात पर प्रकाश डालता है कि हरित कृत्रिम बुद्धिमत्ता का भविष्य इस बात पर निर्भर करता है कि हम प्रश्न कैसे पूछते हैं, न कि केवल इस पर कि हम किन मशीनों का उपयोग करते हैं। इन मॉडल्स के साथ बातचीत करने के तरीके को सावधानीपूर्वक डिजाइन करके, हम उनकी गुणवत्ता या हमारे ग्रह के स्वास्थ्य की बलि दिए बिना उनकी गति का लाभ उठा सकते हैं। आगे का रास्ता केवल बड़े, तेज़ कंप्यूटर बनाने के बारे में नहीं है, बल्कि उन उपकरणों और उन्हें दिए जाने वाले निर्देशों के बीच सही संतुलन खोजने के बारे में है।