Beyond FLOPs: Energy-Aware Knowledge Distillation for Sustainable LLMs on Code-Related Task
यह शोध पत्र यह प्रदर्शित करता है कि पारंपरिक FLOPs मेट्रिक्स के बजाय प्रत्यक्ष ऊर्जा-सरोगेट मॉडल द्वारा निर्देशित ऊर्जा-जागरूक नॉलेज डिस्टिलेशन, प्रदर्शन को बनाए रखते हुए सॉफ्टवेयर इंजीनियरिंग कार्यों के लिए बड़े भाषा मॉडलों के लिए इन्फरेंस ऊर्जा और मेमोरी उपयोग को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर की आधुनिक दुनिया में, एक नए प्रकार की बुद्धिमत्ता का उदय हुआ है: लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल)। ये विशाल कंप्यूटर सिस्टम हैं जिन्हें कोड की विशाल पुस्तकालयों पर प्रशिक्षित किया गया है, जो प्रोग्रामिंग भाषाओं को समझने और डेवलपर्स को सॉफ्टवेयर लिखने, सुधारने और समझाने में मदद करने में सक्षम हैं। हालांकि ये उपकरण अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन इनकी एक भारी कीमत चुकानी पड़ती है। इन्हें चलाने के लिए विशेष हार्डवेयर से भरे विशाल डेटा केंद्रों की आवश्यकता होती है जो बिजली की भारी खपत करते हैं, जिससे ऊर्जा उपभोग और पर्यावरणीय दबाव में महत्वपूर्ण योगदान मिलता है। क्योंकि ये सिस्टम इतने बड़े होते हैं, इसलिए वे अक्सर उन लैपटॉप या व्यक्तिगत कंप्यूटरों पर नहीं चल सकते जिनका उपयोग अधिकांश लोग प्रतिदिन करते हैं। इन उपकरणों को अधिक टिकाऊ और सुलभ बनाने के लिए, शोधकर्ताओं ने 'नॉलेज डिस्टिलेशन' (ज्ञान आसवन) नामक एक तकनीक का सहारा लिया है। कल्पना कीजिए कि एक मास्टर शिक्षक अपने ज्ञान को एक छोटे छात्र को हस्तांतरित कर रहा है; इस डिजिटल संस्करण में, एक विशाल, जटिल मॉडल एक बहुत छोटे, सरल मॉडल को उन्हीं कार्यों को करने के लिए प्रशिक्षित करता है। लक्ष्य छोटे मॉडल को उपयोगी होने के लिए पर्याप्त स्मार्ट बनाए रखना है, जबकि इसे रोजमर्रा के हार्डवेयर पर कुशलतापूर्वक चलाने के लिए पर्याप्त छोटा बनाना है।
डेल्फ़्ट यूनिवर्सिटी ऑफ टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए हाथ आजमाया कि सॉफ्टवेयर इंजीनियरिंग कार्यों के लिए यह प्रक्रिया कितनी अच्छी तरह काम करती है, विशेष रूप से यह देखते हुए कि इन मॉडलों की ऊर्जा लागत को कैसे मापा जाए। वर्षों से, उद्योग एक मानक मीट्रिक पर निर्भर रहा है जिसे 'फ्लोटिंग-पॉइंट ऑपरेशंस' या FLOPs कहा जाता है, ताकि यह अनुमान लगाया जा सके कि एक मॉडल कितनी ऊर्जा का उपयोग करेगा। यह संख्या उन सैद्धांतिक गणितीय गणनाओं को गिनती है जो एक मॉडल को करनी पड़ती हैं। हालांकि, शोधकर्ताओं को संदेह था कि यह संख्या भ्रामक हो सकती है, ठीक वैसे ही जैसे यात्रा के दौरान मौसम या इलाके की परवाह किए बिना केवल कदमों की गिनती करना। सच्चाई जानने के लिए, उन्होंने एक परिष्कृत पद्धति का उपयोग करते हुए एक नियंत्रित प्रयोग किया जो स्वचालित रूप से सर्वोत्तम संभव छोटे मॉडलों की खोज करती है। उन्होंने इसका परीक्षण दो अलग-अलग प्रकार की समस्याओं पर किया: डुप्लिकेट कोड खोजना और सॉफ्टवेयर में सुरक्षा खामियों की भविष्यवाणी करना।
अध्ययन की शुरुआत एक सरल लेकिन महत्वपूर्ण प्रश्न से हुई: क्या सैद्धांतिक गणनाओं की संख्या वास्तव में उपयोग की गई वास्तविक ऊर्जा से मेल खाती है? शोधकर्ताओं ने मॉडलों को वास्तविक कंप्यूटर हार्डवेयर पर चलाया और प्रोसेसर एवं ग्राफिक्स कार्ड द्वारा खपत की गई बिजली को मापा। परिणाम आश्चर्यजनक और असंगत थे। डुप्लिकेट कोड खोजने के कार्य के लिए, सैद्धांतिक गणना की संख्या का वास्तविक बिजली उपयोग से लगभग कोई संबंध नहीं था। एक मॉडल जिसने कम गणनाएँ की थीं, वह कभी-कभी बहुत अधिक गणना करने वाले मॉडल की तुलना में अधिक ऊर्जा का उपयोग कर सकता था। इसके विपरीत, सुरक्षा खामियों की भविष्यवाणी करने के कार्य के लिए, गणना की संख्या का ऊर्जा उपयोग के साथ संबंध तो दिखा, लेकिन वहां भी यह एक आदर्श मार्गदर्शक नहीं था। कुछ मॉडल जिनमें उच्च गणनाएँ थीं, उन्होंने कम गणना वाले अन्य मॉडलों की तुलना में काफी कम बिजली का उपयोग किया। इसने सिद्ध कर दिया कि मानक उद्योग मीट्रिक विभिन्न प्रकार के सॉफ्टवेयर कार्यों में ऊर्जा दक्षता को मापने का एक विश्वसनीय तरीका नहीं है।
चूंकि पुराना मीट्रिक त्रुटिपूर्ण था, इसलिए टीम ने एक नया दृष्टिकोण विकसित किया। ऊर्जा उपयोग का अनुमान लगाने के लिए गणितीय गणनाओं पर अनुमान लगाने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया जो वास्तविक मापों से सीखता है। उन्होंने हार्डवेयर से एकत्र किए गए वास्तविक डेटा का उपयोग करके, छात्र मॉडल (student model) की विशिष्ट सेटिंग्स के आधार पर ऊर्जा खपत की भविष्यवाणी करने के लिए एक सहायक मॉडल को प्रशिक्षित किया। जब उन्होंने इस नए, ऊर्जा-जागरूक सिस्टम का उपयोग करके छोटे मॉडलों को डिजाइन किया, तो परिणाम नाटकीय रूप से सुधरे। डुप्लिकेट कोड कार्य के लिए, नए तरीके ने पुराने तरीके से डिजाइन किए गए मॉडलों की तुलना में 39 प्रतिशत कम ऊर्जा का उपयोग करने वाले मॉडल खोजे, बिना किसी सटीकता को खोए। सुरक्षा भविष्यवाणी कार्य के लिए, परिणाम समान थे, जो दर्शाते हैं कि नया दृष्टिकोण कुशल समाधान खोज सकता है भले ही पुराना मीट्रिक काम करता हुआ प्रतीत होता हो।
शोधकर्ताओं ने इस पद्धति को और आगे बढ़ाया, इसे एक बहुत अधिक जटिल चुनौती पर लागू किया: कोड सारांशीकरण (code summarization)। इस कार्य में कोड के कार्य का मानव-पठनीय विवरण उत्पन्न करना शामिल है, जो कोड को वर्गीकृत करने की तुलना में बहुत अधिक कठिन है। उन्होंने एक बड़े मॉडल 'CodeT5+' का उपयोग शिक्षक के रूप में किया और इसे एक छोटे छात्र मॉडल में बदलने का प्रयास किया। परिणाम चौंकाने वाले थे। नए, ऊर्जा-केंद्रित पद्धति ने ऐसे छात्र मॉडल तैयार किए जो मूल शिक्षक की तुलना में मेमोरी आकार में 86 प्रतिशत छोटे थे और चलाने में 90 प्रतिशत तक कम ऊर्जा का उपयोग करते थे। ट्रेड-ऑफ के रूप में सटीकता में मामूली गिरावट आई, लेकिन सारांश सुसंगत और उपयोगी रहे। शोधकर्ताओं ने पाया कि इन जटिल जेनरेशन कार्यों के लिए, मॉडल को जितना संभव हो उतना छोटा करने का मानक नियम काम नहीं करता था; मॉडलों को कोड को समझने के लिए पर्याप्त बड़ा होना चाहिए, लेकिन नए तरीके ने वह 'स्वीट स्पॉट' ढूंढ लिया जहाँ वे कुशल होने के लिए पर्याप्त छोटे भी थे।
यह कार्य इस बात पर प्रकाश डालता है कि हमें कृत्रिम बुद्धिमत्ता और स्थिरता के बारे में कैसे सोचना चाहिए। अध्ययन दर्शाता है कि ऊर्जा उपयोग का अनुमान लगाने के लिए सैद्धांतिक संख्याओं पर भरोसा करने से इंजीनियर उन मॉडलों को चुनने की गलती कर सकते हैं जो वास्तव में सबसे कुशल नहीं होते हैं। वास्तविक ऊर्जा खपत को मापकर और उस डेटा का उपयोग छोटे मॉडलों को डिजाइन करने के लिए मार्गदर्शन के रूप में करके, ऐसे सॉफ्टवेयर उपकरण बनाना संभव है जो शक्तिशाली और टिकाऊ दोनों हों। ये छोटे, ऊर्जा-कुशल मॉडल अंततः उपभोक्ता हार्डवेयर पर चल सकते हैं, जिससे क्लाउड कंप्यूटिंग की भारी पर्यावरणीय लागत के बिना उन्नत कृत्रिम बुद्धिमत्ता के लाभ स्थानीय उपकरणों तक पहुँच सकते हैं। निष्कर्ष बताते हैं कि सॉफ्टवेयर के हरित भविष्य के लिए, हमें केवल ऑपरेशंस की गणना से परे देखना होगा और उन उपकरणों के वास्तविक ऊर्जा पदचिह्न (energy footprint) को मापना होगा जिन्हें हम बनाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।