Enhancing SLMs for Sustainable Code Optimization in Radio-Astronomy
यह शोध पत्र रेडियो खगोल विज्ञान में संधारणीय कोड अनुकूलन के लिए एक ऊर्जा-कुशल एआई-संचालित दृष्टिकोण प्रस्तावित करता है, जो मल्टी-सैंपलिंग जनरेशन और कंपाइलर फीडबैक के माध्यम से स्मॉल लैंग्वेज मॉडल्स (SLMs) को उन्नत करता है, जिससे उन्हें अनुकूलन प्रक्रिया के स्वयं के पर्यावरणीय प्रभाव को कम करते हुए बड़े मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, आकाशगंगा के आकार की पहेली को सुलझाने की कोशिश कर रहे हैं। यह कुछ सौ टुकड़ों वाली जिग्सॉ पहेली नहीं है; यह ट्रिलियन टुकड़ों वाली पहेली है, और इसकी तस्वीर स्वयं ब्रह्मांड है। यह रेडियो खगोल विज्ञान (radio astronomy) की दुनिया है, जहाँ वैज्ञानिक ब्रह्मांड की फुसफुसाहटों को सुनने के लिए विशाल दूरबीनों का उपयोग करते हैं। लेकिन यहाँ एक पेच है: ब्रह्मांड को सुनने से डेटा का इतना विशाल पहाड़ खड़ा हो जाता है कि हमारे कंप्यूटर पसीना छोड़ने लगते हैं। इस डेटा को प्रोसेस करने के लिए, हमें जटिल कंप्यूटर कोड लिखना पड़ता है। समस्या यह है कि कोड जितना अधिक शक्तिशाली होता जाता है, वह उतनी ही अधिक बिजली खाता है, और उतनी ही अधिक गर्मी पैदा करता है। हम एक चौराहे पर खड़े हैं: हमें अंतरिक्ष में और गहराई तक देखने की आवश्यकता है, लेकिन हम इसे करने के लिए ग्रह को जलाकर राख नहीं कर सकते।
इसे ठीक करने के लिए, वैज्ञानिक AI (आर्टिफिशियल इंटेलिजेंस) की मदद ले रहे हैं ताकि कोड लिखने और सुधारने में सहायता मिल सके। आमतौर पर, "अति-बुद्धिमान" AI मॉडल विशाल, भूखे राक्षसों की तरह होते हैं जिन्हें चलाने के लिए पूरे डेटा सेंटरों की आवश्यकता होती है, जो ऊर्जा बचाने के उद्देश्य को ही विफल कर देता है। यह शोध पत्र एक चतुर प्रश्न पूछता है: क्या हम छोटे, अधिक कुशल AI मॉडल—जिन्हें हम "स्मार्ट छोटे मददगार" कह सकते हैं—का उपयोग उसी काम को करने के लिए कर सकते हैं? लेखक यह भी पता लगाते हैं कि इन मददगारों को सिखाने का एक नया तरीका क्या है। केवल उन्हें कोड लिखने के लिए कहने और सबसे अच्छे परिणाम की उम्मीद करने के बजाय, वे AI को कोड चलाने देते हैं, देखते हैं कि वह कहाँ टूटता है (जैसे कि एक कंपाइलर एरर), और फिर AI को अपनी गलतियों को सुधारने के लिए कहते हैं। यह एक छात्र को परीक्षा देने, उसके पेपर पर लाल निशान दिखाने और फिर उसे तुरंत फिर से प्रयास करने के लिए कहने जैसा है। लक्ष्य यह देखना है कि क्या ये छोटे, ऊर्जा-कुशल मददगार, जब उन्हें अपनी गलतियों से सीखने का दूसरा मौका दिया जाता है, तो वे विशाल, ऊर्जा-लगाम राक्षसों से बेहतर प्रदर्शन कर सकते हैं।
शोध पत्र: छोटे AI को बड़ा और हरा-भरा बनाना
इस अध्ययन में, लीडन यूनिवर्सिटी और NWO-I ASTRON के शोधकर्ता एक बहुत ही विशिष्ट चुनौती का सामना कर रहे हैं: बिजली का खर्च बढ़ाए बिना LOFAR रेडियो टेलीस्कोप के सॉफ्टवेयर को अपग्रेड कैसे किया जाए। टेलीस्कोप एक बड़े हार्डवेयर अपग्रेड से गुजर रहा है, जिसका अर्थ है कि यह 40 गुना अधिक डेटा उत्पन्न करेगा। यदि सॉफ्टवेयर को अनुकूलित (optimize) नहीं किया गया, तो उस डेटा को प्रोसेस करने का बिजली बिल आसमान छू लेगा। टीम AI का उपयोग बेहतर, तेज़ कोड लिखने में मदद के लिए करना चाहती है, लेकिन उन्हें डर है कि AI स्वयं बहुत अधिक ऊर्जा का उपयोग कर सकता है।
पहला प्रयोग: "कई छोटे अनुमान" की रणनीति
टीम देखना चाहती थी कि क्या एक छोटा AI मॉडल एक बड़े मॉडल को हरा सकता है यदि उन्हें काम करने के लिए समान समय दिया जाए। कल्पना कीजिए कि आपके पास एक छोटा, चतुर मित्र (एक 7-बिलियन पैरामीटर वाला मॉडल) और एक विशाल, धीमा चलने वाला जीनियस (एक 32-बिलियन पैरामीटर वाला मॉडल) है। आमतौर पर, जीनियस बेहतर होता है, लेकिन उन्हें सोचने में बहुत समय लगता है।
शोधकर्ताओं ने अपने नन्हे मित्र के साथ एक तरकीब आजमाई: केवल एक उत्तर मांगने के बजाय, उन्होंने उसी समय में सात अलग-अलग अनुमान लगाने के लिए कहा जो एक विशाल मॉडल को केवल एक अनुमान लगाने में लगता। यह एक तेज़ धावक से सात छोटी स्प्रिंट करने के लिए कहने जैसा है, जबकि धीमा दिग्गज एक लंबी, भारी सैर करता है।
परिणाम आश्चर्यजनक थे। पायथन (Python) प्रोग्रामिंग भाषा में, नन्हे मित्र ने, सात अनुमान लगाकर, वास्तव में विशाल मॉडल के एक अनुमान से बेहतर काम किया। वह उतना ही अच्छा, या उससे भी बेहतर कोड लिखने में सफल रहा, जबकि उसने चार के बजाय केवल एक ग्राफिक्स कार्ड (GPU) का उपयोग किया। C# में, परिणाम थोड़े मिले-जुले थे, लेकिन नन्हा मित्र फिर भी डटा रहा। मुख्य निष्कर्ष यह है कि एक छोटे मॉडल को कई बार तेज़ी से प्रयास करने की अनुमति देकर, आप एक विशाल मॉडल की भारी ऊर्जा लागत के बिना उच्च-गुणवत्ता वाले परिणाम प्राप्त कर सकते हैं।
दूसरा प्रयोग: "अपनी गलतियों से सीखें" लूप
अध्ययन का दूसरा भाग यह देखने के बारे में था कि फीडबैक देकर इन AI मॉडलों को और अधिक स्मार्ट कैसे बनाया जाए। कल्पना कीजिए कि आप एक कहानी लिख रहे हैं, और हर बार जब आप एक पैराग्राफ पूरा करते हैं, तो एक सख्त संपादक आपके पास आता है और कहता है, "आपने यहाँ व्याकरण की गलती की है," या "यह वाक्य समझ में नहीं आ रहा है।" फिर आप इसे ठीक करते हैं और फिर से प्रयास करते हैं।
शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जहाँ AI कोड लिखता है, उसे चलाता है, और यदि कंप्यूटर कोई त्रुटि (error) देता है (जैसे कि सिंटैक्स एरर या लॉजिक बग), तो AI उस एरर मैसेज को पढ़ता है और कोड को ठीक करने का प्रयास करता है। उन्होंने विभिन्न प्रकार के छोटे AI मॉडलों के साथ इसका परीक्षण किया।
निष्कर्ष सुसंगत थे: प्रत्येक मॉडल बेहतर हुआ जब उन्हें अपनी गलतियाँ देखने और उन्हें सुधारने की अनुमति दी गई। औसतन, मॉडलों की सफलता दर में 3 से 4 प्रतिशत अंक का सुधार हुआ। एक मॉडल, CodeGemma, ने 10 प्रतिशत अंकों की बड़ी छलांग लगाई! यह सुझाव देता है कि एक सरल "प्रयास करो, विफल हो जाओ, सुधारो" लूप भी एक छोटे AI को बहुत अधिक विश्वसनीय बना सकता है।
उन्होंने क्या पाया और क्या नहीं
शोध पत्र सुझाव देता है कि हमें वैज्ञानिक कोड को अनुकूलित करने के लिए विशाल, ऊर्जा-खपत करने वाले AI मॉडलों पर निर्भर रहने की आवश्यकता नहीं है। इसके बजाय, "मल्टी-सैंपलिंग" रणनीति (कई बार प्रयास करना) और "एजेंटिक" वर्कफ़्लो (कंपाइलर एरर से सीखना) के साथ छोटे मॉडलों का उपयोग करके, उतना ही अच्छा, या उससे भी बेहतर कोड तैयार किया जा सकता है, जबकि ऊर्जा का एक छोटा हिस्सा ही उपयोग होता है।
हालाँकि, लेखक इस बात का दावा करने में सावधान हैं कि यह कोई जादुई समाधान नहीं है। वे नोट करते हैं कि हालांकि छोटे मॉडल इन विशिष्ट परीक्षणों में अच्छा प्रदर्शन करते हैं, वे अभी भी सिस्टम को और बेहतर बनाने पर काम कर रहे हैं। उन्होंने अभी तक "कई अनुमान" की रणनीति को "गलतियों से सीखने" के लूप के साथ संयोजित नहीं किया है, लेकिन उन्हें उम्मीद है कि दोनों को एक साथ करने से यह और भी शक्तिशाली होगा। वे यह भी बताते हैं कि यद्यपि कोड जनरेशन में सुधार हुआ है, वे अभी भी यह मापने के तरीके पर काम कर रहे हैं कि अंतिम कोड की सटीक ऊर्जा बचत कितनी है।
निष्कर्ष
यह शोध पत्र टिकाऊ विज्ञान के लिए एक आशाजनक मार्ग दिखाता है। छोटे, स्मार्ट AI मॉडलों का उपयोग करके जिन्हें कई बार प्रयास करने और अपनी गलतियों से सीखने की अनुमति दी जाती है, वैज्ञानिक अपने विशाल टेलीस्कोपों को अपग्रेड कर सकते हैं और अपने कार्बन फुटप्रिंट को बढ़ाए बिना ब्रह्मांड के डेटा को प्रोसेस कर सकते हैं। यह एक याद दिलाता है कि कभी-कभी, एक विशाल, धीमे और महंगे सहायक की तुलना में एक छोटा, त्वरित और दृढ़ सहायक बेहतर होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।