Towards Code-Oriented LM Embeddings for Surrogate-Assisted Neural Architecture Search
यह शोध पत्र कोड-ओरिएंटेड एलएम एम्बेडिंग्स (COLE) का प्रस्ताव करता है, जो एक कम लागत वाली रणनीति है जो न्यूरल आर्किटेक्चर को पायटॉर्च (PyTorch) कोड के रूप में दर्शाने के लिए उपलब्ध भाषा मॉडलों का लाभ उठाती है, जिससे बिना किसी विशेष फाइन-ट्यूनिंग के प्रतिस्पर्धी सरोगेट-असिस्टेड न्यूरल आर्किटेक्चर सर्च सक्षम होता है और इष्टतम मॉडल खोजने के लिए आवश्यक मूल्यांकन बजट को काफी कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: सबसे अच्छा नुस्खा (Recipe) खोजना महंगा है
कल्पना कीजिए कि आप एक शेफ हैं जो केक के लिए बिल्कुल सही नुस्खा खोजने की कोशिश कर रहे हैं। आपके पास लाखों संभावित सामग्रियों (मैदा, चीनी, अंडे, मसाले) और विधियों (बेकिंग का समय, तापमान) वाली एक विशाल कुकबुक है।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे न्यूरल आर्किटेक्चर सर्च (NAS) कहा जाता है। यहाँ "नुस्खे" न्यूरल नेटवर्क के डिज़ाइन हैं, और "स्वाद परीक्षण" यह देखना है कि वह AI कितनी अच्छी तरह काम करता है। समस्या यह है कि हर एक नुस्खे को "चखने" में बहुत समय लगता है और कंप्यूटर पावर का भारी खर्च आता है। आप किताब के हर एक केक को बेक करके नहीं देख सकते।
इसे हल करने के लिए, वैज्ञानिक एक सरोगेट (Surrogate) (या एक "स्वाद भविष्यवक्ता") का उपयोग करते हैं। यह एक फूड क्रिटिक (खाद्य समीक्षक) की तरह है जो कागज पर लिखे नुस्खे को देखता है और अनुमान लगाता है कि केक का स्वाद कैसा होगा, ताकि आपको उसे वास्तव में बेक न करना पड़े। लक्ष्य एक ऐसा क्रिटिक ढूंढना है जो तेज़, सस्ता और बहुत सटीक हो।
पुराना तरीका: नुस्खों को एक विदेशी भाषा में अनुवाद करना
पहले, क्रिटिक को नुस्खा समझाने के लिए, वैज्ञानिकों को न्यूरल नेटवर्क के जटिल कोड को एक अजीब, सरल टेक्स्ट फॉर्मेट में अनुवाद करना पड़ता था (जैसे किसी नुस्खे को रासायनिक सूत्रों या एक अजीब आरेख में बदलना)।
इसे ऐसे समझें: आपके पास एक मास्टर शेफ (एक लार्ज लैंग्वेज मॉडल, या LM) है जो खाना बनाना जानता है क्योंकि उसने लाखों असली कुकबुक्स और रेसिपी पढ़ी हैं। लेकिन उन्हें वास्तविक नुस्खा दिखाने के बजाय, आप उन्हें एक ऐसे अनुवादित भाषा में हाथ में देते हैं जिसे उन्होंने पहले कभी नहीं देखा है (जैसे "ONNX-to-text" या "डेरिवेशन ट्रीज़")।
इस नए भाषा को समझने के लिए, आपको उन्हें फाइन-ट्यूनिंग (Fine-tuning) करने में हफ्तों बिताने पड़ते हैं—जो मूल रूप से उन्हें शुरू से फिर से शिक्षित करने जैसा है। यह धीमा, महंगा है, और एक तेज़ "स्वाद भविष्यवक्ता" होने के उद्देश्य को ही विफल कर देता है।
नया विचार: बस उन्हें असली नुस्खा दिखाएं
इस पेपर के लेखक, प्रणव सोमू और उनकी टीम का एक सरल विचार था: न्यूरल नेटवर्क पहले से ही कोड के रूप में लिखे गए हैं। वे पायथन (Python) प्रोग्रामिंग स्क्रिप्ट की तरह दिखते हैं।
चूंकि "मास्टर शेफ" (CodeLlama जैसे लार्ज लैंग्वेज मॉडल्स) को पहले से ही ट्रिलियन लाइनों के असली कंप्यूटर कोड पर प्रशिक्षित किया गया है, इसलिए वे इन नुस्खों को पहले से ही पूरी तरह से पढ़ना जानते हैं। उन्हें फिर से शिक्षित करने की आवश्यकता नहीं है।
समाधान (COLE):
नुस्खे को एक अजीब फॉर्मेट में अनुवाद करने के बजाय, वे सीधे कच्चे पायथन कोड को प्री-ट्रेंड AI में फीड कर देते हैं।
- कोई फाइन-ट्यूनिंग नहीं: वे AI का उपयोग "जैसा है वैसा ही" (फ्रोजन) करते हैं। यह एक ऐसे शेफ को काम पर रखने जैसा है जो बिना किसी ट्रेनिंग सेमिनार के आपकी विशिष्ट कुकबुक को पढ़ना पहले से ही जानता है।
- एम्बेडिंग (Embedding): AI कोड को पढ़ता है और उसे एक गणितीय "फिंगरप्रिंट" (एम्बेडिंग) में बदल देता है जो नुस्खे के सार को पकड़ लेता है।
- प्रेडिक्टर (Predictor): एक छोटा, सरल कैलकुलेटर (एक रिग्रेशन हेड) उस फिंगरप्रिंट को देखता है और भविष्यवाणी करता है कि आर्किटेक्चर कितना अच्छा प्रदर्शन करेगा।
उन्होंने क्या पाया
टीम ने इस विचार का परीक्षण करने के लिए दो अलग-अलग "कुकबुक्स" (सर्च स्पेस) का उपयोग किया और कुछ आश्चर्यजनक परिणाम पाए:
- रॉ कोड (Raw Code) की जीत: जब उन्होंने AI को वास्तविक पायथन कोड दिया, तो इसने अजीब, अनुवादित टेक्स्ट फॉर्मेट की तुलना में प्रदर्शन का बहुत बेहतर अनुमान लगाया। यह ऐसा है जैसे शेफ कहता है, "मैं असली नुस्खा समझता हूँ; मुझे इसे रासायनिक सूत्रों में अनुवाद करने की आवश्यकता नहीं है।"
- किसी प्रशिक्षण की आवश्यकता नहीं: उन्होंने साबित किया कि आपको AI को फाइन-ट्यून करने में हफ्तों खर्च करने की आवश्यकता नहीं है। "ऑफ-द-शेल्फ" मॉडल तुरंत बेहतरीन काम करते हैं।
- तेज़ खोज: जब उन्होंने इस पद्धति का उपयोग करके सबसे अच्छे AI आर्किटेक्चर (BANANAS नामक एल्गोरिदम का उपयोग करके) को खोजने का प्रयास किया, तो उन्होंने सबसे अच्छे डिज़ाइन बहुत तेज़ी से खोज लिए।
- एक कार्य (CIFAR-100) के लिए, वे पुराने तरीके की तुलना में 34% कम कंप्यूटर मूल्यांकन का उपयोग करके सर्वोत्तम संभव डिज़ाइनों के टॉप 1% तक पहुँच गए। यह 100 केक चखने के बजाय केवल 66 केक चखकर सबसे अच्छा केक नुस्खा खोजने जैसा है।
यह क्यों महत्वपूर्ण है
यह दृष्टिकोण एक सर्च इंजन को यूनिवर्सल ट्रांसलेटर देने जैसा है। चूंकि प्रत्येक न्यूरल नेटवर्क को कोड के रूप में लिखा जा सकता है, और कोड एक सार्वभौमिक भाषा है जिसे ये AI मॉडल पहले से ही धाराप्रवाह बोल सकते हैं, इसलिए यह विधि बिना किसी कस्टम इंजीनियरिंग के लगभग किसी भी प्रकार के आर्किटेक्चर के लिए काम करती है।
संक्षेप में: न्यूरल नेटवर्क को समझने के लिए एक स्मार्ट AI को एक नई, अजीब भाषा सीखने के लिए मजबूर करने के बजाय, लेखकों ने उससे उसी भाषा में बात की जिसे वह पहले से ही जानता है: कोड। इससे समय और पैसा बचता है और बेहतर परिणाम मिलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।