Structuring Open-Ended NAS: Semi-Automated Design Knowledge Structuring with LLMs for Efficient Neural Architecture Search
यह शोध पत्र एक अर्ध-स्वचालित ढांचे का प्रस्ताव करता है जो विविध खोज स्थानों (search spaces) को बनाने के लिए डिज़ाइन ज्ञान को एक उच्च-स्तरीय टेम्पलेट में व्यवस्थित करने हेतु लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिसे मल्टी-टाइप म्यूटेशन और फीडबैक लूप्स वाले FairNAD एल्गोरिदम के साथ संयोजित किया गया है, ताकि CIFAR और ImageNet बेंचमार्क पर अत्याधुनिक विधियों से बेहतर प्रदर्शन करने वाले उच्च-प्रदर्शन वाले न्यूरल आर्किटेक्चर को कुशलतापूर्वक खोजा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया का सबसे बेहतरीन, सबसे कुशल रोबोट शेफ बनाने की कोशिश कर रहे हैं। अतीत में, इंजीनियरों को हर गियर, लीवर और सर्किट को हाथ से डिजाइन करना पड़ता था। यह धीमा, महंगा और इंजीनियर के मौजूदा ज्ञान तक सीमित था।
इस प्रक्रिया को तेज करने के लिए, वैज्ञानिकों ने न्यूरल आर्किटेक्चर सर्च (NAS) का आविष्कार किया। इसे एक ऐसे रोबोट के रूप में सोचें जो आपके लिए अन्य रोबोट बनाने की कोशिश करता है। हालाँकि, पारंपरिक NAS एक छोटे, पहले से पैक किए गए टूलबॉक्स की तरह था। यह केवल उन्हें ही मिला और मिला सकता था जो टूल्स उसे दिए गए थे (जैसे रिंच या पेचकस)। यह एक नया टूल आविष्कार नहीं कर सकता था या यह महसूस नहीं कर सकता था कि इस विशिष्ट कार्य के लिए हथौड़ा बेहतर हो सकता है।
फिर लार्ज लैंग्वेज मॉडल्स (LLMs) आए, जो "सुपर-इंटेलिजेंट रोबोट" हैं जो लाखों किताबें पढ़ सकते हैं और कोड लिख सकते हैं। शोधकर्ताओं ने इन रोबोट शेफ को डिजाइन करने के लिए इन LLMs का उपयोग करने की कोशिश की। यह रोमांचक था क्योंकि LLM किसी भी टूल की कल्पना कर सकता था, न कि केवल दिए गए टूलबॉक्स के। लेकिन एक समस्या थी: LLM अक्सर भ्रमित हो जाता था। वह अपनी विशाल स्मृति से ऐसे विचार निकाल लेता था जो बहुत विशिष्ट, बहुत अजीब या पूरी तरह से गलत होते थे, जिससे एक अराजक और अक्षम खोज होती थी।
यह पेपर इस गड़बड़ी को ठीक करने के लिए FairNAD नामक एक नई विधि पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. "स्ट्रक्चर्ड लाइब्रेरी" (अर्ध-स्वचालित ज्ञान संरचना)
LLM को कागजों के एक विशाल, अव्यवस्थित ढेर (जैसे कबाड़खाने में खुदाई करना) से यादृच्छिक विचार निकालने देने के बजाय, लेखकों ने एक स्ट्रक्चर्ड लाइब्रेरी बनाई।
- समस्या: यदि आप एक LLM से पूछते हैं, "मुझे एक डिज़ाइन विचार दें," तो वह कुछ ऐसा सुझाव दे सकता है जैसे "2D फोटो के लिए 3D लेजर स्कैनर का उपयोग करें," जो बेकार है। या यह सुझाव दे सकता है कि "एक विशिष्ट प्रकार के अटेंशन मैकेनिज्म का उपयोग करें" 70% समय, अन्य अच्छे विचारों को अनदेखा करते हुए।
- समाधान: लेखकों ने एक पेड़ जैसी फाइलिंग प्रणाली (एक एट्रिब्यूट ट्री) बनाई। उन्होंने डिज़ाइन विचारों को व्यवस्थित श्रेणियों में विभाजित किया:
- लेवल 1: क्या यह एक छोटा हिस्सा (ऑपरेशन) है, एक मॉड्यूल (ब्लॉक), या पूरा रोबोट (नेटवर्क)?
- लेवल 2: यह क्या है? (जैसे, फीचर एक्सट्रैक्शन, नॉर्मलाइजेशन)।
- लेवल 3: विशिष्ट विवरण (जैसे, ग्रुपेड कन्वोल्यूशन)।
- उपमा: कल्पना कीजिए कि एक लाइब्रेरियन आपको केवल एक रैंडम किताब नहीं थमाता है। इसके बजाय, वह आपसे पूछता है, "क्या आपको इंजन (ऑपरेशन) या चेसिस (ब्लॉक) के बारे में किताब चाहिए?" और फिर वह वह विशिष्ट V8 इंजन (उप-श्रेणी) ढूंढता है जिसकी आपको आवश्यकता है। यह सुनिश्चित करता है कि LLM को उच्च-गुणवत्ता वाले, प्रासंगिक विचार मिलें और वह केवल एक ही चलन (जैसे, "सब कुछ ट्रांसफॉर्मर होना चाहिए") पर न अटक जाए।
2. "फेयर शेफ" (FairNAD फ्रेमवर्क)
एक बार लाइब्रेरी बन जाने के बाद, लेखक एक विशेष खोज प्रक्रिया का उपयोग करते हैं जिसे FairNAD कहा जाता है। इसे एक कुकिंग प्रतियोगिता के रूप में सोचें जहाँ लक्ष्य सबसे अच्छा नुस्खा (रेसिपी) खोजना है।
चरण 1: "फेयर आइडिया" टेस्टिंग (फेयर आइडिया सैंपलिंग के साथ म्यूटेशन)
- समस्या: आमतौर पर, खोज एल्गोरिदम केवल उन "सर्वश्रेष्ठ" विचारों को चुनते हैं जो उन्होंने अब तक देखे हैं, और अजीब या छोटे विचारों को अनदेखा कर देते हैं।
- समाधान: FairNAD LLM को लाइब्रेरी की हर श्रेणी से विचारों को समान रूप से चखने के लिए मजबूर करता है। यह सुनिश्चित करता है कि एक "छोटे, कुशल" विचार को एक "बड़े, शक्तिशाली" विचार की तरह ही परीक्षण करने का समान अवसर मिले। यह खोज को एक ही ढर्रे में फंसने से रोकता है।
चरण 2: "पारेटो" संतुलन (पारेटो-अवेयर म्यूटेशन)
- समस्या: कभी-कभी एक रोबोट छोटा और तेज़ होता है लेकिन बहुत बुद्धिमान नहीं होता। दूसरी ओर, कोई बहुत जीनियस हो सकता है लेकिन चलने के लिए बहुत भारी होता है। मानक खोज अक्सर "छोटे लेकिन स्मार्ट" वाले रोबोटों को अनदेखा कर देती है क्योंकि वे अभी तक पूर्णतः सर्वश्रेष्ठ नहीं होते।
- समाधान: FairNAD "पारेटो फ्रंटियर" को देखता है। कल्पना कीजिए कि एक ग्राफ है जहाँ एक अक्ष "गति" (Speed) है और दूसरा "बुद्धिमत्ता" (Smarts)। FairNAD विशेष रूप से उन रोबोटों की तलाश करता है जो इस ग्राफ के किनारे पर हैं—जो अपने आकार के हिसाब से सबसे बुद्धिमान हैं। यदि कोई रोबोट बहुत छोटा है, तो उसे "साइज-अप" (अधिक लेयर्स) मिलता है। यदि वह बहुत बड़ा है, तो उसे "ट्यून-अप" (बेहतर सेटिंग्स) मिलता है।
चरण 3: "इटरेटिव पॉलिश" (LLM-ड्रिवन इटरेटिव म्यूटेशन)
- समस्या: एक बार जब एक अच्छा नुस्खा मिल जाता है, तो आप उसे बेहतर बनाना चाहते हैं।
- समाधान: सिस्टम सबसे अच्छा प्रदर्शन करने वाले रोबोटों को लेता है और LLM से उन्हें बार-बार सुधारने के लिए कहता है, जैसे एक शेफ स्वाद को तब तक एडजस्ट करता है जब तक कि वह परफेक्ट न हो जाए।
"सेफ्टी नेट" (फीडबैक लूप)
- समस्या: LLM कभी-कभी ऐसा कोड लिखता है जो क्रैश हो जाता है, बहुत अधिक मेमोरी का उपयोग करता है, या एक ऐसा रोबट बनाता है जिसका केवल एक पैर हो।
- समाधान: एक नया डिज़ाइन स्वीकार किए जाने से पहले, वह तीन-चरणीय निरीक्षण से गुजरता है:
- क्या यह चलता है? (एग्जीक्यूशन चेक)
- क्या यह बहुत बड़ा है? (बजट चेक - यदि यह बहुत भारी है, तो LLM को इसे छोटा करने के लिए कहा जाता है)।
- क्या यह वास्तव में एक रोबोट है? (स्ट्रक्चरल चेक - यह सुनिश्चित करना कि इसमें कई लेयर्स हैं और यह पुराने की नकल मात्र नहीं है)।
- यदि यह विफल होता है, तो LLM को तुरंत इसे ठीक करने के लिए कहा जाता है। यह खोज को विविध रखता है और सिस्टम को टूटे हुए डिजाइनों पर समय बर्बाद करने से रोकता है।
परिणाम
लेखकों ने इस सिस्टम का परीक्षण मानक इमेज रिकग्निशन कार्यों (जैसे फोटो में बिल्ली बनाम कुत्ते की पहचान करना) पर किया।
- परिणाम: उनकी विधि ने पिछले तरीकों की तुलना में काफी बेहतर रोबोट शेफ (न्यूरल नेटवर्क) खोजे।
- स्कोर: उन्होंने एक डेटासेट पर सटीकता में 0.84 अंक, दूसरे पर 2.17 अंक, और तीसरे पर 2.35 अंक का सुधार किया। AI की दुनिया में, ये बहुत बड़े उछाल हैं।
सारांश
संक्षेप में, यह पेपर कहता है: "सिर्फ एक सुपर-इंटेलिजेंट AI को बेतरतीब ढंग से अनुमान लगाने के लिए न छोड़ें। उसे अपने ज्ञान को व्यवस्थित करने के लिए एक स्ट्रक्चर्ड फाइलिंग सिस्टम दें, और विचारों का परीक्षण करने के लिए एक फेयर, मल्टी-स्टेप प्रक्रिया का उपयोग करें। इस तरह, आपको केवल कोई भी डिज़ाइन नहीं मिलेगा; आपको वह सर्वश्रेष्ठ संभव डिज़ाइन मिलेगा जो आपके आकार और गति की सीमाओं में फिट बैठता है।"
पेपर का दावा है कि यह दृष्टिकोण नए AI आर्किटेक्चर की खोज को अव्यवस्थित विचारों के ढेर के साथ प्रयास करने की तुलना में तेज़, अधिक विविध और अधिक सफल बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।