ONNX-Net: Towards Universal Representations and Instant Performance Prediction for Neural Architectures
यह शोध पत्र ONNX-Net को प्रस्तुत करता है, जो 6,00,000 से अधिक नमूनों वाले ONNX-Bench बेंचमार्क पर आधारित एक एकीकृत, टेक्स्ट-आधारित न्यूरल आर्किटेक्चर प्रतिनिधित्व है, जो एक एकल प्रदर्शन भविष्यवक्ता (परफॉर्मेंस प्रेडिक्टर) को विशिष्ट सेल-आधारित डिज़ाइनों तक सीमित हुए बिना, विविध खोज स्थानों (सर्च स्पेस) में किसी भी न्यूरल आर्किटेक्चर का तुरंत और सटीक मूल्यांकन करने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, सबसे शक्तिशाली उपकरण अक्सर न्यूरल नेटवर्क होते हैं, जो मानव मस्तिष्क के मॉडल पर आधारित सिस्टम हैं जो पैटर्न को पहचानना, भाषाओं का अनुवाद करना या कार चलाना सीखते हैं। दशकों से, वैज्ञानिक इन नेटवर्कों को हाथ से बनाने की कोशिश कर रहे हैं, जैसे एक मैकेनिक इंजन को ठीक करता है। लेकिन जैसे-जैसे ये सिस्टम अधिक जटिल होते गए, मानवीय अंतर्ज्ञान एक बाधा बन गया। इससे 'न्यूरल आर्किटेक्चर सर्च' नामक एक क्षेत्र का उदय हुआ, जहाँ कंप्यूटरों को अपने स्वयं के नेटवर्क डिजाइन करने का कार्य सौंपा जाता है। लक्ष्य यह है कि मशीनों को किसी विशिष्ट कार्य के लिए सबसे अच्छा संभव ढांचा खोजने दिया जाए। हालाँकि, यह प्रक्रिया एक दीवार से टकरा गई है। यह जानने के लिए कि कोई डिज़ाइन अच्छा है या नहीं, कंप्यूटर को इसे बनाना पड़ता है और शून्य से प्रशिक्षित करना पड़ता है, एक ऐसी प्रक्रिया जिसमें विशाल सुपरकंप्यूटरों पर कई दिन या सप्ताह भी लग सकते हैं। यह खोज को अविश्वसनीय रूप से धीमा और महंगा बनाता है, जिससे प्रयोगों की मात्रा सीमित हो जाती है।
शोधकर्ताओं की एक टीम ने अब इस बाधा को तोड़ने का एक तरीका प्रस्तावित किया है, तेज़ कंप्यूटर बनाकर नहीं, बल्कि इस बात को बदलकर कि वे डिजाइनों के बारे में कैसे बात करते हैं। उन्होंने ONNX-Net नामक एक नया सिस्टम पेश किया, जो न्यूरल नेटवर्कों के लिए एक सार्वभौमिक अनुवादक (यूनिवर्सल ट्रांसलेटर) के रूप में कार्य करता है। हर नए डिज़ाइन को एक कठोर, पूर्व-निर्धारित बॉक्स में डालने के बजाय, यह सिस्टम नेटवर्क के ब्लूप्रिंट को एक सरल वाक्य की तरह पढ़ता है। जटिल तकनीकी रेखाचित्रों को साधारण टेक्स्ट विवरणों में बदलकर, शोधकर्ताओं ने एक भाषा मॉडल को प्रशिक्षित किया जो केवल उस टेक्स्ट को पढ़कर यह अनुमान लगा सकता है कि एक नेटवर्क कैसा प्रदर्शन करेगा। परिणाम एक ऐसा टूल है जो बिना कभी भी नेटवर्क को बनाए या प्रशिक्षित किए, तुरंत एक न्यूरल नेटवर्क डिज़ाइन की सफलता का अनुमान लगा सकता है, जिससे समय और ऊर्जा की भारी बचत होती है।
मुख्य समस्या जिसे शोधकर्ताओं ने हल किया वह यह थी कि इस प्रक्रिया को तेज करने के पिछले प्रयास बहुत संकीमित थे। पहले के तरीके केवल छोटे, दोहराव वाले ब्लॉकों से बने नेटवर्कों के लिए अच्छी तरह काम करते थे, जैसे समान लेगो ब्रिक्स को एक के ऊपर एक रखना। लेकिन जैसे-जैसे वैज्ञानिकों ने अधिक लचीले और जटिल नेटवर्क डिजाइन करना शुरू किया, वे पुराने तरीके विफल हो गए क्योंकि वे नए, अनियमित आकारों को समझ नहीं सके। इसके अलावा, इन भविष्यवाणी उपकरणों को प्रशिक्षित करने के लिए उपयोग किया जाने वाला डेटा विभिन्न प्रारूपों में बिखरा हुआ था, जिससे एक एकल, स्मार्ट प्रेडिक्टर बनाना असंभव हो गया जो किसी भी प्रकार के नेटवर्क को संभाल सके। इसे हल करने के लिए, टीम ने पहले ONNX-Bench नामक एक विशाल, एकीकृत लाइब्रेरी बनाई। उन्होंने विभिन्न स्रोतों से लगभग 6,50,000 अलग-अलग न्यूरल नेटवर्क डिज़ाइन एकत्र किए और उन सभी को एक मानक फ़ाइल प्रारूप में बदल दिया जिसे ONNX कहा जाता है। यह प्रारूप न्यूरल नेटवर्कों के लिए एक सार्वभौमिक भाषा की तरह है, जो किसी भी संरचना को, चाहे वह कितनी भी जटिल या असामान्य क्यों न हो, वर्णित करने में सक्षम है।
एक बार जब उनके पास इन मानकीकृत डिजाइनों का यह विशाल संग्रह हो गया, तो शोधकर्ताओं को इस चुनौती का सामना करना पड़ा कि इस जानकारी को कंप्यूटर प्रोग्राम में कैसे डाला जाए। उन्होंने महसूस किया कि नेटवर्क का वर्णन करने का सबसे लचीला तरीका जटिल ग्राफ या मैट्रिसेस के माध्यम से नहीं, बल्कि प्राकृतिक भाषा के माध्यम से है। उन्होंने प्रत्येक नेटवर्क के तकनीकी विवरणों को—यह क्या ऑपरेशन करता है, इसके हिस्से कैसे जुड़े हुए हैं, और प्रत्येक घटक के लिए विशिष्ट सेटिंग्स क्या हैं—एक पठनीय टेक्स्ट विवरण में बदलने का तरीका विकसित किया। कल्पना कीजिए कि एक नेटवर्क निर्देशों का एक सेट है: "एक इनपुट लें, इसे एक फिल्टर के माध्यम से गुजारें, फिर एक सुधार लागू करें, और अंत में एक परिणाम आउटपुट करें।" शोधकर्ताओं ने इन 6,50,000 नेटवर्कों में से प्रत्येक के लिए ये निर्देश उत्पन्न करने के लिए सॉफ्टवेयर लिखा।
इसके बाद उन्होंने इस टेक्स्ट का उपयोग एक बड़े लैंग्वेज मॉडल को प्रशिक्षित करने के लिए किया, जो मानव भाषा से परिचित एक प्रकार का आर्टिफिशियल इंटेलिजेंस है, ताकि वह एक प्रदर्शन भविष्यवक्ता (परफॉर्मेंस प्रेडिक्टर) के रूप में कार्य कर सके। कविता लिखने या प्रश्न पूछने के बजाय, इस मॉडल ने न्यूरल नेटवर्कों का वर्णन करने वाले तकनीकी "वाक्यों" को पढ़ना और उनकी सटीकता का अनुमान लगाना सीखा। प्रशिक्षण आश्चर्यजनक रूप से कुशल था। मॉडल ने पिछले तरीकों की तुलना में आवश्यक डेटा के एक बहुत छोटे अंश को देखने के बाद ही सटीक भविष्यवाणियां करना सीख लिया। वास्तव में, इसने पुराने सिस्टमों के समान प्रदर्शन स्तर प्राप्त करने के लिए एक प्रतिशत से भी कम प्रशिक्षण डेटा का उपयोग किया। यह सुझाव देता है कि नेटवर्कों को स्पष्ट, टेक्स्ट-आधारित प्रारूप में वर्णित करके, कंप्यूटर पहले की तुलना में बहुत तेज़ी से एक डिज़ाइन की आवश्यक विशेषताओं को समझ सकता है।
इस नए दृष्टिकोण का असली परीक्षण यह था कि क्या यह उन डिजाइनों के लिए सामान्यीकरण (जनरलाइज) कर सकता है जिन्हें इसने पहले कभी नहीं देखा है। शोधकर्ताओं ने मॉडल का परीक्षण एक विशिष्ट परिवार के नेटवर्कों पर प्रशिक्षण देकर और फिर अन्य परिवारों के पूरी तरह से अलग नेटवर्कों के प्रदर्शन की भविष्यवाणी करने के लिए कहकर किया। परिणाम चौंकाने वाले थे। मॉडल ने इन अनदेखे डिजाइनों के प्रदर्शन की उच्च सटीकता के साथ सफलतापूर्वक भविष्यवाणी की, जिसे 'जीरो-शॉट ट्रांसफर' कहा जाता है। इसका मतलब है कि सिस्टम को नए प्रकार के नेटवर्कों के लिए पुन: प्रशिक्षित या समायोजित करने की आवश्यकता नहीं थी; इसने बस नए संरचनाओं को समझने के लिए टेक्स्ट विवरणों से जो सीखा था, उसे लागू किया। यह एक महत्वपूर्ण छलांग है, क्योंकि पिछले उपकरण अक्सर उन विशिष्ट प्रकार के नेटवर्कों तक सीमित थे जिनके लिए उन्हें प्रशिक्षित किया गया था और वे नए, अधिक जटिल डिजाइनों के अनुकूल नहीं हो सकते थे।
शोधकर्ताओं ने यह भी पता लगाया कि मॉडल को भविष्यवाणियों के लिए वास्तव में किस जानकारी की आवश्यकता थी। उन्होंने टेक्स्ट विवरणों को विभिन्न भागों में विभाजित किया, जैसे ऑपरेशन्स के नाम, उनके माध्यम से बहने वाले डेटा के आकार, और डिज़ाइनर द्वारा सेट किए गए विशिष्ट पैरामीटर। उन्होंने पाया कि नेटवर्क के हिस्से कैसे जुड़े हुए हैं और डेटा के आकार के बारे में विवरण शामिल करना सफलता के लिए सबसे महत्वपूर्ण कारक था। जबकि मॉडल बुनियादी संरचना के साथ अच्छा प्रदर्शन करता था, इन विशिष्ट विवरणों को जोड़ने से इसे बहुत सटीक भविष्यवाणियां करने में मदद मिली। यह पुष्टि करता है कि टेक्स्ट-आधारित दृष्टिकोण अप्रासंगिक कोड विविधताओं के शोर में खोए बिना, एक नेटवर्क के डिज़ाइन के आवश्यक विवरणों को पकड़ लेता है।
इन सफलताओं के बावजूद, शोधकर्ता अपने काम की सीमाओं को नोट करने में सावधानी बरतते हैं। इस सिस्टम को मुख्य रूप से इमेज रिकग्निशन कार्यों के लिए डिज़ाइन किए गए नेटवर्कों पर प्रशिक्षित और परीक्षित किया गया था, जो CIFAR-10 नामक एक विशिष्ट डेटासेट का उपयोग करते हैं। हालांकि यह विधि सैद्धांतिक रूप से किसी भी नेटवर्क को संभालने में सक्षम है जिसे उनके मानक प्रारूप में परिवर्तित किया जा सकता है, वर्तमान परिणाम इस विशिष्ट डोमेन तक सीमित हैं। टीम स्वीकार करती है कि उनका प्रशिक्षण डेटा, हालांकि विशाल है, फिर भी मौजूदा बेंचमार्क से आता है और अभी तक हर प्रकार के न्यूरल नेटवर्क या कार्य को कवर नहीं करता है। वे यह भी बताते हैं कि हालांकि उनका टेक्स्ट-आधारित तरीका पिछले ग्राफ-आधारित तरीकों की तुलना में अधिक लचीला है, फिर भी वे पुराने तरीके बहुत विशिष्ट, प्रतिबंधित परिदृश्यों में उनसे बेहतर प्रदर्शन कर सकते हैं।
इस नए बेंचमार्क और साथ में दिए गए प्रेडिक्शन टूल का रिलीज आर्टिफिशियल इंटेलिजेंस में अधिक कुशल अन्वेषण के लिए एक द्वार खोलता है। डिज़ाइनों को प्रशिक्षित करने की भारी लागत के बिना तुरंत मूल्यांकन करने का एक तरीका प्रदान करके, शोधकर्ता अब उस समय में हजारों विचारों का परीक्षण कर सकते हैं जो पहले केवल कुछ को टेस्ट करने में लगता था। यह कार्य सुझाव देता है कि न्यूरल नेटवर्क डिजाइन करने का भविष्य शायद तेज़ हार्डवेयर बनाने में नहीं, बल्कि डिजाइनों को वर्णित करने और समझने के बेहतर तरीके खोजने में निहित है। शोधकर्ता आशा करते हैं कि अपने उपकरणों और डेटा को उपलब्ध कराकर, वे दूसरों को ऐसे सर्च मेथड बनाने के लिए प्रोत्साहित करेंगे जो नेटवर्कों के विशिष्ट प्रकारों तक सीमित नहीं हैं, बल्कि आर्टिफिशियल इंटेलिजेंस के निरंतर विकसित होते परिदृश्य के अनुकूल हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।