WeanNet Enables Parameter-Efficient Transfer Through Decaying Lateral Connections in Progressive Networks
WeanNet एक पैरामीटर-कुशल ट्रांसफर लर्निंग विधि का प्रस्ताव करता है जो एक घटते हुए स्केलर गेन (decaying scalar gain) का उपयोग करके एक फ्रोजन पैरेंट नेटवर्क को एक नए स्टूडेंट से अस्थायी रूप से जोड़ता है, जिससे लॉसलेस पैरेंट रिमूवल सक्षम होता है और मॉडल के आकार में कमी आती है, जबकि प्रोग्रेसिव न्यूरल नेटवर्क्स की तुलना में कॉन्सेप्ट-ड्रिफ्ट कार्यों पर प्रतिस्पर्धी प्रदर्शन प्रदर्शित करता है, हालांकि इसकी सामान्य श्रेष्ठता विशिष्ट कार्य और कॉन्फ़िगरेशन निर्भरताओं द्वारा सीमित बनी हुई है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनों को अक्सर एक के बाद एक समस्या हल करना सिखाया जाता है, ठीक वैसे ही जैसे एक छात्र बीजगणित से ज्यामिति की ओर बढ़ता है। इस यात्रा में एक बड़ी बाधा एक घटना है जिसे 'कैटैस्ट्रोफिक फॉरगेटिंग' (विनाशकारी विस्मृति) कहा जाता है। जब कोई मशीन नया कार्य सीखती है, तो वह अक्सर पिछले कार्य से प्राप्त ज्ञान को मिटा देती है, जिससे नए के लिए जगह बनाने के चक्कर में वह अपने पुराने कौशल खो देती है। इसे हल करने के लिए, शोधकर्ताओं ने ऐसे तरीके विकसित किए हैं जो एआई को उसके द्वारा सीखे गए ज्ञान को आगे ले जाने की अनुमति देते हैं। एक लोकप्रिय दृष्टिकोण, जिसे 'प्रोग्रेसिव नेटवर्क्स' कहा जाता है, हर नए कार्य के लिए प्रसंस्करण शक्ति का एक नया "कॉलम" जोड़कर काम करता है, जबकि पुराने कॉलम को स्थिर और अछूता रखा जाता है। यह अतीत को पूरी तरह से सुरक्षित रखता है, लेकिन इसकी एक भारी कीमत है: जैसे-जैसे मशीन अधिक कार्य सीखती है, इसकी मेमोरी और इसे चलाने के लिए आवश्यक कार्य अनंत रूप से बढ़ते जाते हैं, जो इसे व्यावहारिक रूप से बहुत बड़ा बना देते हैं। एक अन्य तरीका पुराने ज्ञान को नए में सिकोड़ने का प्रयास करता है, लेकिन यह अक्सर मशीन को अतीत की नकल करने के लिए बहुत अधिक मजबूर करता है, जिससे खेल के नियम बदलने पर अनुकूलन करना कठिन हो जाता है।
एक हाई स्कूल शोधकर्ता मैक्स वोराचार्ट ने एक मध्य मार्ग प्रस्तावित किया है जिसे 'वीननेट' (WeanNet) कहा जाता है, जो एक ऐसा सिस्टम है जिसे निरंतर बढ़ते बोझ के बिना कुशलतापूर्वक ज्ञान स्थानांतरित करने के लिए डिज़ाइन किया गया है। इसका मूल विचार ज्ञान के हस्तांतरण को एक माता-पिता द्वारा बच्चे को साइकिल चलाना सिखाने की तरह मानना है। शुरुआत में, माता-पिता स्थिरता और दिशा प्रदान करने के लिए सीट को पकड़ते हैं, लेकिन जैसे-जैसे बच्चा संतुलन बनाना सीखता है, माता-पिता हाथ छोड़ देते हैं, जिससे बच्चा स्वतंत्र रूप से साइकिल चला सके। इस प्रणाली में, एक नया एआई छात्र पिछले कार्य से एक एकल, स्थिर शिक्षक से सहायक संकेत प्राप्त करता है। हालांकि, अन्य तरीकों के विपरीत जो शिक्षक के प्रभाव को स्थिर रखते हैं, वीननेट प्रशिक्षण के दौरान इस मार्गदर्शन की शक्ति को धीरे-धीरे कम करता है। प्रशिक्षण समाप्त होने तक, शिक्षक का प्रभाव शून्य हो जाता है, और छात्र अपने स्वयं के आत्मनिर्भर ज्ञान के साथ रह जाता है, जो बिना किसी बाहरी सहायता के कार्य करने के लिए तैयार होता है। यह सिस्टम को कितने भी कार्य सीखने के बावजूद एक छोटा, निश्चित आकार बनाए रखने की अनुमति देता है, जिससे बढ़ते हुए मेमोरी की समस्या हल हो जाती है और पिछले अनुभव का लाभ भी मिलता है।
यह परीक्षण करने के लिए कि क्या वास्तव में यह दृष्टिकोण काम करता है, शोधकर्ता ने चुनौतियों की एक श्रृंखला तैयार की जहाँ खेल के नियम अप्रत्याशित रूप से बदल जाते थे। एक प्राथमिक परीक्षण में, एआई को ग्रिड के माध्यम से नेविगेट करना था जहाँ एक विशिष्ट स्थिति के लिए सही क्रिया कभी-कभी उलट जाती थी। लक्ष्य यह देखना था कि क्या एआई अपने पुराने कौशल को याद रख सकता है और साथ ही उन्हें तब त्यागना सीख सकता है जब वे अब उपयोगी न हों। परिणामों ने दिखाया कि वीननेट इन परिवर्तनों को पहचानने और नए सही कार्यों को खोजने में उस समान प्रणाली की तुलना में बेहतर था जिसने शिक्षक की मदद को स्थिर रखा था। इसने पुराने, अब गलत हो चुके समाधानों पर फंसने से सफलतापूर्वक बचाव किया। हालांकि, अध्ययन में यह भी पाया गया कि वीननेट सार्वभौमिक विजेता नहीं था। कुछ सरल परिदृश्यों में, एक एआई जो हर बार शून्य से शुरुआत करता था, उसने समान रूप से अच्छा प्रदर्शन किया, जिससे पता चलता है कि इस पद्धति का लाभ विशिष्ट कार्य पर बहुत अधिक निर्भर करता है। इसके अलावा, जब शोधकर्ता ने इसे एक अधिक जटिल, भौतिकी-आधारित संतुलन कार्य पर परखा, तो यह विधि स्थापित तकनीकों से बेहतर प्रदर्शन नहीं कर पाई, जो दर्शाता है कि इसके लाभ हर स्थिति में सुनिश्चित नहीं हैं।
शोध ने यह महत्वपूर्ण विवरण भी उजागर किया कि इन प्रणालियों को कैसे बनाया जाता है। मुख्य परीक्षणों में सभी पिछले कॉलमों को रखने वाली पूर्ण, पारंपरिक विधि का प्रदर्शन आश्चर्यजनक रूप से खराब था, लेकिन यह एक विशिष्ट कॉन्फ़िगरेशन विकल्प के कारण था न कि स्वयं पद्धति के कारण। जब शोधकर्ताओं ने सेटअप को समायोजित किया, तो पारंपरिक विधि ने बहुत बेहतर प्रदर्शन किया, जिससे पता चला कि विफलता अपरिहार्य नहीं थी। वीननेट के लिए, सबसे महत्वपूर्ण निष्कर्ष यह था कि "वीनिंग" (छोड़ने की) प्रक्रिया को पूरी तरह से पूरा किया जा सकता था। जब शिक्षक के प्रभाव को घटाकर शून्य कर दिया गया, तो छात्र के व्यवहार में कोई बदलाव नहीं आया, जिससे यह सिद्ध हुआ कि हस्तांतरण दोषरहित था। सिस्टम को बहुत छोटे आकार के साथ तैनात किया जा सकता था, क्योंकि प्रशिक्षण के दौरान उपयोग किए गए अतिरिक्त मापदंडों को हटा दिया गया था, बिना कार्य करने की अपनी क्षमता खोए।
अंततः, अध्ययन यह निष्कर्ष निकालता है कि वीननेट कार्यों के बीच ज्ञान स्थानांतरित करने का एक व्यावहारिक तरीका प्रदान करता है, जिसमें पिछले संस्करणों को रखने की मेमोरी लागत नहीं होती है। यह प्रदर्शित करता है कि पिछले शिक्षक के साथ एक अस्थायी, लुप्त होता संबंध एक नए शिक्षार्थी को बदलते नियमों के अनुकूल होने में मदद कर सकता है, लेकिन यह हर समस्या के लिए सबसे अच्छा समाधान होने का वादा नहीं करता है। यह विधि उन नियंत्रित वातावरणों में अच्छी तरह से काम करती है जहाँ नियम बदलते हैं, लेकिन यह हर मामले में शून्य से शुरू करने या अन्य स्थापित विधियों को स्वचालित रूप से नहीं हराती है। इसका मूल्य एक सीमित, कुशल पदचिह्न प्रदान करने की इसकी क्षमता में निहित है जो समय के साथ नहीं बढ़ता है, जो कृत्रिम बुद्धिमत्ता के लिए एक जादुई समाधान के बजाय एक विशिष्ट प्रकार की सीखने की चुनौती के लिए एक विशिष्ट उपकरण प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।