Layers Matter: Why Continual Learning Regularization Should Be Layer-Adaptive
यह शोध पत्र प्रदर्शित करता है कि मानक निरंतर शिक्षण (continual learning) रेगुलराइज़र महत्वपूर्ण प्रति-परत वक्रता (per-layer curvature) जानकारी को समझने में विफल रहते हैं, जो यह सिद्ध करता है कि एक परत-अनुकूलित (layer-adaptive) दृष्टिकोण जो प्रारंभिक परतों को दृढ़ता से सुरक्षित रखता है जबकि गहरी परतों को महत्वपूर्ण रूप से बदलने की अनुमति देता है, प्रदर्शन में सुधार करता है और विस्मृति (forgetting) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनें एक डिजिटल मस्तिष्क के आंतरिक नॉब्स और डायल को समायोजित करके सीखती हैं, जिसे न्यूरल नेटवर्क कहा जाता है। जब किसी मशीन को कोई नया कौशल सिखाया जाता है, जैसे कि किसी विशिष्ट प्रकार के फूल को पहचानना, तो वह उस कार्य में बेहतर होने के लिए इन सेटिंग्स को थोड़ा बदल देती है। हालाँकि, 'कैटास्ट्रोफिक फॉरगेटिंग' (विनाशकारी विस्मृति) नामक एक निरंतर समस्या अक्सर होती है: जैसे ही मशीन एक नए फूल को सीखती है, वह अनजाने में उन पिछले फूलों, जैसे कि एक कुत्ते या कार, के बारे में अपने पास मौजूद ज्ञान को मिटा देती है। इसे रोकने के लिए, शोधकर्ताओं ने मशीन की सेटिंग्स को धीरे से स्थिर करने के तरीके विकसित किए हैं, जो उसे यह निर्देश देते हैं कि वह अपने मस्तिष्क के उन हिस्सों को न बदले जो पुराने कार्यों के लिए महत्वपूर्ण हैं। सबसे आम दृष्टिकोण प्रत्येक सेटिंग को समान रूप से महत्वपूर्ण मानता है, और इस जटिल संरचना के भीतर वह जहाँ भी स्थित हो, पूरे नेटवर्क को सुरक्षा का एक समान स्तर प्रदान करता है।
जर्मन रिसर्च सेंटर फॉर आर्टिफिशियल इंटेलिजेंस और यूनिवर्सिटी ऑफ काइसर्सलौटर्न-लैंडौ की एक शोध टीम ने पाया है कि यह एकसमान दृष्टिकोण मौलिक रूप से त्रुटिपूर्ण है। उन्होंने पाया कि न्यूरल नेटवर्क के सभी हिस्से समान नहीं होते हैं। कुछ परतें (layers), विशेष रूप से शुरुआती परतें जो कच्चे दृश्य डेटा को संसाधित करती हैं, अविश्वसनीय रूप से संवेदनशील होती हैं; उन्हें थोड़ा सा भी हिलाने से मशीन सब कुछ भूल सकती है। अन्य परतें, जो आमतौर पर नेटवर्क में गहराई में पाई जाती हैं, बहुत अधिक मजबूत होती हैं और बिना किसी नुकसान के स्वतंत्र रूप से समायोजित की जा सकती हैं। हर परत के साथ समान स्तर की सावधानी बरतकर, वर्तमान तरीके अपनी सुरक्षात्मक कोशिशों को बर्बाद कर रहे हैं, क्योंकि वे गलत हिस्सों की रक्षा कर रहे हैं जबकि सबसे नाजुक हिस्सों को असुरक्षित छोड़ रहे हैं।
शोधकर्ताओं ने पहले उन न्यूरल नेटवर्क्स की आंतरिक संरचना का परीक्षण किया जो पहले से ही विशाल डेटासेट पर प्रशिक्षित थे, जैसे कि छवियों में वस्तुओं की पहचान करने के लिए उपयोग किए जाने वाले डेटासेट। उन्होंने मापा कि यदि प्रत्येक परत को बाधित किया जाता है, तो वह विस्मृति (भूलने) में कितना योगदान देगी। उनके माप ने एक कठोर वास्तविकता प्रकट की: इन परतों की संवेदनशीलता बहुत भिन्न होती है। कुछ नेटवर्क्स में, सबसे संवेदनशील परत सबसे कम संवेदनशील परत की तुलना में लगभग दो सौ गुना अधिक नाजुक थी। यह विशाल अंतर यह दर्शाता है कि एक ऐसी रणनीति जो हर परत पर सुरक्षा का समान स्तर लागू करती है, एक घर के ऊपर प्लास्टिक की एक पतली चादर रखने के समान है ताकि बाढ़ को रोका जा सके; यह छत को तो ढक सकती है, लेकिन यह नींव को खुला छोड़ देती है।
यह समझने के लिए कि ऐसा क्यों होता है, टीम ने नेटवर्क की सीखने की प्रक्रिया के गणितीय परिदृश्य (mathematical landscape) का अध्ययन किया। उन्होंने सिद्ध किया कि भूलने का जोखिम समान रूप से वितरित नहीं है, बल्कि यह शुरुआती परतों के भीतर विशिष्ट दिशाओं में केंद्रित है। जब एक मशीन नया कार्य सीखती है, तो वह स्वाभाविक रूप से अपनी सेटिंग्स को बदलने की कोशिश करती है। यदि मशीन को एक अत्यधिक संवेदनशील शुरुआती परत को हिलाने के लिए मजबूर किया जाता है, तो खोए हुए ज्ञान की लागत बहुत अधिक होती है। यदि वह एक गहरी, अधिक लचीली परत को हिलाती है, तो लागत नगण्य होती है। आज उपयोग किए जाने वाले मानक तरीके, जो व्यक्तिगत सेटिंग्स के औसत व्यवहार के आधार पर महत्व सौंपते हैं, इस बड़ी तस्वीर को देखने में विफल रहते हैं। वे इस तथ्य को नहीं देख पाते कि पूरी शुरुआती परत एक एकल, नाजुक इकाई के रूप में कार्य करती है, जबकि गहरी परतें एक मजबूत, अनुकूलनीय द्रव्यमान के रूप में कार्य करती हैं।
शोधकर्ताओं ने एक सरल लेकिन शक्तिशाली समाधान प्रस्तावित किया: नेटवर्क को एक समान ब्लॉक के रूप में मानना बंद करें और इसे अलग-अलग जरूरतों वाले एक स्तरित ढांचे के रूप में देखना शुरू करें। उन्होंने एक नियम विकसित किया जो कहता है कि शुरुआती परतों को मजबूती से सुरक्षित रखें जबकि गहरी परतों को अधिक स्वतंत्र रूप से हिलने दें। यह दृष्टिकोण कई वर्तमान प्रणालियों के विपरीत है, जो अक्सर पूरे नेटवर्क पर एक व्यापक दंड (penalty) लागू करते हैं। इस नई, लेयर-अनुकूल (layer-adaptive) रणनीति को मौजूदा शिक्षण विधियों पर लागू करके, टीम ने अपने विचार का परीक्षण विभिन्न प्रकार के नेटवर्क्स पर किया। उन्होंने पाया कि जब उन्होंने शुरुआती परतों को ढाल प्रदान की और गहरी परतों को समायोजित होने दिया, तो मशीनों ने अपने पुराने ज्ञान को बहुत बेहतर तरीके से बनाए रखा और साथ ही नए कार्यों को प्रभावी ढंग से सीखा।
परिणाम विभिन्न प्रकार के नेटवर्क्स और प्रशिक्षण इतिहासओं में स्पष्ट थे। उन नेटवर्क्स पर जो बड़े इमेज डेटासेट्स पर प्री-ट्रेन किए गए थे, नई विधि ने मशीन की पिछले कार्यों को याद रखने की क्षमता में उल्लेखनीय सुधार किया। एक विशिष्ट परीक्षण में, जिसमें एक ऐसा नेटवर्क उपयोग किया गया था जो इक्कीस हजार से अधिक छवियों पर प्रशिक्षित था, नए दृष्टिकोण ने अंतिम सटीकता को लगभग एक प्रतिशत बढ़ा दिया, जो इस क्षेत्र में एक महत्वपूर्ण बढ़त है। दिलचस्प बात यह है कि यह विधि तब सबसे अच्छा काम करती है जब नेटवर्क को एक विशिष्ट तरीके से प्रशिक्षित किया गया था जिसने शुरुआती परतों को विशेष रूप से संवेदनशील बना दिया था। जब नेटवर्क को अलग तरह से प्रशिक्षित किया गया, तो संवेदनशीलता प्रोफाइल बदल गया, और इष्टतम रणनीति भी बदल गई, जिससे यह सिद्ध हुआ कि समाधान 'एक ही आकार सबके लिए उपयुक्त' (one-size-fits-all) वाला फिक्स नहीं है, बल्कि एक लचीला नियम है जो नेटवर्क की नाजुकता के विशिष्ट आकार के अनुसार अनुकूलित होता है।
अध्ययन ने केवल प्रत्येक परत की सटीक संवेदनशीलता को मापने के प्रयास की एक सीमा को भी रेखांकित किया। हालांकि सिद्धांत यह सुझाव देता है कि सुरक्षा को प्रत्येक परत की सटीक संवेदनशीलता के अनुरूप होना चाहिए, शोधकर्ताओं ने पाया कि सटीक रूप से ऐसा करने का प्रयास अक्सर खराब परिणाम देता है क्योंकि माप बहुत शोर युक्त (noisy) थे और परतों के बीच का अंतर बहुत अधिक था। इसके बजाय, एक सुचारू, क्रमिक दृष्टिकोण सबसे अच्छा काम करता था। केवल यह सुनिश्चित करके कि सुरक्षा शुरुआती परतों से लेकर गहरी परतों तक लगातार घटती जाती है, मशीनें पुराने तरीकों की तुलना में काफी बेहतर प्रदर्शन करने लगीं। यह सुझाव देता है कि कुंजी प्रत्येक परत के लिए एक सटीक संख्या की गणना करने में नहीं है, बल्कि नेटवर्क की भेद्यता (vulnerability) की सामान्य दिशा को समझने में है।
यह कार्य इस बारे में हमारी सोच को बदल देता है कि मशीनों को निरंतर सीखना कैसे सिखाया जाए। यह क्षेत्र को इस विचार से दूर ले जाता है कि न्यूरल नेटवर्क का प्रत्येक हिस्सा समान रूप से महत्वपूर्ण है और एक अधिक सूक्ष्म दृष्टिकोण की ओर ले जाता है जहाँ नेटवर्क की संरचना ही रणनीति तय करती है। शोधकर्ताओं ने दिखाया कि डिजिटल मस्तिष्क के भीतर संवेदनशीलता के प्राकृतिक पदानुक्रम (hierarchy) का सम्मान करके, हम ऐसी मशीनें बना सकते हैं जो पुरानी चीजों को खोए बिना नई चीजें सीख सकें। उनके निष्कर्ष इंजीनियरों के लिए एक व्यावहारिक मार्गदर्शिका प्रदान करते हैं: यदि आप चाहते हैं कि मशीन याद रखे, तो उसके सोचने की प्रक्रिया के आरंभ की रक्षा करें और उसके अंत को अनुकूलित होने दें। दृष्टिकोण में यह सरल बदलाव, जो इन नेटवर्क्स के वास्तविक व्यवहार की गहरी समझ पर आधारित है, अधिक स्थिर और सक्षम आर्टिफिशियल इंटेलिजेंस बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।