NeuroSynth: A Biologically Inspired Continual Reinforcement Learning Architecture for Mitigating Catastrophic Forgetting
यह शोध पत्र NeuroSynth को प्रस्तुत करता है, जो एक जैविक रूप से प्रेरित निरंतर सुदृढीकरण शिक्षण (continual reinforcement learning) आर्किटेक्चर है जो एक दोहरी-पथ सुदृढ़ीकरण प्रणाली (dual-pathway consolidation mechanism) के माध्यम से विनाशकारी विस्मृति (catastrophic forgetting) को कम करता है, और क्रमिक नेविगेशन कार्यों में मानक PPO और EWC बेसलाइन की तुलना में पूर्व कार्य ज्ञान के काफी बेहतर प्रतिधारण का प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मस्तिष्क का वह रहस्य जिससे वह कभी कुछ नहीं भूलता (और क्यों रोबोट संघर्ष करते हैं)
कल्पना कीजिए कि आप एक नया वीडियो गेम सीखने की कोशिश कर रहे हैं। आप पहले लेवल में बहुत अच्छे हो जाते हैं, लेकिन जैसे ही आप दूसरे लेवल पर पहुँचते हैं, आपका मस्तिष्क ऐसा लगता है जैसे उसने "रीसेट" बटन दबा दिया हो, और आप पहला लेवल खेलना भूल जाते हैं। यह केवल एक मानवीय विशेषता नहीं है; यह आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक बहुत बड़ा सिरदर्द है। मशीन लर्निंग की दुनिया में, इसे "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहा जाता है। यह तब होता है जब एक AI एक नया कार्य सीखता है और अनजाने में उस कोड को मिटा देता है जिसका उपयोग उसने पुराने कार्य के लिए किया था, जैसे कि एक कैसेट टेप पर नया गाना लिखते समय 90 के दशक के हिट गाने को मिटा देना।
वैज्ञानिक इस बात पर शोध कर रहे हैं कि हमारा अपना मस्तिष्क इस समस्या को कैसे हल करता है। उनका मानना है कि हमारा मस्तिष्क एक चतुर दो-भाग वाली प्रणाली का उपयोग करता है। एक भाग, हिप्पोकैम्पस (hippocampus), एक सुपर-फास्ट नोटपैड की तरह है जो नई जानकारी को तुरंत पकड़ लेता है। दूसरा भाग, नियोकोर्टेक्स (neocortex), एक धीमी गति से पकने वाली लाइब्रेरी की तरह है जो उन नोट्स को व्यवस्थित करने और उन्हें दीर्घकालिक स्मृति में संग्रहीत करने में समय लेती है। जबकि हम पुरानी चीजों को खोए बिना नई चीजें सीख सकते हैं, अधिकांश AI सिस्टम एक एकल, विशाल मस्तिष्क की तरह बने होते हैं जो सब कुछ एक साथ करने की कोशिश करता है, जिससे वह निराशाजनक "रीसेट" बटन वाला प्रभाव पैदा होता है। बड़ा सवाल यह है: क्या हम एक ऐसा AI बना सकते हैं जो इंसान की तरह सीख सके, अपने पुराने कौशल को बनाए रखते हुए नए कौशल में महारत हासिल कर सके?
NeuroSynth: वह AI जो अपनी जड़ें याद रखता है
मिलिए NeuroSynth से, एक नया AI आर्किटेक्चर जिसे यश किनी, एक हाई स्कूल शोधकर्ता द्वारा बनाया गया है, जिसे इस स्मृति हानि को रोकने के लिए डिज़ाइन किया गया है। NeuroSynth को एक अकेले मस्तिष्क के रूप में नहीं, बल्कि मिलकर काम करने वाले दो विशेषज्ञों की एक टीम के रूप में सोचें: एक "प्लानर" (योजनाकार) और एक "हैबिट-फॉर्मर" (आदत बनाने वाला)।
प्लानर मस्तिष्क के हिप्पोकैम्पस से प्रेरित है। यह एक तेज़ सीखने वाला है। जब AI किसी नई चुनौती का सामना करता है, तो प्लानर इसमें कूद पड़ता है, इसे जल्दी से समझ लेता है, और फिर—महत्वपूर्ण रूप से—अपने ज्ञान को फ्रीज (स्थिर) कर देता है। यह समाधान की एक आदर्श फोटो लेने और उसे एक तिजोरी में लॉक करने जैसा है ताकि इसे गलती से कभी मिटाया न जा सके। हैबिट-फॉर्मर, जो मस्तिष्क के कॉर्टेक्स से प्रेरित है, एक लचीला कार्यकर्ता है। यह खुला रहता है और नई चीजें सीखता रहता है। लेकिन यहाँ असली जादू है: हैबिट-फॉर्मर केवल अपने आप नहीं सीखता है। यह लगातार तिजोरी में रखी उस जमी हुई फोटो (प्लानर) को देखता है और "रिप्ले" (पुराने गेम की कल्पना करना) और "डिस्टिलेशन" (प्लानर की शैली की नकल करना) नामक तकनीक का उपयोग करके पुराने मूव्स का अभ्यास करता है। इस तरह, AI पुराने को हटाए बिना एक नया लेवल सीख सकता है।
यह परीक्षण करने के लिए कि क्या यह मस्तिष्क-प्रेरित टीम मानक AI से बेहतर काम करती है, शोधकर्ताओं ने तीन अलग-अलग मॉडलों को NeuroMaze-CL नामक एक डिजिटल भूलभुलैया में टेस्ट किया। लक्ष्य सरल था: एक विशिष्ट निकास (exit) खोजने के लिए ग्रिड के माध्यम से नेविगेट करना। मोड़ क्या था? हर बार निकास बदल जाता था। AI को पहला निकास सीखना था, फिर दूसरा, फिर तीसरा, बिना कभी भी पहले दो का दोबारा अभ्यास किए। यह "नॉन-रीविज़िटेशन" (पुनरावृत्ति न करने का) नियम इसे भूलने के लिए मजबूर करने के लिए बनाया गया था, ठीक वैसे ही जैसे एक छात्र को केवल अंतिम परीक्षा के लिए अध्ययन करने की अनुमति दी जाती है और वह अपने पुराने नोट्स कभी नहीं देखता।
परिणाम स्पष्ट रूप से मस्तिष्क-प्रेरित दृष्टिकोण की जीत थे। मानक AI मॉडल, जिसे PPO कहा जाता है, याद रखने में पूरी तरह विफल रहा। तीसरे भूलभुलैया को सीखने के बाद, वह पहले वाले को पूरी तरह भूल गया, और टास्क A पर उसकी सफलता दर मात्र 0.33% रही। ऐसा लग रहा था जैसे AI ने पहले भूलभुलैया को कभी देखा ही न हो। दूसरा मॉडल, EWC, अपने पुराने अनुभवों को सुरक्षित करने के लिए बहुत सावधान होकर, लेकिन वह इतना सतर्क था कि वह नए भूलभुलैया को प्रभावी ढंग से सीखने में संघर्ष करता रहा।
हालाँकि, NeuroSynth ने सही संतुलन खोज लिया। उसी प्रशिक्षण के बाद, इसने पहले भूलभुलैया को 18.00% की सफलता दर के साथ याद रखा—जो PPO के लगभग शून्य प्रदर्शन से काफी बेहतर है। इसने न केवल पहले कार्य को याद रखा; इसने दूसरे कार्य को भी बहुत बेहतर तरीके से थामे रखा, जो टास्क B के लिए 35.33% की सफलता दर थी, जबकि PPO की दर 0.00% थी। जब अंतिम, सबसे कठिन कार्य (टास्क C) की बात आई, तो NeuroSynth ने सतर्क EWC मॉडल की तुलना में बेहतर प्रदर्शन किया (9.00% बनाम 2.00%), हालांकि यह विशिष्ट अंतर निर्णायक जीत कहलाने के लिए सांख्यिकीय रूप से पर्याप्त मजबूत नहीं था।
अध्ययन बताता है कि "तेज़ सीखने" को "धीमी याददाश्त" से अलग करके और पुराने कौशल का अभ्यास करने के लिए रिप्ले का उपयोग करके, हम ऐसा AI बना सकते हैं जो स्थिर और लचीला दोनों हो। हालाँकि यह अभी तक रोबोटिक्स या मेडिकल AI की हर समस्या को हल करने वाला कोई जादुвई समाधान नहीं है, लेकिन यह दिखाता है कि मस्तिष्क की इस दो-मार्ग प्रणाली की नकल करना रोबोट्स को हर बार कुछ नया सीखते समय उस निराशाजनक "भूलने" वाले बटन को दबाने से रोकने का एक आशाजनक तरीका है। जैसा कि लेखक कहते हैं, यह ऐसी मशीनों की ओर एक कदम है जो वास्तव में उन कौशलों को खोए बिना जीवन भर के कौशल सीख सकती हैं जिन्हें उन्होंने पहले ही मास्टर कर लिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।