When Blocks Outlive Tasks: Three Safeguards for Task-ID-Free Routing in Growing Continual Learners
यह शोध पत्र तीन विशिष्ट सुरक्षा उपायों—पूर्ववर्ती अवधियों को पुन: चलाने (replaying), ब्लॉक फ्रीज के समय राउटर अवस्थाओं को रिकॉर्ड करने और फ्रीज किए गए ब्लॉक सांख्यिकी के ओवरराइट होने को रोकने—का प्रस्ताव और सत्यापन करता है, ताकि बढ़ते हुए निरंतर शिक्षार्थियों (continual learners) में सुदृढ़ टास्क-आइडेंटिटी-फ्री रूटिंग को सक्षम किया जा सके जहाँ ब्लॉक्स व्यक्तिगत कार्यों से अधिक समय तक जीवित रहते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसे छात्र की जिसे हर साल एक नया विषय सीखना है, वनस्पति विज्ञान से लेकर खगोल भौतिकी तक, बिना पिछले वर्षों के पाठों को भूले। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह 'कंटीन्यूअल लर्निंग' (सतत शिक्षण) की चुनौती है। इसे हल करने के लिए, शोधकर्ता अक्सर ऐसे सिस्टम बनाते हैं जो प्रत्येक नए विषय के लिए उनके मस्तिष्क का नए हिस्से विकसित करते हैं, और जो उन्होंने पहले से सीखा है उसे सुरक्षित रखने के लिए पुराने हिस्सों को फ्रीज (स्थिर) कर देते हैं। यह दृष्टिकोण तब अच्छी तरह काम करता है जब सिस्टम को ठीक से पता होता है कि उसका परीक्षण किस विषय पर किया जा रहा है, जिससे वह अपने मस्तिष्क के सही फ्रीज किए गए हिस्से को चुन सकता है। लेकिन वास्तविक दुनिया में, एक AI अक्सर एक ऐसा प्रश्न पाता है जिसके साथ कोई लेबल नहीं होता जो यह बता सके कि वह किस विषय से संबंधित है। उसे यह समझना होता है कि उसके बढ़ते हुए मन का कौन सा हिस्सा उत्तर रखता है। यह 'टास्क-फ्री रूटिंग' (कार्य-मुक्त मार्ग निर्धारण) की पहेली है: यह पता लगाना कि किसी प्रश्न को सही मेमोरी बैंक तक कैसे भेजा जाए जब सिस्टम को पता ही न हो कि प्रश्न किस बारे었던।
यह समस्या और भी कठिन हो जाती है जब AI का विकास पूरी तरह से निर्धारित नहीं होता है। कई उन्नत प्रणालियों में, मस्तिष्क का एक एकल खंड अंततः फ्रीज होने और अलग होने से पहले कई वर्षों तक सीख सकता है। उन वर्षों के दौरान, वह खंड बदलता और विकसित होता रहता है। यदि सिस्टम यह याद रखने की कोशिश करता है कि वह खंड अपने युवावस्था में क्या जानता था, तो वह शायद एक ऐसी स्मृति को देख रहा होगा जो अब उस खंड के वर्तमान संस्करण से मेल नहीं खाती। इसके अलावा, यदि सिस्टम नए डेटा पर प्रशिक्षण जारी रखता है, तो वह अनजाने में उन नोट्स को भी मिटा सकता है जो उसने पुराने खंडों के बारे में बनाए थे, जिससे वह यह भूल जाता है कि उसके मन का कौन सा हिस्सा किसी विशिष्ट प्रश्न के लिए सबसे उपयुक्त है। इन बदलते हुए स्मृतियों को संभालने के बिना, AI भटक सकता है, प्रश्नों को गलत विशेषज्ञों के पास भेज सकता है और सीखने में विफल हो सकता है।
भारतीय प्रौद्योगिकी संस्थान (ISM) धनबाद के शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को ठीक करने का प्रयास किया। उन्होंने ऐसे AI सिस्टम विकसित करने पर ध्यान केंद्रित किया जो चरणों में सीखते हैं, जहाँ एक एकल लर्निंग ब्लॉक कई समय अवधियों तक चल सकता है जब तक कि उसे लॉक न कर दिया जाए। उन्होंने तीन महत्वपूर्ण नियमों, या सुरक्षा उपायों की पहचान की, जिनका पालन करना यह सुनिश्चित करने के लिए आवश्यक है कि जब ये ब्लॉक्स अपने मूल कार्यों से अधिक समय तक जीवित रहें, तो रूटिंग प्रणाली सही ढंग से कार्य करती रहे। पहला नियम यह है कि सक्रिय लर्निंग ब्लॉक को उस डेटा की एक छोटी, अस्थायी प्रति रखनी चाहिए जिसे उसने पिछले अवधियों में देखा था, जबकि वह अभी भी नई चीजें सीख रहा है। यह सुनिश्चित करता है कि जब ब्लॉक को अंततः फ्रीज किया जाता है, तो उसके पास अपने पूरे इतिहास का एक पूर्ण रिकॉर्ड होता है, न कि केवल उसके हालिया पाठों का। दूसरा नियम कहता है कि सिस्टम को किसी ब्लॉक के बारे में अपने अंतिम नोट्स ठीक उसी क्षण लिखने चाहिए जब वह ब्लॉक फ्रीज किया जाता है। यदि सिस्टम इन नोट्स को बाद में अपडेट करने की कोशिश करता है, तो विवरण ब्लॉक की अंतिम स्थिति से मेल नहीं खाएगा। तीसरा नियम यह आवश्यक बनाता है कि एक बार ब्लॉक फ्रीज हो जाने के बाद, सिस्टम को कभी भी नए प्रशिक्षण डेटा को उस ब्लॉक के बारे में लिखे गए नोट्स पर ओवरराइट (मिटाना) नहीं करने देना चाहिए। नोट्स बिल्कुल वैसे ही रहने चाहिए जैसे वे थे, एक ऐसी स्थिति में संरक्षित जिन्हें भविष्य के शिक्षण द्वारा बदला नहीं जा सकता।
इन नियमों की वास्तविकता परखने के लिए, शोधकर्ताओं ने दस अलग-अलग कंप्यूटर 'सीड्स' (बीज) के माध्यम से शोध की एक श्रृंखला में कठोर प्रयोग किए, जो एक ही प्रयोग को दस बार थोड़े अलग रैंडम शुरुआती बिंदुओं के साथ चलाने जैसा है। उन्होंने पांच अलग-अलग बेंचमार्क पर परीक्षण किया, जो AI प्रदर्शन को मापने के लिए उपयोग किए जाने वाले मानक डेटा सेट हैं, जिनमें सरल छवि पहचान से लेकर जटिल भाषा समझ तक शामिल है। उन्नीस में से बीस विशिष्ट परीक्षणों में, सिस्टम ने काफी बेहतर प्रदर्शन किया जब ये तीनों सुरक्षा उपाय मौजूद थे, तुलना में जब इनमें से किसी एक को भी हटा दिया गया था। जब उन्होंने पहला नियम हटाया, तो सिस्टम ने अपने पिछले पाठों को सहेजने से पहले ही उन्हें भुला दिया। जब उन्होंने दूसरा हटाया, तो ब्लॉक्स के बारे में लिखे गए नोट्स पुराने और गलत थे। जब उन्होंने तीसरा हटाया, तो पुराने ब्लॉक्स की उनकी स्मृति को नए डेटा द्वारा ओवरराइट कर दिया गया, जिससे वे अपना रास्ता भटक गए। एकमात्र अपवाद स्क्रैम्बल की गई इमेज डेटा के एक विशिष्ट प्रकार पर एक परीक्षण था, जहाँ दूसरे नियम ने लगभग कोई अंतर नहीं डाला, जो यह सुझाव देता है कि हर प्रकार के डेटा को हर एक नियम की समान डिग्री तक आवश्यकता नहीं होती है।
शोधकर्ताओं ने यह भी खोजा कि सिस्टम एक ही लर्निंग ब्लॉक के विभिन्न संस्करणों के बीच कैसे चयन करता है। कभी-कभी, एक ब्लॉक को संशोधित किया जाता है, जिससे एक पुराना संस्करण और एक नया संस्करण बनता है। टीम ने पाया कि केवल उन दो संस्करणों के बीच तुलना करने के लिए एक विधि, जो "सबसे सक्षम" संस्करण को चुनने के लिए डिज़ाइन की गई थी, अच्छा काम करती है। हालाँकि, जब उन्होंने उसी विधि का उपयोग पूरे सिस्टम के सभी ब्लॉक्स के बीच चयन करने के लिए किया, तो इसने वास्तव में सिस्टम को बदतर बना दिया। वह विधि प्रश्नों को उन ब्लॉक्स से दूर खींच लेती थी जिनके वे वास्तव में स्वामी थे, और संशोधित संस्करणों की ओर ले आती थी, केवल इसलिए क्योंकि उन संस्करणों का स्कोर थोड़ा अधिक था। इसने उन्हें सिखाया कि एक संकेत जो एक छोटे, स्थानीय निर्णय के लिए काम करता है, वह पूरे सिस्टम पर लागू होने पर हानिकारक हो सकता है।
इन सफलताओं के बावजूद, अध्ययन ने एक कठिन सीमा का भी खुलासा किया। सुरक्षा उपायों और सटीक रूटिंग के साथ भी, बढ़ते हुए सिस्टम अभी भी एक अलग प्रकार के AI को नहीं हरा सके जो बिल्कुल भी नहीं बढ़ता है। उनके द्वारा उपयोग किए गए फ्रोजन फीचर्स पर, 'RanPAC' नामक एक गैर-बढ़ने वाला सिस्टम, हर रूटेड, बढ़ते हुए बैंक से लगातार बेहतर प्रदर्शन करता रहा। यह सुझाव देता है कि जबकि सुरक्षा उपाय बढ़ते हुए सिस्टम को विफल होने से रोकते हैं, वे स्वतः ही विकास को बेहतर विकल्प नहीं बना देते। विकास तंत्र को स्वयं को सिद्ध करना होगा, यह सीखकर कि वह कुछ नया सीख सकता है जिसे एक स्थिर सिस्टम नहीं सीख सकता। शोधकर्ताओं ने निष्कर्ष निकाला कि उनका कार्य बिना टास्क लेबल के बढ़ते हुए सिस्टम को कार्यशील बनाने के लिए एक आवश्यक आधार प्रदान करता है, लेकिन बड़ा सवाल कि क्या विकास हमेशा सही रास्ता है, अभी भी खुला है। सुरक्षा उपाय रूटिंग को टूटने से रोकते हैं, लेकिन वे यह गारंटी नहीं देते कि बढ़ने वाला शिक्षार्थी कमरे में सबसे बुद्धिमान होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।