Forgetting is Everywhere
यह शोध पत्र एक एल्गोरिदम- और कार्य-अज्ञेय (agnostic) सिद्धांत प्रस्तावित करता है जो विस्मृति (forgetting) को भविष्य कहनेवाला वितरणों (predictive distributions) में आत्म-संगति के अभाव के रूप में परिभाषित करता है, और विविध शिक्षण परिवेशों में व्यापक प्रयोगों के माध्यम से यह प्रदर्शित करता है कि यह घटना डीप लर्निंग में सार्वभौमिक है और सूचना प्रतिधारण (information retention) में सुधार करने के लिए इसे सटीक रूप से मापा और विश्लेषित किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अपने मस्तिष्क की कल्पना एक अत्यंत बुद्धिमान, निरंतर अपडेट होने वाली नोटबुक के रूप में करें। हर बार जब आप कुछ नया सीखते हैं—जैसे कि किसी नए वीडियो गेम की रणनीति या डायनासोरों के बारे में कोई ताज़ा तथ्य—तो आप उसे लिख लेते हैं। लेकिन यहाँ एक पेचीदा बात है: यदि आपकी नोटबुक में जगह सीमित है, तो एक नया पन्ना लिखने से अनजाने में कोई पुराना पन्ना धुंधला हो सकता है या मिट सकता है। यह केवल मनुष्यों की समस्या नहीं है; यह कंप्यूटर प्रोग्रामों के साथ भी होता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "भूलना" (forgetting) कहा जाता है। यह वह क्षण है जब एक कंप्यूटर एक नई ट्रिक सीखता है और अचानक किसी पुरानी चीज़ को पूरी तरह से करने की क्षमता खो देता है। वैज्ञानिक दशकों से इसका अध्ययन कर रहे हैं, मुख्य रूप से उन स्थितियों में जहाँ कंप्यूटरों को कार्यों की एक कभी न खत्म होने वाली धारा से सीखना होता है, जैसे कि एक रोबोट का चलना, फिर दौड़ना, और फिर कूदना सीखना। लेकिन अब तक, किसी के पास एक स्पष्ट नियम नहीं था कि वास्तव में "भूलना" क्या है। क्या यह केवल एक विशिष्ट तथ्य को खो देना है? या क्या यह इस बारे में कुछ गहरा है कि कंप्यूटर का "मन" कैसे बदलता है? इसे समझना महत्वपूर्ण है क्योंकि यदि हम वास्तव में स्मार्ट, आजीवन सीखने वाली मशीनें बनाना चाहते हैं, तो हमें यह जानना होगा कि वे अपनी यादों को ठीक कैसे और क्यों खो देती हैं।
यह शोध पत्र, जिसका शीर्षक "भूलना हर जगह है" (Forgetting is Everywhere), उस रहस्य की गहराई में उतरता है। लेखक भूलने को देखने का एक नया तरीका प्रस्तावित करते हैं जो विशिष्ट कार्य या प्रकार के कंप्यूटर प्रोग्राम की परवाह नहीं करता है। यह जाँचने के बजाय कि क्या एक रोबोट किसी पुराने खेल में खराब हो गया है, वे एक सरल, अधिक मौलिक प्रश्न पूछते हैं: "क्या भविष्य के बारे में कंप्यूटर का अनुमान अपने आप के साथ सुसंगत रहता है?" कल्पना कीजिए कि एक मौसम विज्ञानी कल के लिए बारिश का पूर्वानुमान लगाता है। यदि वह आज एक नया तथ्य सीखता है, तो उसका कल के लिए पूर्वानुमान केवल तभी बदलना चाहिए जब वह नया तथ्य वास्तव में मायने रखता हो। यदि वह बिना किसी ठोस कारण के अपना पूर्वानुमान बदलता है, या यदि वह इसे इस तरह से बदलता है जो उसके पहले से ज्ञात ज्ञान के विपरीत है, तो यह "भूलने" का संकेत है। लेखक भूलने को इस प्रकार की "स्व-असंगति" (self-inconsistency) के रूप में परिभाषित करते हैं—जब एक सीखने वाले का आंतरिक तर्क अव्यवस्थित हो जाता है और उन टुकड़ों को गिराने लगता है जिन्हें उसे सुरक्षित रखना चाहिए था।
यह शोध पत्र कुछ बड़ी खोजें करता है। सबसे पहले, वे गणितीय रूप से सिद्ध करते हैं कि एक आदर्श प्रकार का कंप्यूटर सीखने वाला, जिसे "सटीक बेयसियन लर्नर" (exact Bayesian learner) कहा जाता है, कभी नहीं भूलता है। यह एक ऐसे छात्र की तरह है जो बिना अपने पुराने नोट्स का एक भी पन्ना मिटाए, कितनी भी नई जानकारी को आत्मसात कर सकता है। हालाँकि, यह पत्र यह भी दिखाता है कि आज हम वास्तवв में जो कंप्यूटर उपयोग करते हैं (जैसे कि वे जो आपके पसंदीदा ऐप्स को संचालित करते हैं), वे पूर्ण नहीं हैं। वे भूल जाते हैं, और ऐसा तब भी होता है जब वे ऐसी चीज़ें सीख रहे होते हैं जो उनके पहले से ज्ञात ज्ञान के बहुत समान होती हैं। लेखकों ने प्रयोगों के माध्यम से दिखाया कि डीप लर्निंग में भूलना हर जगह मौजूद है, साधारण गणित की समस्याओं से लेकर जटिल वीडियो गेम खेलने तक।
दिलचस्प बात यह है कि शोध पाता है कि भूलना हमेशा बुरा नहीं होता है। वास्तव में, हमारे द्वारा बनाए गए कंप्यूटरों के लिए, थोड़ा सा भूलना मददगार हो सकता है। यह एक माली द्वारा झाड़ी की छंटाई करने जैसा है: यदि आप कुछ पुरानी शाखाओं को नहीं काटते हैं, तो पौधा बहुत घना हो जाता है और नई शाखाएं कुशलतापूर्वक नहीं उगा पाता। लेखकों ने पाया कि एक "स्वीट स्पॉट" (sweet spot) है जहाँ एक कंप्यूटर नई चीज़ें तेज़ी से सीखने के लिए पर्याप्त मात्रा में भूलता है, लेकिन इतना भी नहीं कि वह अपने पुराने कौशल खो दे। यदि वह बहुत कम भूलता है, तो वह अटक जाता है; यदि वह बहुत अधिक भूलता है, तो वह अस्थिर हो जाता है।
यह पत्र एक अजीब घटना की व्याख्या भी करता है जहाँ एआई मॉडल तब खराब हो जाते हैं जब उन्हें उस डेटा पर प्रशिक्षित किया जाता है जिसे उन्होंने स्वयं बनाया है (जैसे कि एक ड्राइंग प्रोग्राम जो अपने ही चित्रों से सीखने की कोशिश करता है)। लेखक इसे सरल रूप में समझाते हैं: जब एक मॉडल अपने स्वयं के आउटपुट पर प्रशिक्षण लेता है, तो वह अनिवार्य रूप से वास्तविकता के एक ऐसे संस्करण पर अभ्यास कर रहा होता है जो पहले से ही थोड़ा "भूला हुआ" या विकृत है। जब तक वह इससे सीखना शुरू करता है, वह लगातार और अधिक भूलता जा रहा होता है, जिससे गुणवत्ता में तीव्र गिरावट आती है।
संक्षेप में, यह शोध हमें भूलने को मापने के लिए एक नया, सार्वभौमिक पैमाना देता है। यह दिखाता है कि भूलना सीखने के काम करने के तरीके का एक स्वाभाविक हिस्सा है, विशेष रूप से उन अपूर्ण मशीनों के लिए जिन्हें हम आज बनाते हैं। यह केवल एक बग नहीं है जिसे ठीक करने की आवश्यकता है; यह एक विशेषता (feature) है जिसे प्रबंधित करने की आवश्यकता है। यह समझकर कि भूलना वास्तव में "स्व-असंगति" का नुकसान है, वैज्ञानिक अब बेहतर एल्गोरिदम डिज़ाइन कर सकते हैं जो जानते हैं कि कब पुरानी यादों को थामे रखना है और कब नई चीज़ों के लिए जगह बनाने के लिए उन्हें जाने देना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।