Continual Learning in Transition
यह शोध पत्र निरंतर शिक्षण (continual learning) में पारंपरिक पैरामीटर-केंद्रित अनुकूलन से एक व्यापक प्रणाली-स्तरीय विकास की ओर प्रतिमान बदलाव (paradigm shift) को चित्रित करने के लिए एक त्रि-अक्षीय ढांचे (कब, कैसे और कहाँ) का प्रस्ताव करता है, जिसमें ऑन-पॉलिसी तंत्र, टेस्ट-टाइम ट्रेनिंग और बाहरी संरचनात्मक घटक शामिल हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया के हर वीडियो गेम खेलना सिखा रहे हैं। पुराने दिनों में, वैज्ञानिकों को लगता था कि यह करने का एकमात्र तरीका रोबोट के सिर के अंदर एक एकल, अत्यंत बुद्धिमान मस्तिष्क बनाना है। वे इसे एक लेवल खिलाते, इसे सीखने देते, फिर अगला लेवल खिलाते। लेकिन यहाँ एक पेंच है: हर बार जब रोबोट एक नया गेम सीखता, तो ऐसा लगता जैसे वह पुराने गेम्स खेलना भूल रहा है। यह एक डायरी में नया अध्याय लिखने जैसा था, लेकिन पिछले पन्नों की स्याही पिछले पन्नों को धुंधला कर रही थी और गायब हो रही थी। इस समस्या को, जिसे "कैटैस्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) के रूप में जाना जाता है, "कंटीन्यूअल लर्निंग" (सतत शिक्षण) नामक क्षेत्र के लिए एक बड़ी सिरदर्दी माना जाता था।
लंबे समय तक, समाधान सरल लग रहा था: बस रोबोट के आंतरिक मस्तिष्क (इसके "पैरामीटर्स") को नए गेम के अनुकूल बनाने के लिए थोड़ा बहुत बदल दें ताकि पुराने गेम मिट न जाएं। लेकिन अब, हम विशाल, सुपर-पावरफुल AI मॉडल्स के युग में हैं जो चैट कर सकते हैं, कोड लिख सकते हैं और जटिल पहेलियाँ सुलझा सकते हैं। ये मॉडल इतने बड़े और जटिल हैं कि पुराना "बस मस्तिष्क को ट्यून करने" वाला दृष्टिकोण काम नहीं कर रहा है। हमें सोचने के एक नए तरीके की आवश्यकता है। केवल यह पूछने के बजाय कि मस्तिष्क को कैसे अपडेट किया जाए, हमें यह पूछने की आवश्यकता है: रोबोट को कब सीखना चाहिए? उसे अपना ज्ञान कहाँ रखना चाहिए? और उसे खुद को कैसे अपडेट करना चाहिए?
यह शोध पत्र, जिसका शीर्षक "कंटीन्यूअल लर्निंग इन ट्रांजिशन" (परिवर्तन के दौर में सतत शिक्षण) है, इस नए क्षेत्र के लिए एक मानचित्र की तरह है। लेखक तर्क देते हैं कि हम उस विचार से दूर जा रहे हैं जहाँ रोबोट का मस्तिष्क ही एकमात्र स्थान है जहाँ सीखना होता है। वे सुझाव देते हैं कि AI को वास्तव में एक "जनरल इंटेलिजेंस" बनने के लिए—कुछ ऐसा जो मानव की तरह बदलती दुनिया के अनुकूल हो सके—हमें पूरे सिस्टम को देखने की आवश्यकता है। यह केवल मस्तिष्क के बारे में नहीं है; यह रोबोट की नोटबुक, उसके टूलबॉक्स और उसकी नियम पुस्तिका के बारे में भी है। यह शोध पत्र बहुत सारे नए शोधों का सर्वेक्षण करता है ताकि यह दिखाया जा सके कि सीखना अब केवल एक एकल घटना नहीं है जो रोबोट के काम पर जाने से पहले होती है। इसके बजाय, सीखना एक निरंतर यात्रा है जो काम पर तैनात होने से पहले, उसके दौरान और उसके बाद भी होती है, और इसमें न केवल उसका मस्तिष्क, बल्कि उसकी बाहरी मेमोरी और टूल्स का भी उपयोग होता है।
तीन बड़े प्रश्न: कब, कहाँ और कैसे
लेखक इन सभी अलग-अलग तरीकों को देखने के लिए तीन सरल प्रश्नों का प्रस्ताव देते हैं। इसे रोबोट कैसे सीखते हैं, इसकी एक विशाल लाइब्रेरी को व्यवस्थित करने जैसा समझें।
1. कब: सीखने की समयरेखा (The Timeline of Learning)
पुराने दिनों में, सीखना एक बड़े ब्लॉक में होता था: आपने मॉडल को प्रशिक्षित किया, फिर आप उसे काम पर भेज देते थे, और बस हो गया। मॉडल स्थिर (frozen) रहता था।
- नया दृष्टिकोण: सीखना अब एक स्प्रिंट (दौड़) नहीं, बल्कि एक मैराथन है। यह तीन अलग-अलग चरणों में होता है:
- प्री-ट्रेनिंग (Pre-training): रोबोट डेटा के एक विशाल प्रवाह से सीख रहा है, जैसे किसी विशिष्ट कार्य को शुरू करने से पहले पूरा इंटरनेट पढ़ लेना।
- पोस्ट-ट्रेनिंग (Post-training): प्रारंभिक सीखने के बाद, रोबोट को फाइन-ट्यून किया जाता है। यह निर्देशों का पालन करना, विनम्र होना या विशिष्ट पहेलियों को हल करना सीखता है। यह एक विशेष प्रशिक्षण शिविर की तरह है।
- इन्फरेंस-टाइम (Inference-time - "अभी इसी वक्त"): यह एक बड़ा बदलाव है। रोबोट काम करते समय सीखता है। यदि वह किसी नई स्थिति का सामना करता है या उसे फीडबैक मिलता है, तो वह तुरंत खुद को अपडेट कर सकता है। यह एक ऐसे छात्र की तरह है जो न केवल परीक्षा से पहले पढ़ाई करता है, बल्कि परीक्षा देते समय भी अपने उत्तरों को लगातार सीखता और समायोजित करता रहता है।
2. कहाँ: ज्ञान का भंडारण (The Storage of Knowledge)
पारंपरिक रूप से, सारा ज्ञान रोबोट के मस्तिष्क (इसके आंतरिक पैरामीटर्स) के भीतर संग्रहीत था। यदि आप एक नया तथ्य जोड़ना चाहते थे, तो आपको मस्तिष्क को फिर से लिखना पड़ता था।
- नया दृष्टिकोण: मस्तिष्क अब एकमात्र स्टोरेज यूनिट नहीं है। लेखक "हार्नेस" (Harness) का विचार पेश करते हैं, जो वह सब कुछ है जो मस्तिष्क के बाहर है और जिसका रोबोट उपयोग करता है।
- मेमोरी (स्मृति): कल्पना करें कि रोबोट एक नोटबुक लेकर चलता है। वह अपने मस्तिष्क को बदले बिना यहाँ तथ्य, बातचीत या अनुभव लिख सकता है। वह बाद में इस नोटबुक को याद रखने के लिए पढ़ सकता है।
- स्किल्स (कौशल): इन्हें टूलबॉक्स में मौजूद औजारों के रूप में सोचें। मस्तिष्क में नया कौशल हार्ड-कोड करने के बजाय, रोबोट एक नया टूल (जैसे कोड जनरेटर या कैलकुलेटर) उठा सकता है और उसका उपयोग कर सकता है। वह काम करते-करते नए उपकरण भी बना सकता है।
- प्रोटोकॉल्स (नियम/प्रक्रियाएं): ये वे नियम पुस्तिकाएं या स्क्रिप्ट हैं जिनका रोबोट पालन करता है। रोबोट के मस्तिष्क में गेम के नियमों को हार्ड-कोड करने के बजाय, नियम कागज के एक टुकड़े पर लिखे जा सकते हैं जिसे रोबोट पढ़ और अपडेट कर सकता है।
- बदलाव: पेपर सुझाव देता है कि क्षमता अब फैल रही है। यह अब केवल मस्तिष्क में नहीं है; यह मस्तिष्क, नोटबुक, टूलबॉक्स और नियम पुस्तिका में वितरित है।
3. कैसे: अपडेट करने की विधि (The Method of Updating)
रोबोट वास्तव में कैसे सीखता है?
- पुराना तरीका (Off-Policy): रोबंब एक स्थिर डेटासेट से सीखता है, जैसे किसी और द्वारा लिखी गई पाठ्यपुस्तक। वह पुराने उदाहरणों को देखता है और उन्हें फिट करने की कोशिश करता है। इससे अक्सर भूलने की समस्या होती है क्योंकि नया डेटा पुराने डेटा से टकरा सकता है।
- नया तरीका (On-Policy): रोबोट अपने स्वयं के कार्यों से सीखता है। वह कुछ कोशिश करता है, देखता है कि क्या होता है, और उस विशिष्ट अनुभव से सीखता है। यह साइकिल चलाने की तरह है—मैनुअल पढ़ने के बजाय वास्तव में साइकिल चलाकर और गिरकर सीखना। यह रोबोट को सुसंगत रहने और कम भूलने में मदद करता है।
- ग्रेडिएंट्स से परे (Beyond Gradients): ऐसी विधियाँ भी हैं जो सीखने के मानक "गणितीय" तरीके (बैकप्रोपैगेशन) का उपयोग नहीं करती हैं।
- मॉडल मर्जिंग (Model Merging): कल्पना करें कि दो अलग-अलग प्रशिक्षित मस्तिष्कों को बिना पुन: प्रशिक्षण के एक सुपर-ब्रेन में गणितीय रूप से मिला दिया गया है।
- प्रॉम्प्ट इवोल्यूशन (Prompt Evolution): मस्तिष्क को बदलने के बजाय, आप उसे दिए जाने वाले निर्देशों (प्रॉम्प्ट्स) को बदलते हैं। रोबोट आपसे बात करने के तरीके को विकसित करके सीखता है।
- ज़ीरोथ-ऑर्डर (Zeroth-Order): यह एक फैंसी तरीका है कहने का कि रोबोट बिना अपनी त्रुटियों के सटीक गणितीय ढलान (slope) की गणना किए, अनुमान लगाकर और जांचकर सीखता है।
यह क्यों मायने रखता है: बड़ी तस्वीर (The Big Picture)
लेखक सुझाव देते हैं कि हम एक निर्णायक मोड़ पर हैं। हम सोचते थे कि "कैटैस्ट्रोफिक फॉरगेटिंग" को हल करना केवल मस्तिष्क को अपडेट करने के लिए एक बेहतर गणितीय ट्रिक खोजने के बारे में था। लेकिन अब, वे तर्क देते हैं, समाधान बहुत बड़ा है। यह सिस्टम-लेवल एडैप्टेशन (तंत्र-स्तरीय अनुकूलन) के बारे में है।
वे बताते हैं कि केवल रोबोट की "नोटबुक" (मेमोरी) को बड़ा बनाना या उसे अधिक "टूल्स" (स्किल्स) देना पर्याप्त नहीं है यदि रोबोट स्वयं उन्हें प्रबंधित नहीं कर सकता। अभी, मनुष्यों को अक्सर इन नोटबुक्स और टूल्स को मैन्युअल रूप से अपडेट करना पड़ता है। पेपर सुझाव देता है कि AI को "आर्टिफिशियल जनरल इंटेलिजेंस" (AGI) तक पहुँचने के लिए—एक ऐसा स्तर जहाँ वह मानव की तरह वास्तव में अनुकूलित हो सके—रोबरोट को अपनी मेमोरी, स्किल्स और नियमों को स्वचालित रूप से प्रबंधित करने में सक्षम होना चाहिए।
पेपर कुछ चुनौतियों पर भी प्रकाश डालता है। उदाहरण के लिए, यदि कोई रोबोट अपनी "नोटबुक" (कॉन्टेक्स्ट विंडो) पर बहुत अधिक निर्भर करता है, तो नोटबुक बहुत भर जाने पर वह चीजें भूल सकता है। यदि वह बहुत अधिक अपने "मस्तिष्क" पर निर्भर करता है, तो वह पुराने को सीखने के दौरान नए को भूल सकता है। आदर्श भविष्य एक ऐसा सिस्टम है जहाँ रोबोट जानता है कि अपनी नोटबुक में कब लिखना है, नया टूल कब बनाना है, और अपने मस्तिष्क को स्थायी रूप से कब अपडेट करना है।
आगे क्या है?
लेखक सतर्क लेकिन आशावादी हैं। वे यह दावा नहीं करते कि हमने सब कुछ हल कर लिया है। वास्तव में, वे बताते हैं कि इनमें से कई नई विधियाँ अभी अपने शुरुआती चरणों में हैं। हमारे पास अभी तक एक ऐसा पूर्ण सिस्टम नहीं है जो अपने मस्तिष्क, नोटबुक और टूल्स के बीच ज्ञान को सहजता से स्थानांतरित कर सके।
वे सुझाव देते हैं कि AI अनुसंधान का भविष्य केवल मस्तिष्क को बड़ा बनाने के बारे में नहीं होना चाहिए। इसके बजाय, हमें यह पता लगाने की आवश्यकता है कि इन सभी विभिन्न हिस्सों को कैसे समन्वित किया जाए। यह एक शहर बनाने जैसा है: आप केवल एक बड़ा घर (मस्तिष्क) नहीं बनाते; आपको सड़कें, पुस्तकालय और बिजली संयंत्र (हार्नेस) बनाने की आवश्यकता होती है और यह समझना होता है कि वे सभी एक साथ कैसे काम करते हैं।
संक्षेप में, यह पेपर हमें बताता है कि "एक मस्तिष्क, एक अपडेट" का युग समाप्त हो गया है। सीखने का भविष्य एक गतिशील, बहु-स्तरीय नृत्य है जहाँ AI निरंतर सीखता है, अपने सिस्टम के हर हिस्से का उपयोग करता है—अपने आंतरिक न्यूरॉन्स से लेकर अपने बाहरी टूल्स तक—ताकि वह एक ऐसी दुनिया के अनुकूल हो सके जो कभी बदलना बंद नहीं करती। यह एक टूटी हुई याददाश्त को ठीक करने के बजाय एक जीवित, सांस लेते हुए सिस्टम के निर्माण की ओर बदलाव है जो हर अनुभव के साथ बढ़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।