कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को उसकी आँखों, कानों और आवाज़ के माध्यम से दुनिया को समझना सिखा रहे हैं। यह रोबोट, जो "मल्टीमॉडल" (multimodal) लर्निंग की नींव पर बना है, पहले ही सीख चुका है कि कुत्ते की तस्वीर को "डॉग" शब्द और भौंकने की आवाज़ से कैसे मिलाना है। यह एक साझा मानसिक स्थान (shared mental space) में रहता है जहाँ इसकी विभिन्न इंद्रियाँ पूरी तरह से एक-दूसरे से जुड़ी हुई हैं। लेकिन असली दुनिया रुकती नहीं है; हर दिन नई ध्वनियाँ, नई छवियाँ और नए शब्द आते हैं। "निरंतर सीखने" (continual learning) की चुनौती यह है कि इस रोबोट को पुराने सबक भूल बिना नए सबक सिखाए कैसे सिखाया जाए। यह एक बहुत ही नाजुक संतुलन है: यदि रोबोट बहुत ज़ोर से सीखता है, तो वह बिल्ली को पहचानना भूल सकता है; यदि वह बहुत सावधान रहता है, तो वह नई तरकीबें कभी नहीं सीख पाएगा। वैज्ञानिक इस रोबोट के लिए एक आदर्श "स्वीट स्पॉट" (sweet spot) खोजने की कोशिश कर रहे हैं, लेकिन आमतौर पर, वे केवल एक अंतिम संस्करण (version) तक ही सीमित रह जाते हैं जिसे अतीत को याद रखने और भविष्य को सीखने के बीच एक स्थायी समझौता करना पड़ता है।

यह शोध पत्र, जिसका शीर्षक AlphaWiSE है, ठीक इसी समस्या पर प्रहार करता है। लेखक सुझाव देते हैं कि रोबोट को केवल एक "परफेक्ट" मस्तिष्क चुनने के बजाय, हमें उन दो अलग-अलग मस्तिष्कों को देखना चाहिए जिन्हें उसने प्रशिक्षण के दौरान बनाया है: एक जो पुरानी चीज़ों को याद रखने में माहिर है लेकिन नया सीखने में धीमा है, और दूसरा जो एक तेज़ सीखने वाला है लेकिन थोड़ा विस्मरणीय (forgetful) है। यह पेपर इन दोनों मस्तिष्कों को मिलाने का एक चतुर तरीका प्रस्तावित करता है, उन्हें एक स्मूदी की तरह औसत करके नहीं, बल्कि उनके वायरिंग के विशिष्ट हिस्सों को सावधानीपूर्वक मिलाकर। परिणाम एक नया, सुपर-चार्ज्ड रोबोट है जो पुराने सबक उतनी ही अच्छी तरह याद रखता है जितना कि सतर्क मस्तिष्क, और नए चीज़ों को उतनी ही तेज़ी से सीखता है जितना कि उत्साही मस्तिष्क। उन्होंने इस दृष्टिकोण का परीक्षण एक ऐसे सिस्टम पर किया जो ऑडियो, इमेज और टेक्स्ट को जोड़ता है, और पाया कि यह "मिक्स-एंड-मैच" दृष्टिकोण लगातार सिंगल-ब्रेन वर्ज़न से बेहतर प्रदर्शन करता है, जिससे एक अधिक मजबूत और अनुकूलन योग्य AI बनता है।

समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) का जाल

AI को प्रशिक्षित करना एक छात्र को विभिन्न परीक्षाओं के लिए तैयार करने जैसा समझें। पहले, वे इतिहास पढ़ते हैं। फिर, वे गणित पढ़ते हैं। फिर, विज्ञान। AI की दुनिया में, जब एक मॉडल एक नया विषय सीखता है (जैसे ध्वनियों या छवियों का एक नया सेट), तो वह अक्सर पिछले विषयों को "भूल" जाता है। इसे कैटास्ट्रॉफिक फॉरगेटिंग (catastrophic forgetting) कहा जाता है।

इसे रोकने के लिए, वैज्ञानिकों ने विभिन्न अध्ययन रणनीतियाँ विकसित की हैं। कुछ रणनीतियाँ, जैसे EWC या LwF, उस छात्र की तरह हैं जो असफल होने से डरता है। वे अपने पुराने नोट्स को कसकर पकड़ कर रखते हैं, अपने मस्तिष्क में बहुत छोटे, सावधानीपूर्ण बदलाव करते हैं ताकि वे जो पहले से जानते हैं उसे न खो दें। ये छात्र इतिहास याद रखने में बहुत अच्छे होते हैं, लेकिन उन्हें नए गणितीय सिद्धांतों को तेज़ी से सीखने में संघर्ष करना पड़ सकता है।

अन्य रणनीतियाँ, जैसे मानक फाइन-ट्यूनिंग (fine-tuning), उस छात्र की तरह हैं जो सीधे नए विषय में कूद पड़ता है। वे नए गणित को बहुत तेज़ी से सीखते हैं, लेकिन इस प्रक्रिया में, वे अनजाने में अपने इतिहास के नोट्स मिटा सकते हैं।

समस्या यह है कि वास्तविक दुनिया में, हमें एक ऐसे छात्र की आवश्यकता है जो दोनों में अच्छा हो। लेकिन पारंपरिक तरीके हमें केवल एक ही अंतिम छात्र चुनने के लिए मजबूर करते हैं। हमें या तो "सुरक्षित" वाले को चुनना होगा या "तेज़" वाले को। यदि हम सुरक्षित वाले को चुनते हैं, तो हम नए ज्ञान से चूक जाते हैं। यदि हम तेज़ वाले को चुनते हैं, तो हम अपना अतीत खो देते हैं। यह पेपर तर्क देता है कि यह "एक को चुनो" वाला दृष्टिकोण खेल खेलने का सही तरीका नहीं है।

समाधान: "स्मार्ट ब्लेंडर" (AlphaWiSE)

इस पेपर के लेखक, सार्थक जैन, किरान हू, जेन ज़ु और याओयाओ लिउ ने एक नया विचार निकाला जिसे AlphaWiSE (Adaptive Weight Interpolation) कहा जाता है। एक ही छात्र को चुनने के बजाय, उन्होंने तय किया कि वे "सुरक्षित" छात्र और "तेज़" छात्र दोनों को समय में स्थिर (frozen) रखेंगे। वे उनके मस्तिष्क को एक अव्यवस्थित औसत में नहीं मिलाना चाहते थे; वे प्रत्येक के सर्वोत्तम हिस्सों को लेकर एक नया छात्र बनाना चाहते थे।

कल्पना कीजिए कि आपके पास केक बनाने की दो अलग-अलग रेसिपी हैं। रेसिपी A चॉकलेट फ्लेवर के लिए परफेक्ट है लेकिन सूखी है। रेसिपी B नम (moist) है लेकिन उसमें चॉकलेट की कमी है। दोनों बैटर को आँख बंद करके मिलाने के बजाय, AlphaWiSE एक मास्टर शेफ की तरह काम करता है जो केक को परत दर परत देखता है।

• चॉकलेट चिप्स के लिए (मस्तिष्क के वे हिस्से जो विशिष्ट ध्वनियों को संभालते हैं), शेफ कह सकता है, "आइए रेसिपी A से 90% चॉकलेट लें।"
• नमी (Moisture) के लिए (वे हिस्से जो नए सीखने को संभालते हैं), शेफ कह सकता है, "आइए रेसिपी B से 80% नमी लें।"

यही AlphaWiSE का मूल है: टेन्सर-वाइज इंटरपोलेशन (Tensor-wise interpolation)। AI की भाषा में, "मस्तिष्क" कई अलग-अलग परतों और हिस्सों (जिन्हें टेन्सर कहा जाता है) से बना होता है। AlphaWiSE दोनों मस्तिष्कों को मिलाने के लिए एक सिंगल नॉब का उपयोग नहीं करता है। इसके बजाय, यह मस्तिष्क के हर एक हिस्से के लिए एक छोटा, विशिष्ट "मिक्सिंग नॉब" (coefficient) सीखता है।

यह व्यवहार में इस प्रकार काम करता है:

1. सेटअप: शोधकर्ता दो फ्रीज़्ड मॉडल्स लेते हैं। एक मानक "तेज़ सीखने वाला" (Sequential Fine-tuning) है, और दूसरा एक "सुरक्षित रक्षक" (EWC, LwF, या iCaRL जैसी विधियों के साथ प्रशिक्षित) है।
2. मेमोरी: वे मिक्सिंग प्रक्रिया को सिखाने के लिए केवल 840 उदाहरणों का एक छोटा "मेमोरी बैंक" (ध्वनियों, छवियों और टेक्स्ट का मिश्रण) उपयोग करते हैं। उन्हें इंटरनेट के पूरे इतिहास की आवश्यकता नहीं है, बस एक छोटा सा नमूना चाहिए।
3. लर्निंग: सिस्टम इन 840 उदाहरणों को देखता है और पूछता है, "मस्तिष्क के इस विशिष्ट हिस्से के लिए, हमें सबसे अच्छा परिणाम प्राप्त करने के लिए 'तेज़' मॉडल का कितना हिस्सा और 'सुरक्षित' मॉडल का कितना हिस्सा चाहिए?" यह तब तक अपने मिक्सिंग नॉब्स को एडजस्ट करता है जब तक कि नया संयुक्त मॉडल इन उदाहरणों पर पूरी तरह से परफॉर्म न करने लगे।
4. परिणाम: अंतिम मॉडल एक एकल, एकीकृत मस्तिष्क है। इसका आकार और गति मूल मॉडल्स के समान ही है, इसलिए इसे चलाने में अधिक समय नहीं लगता। लेकिन यह स्मार्ट है क्योंकि इसने अपने दोनों माता-पिता से बेहतरीन गुणों को चुना है।

उन्होंने क्या पाया: एक बेहतर संतुलन

टीम ने इसका परीक्षण AudioCLIP नामक सिस्टम पर किया, जो ऑडियो, इमेज और टेक्स्ट को जोड़ता है। उन्होंने एक ऐसी दुनिया का अनुकरण किया जहाँ AI को समय के साथ ध्वनियों की नई श्रेणियों को सीखना था, एक समय में एक चरण (phase) के रूप में, बिना पुराने डेटा को दोबारा देखे (उन 840 उदाहरणों को छोड़कर)।

परिणाम उत्साहजनक थे। पेपर सुझाव देता है कि AlphaWiSE ने लगातार सिंगल-मॉडल रणनीतियों को पछाड़ दिया।

• ऑडियो-टू-टेक्स्ट: तेज़ सीखने वाले को "EWC" (सुरक्षित) मॉडल के साथ मिलाने पर, AlphaWiSE ने सटीकता को 0.2900 से बढ़ाकर 0.3037 कर दिया (R@1 द्वारा मापा गया, जो रिट्रीवल के लिए एक मानक स्कोर है)।
• इमेज-टू-टेक्स्ट: यहाँ सुधार और भी स्पष्ट थे, जहाँ सर्वश्रेष्ठ AlphaWiSE पेयरिंग 0.4225 तक पहुँच गई, जो व्यक्तिगत बेसलाइन्स से काफी अधिक है।
• इमेज-टू-ऑडियो: इस दिशा में EWC अकेले के 0.1988 से AlphaWiSE के साथ 0.2309 तक की छलांग देखी गई।

शोधकर्ताओं ने पाया कि "सर्वश्रेष्ठ" मिश्रण इस बात पर निर्भर करता था कि रोबोट क्या करने की कोशिश कर रहा है। कभी-कभी, "सुरक्षित" मॉडल का मस्तिष्क के ऑडियो भागों में अधिक योगदान होता था, जबकि "तेज़" मॉडल का योगदान इमेज भागों में अधिक होता था। यह साबित करता है कि मस्तिष्क के विभिन्न हिस्से अलग-अलग प्रकार की लर्निंग से लाभान्वित होते हैं।

यह क्यों महत्वपूर्ण है

पेपर का तर्क है कि हमें विभिन्न प्रशिक्षण विधियों को प्रतिस्पर्धियों के रूप में नहीं देखना चाहिए जहाँ केवल एक ही जीत सकता है। इसके बजाय, वे रसोई में विभिन्न सामग्रियों की तरह हैं। "सुरक्षित" विधि साझा स्थान की ज्यामिति (इमेज और टेक्स्ट के बीच संबंधों को स्थिर रखना) को संरक्षित करती है, जबकि "तेज़" विधि नए डेटा के अनुकूल होती है। AlphaWiSE का उपयोग करके, हम इन सामग्रियों को एक अंतिम व्यंजन में मिला सकते हैं जो किसी भी एकल सामग्री से बेहतर है।

शोधकर्ताओं ने यह भी खोजा कि मिक्सिंग कैसे हुई। उन्होंने पाया कि "मिक्सिंग नॉब्स" रैंडम नहीं थे। सिस्टम ने मुख्य संरचनात्मक भार (structural weights - जो भारी काम करते हैं) को "सुरक्षित" मॉडल से रखने की प्रवृत्ति दिखाई, लेकिन इसने नॉर्मलाइजेशन स्केल्स और बायस (fine-tuning dials) के लिए "तेज़" मॉडल से बहुत अधिक उधार लिया। यह सुझाव देता है कि "सुरक्षित" मॉडल एक ठोस आधार प्रदान करता है, जबकि "तेज़" मॉडल नए डेटा के लिए आवश्यक सूक्ष्म समायोजन (fine-tuned adjustments) प्रदान करता है।

निष्कर्ष

AlphaWiSE रोबोट को शून्य से प्रशिक्षित करने का कोई नया तरीका नहीं बनाता है। इसके बजाय, यह एक चतुर पोस्ट-ट्रेनिंग ट्रिक पेश करता है: रोबोट के दो अलग-अलग वर्ज़न लें जिन्हें आपने पहले ही प्रशिक्षित किया है, उन्हें फ्रीज़ करें, और उन्हें आपस में मिलाने का सटीक तरीका सीखने के लिए थोड़े से डेटा का उपयोग करें। परिणाम एक ऐसा मॉडल है जो मूल मॉडल्स की तरह ही तेज़ चलता है लेकिन अतीत को याद रखने और भविष्य को सीखने में कहीं अधिक बेहतर है।

पेपर सुझाव देता है कि यह दृष्टिकोण उन AI सिस्टम बनाने के लिए एक शक्तिशाली उपकरण हो सकता है जिन्हें बदलती दुनिया के अनुकूल निरंतर ढलने की आवश्यकता है, चाहे वह नई ध्वनियों को पहचानना हो, नई स्लैंग (slang) को समझना हो, या नई वस्तुओं की पहचान करना हो, और वह अपने द्वारा पहले से प्राप्त ज्ञान को खोए बिना। यह "भूलने की समस्या" को "मिक्सिंग के अवसर" में बदल देता है।