कल्पना कीजिए कि आप एक रोबोट को जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं। आप बिल्लियों से शुरू करते हैं, फिर कुत्तों, फिर पक्षियों पर आते हैं। पेचीदा हिस्सा यह है कि जैसे-जैसे रोबोट पक्षियों के बारे में सीखता है, वह बिल्ली कैसी दिखती है, यह भूलने लगता है। यह आर्टिफिशियल इंटेलिजेंस की दुनिया में एक प्रसिद्ध सिरदर्द है जिसे "कैटैस्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहा जाता है। इसे ठीक करने के लिए, वैज्ञानिकों ने एक चतुर तरकीब विकसित की है जिसे "प्रॉम्प्ट-बेस्ड लर्निंग" कहा जाता है। रोबोट के पूरे दिमाग को फिर से प्रशिक्षित करने के बजाय (जो बहुत विशाल और महंगा है), वे उसे एक छोटा सा, चिपचिपा नोट—एक "प्रॉम्प्ट" (prompt)—देते हैं जो उसे वर्तमान कार्य के बारे में सोचने का तरीका बताता है। इस तरह, रोबोट अपना मूल मस्तिष्क सुरक्षित और स्थिर रखता है, और केवल नए जानवरों के अनुकूल होने के लिए उन चिपचिपे नोट्स को बदलता रहता है।

हालाँकि, इसमें एक पेंच है: बड़े दिमाग आमतौर पर चीजों को पहचानने में बेहतर होते हैं। एक विशाल रोबोट दिमाग (एक बड़ा मॉडल) एक छोटे, कुशल वाले की तुलना में बहुत अधिक स्मार्ट होता है। लेकिन विशाल दिमाग धीमे होते हैं और रोजमर्रा के गैजेट्स के लिए बहुत अधिक ऊर्जा का उपयोग करते हैं। सपना यह है कि विशाल दिमाग से ज्ञान लेकर उसे छोटे, तेज़ दिमाग में समाहित कर दिया जाए ताकि छोटा वाला भी उतना ही स्मार्ट बन सके, बिना भारी वजन के। इस प्रक्रिया को "नॉलेज डिस्टिलेशन" (ज्ञान आसवन) कहा जाता है। आमतौर पर, आप यह आसानी से कर सकते हैं यदि आपके पास अध्ययन करने के लिए पुरानी तस्वीरों का एक बड़ा ढेर हो। लेकिन निरंतर सीखने (continual learning) की वास्तविक दुनिया में, आपको पुरानी तस्वीरें देखने को नहीं मिलतीं; आपको केवल नई जानवरों की तस्वीरें मिलती हैं, जैसे-जैसे वे एक-एक करके आती हैं। यह एक अनूठा पहेली जैसा है: आप एक बड़े दिमाग से एक छोटे रोबोट को चरण-दर-चरण कैसे सिखा सकते हैं, बिना यह सुनिश्चित किए कि छोटा रोबोट बड़े वाले के सबक को हर बार नया जानवर आने पर भूल न जाए?

यह ठीक वही पहेली है जिसे टेक्सास विश्वविद्यालय de डलास के शोधकर्ताओं द्वारा लिखे गए एक नए शोध पत्र में संबोधित किया गया है। उन्होंने पाया कि बड़े दिमाग से छोटे दिमाग में ज्ञान निचोड़ने के सामान्य तरीके इस विशिष्ट "चरण-दर-चरण" परिदृश्य में विफल हो जाते हैं। उन्होंने पाया कि छोटा रोबोट शिक्षक के पाठों को भूल जाता है क्योंकि जो "प्रॉम्प्ट्स" (चिपचिपे नोट) वह सीखने के लिए उपयोग करता है, उन्हें लगातार नए नोट्स से बदल दिया जाता है। इसे हल करने के लिए, उन्होंने एक नया तरीका निकाला जिसे नॉलेज डिस्टिलेशन बेस्ड ऑन प्रॉम्प्ट्स (KDP) कहा जाता है। बदलते हुए नोट्सों पर निर्भर रहने के बजाय, उन्होंने एक विशेष, स्थायी "मास्टर नोट" जोड़ा जो हमेशा रोबोट के साथ रहता है, जो शिक्षक के ज्ञान के लिए एक समर्पित सेतु (ब्रिज) के रूप में कार्य करता है। उनके प्रयोगों से पता चलता है कि यह नया तरीका छोटे रोबोट को बहुत बेहतर तरीके से सीखने में मदद करता है और उसे बहुत कम भूलने देता है, जिससे यह प्रभावी रूप से उसे एक विशाल दिमाग जितना स्मार्ट और एक छोटे दिमाग की गति वाला बना देता है।

समस्या: "स्वैपिंग स्टिकी नोट" ग्लिच (बदलते चिपचिपे नोट की खराबी)

यह समझने के लिए कि यह कठिन क्यों है, आइए देखें कि ये "प्रॉम्प्ट-बेस्ड" रोबोट कैसे काम करते हैं। कल्पना कीजिए कि रोबोट के पास चिपचिपे नोट्स (प्रॉम्प्ट्स) का एक पुस्तकालय है। जब वह एक बिल्ली देखता है, तो वह एक "बिल्ली नोट" चुनता है। जब वह एक कुत्ता देखता है, तो वह "कुत्ता नोट" चुनता है। यह पुरानी चीजों को भूले बिना नई चीजें सीखने के लिए बहुत अच्छा है क्योंकि रोबोट बस नोट बदल देता है।

लेकिन यहीं पर "डिस्टिलेशन" (बड़े दिमाग से सीखना) विफल हो जाता है। शोधकर्ताओं ने पाया कि जब उन्होंने बड़े शिक्षक का उपयोग करके छोटे रोबोट को सिखाने की कोशिश की, तो छोटे रोबोट ने बड़े शिक्षक से सीखने के लिए "बिल्ली नोट" चुना। फिर, जब एक नया कार्य (जैसे पक्षी) आया, तो उसने "बिल्ली नोट" को फेंक दिया और "पक्षी नोट" उठा लिया। समस्या क्या है? बड़े शिक्षक ने बिल्लियों के बारे में जो सबक सिखाए थे, वे उस "बिल्ली नोट" के अंदर फंसे हुए थे। एक बार जब नोट बदल दिया गया, तो छोटा रोबोट बिल्लियों के बारे में शिक्षक द्वारा सिखाए गए सब कुछ भूल गया। शोधकर्ता इसे "डिस्टिलेशन इंफॉर्मेशन फॉरगेटिंग" कहते हैं। यह एक भाषा सीखने जैसा है, लेकिन हर बार जब आप एक नया अध्याय शुरू करते हैं, तो आप उस नोटबुक को फेंक देते हैं जहाँ शिक्षक ने आपका होमवर्क लिखा था।

शोधकर्ताओं ने सामान्य तरीकों को आज़माया, जैसे शिक्षक के अंतिम उत्तरों (logits) या शिक्षक के मध्यवर्ती विचारों (features) को देखना, लेकिन वे अच्छी तरह से काम नहीं आए क्योंकि "नोट-स्वैपिंग" तंत्र हर बार स्लेट को साफ कर देता था। उन्होंने रोबोट के मस्तिष्क के एक हिस्से को अनफ्रीज करने का भी परीक्षण किया ताकि वह स्थायी रूप से सीख सके, लेकिन इससे रोबोट अपने पुराने कार्यों को और भी तेज़ी से भूल गया, जिससे पूरा उद्देश्य ही विफल हो गया।

समाधान: "फॉरएवर ब्रिज" (स्थायी सेतु)

इसे ठीक करने के लिए, टीम ने एक नए प्रकार का नोट पेश किया जिसे KD प्रॉम्प्ट (नॉलेज डिस्टिलेशन प्रॉम्प्ट) कहा जाता है। नियमित नोट्स के विपरीत, जो हर नए जानवर के लिए बदले जाते हैं, ये KD प्रॉम्प्ट्स विशेष हैं। ये ग्लोबली एक्सेसिबल (वैश्विक स्तर पर सुलभ) हैं, जिसका अर्थ है कि वे रोबोट के साथ रहते हैं चाहे वह कोई भी कार्य कर रहा हो।

इसे इस तरह सोचें:

• नियमित प्रॉम्प्ट्स: ये अस्थायी फ्लैशकार्ड की तरह हैं। आप बिल्लियों के लिए "बिल्ली फ्लैशकार्ड" का उपयोग करते हैं, फिर उसे फेंक देते हैं और कुत्तों के लिए "कुत्ता फ्लैशकार्ड" लेते हैं।
• KD प्रॉम्प्ट्स: ये रोबोट की दीवार पर लगे एक स्थायी, मिटाया न जा सकने वाला व्हाइटबोर्ड की तरह हैं। आप चाहे किसी भी जानवर को देख रहे हों, रोबोट हमेशा इस व्हाइटबोर्ड पर शिक्षक के सबक लिख सकता है।

इन स्थायी KD प्रॉम्प्ट्स को रोबोट के मस्तिष्क में डालने से, छोटे मॉडल के पास शिक्षक के ज्ञान को संग्रहीत करने के लिए एक समर्पित स्थान होता है जो कभी फेंका नहीं जाता है। उन्होंने एक विशेष "KD क्लासिफायर" (ग्रेडिंग के लिए दूसरा मस्तिष्क) भी जोड़ा जो विशेष रूप से यह जाँचता है कि क्या रोबोट शिक्षक की सही नकल कर रहा है, जो रोबोट के मुख्य कार्य (जानवरों को पहचानना) से अलग है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस विचार का परीक्षण दो प्रसिद्ध इमेज डेटा सेटों पर किया: CIFAR-100 (100 प्रकार की छोटी छवियां) और ImageNet-R (वस्तुओं के 100 प्रकार के कलात्मक चित्रण)। उन्होंने एक परिदृश्य बनाया जहाँ रोबोट को एक के बाद एक 10 कार्य सीखने थे, जिनमें से प्रत्येक में 10 वर्ग (classes) थे।

उन्होंने अपने नए KDP तरीके की तुलना पुराने तरीकों जैसे मानक नॉलेज डिस्टिलेशन और फीचर डिस्टिलेशन से की। परिणाम स्पष्ट थे:

• पुराने तरीके: मानक डिस्टिलेशन का उपयोग करते समय, छोटे रोबोट की सटीकता केवल थोड़ी सी बढ़ी, और वास्तव में इसने बिना किसी मदद के तुलना में पिछले कार्यों को अधिक भुला दिया। उदाहरण के लिए, ImageNet-R डेटासेट पर, एक मानक विधि जिसे "KD" कहा जाता है, ने 69.91% की औसत सटीकता और 7.64% की भूलने की दर (forgetting rate) प्राप्त की।
• नया तरीका (KDP): अपने नए "फॉरएवर ब्रिज" दृष्टिकोण के साथ, छोटा रोबोट काफी स्मार्ट हो गया और बहुत कम भूलने लगा। उसी डेटासेट का उपयोग करते हुए, KDP पद्धति ने औसत सटीकता को बढ़ाकर 71.92% कर दिया और भूलने की दर को घटाकर केवल 5.61% कर दिया।

जब उन्होंने इसे एक और भी बड़े शिक्षक (एक "ViT-Large" मॉडल) द्वारा एक मध्यम आकार के छात्र ("ViT-Base") को पढ़ाने के साथ टेस्ट किया, तो अंतर और भी बढ़ गया। KDP पद्धति ने 78.62% की औसत सटीकता हासिल की और भूलने की दर को 3.46% तक कम कर दिया, जो उनके द्वारा आजमाए गए अन्य सभी तरीकों से बेहतर था।

यह क्यों महत्वपूर्ण है

शोध पत्र सुझाव देता है कि यह केवल एक छोटा सा सुधार नहीं है; यह एक विशिष्ट प्रकार की सीखने की समस्या के लिए एक मौलिक समाधान है। "नया कार्य सीखने" के नोट्स को "शिक्षक से सीखने" के नोट्स से अलग करके, उन्होंने भूलने की समस्या को हल कर दिया जो पिछले प्रयासों में बाधा बनी हुई थी।

शोधकर्ता यह भी नोट करते हैं कि इसकी एक लागत है: आपको बड़े शिक्षक और छोटे छात्र दोनों को एक साथ प्रशिक्षित करना होगा, जिसमें अधिक समय और कंप्यूटर मेमोरी लगती है। हालाँकि, एक बार प्रशिक्षण पूरा हो जाने के बाद, छोटा छात्र मॉडल जाने के लिए तैयार है। यह उन उपकरणों पर चल सकता है जिन्हें तेज़ और कुशल होने की आवश्यकता है, फिर भी इसमें एक बहुत बड़े मॉडल की बुद्धिमत्ता होती है।

संक्षेप में, यह शोध पत्र दिखाता है कि यदि आप चाहते हैं कि एक छोटा, तेज़ AI बिना भूले निरंतर सीखता रहे, तो आप केवल शिक्षक के दिमाग को कॉपी-पेस्ट नहीं कर सकते। आपको छात्र को शिक्षक के सबक सुरक्षित रखने के लिए एक स्थायी, समर्पित स्थान देना होगा, चाहे वह आगे जो भी नया अनुभव करे।