Regularizing modality contribution drift in multimodal continual learning
यह शोध पत्र "मोडैलिटी कॉन्ट्रिब्यूशन ड्रिफ्ट" (MCD) को मल्टीमॉडल कॉन्टिनुअल लर्निंग में एक महत्वपूर्ण समस्या के रूप में पहचानता और परिमाणित करता है जहाँ कार्यों के बीच मोडैलिटीज का सापेक्ष महत्व बदल जाता है, और एक नवीन रेगुलराइजेशन फ्रेमवर्क (CMCDR) प्रस्तावित करता है जिसमें मोडैलिटी कॉन्ट्रिब्यूशन संरचनाओं को संरक्षित करने और फॉरगेटिंग को कम करने के लिए रिप्ले-आधारित और रिप्ले-मुक्त वेरिएंट दोनों शामिल हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखा रहे हैं। आप उसे केवल तस्वीरें नहीं दिखाते; आप उसे एक पूर्ण संवेदी अनुभव देते हैं: एक कुत्ते के भौंकने का वीडियो, एक सायरन की रिकॉर्डिंग, या एक विवरण के साथ सूर्यास्त की फोटो। इसे मल्टीमॉडल लर्निंग (multimodal learning) कहा जाता है। रोबोट विभिन्न "इंद्रियों" (जैसे दृष्टि और ध्वनि) को मिलाकर स्मार्ट निर्णय लेना सीखता है। लेकिन पेचीदा बात यह है कि दुनिया लगातार बदल रही है। कुत्तों के नए प्रकार, नई आवाजें, नए प्रश्न हर दिन सामने आते हैं। यह कंटीन्यूअल लर्निंग (continual learning) है। रोबोट को पुरानी चीजों को भूले बिना नई चीजें सीखते रहना होगा।
इसे एक छात्र की तरह समझें जो परीक्षाओं की एक श्रृंखला दे रहा है। पहले, वे जानवरों को पहचानना सीखते हैं। फिर, वे वाहनों को पहचानना सीखते हैं। एक स्मार्ट छात्र को ट्रक के बारे में अध्ययन करने के कारण बिल्ली को पहचानने का तरीका नहीं भूलना चाहिए। अतीत में, वैज्ञानिकों ने यह सुनिश्चित करके इसे हल करने का प्रयास किया कि रोबोट का "मस्तिष्क" (उसका आंतरिक प्रतिनिधित्व) सुसंगत बना रहे। वे चाहते थे कि रोबोट एक बिल्ली और एक ट्रक को इस तरह देखे कि चीजें अस्त-व्यस्त न हों। लेकिन यह शोध पत्र सुझाव देता है कि रोबोट के आंतरिक मानचित्र (internal map) को स्थिर रखना पर्याप्त नहीं है। असली समस्या यह है कि रोबोट उस मानचित्र का उपयोग अंतिम निर्णय लेने के लिए कैसे करता है। क्या वह मुख्य रूप से जो वह देखता है उस पर निर्भर है? या वह अधिक सुनता है? यदि रोबोट एक नया कार्य सीखता है जिसमें अधिक सुनने की आवश्यकता होती है, तो वह अनजाने में उन दृश्य संकेतों को अनदेखा करना शुरू कर सकता है जिन पर वह पुराने कार्यों के लिए निर्भर था। यह शोध पत्र इस बदलाव को मोडैलिटी कॉन्ट्रिब्यूशन ड्रिफ्ट (Modality Contribution Drift) कहता है। यह एक ऐसे छात्र की तरह है जो एक नया विषय सीखने के बाद, अचानक पुराने गणित के सवालों के जवाब देने के लिए एक अंतर्ज्ञान (hunch) के आधार पर अनुमान लगाने लगता है, जिससे गलतियाँ होती हैं।
शोधकर्ताओं, झेन झांग और साउथवेस्ट जियाओटोंग विश्वविद्यालय की उनकी टीम ने देखा कि वर्तमान तरीके इस विशिष्ट प्रकार की विस्मृति (forgetting) को पकड़ने में विफल रहे। उन्होंने पाया कि भले ही रोबरोट की छवियों और ध्वनियों की आंतरिक समझ समान रही हो, लेकिन निर्णय लेने के लिए उसके इनपुट के 'वेटेज' (भार) देने का तरीका बदल रहा था। इसे ठीक करने के लिए, उन्होंने एक नई विधि विकसित की जिसे कंटीन्यूअल मोडैलिटी कॉन्ट्रिब्यूशन ड्रिफ्ट रेगुलराइजेशन (CMCDR) कहा जाता है।
CMCDR को रोबोट के लिए एक सख्त "निर्णय कोच" के रूप में सोचें। जब रोबोट एक नया कार्य सीखता है, तो यह कोच जाँच करता है: "हे, याद है कि तुम उस पुराने सवाल को कैसे हल करते थे? तुमने सही परिणाम पाने के लिए इंद्रियों के एक विशिष्ट मिश्रण पर भरोसा किया था। नया सीखने के चक्कर में उस रेसिपी को मत बदलो।" यह विधि दो तरीकों से काम करती है। यदि रोबोट के पास पुराने उदाहरणों का एक मेमोरी बैंक (replay-based) है, तो कोच पुराने उदाहरणों पर रोबोट का परीक्षण करता है ताकि यह सुनिश्चित हो सके कि वह अभी भी इंद्रियों के सही मिश्रण का उपयोग कर रहा है। यदि रोबोट के पास पुराने उदाहरण नहीं हैं (replay-free), तो कोच नए उदाहरणों को एक परीक्षण स्थल के रूप में उपयोग करता है, रोबोट से यह पूछते हुए कि वह पुराने प्रश्नों को हल करने का नाटक करे और यह सुनिश्चित करता है कि वह अपनी मूल रणनीति से न भटके।
टीम ने AVE जैसे ऑडियो-विजुअल कार्यों (जैसे वीडियो में ध्वनियों को पहचानना और छवियों के बारे में प्रश्नों के उत्तर देना) सहित कई चुनौतीपूर्ण डेटासेट्स पर इस विचार का परीक्षण किया। उन्होंने पाया कि मौजूदा तरीकों में केवल अपने "कोच" को जोड़ने से बड़ा अंतर आया। उदाहरण के लिए, AVE नामक डेटासेट पर, iCaRL नामक एक मानक विधि में CMCDR जोड़ने से रोबोट की औसत सटीकता 64.20% से बढ़कर 71.90% हो गई और विस्मृति दर (forgetting rate) आधी (25.60% से घटकर 17.40%) हो गई। इससे भी दिलचस्प बात यह है कि उन्होंने दिखाया कि CMCDR उन अन्य विधियों के साथ भी काम करता है जो रोबोट के आंतरिक मस्तिष्क को स्थिर रखने का प्रयास करती हैं। यह एक ऐसे कोच की तरह है जो निर्णय लेने की प्रक्रिया को ठीक करता है जबकि दूसरा कोच मस्तिष्क की स्मृति को व्यवस्थित रखता है; दोनों मिलकर अकेले काम करने वाले किसी भी कोच से बेहतर काम करते हैं।
यह शोध पत्र सुझाव देता है कि यह "ड्रिफ्ट" एक वास्तविक और अलग समस्या है जिसे पिछले तरीकों ने पूरी तरह से संबोधित नहीं किया था। उन्होंने प्रयोगों के माध्यम से सिद्ध किया कि केवल रोबोट की आंतरिक विशेषताओं को स्थिर रखना (यह सुनिश्चित करना कि वह बिल्ली को एक ही तरह से देखता है) यह गारंटी नहीं देता कि वह एक ही निर्णय लेगा (देखने बनाम सुनने पर निर्भरता)। प्रत्येक इंद्रिय के योगदान को सीधे नियंत्रित करके, उन्होंने दिखाया कि रोबोट अपनी पुरानी निर्णय लेने की आदतों को खोए बिना नई चीजें सीख सकते हैं। यह केवल एक छोटा सा सुधार नहीं है; यह मशीनों को निरंतर रूप से सीखने के लिए सिखाने का एक नया सिद्धांत है, जो यह सुनिश्चित करता है कि वे न केवल तथ्य याद रखें, बल्कि यह भी याद रखें कि उन्होंने उन तथ्यों को कैसे समझा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।