CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning
यह शोध पत्र CKAA का प्रस्ताव करता है, जो एक नवीन निरंतर शिक्षण (continual learning) ढांचा है जो सबस्पेसों में फीचर वितरण को एकीकृत करने के लिए ड्यूल-लेवल नॉलेज अलाइनमेंट का उपयोग करके और इन्फरेंस के दौरान ज्ञान को अनुकूल रूप से एकत्रित करने के लिए टास्क-कॉन्फिडेंस-गाइडेड मिक्सचर ऑफ एडेप्टर्स का उपयोग करके भ्रामक टास्क आइडेंटिफायर के विरुद्ध मजबूती को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आर्टिफिशियल इंटेलिजेंस सीखना कभी बंद नहीं करता। एक निश्चित डेटा सेट पर एक बार प्रशिक्षित होकर समय में जम जाने के बजाय, ये सिस्टम लगातार नई जानकारी को आत्मसात करते हैं, नए श्रेणियों और बदलते परिवेशों के अनुकूल ढलते हैं, ठीक वैसे ही जैसे इंसान करते हैं। निरंतर सीखने (continual learning) की यह अवधारणा, एआई को वास्तविक दुनिया में नेविगेट करने के लिए आवश्यक है, जहाँ नई चुनौतियाँ और डेटा स्ट्रीम लगातार आती रहती हैं। हालाँकि, इसमें एक बड़ी बाधा है: जैसे-जैसे ये मॉडल नई चीजें सीखते हैं, वे अक्सर "कैटैस्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) का शिकार होते हैं, जो एक ऐसी घटना है जहाँ नए ज्ञान के अधिग्रहण के कारण वे उस ज्ञान को पहचानने की क्षमता खो देते हैं जो उन्होंने पहले सीखा था। इसे हल करने के लिए, शोधकर्ताओं ने 'पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग' नामक रणनीति की ओर रुख किया है। एआई मॉडल के पूरे विशाल मस्तिष्क को फिर से प्रशिक्षित करने के बजाय, जो धीमा और महंगा है, वे एक पूर्व-प्रशिक्षित कोर (core) के साथ छोटे, विशिष्ट एड-ऑन (add-ons) जोड़ते हैं। प्रत्येक नए कार्य के लिए अपना एक छोटा मॉड्यूल होता है, जिससे सिस्टम अपने अतीत को मिटाए बिना सीखने में सक्षम होता है।
चुनौती तब उत्पन्न होती है जब एआई बाद में इस ज्ञान का उपयोग करने का प्रयास करता है। कई वास्तविक दुनिया के परिदृश्यों में, सिस्टम को यह पता नहीं होता कि वह किस विशिष्ट कार्य का सामना कर रहा है; उसे अनुमान लगाना पड़ता है। यदि एआई गलत अनुमान लगाता है और किसी तस्वीर के लिए गलत विशिष्ट एड-ऑन का उपयोग करने का प्रयास करता है, तो परिणाम अक्सर भ्रमित और गलत होता है। ऐसा इसलिए होता है क्योंकि प्रत्येक एड-ऑन को अलग-थलग प्रशिक्षित किया गया था, जिससे उसने विशेषताओं (features) को समझने के लिए अपनी अनूठी आंतरिक भाषा या "सबस्पेस" (subspace) बना ली। जब किसी तस्वीर को गलत सबस्पेस में डाला जाता है, तो उसकी विशेषताएं असंगत हो जाती हैं, और मॉडल उन्हें समझ नहीं पाता है। शोधकर्ताओं के एक दल ने अब 'क्रॉस-सबस्पेस नॉलेज अलाइनमेंट एंड एग्रीगेशन' (CKAA) नामक एक नया ढांचा विकसित किया है, जिसे इस भ्रम को दूर करने और इन सीखने वाले सिस्टमों को अपनी गलतियों के प्रति अधिक मजबूत बनाने के लिए डिज़ाइन किया गया है।
शोधकर्ताओं ने पहचान की कि मुख्य समस्या इन अलग-थलग पड़े एड-ऑन्स के बीच सामंजस्य की कमी थी। जब किसी एक श्रेणी की तस्वीर गलती से दूसरी श्रेणी के लिए प्रशिक्षित मॉड्यूल की ओर भेज दी जाती थी, तो उस तस्वीर का आंतरिक प्रतिनिधित्व विकृत हो जाता था, जिससे अस्पष्ट निर्णय लिए जाते थे। इस समस्या के समाधान के लिए, टीम ने एक प्रशिक्षण पद्धति पेश की जो इन अलग-अलग मॉड्यूल्स को विशेषताओं के अर्थ पर सहमत होने के लिए मजबूर करती है, भले ही वे एक ही वस्तु को अलग-अलग दृष्टिकोणों से देख रहे हों। उन्होंने एक ऐसी प्रक्रिया बनाई जो विभिन्न मॉड्यूल्स के देखने के तरीके को एक ही श्रेणी की वस्तुओं के लिए संरेखित (align) करती है, यह सुनिश्चित करती है कि एक "कुत्ता" तब भी समान रूप से दिखाई दे जब उसे कुत्तों के मॉड्यूल द्वारा प्रोसेस किया जा रहा हो या बिल्लियों के लिए बने मॉड्यूल द्वारा। इसके अलावा, उन्होंने सिस्टम को यह पहचानने के लिए सिखाया कि वह शायद गलत लेंस के माध्यम से किसी तस्वीर को देख रहा है और उसके अनुसार अपने निर्णय लेने की सीमाओं को समायोजित करे। इसमें यह अनुकरण करना शामिल है कि यदि गलत मॉड्यूल द्वारा प्रोसेस किया जाए तो एक तस्वीर कैसी दिखेगी, और फिर सिस्टम को उसे सही ढंग से पहचानने के लिए प्रशिक्षित करना। ऐसा करके, मॉडल सही और गलत पथों के बीच अंतर करना सीख जाता है, जो प्रभावी रूप से उसकी अपनी त्रुटियों के विरुद्ध एक सुरक्षा जाल बनाता है।
परीक्षण चरण के दौरान, शोधकर्ताओं ने भविष्य में कार्य के बारे में अनिश्चितता को संभालने के लिए एक गतिशील रणनीति लागू की। एआई को एक एकल मॉड्यूल चुनने और उसी के साथ बने रहने के लिए मजबूर करने के बजाय, उनका सिस्टम प्रत्येक संभावित कार्य के लिए एक आत्मविश्वास स्कोर (confidence score) की गणना करता है। इसके बाद यह कई प्रासंगिक मॉड्यूल्स के अंतर्दृनों को धीरे से मिलाता है, और उन्हें उनकी सटीकता की संभावना के आधार पर भार (weighting) देता है। यह दृष्टिकोण मॉडल को गलत अनुमान लगाने में अत्यधिक आत्मविश्वासी होने से रोकता है। यदि सिस्टम अनिश्चित है, तो वह एक एकल, संभावित रूप से दोषपूर्ण पथ के बजाय ज्ञान के मिश्रण का उपयोग करता है। यह 'सॉफ्ट एग्रीगेशन' एआई को गलत पहचान से उबरने में मदद करता है, जिससे गलत कार्य के अनुमान के बावजूद उच्च सटीकता बनी रहती है।
हजारों श्रेणियों वाले जटिल इमेज डेटासेट्स सहित चार प्रमुख बेंचमार्क पर व्यापक परीक्षण ने इस दृष्टिकोण की प्रभावशीलता की पुष्टि की। नया ढांचा लगातार मौजूदा तरीकों से बेहतर प्रदर्शन करता रहा, जिससे अल्पकालिक और दीर्घकालिक दोनों सीखने के परिदृश्यों में उच्च सटीकता प्राप्त हुई। कठिन और असंतुलित नमूनों वाले एक चुनौतीपूर्ण परीक्षण में, नई विधि ने पिछले सर्वश्रेष्ठ तकनीकों की तुलना में सटीकता में महत्वपूर्ण अंतर से सुधार किया। शोधकर्ताओं ने यह भी प्रदर्शित किया कि उनका सिस्टम कुशल बना हुआ है, जो पर्याप्त लाभ प्रदान करते हुए केवल बहुत कम कंप्यूटेशनल लागत जोड़ता है। विभिन्न लर्निंग मॉड्यूल्स की आंतरिक भाषाओं को संरेखित करके और उनके ज्ञान को संयोजित करने का एक लचीला तरीका बनाकर, यह कार्य एक ऐसे कृत्रिम बुद्धिमत्ता की ओर एक आशाजनक कदम है जो भूलने के बिना और बिना भ्रमित हुए निरंतर सीख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।