Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
यह शोध पत्र CaRE का प्रस्ताव करता है, जो 300 से अधिक कार्यों के अत्यंत लंबे टास्क अनुक्रमों को प्रभावी ढंग से संभालने के लिए एक द्वि-स्तरीय रूटिंग मिक्सचर-ऑफ-एक्सपर्ट्स तंत्र का उपयोग करने वाला एक स्केलेबल कॉन्टिनुअल लर्निंग फ्रेमवर्क है, जिसके साथ मूल्यांकन के लिए चुनौतीपूर्ण OmniBenchmark-1K डेटासेट का परिचय भी दिया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को हजारों अलग-अलग वस्तुओं को पहचानना सिखाने की कोशिश कर रहे हैं, एक बार में एक नई श्रेणी। समस्या यह है कि जैसे-जैसे आप उसे नई चीजें सिखाते हैं (जैसे "कोर्गी"), वह उन पुरानी चीजों को भूलने लगता है जो उसने पहले सीखी थीं (जैसे "हैमबर्गर")। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहा जाता है।
यह शोध पत्र एक नया सिस्टम पेश करता है जिसे CaRE (एफीशिएंट बाई-लेवल रूटिंग मिक्सचर-ऑफ-एक्सपर्ट्स के साथ कॉन्टिनुअल लर्नर) कहा जाता है, जिसे इस समस्या को हल करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:
1. समस्या: "एक ही आकार सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap)
अधिकांश वर्तमान AI सिस्टम किसी भी नए कार्य को सीखने के लिए उसी "दिमाग" में बदलाव करने की कोशिश करते हैं जो उनके पास पहले से है। यदि आप उन्हें कुत्तों के बारे में सिखाते हैं, तो वे अनजाने में बिल्लियों को पहचानने के नियमों को मिटा सकते हैं।
- शोध पत्र का अंतर्दृष्टि (Insight): AI को हर चीज़ के लिए एक ही "दिमाग" का उपयोग करने के लिए मजबूर करने के बजाय, CaRE AI को उसके पास मौजूद विशेष उपकरणों (specialized tools) का एक विशाल पुस्तकालय देता है। जब एक नया कार्य आता है, तो AI केवल सीखता नहीं है; वह अपने पुस्तकालय से सही उपकरण कैसे चुने, यह सीखता है।
2. समाधान: "स्मार्ट लाइब्रेरियन" सिस्टम (BR-MoE)
CaRE एक तंत्र का उपयोग करता है जिसे Bi-Level Routing Mixture-of-Experts (BR-MoE) कहा जाता है। AI के दिमाग को उसके अंदर कई विशेषज्ञ "विशेषज्ञों" (मिनी-दिमागों) वाले एक विशाल पुस्तकालय के रूप में समझें।
स्तर 1: मुख्य लाइब्रेरियन (रूटर सिलेक्शन)
जब एक नई छवि आती है (मान लीजिए, कोर्गी की एक तस्वीर), तो सिस्टम केवल अनुमान नहीं लगाता। यह देखने के लिए कि "क्या यह अपने विशिष्ट अनुभाग से संबंधित है, आपकी कितनी आत्मविश्वास (confidence) है?", यह "हेड लाइब्रेरियन्स" (जिन्हें क्लास परसेप्ट्रोन कहा जाता है) की एक श्रृंखला से पूछता है।- यदि "डॉग लाइब्रेरियन" बहुत आश्वस्त है (कम अनिश्चितता), तो उसे चुना जाता है।
- यदि "कार लाइब्रेरियन" भ्रमित है (उच्च अनिश्चितता), तो उसे अनदेखा कर दिया जाता है।
- ट्रिक: सिस्टम उन शीर्ष कुछ लाइब्रेरियन्स को चुनता है जो सबसे अधिक प्रासंगिक लगते हैं, न कि केवल एक को। यह सुनिश्चित करता है कि AI मुख्य विषय पर ध्यान केंद्रित करने के साथ-साथ संबंधित अवधारणाओं (जैसे अन्य जानवर) पर भी विचार करे।
स्तर 2: विशिष्ट विशेषज्ञ (डायनेमिक एक्सपर्ट रूटिंग)
एक बार जब शीर्ष लाइब्रेरियन्स चुन लिए जाते हैं, तो वे प्रत्येक अपने स्वयं के विशेषज्ञों (छोटे, कुशल एडेप्टर) की टीम को बुलाते हैं।- प्रत्येक विशेषज्ञ एक मिनी-ब्रेन है जिसे विशेष रूप से पिछले कार्य (जैसे, एक विशेषज्ञ कुत्तों के बारे में सब कुछ जानता है, दूसरा पक्षियों के बारे में) पर प्रशिक्षित किया गया है।
- लाइब्रेरियन्स शीर्ष कुछ विशेषज्ञों को सक्रिय करते जो वर्तमान छवि के लिए सबसे सहायक हैं।
- "शेयर्ड एक्सपर्ट" (साझा विशेषज्ञ): एक "सुपर-एक्सपर्ट" भी है जो अब तक सीखी गई हर चीज़ के बारे में थोड़ा बहुत जानता है। यह सुनिश्चित करता है कि AI अपना सामान्य ज्ञान कभी न खोए।
3. "हर लेयर" का लाभ (The "Every Layer" Advantage)
आमतौर पर, AI सिस्टम केवल बिल्कुल अंत में निर्णय लेते हैं। CaRE अलग है: इसमें "लाइब्रेरियन + एक्सपर्ट" सिस्टम इसके दिमाग के प्रत्येक लेयर (परत) में बना हुआ है।
- उपमा (Analogy): एक फैक्ट्री असेंबली लाइन की कल्पना करें। एक सामान्य फैक्ट्री में, अंतिम मैनेजर तय करता है कि उत्पाद के साथ क्या करना है। CaRE में, लाइन के हर वर्कर (हर लेयर) के पास अपना मिनी-लाइब्रेरियन होता है जो यह तय करता है कि उस समय कौन से विशिष्ट उपकरणों का उपयोग करना है। यह AI को वस्तु की एक बहुत ही विस्तृत और सटीक तस्वीर बनाने की अनुमति देता है, जो चरण-दर-चरण चलती है।
4. नई चुनौती: "ओम्नीबेंचमार्क-1K" (The "OmniBenchmark-1K")
यह साबित करने के लिए कि यह काम करता है, लेखकों ने महसूस किया कि मौजूदा परीक्षण बहुत आसान थे। अधिकांश परीक्षणों में केवल 20 कार्य थे (जैसे जानवरों के 20 प्रकार सीखना)।
- उन्होंने OmniBenchmark-1K नामक एक नया, सुपर-हार्ड टेस्ट बनाया।
- इस डेटासेट में 1,000 विभिन्न क्लासेज (श्रेणियाँ) और लगभग 2,00,000 छवियां हैं।
- उन्होंने CaRE को क्रमवार 100, 200, और यहाँ तक कि 301 कार्यों के साथ सिखाकर इसका परीक्षण किया।
- परिणाम: जबकि अन्य AI सिस्टम कार्यों की संख्या बढ़ने के साथ विफल होने लगे और चीजें भूलने लगे, CaRE बेहतर होता गया। इसने सभी अन्य तरीकों को बड़े अंतर से पीछे छोड़ दिया, भले ही कार्य सूची अविश्वसनीय रूप से लंबी थी।
सारांश
CaRE एक ऐसे छात्र की तरह है जो केवल तथ्य रटता नहीं है, बल्कि सही स्थिति के लिए सही स्मृति (memory) को कैसे याद करना है, यह सीखता है।
- यह अपनी आत्मविश्वास की जांच करता है ताकि सबसे प्रासंगिक "मेमोरी रूम" (स्तर 1 रूटिंग) मिल सकें।
- यह समस्या को हल करने के लिए उन कमरों से विशिष्ट "उपकरण" निकालता है (स्तर 2 रूटिंग)।
- यह केवल अंत में नहीं, बल्कि अपनी सोच की प्रक्रिया के हर चरण में ऐसा करता है।
यह इसे पुरानी चीजों को भूले बिना सैकड़ों नई चीजें सीखने की अनुमति देता है, जो इस पैमाने पर किसी भी अन्य सिस्टम द्वारा सफलतापूर्वक प्रदर्शित नहीं किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।