Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning
ब्रेनस्टैक्स (Brainstacks) एक मॉड्यूलर निरंतर शिक्षण (continual learning) आर्किटेक्चर है जो शून्य-विस्मृति (zero-forgetting), क्रॉस-डोमेन संरचना (cross-domain composition), और बड़े भाषा मॉडलों में हस्तांतरणीय संज्ञानात्मक प्रिमिटिव्स (transferable cognitive-primitives) की खोज प्राप्त करने के लिए फ्रोजन MoE-LoRA स्टैक्स को नल-स्पेस प्रोजेक्शन (null-space projection) और एक आउटकम-आधारित मेटा-राउटर के साथ जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, सर्वज्ञ पुस्तकालयाध्यक्ष (एक लार्ज लैंग्वेज मॉडल) है। अभी, यदि आप चाहते हैं कि यह पुस्तकालयाध्यक्ष एक साथ चिकित्सा (medicine), कोडिंग (coding), और गणित (math) के बारे में सीखे, तो आपको उन्हें एक साथ तीन अलग-अलग विश्वकोश पढ़ने के लिए मजबूर करना होगा। परिणाम? पुस्तकालयाध्यक्ष भ्रमित हो जाता है। वे चिकित्सा संबंधी सलाह को पायथन कोड के साथ मिला सकते हैं, या वे एल्गोरिदम के बारे में सोचने में इतने व्यस्त हो सकते हैं कि मरीज से बात करते समय विनम्र रहना भूल सकते हैं। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहा जाता है, और यह वर्तमान एआई प्रशिक्षण की सबसे बड़ी समस्या है।
ब्रेनस्टैक्स (Brainstacks) इस पुस्तकालयाध्यक्ष को सिखाने का एक नया, क्रांतिकारी तरीका है। सब कुछ एक साथ उनके दिमाग में ठूंसने के बजाय, ब्रेनस्टैक्स ज्ञान को विशेषीकृत टूलकिट (specialized toolkits) की तरह मानता है जिन्हें आप एक-एक करके पुस्तकालयाध्यक्ष की बेल्ट पर लगा सकते हैं।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. "फ्रोजन एडेप्टर स्टैक्स" (टूलकिट्स)
पुस्तकालयाध्यक्ष के मूल मस्तिष्क को एक ठोस, जमी हुई नींव के रूप में सोचें। यह बदलता नहीं है।
- द स्टैक (The Stack): जब आप चाहते हैं कि पुस्तकालयाध्यक्ष गणित सीखे, तो आप उनके मस्तिष्क को फिर से नहीं लिखते। इसके बजाय, आप उनसे एक "गणित टूलकिट" (एडेप्टर का एक स्टैक) जोड़ते हैं।
- फ्रीजिंग (Freezing): एक बार जब गणित टूलकिट सीख लिया जाता है, तो आप उसे फ्रीज (जमा) कर देते हैं। यह बेल्ट का एक स्थायी, अपरिवर्तनीय हिस्सा बन जाता है।
- परिणाम: अब आप एक "कोडिंग टूलकिट", फिर एक "मेडिकल टूलकिट", फिर एक "लीगल टूलकिट" जोड़ सकते हैं। क्योंकि वे फ्रीज हैं, इसलिए नया एक भी जोड़ने से पुराने वाले कभी टूटते नहीं हैं। पुस्तकालयाध्यक्ष कानून सीखते समय गणित करना कभी नहीं भूलता।
2. "टू-लूप" ट्रेनिंग (द मास्टर बिल्डर)
इन टूलकिट्स को कैसे बनाया जाता है? पेपर एक चतुर दो-चरणीय निर्माण प्रक्रिया का उपयोग करता है:
- इनर लूप (रेसिडुअल बूस्टिंग): कल्पना करें कि आप एक घर बना रहे हैं। आप नींव बिछाते हैं (स्टैक 1)। लेकिन शायद नींव एकदम सही नहीं है। इसलिए, आप दूसरा स्तर (स्टैक 2) विशेष रूप से उन छोटी दरारों को ठीक करने के लिए बनाते हैं जो पहले स्तर ने छोड़ी थीं। आप तब तक परतें जोड़ते रहते हैं जब तक कि घर एकदम सही न हो जाए, फिर आप पूरे हिस्से को फ्रीज कर देते हैं।
- आउटर लूप (कॉन्टिनुअल स्टैकिंग): एक बार जब "गणित का घर" एकदम सही और फ्रीज हो जाता है, तो आप उसके ऊपर "कोडिंग का घर" बनाना शुरू करते हैं। नया घर पुराने से सीखता है लेकिन इसे इस तरह से डिज़ाइन किया गया है कि यह उन खाली जगहों को भर सके जो पुराने ने छोड़ी थीं।
3. "नल-स्पेस" (अदृश्य दीवार)
यह वह जादुई ट्रिक है जो टूलकिट्स को एक-दूसरे से टकराने से रोकती है।
- कल्पना करें कि पुस्तकालयाध्यक्ष का मस्तिष्क एक विशाल कमरा है जिसमें 3,840 आयाम (dimensions) हैं (एक हाइपर-डायमेंशनल कमरे की तरह)।
- जब "मेडिकल टूलकिट" को प्रशिक्षित किया जाता है, तो वह उस कमरे में दिशाओं का एक विशिष्ट सेट दावा करता है (जैसे उत्तर और पूर्व की दीवारों पर दावा करना)।
- जब अगला "मेडकीकल टूलकिट" प्रशिक्षित किया जाता है, तो सिस्टम एक अदृश्य दीवार खींच देता है। यह मेडिकल टूलकिट को केवल उन्हीं दिशाओं में सीखने के लिए मजबूर करता है जिनका उपयोग गणित टूलकिट ने नहीं किया था।
- उपमा: यह एक भित्ति चित्र (mural) बनाने जैसा है। गणित का चित्रकार बाईं दीवार पर पेंट करता है। मेडिकल चित्रकार को दाईं दीवार पर पेंट करने के लिए मजबूर किया जाता है। वे एक-दूसरे के काम को कभी खराब नहीं करते। यह जीरो फॉरगेटिंग (शून्य विस्मृति) की गारंटी देता है।
4. "मेटा-राउटर" (स्मार्ट कंसीयज)
यह सबसे आश्चर्यजनक हिस्सा है। आमतौर पर, आप सोचते हैं कि एक "मेडिकल" प्रॉम्प्ट के लिए "मेडिकल टूलकिट" की आवश्यकता होगी। लेकिन ब्रेनस्टैक्स ने कुछ अजीब खोजा: एक मेडिकल सवाल के लिए सबसे अच्छा टूलकिट मेडिकल वाला ही हो, यह जरूरी नहीं!
- खोज: सिस्टम ने पाया कि एक जटिल चिकित्सा प्रश्न के लिए (जैसे, "मैं एक बच्चे के लिए खुराक की गणना कैसे करूँ?"), सबसे अच्छा उत्तर वास्तव में गणित टूलकिट (गणना के लिए) और चैट टूलकिट (स्पष्ट, विनम्र व्याख्या के लिए) को संयोजित करने से आता है! "मेडिकल टूलकिट" शायद केवल तकनीकी शब्दों (jargon) से भरा हो सकता है जो मुद्दे को उलझा देता है।
- कंसीज (The Concierge): मेटा-राउटर एक छोटा, स्मार्ट एआई है जो आपके प्रश्न को देखता है और तय करता है: "ठीक है, यह केवल एक मेडिकल सवाल नहीं है; यह एक मैथ-एंड-कम्युनिकेशन (गणित और संचार) का सवाल है।" इसके बाद यह चुनिलेक्टिव रूप से गणित और चैट टूलकिट को चालू (on) करता है और मेडिकल टूलकिट को बंद (off) कर देता है।
- उपमा: यह एक रेस्टोरेंट के वेटर जैसा है। यदि आप स्टेक ऑर्डर करते हैं, तो वे केवल आपको "स्टेक मेनू" नहीं लाते। वे आपको स्टेक (ग्रिल से), आलू का साइड (किचन से), और वाइन (सेलर से) लाते हैं। वे किचन के विभिन्न हिस्सों से एक आदर्श भोजन तैयार करते हैं।
5. "सुपरपोजिशन एलएलएम" (जादुई बैकपैक)
अंत में, आप इसे कंप्यूटर पर कैसे चलाते हैं?
- सामान्यतः, यदि आपके पास 10 अलग-अलग टूलकिट्स हैं, तो आपको उन सभी को एक साथ रखने के लिए एक सुपर-कंप्यूटर की आवश्यकता होगी।
- ब्रेनस्टैक्स एक "डिस्क-ऑफलोडेड" सिस्टम का उपयोग करता है। कल्पना करें कि पुस्तकालयाध्यक्ष के पास एक जादुगत बैकपैक है।
- पुस्तकालयाध्यक्ष का मस्तिष्क (बेस मॉडल) हमेशा डेस्क पर होता है।
- टूलकिट्स शेल्फ (हार्ड ड्राइव) पर रखे जाते हैं।
- जब आप कोई प्रश्न पूछते हैं, तो कंसीयज (राउटर) तुरंत केवल उन 2 या 3 टूलकिट्स को पकड़ता है जिनकी उस विशिष्ट प्रश्न के लिए आवश्यकता है, उन्हें बेल्ट पर लगाता है, उत्तर देता है, और फिर उन्हें वापस शेल्फ पर रख देता है।
- लाभ: आपके पास 1,000 अलग-अलग टूलकिट्स (मेडिकल, लीगल, कोडिंग, कुकिंग, एस्ट्रोनॉमी) शेल्फ पर हो सकते हैं, लेकिन कंप्यूटर को केवल उतना ही मेमोरी चाहिए जितना कि मस्तिष्क और एक समय में एक टूलकिट को रखने के लिए आवश्यक है। यह एक किताब पढ़ने जैसा है: आप केवल वही पेज पकड़ते हैं जिसे आप पढ़ रहे हैं, पूरी लाइब्रेरी नहीं।
मुख्य निष्कर्ष
पेपर यह सिद्ध करता है कि फाइन-ट्यूनिंग तथ्यों को याद रखना नहीं है; यह सोचने का तरीका सीखना है।
जब "मेडिकल" स्टैक को प्रशिक्षित किया गया था, तो इसने केवल बीमारियों के नाम याद नहीं किए। इसने सीखा कि उत्तर को कैसे व्यवस्थित किया जाए और तार्किक रूप से कैसे तर्क किया जाए। ये "कॉग्निटिव प्रिमिटिव्स" (बुनियादी सोचने के कौशल) हैं जिनका उपयोग किसी भी चीज़ के लिए किया जा सकता है।
- गणित (Math) का स्टैक आपको गिनना और गणना करना सिखाता है।
- कोड (Code) का स्टैक आपको चरण-दर-चरण तर्क का पालन करना सिखाता है।
- चैट (Chat) का स्टैक आपको स्पष्ट रूप से बोलना सिखाता है।
इन सोचने के कौशलों को आपस में मिलाकर, एआई उन क्षेत्रों में समस्याओं को हल कर सकता है जहाँ उसे स्पष्ट रूप से प्रशिक्षित नहीं किया गया था। यह तथ्यों का डेटाबेस नहीं है; यह संयोज्य सुपरपावर्स (composable superpowers) का एक समूह है।
संक्षेप में: ब्रेनस्टैक्स एआई को एक कठोर विश्वकोश से एक मॉड्यूलर स्विस आर्मी नाइफ (Swiss Army Knife) में बदल देता है, जहाँ आप काम के अनुसार ब्लेड, स्क्रूड्राइवर या कैंची को बदल सकते हैं, बिना हैंडल को तोड़े।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।