Intern-S2-Mobius: Foundation Model with Decoupled Knowledge and Reasoning
यह शोध पत्र Intern-S2-Mobius को प्रस्तुत करता है, जो एक फाउंडेशन मॉडल आर्किटेक्चर है जो एक साझा मेमोरी मॉड्यूल में ज्ञान भंडारण को समर्पित रीज़नर्स (reasoners) में पुनरावृत्ति संरचनात्मक तर्क (iterative compositional reasoning) से अलग करता है, जिससे काफी कम प्रशिक्षण डेटा और लगभग 4 गुना तेज़ इन्फरेंस गति के साथ ट्रांसफॉर्मर बेसलाइन के तुलनीय प्रदर्शन को प्राप्त किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट के लिए सबसे उत्तम मस्तिष्क बनाने की कोशिश कर रहे हैं। पिछले एक दशक से, हमने जो सबसे शक्तिशाली मस्तिष्क बनाए हैं, वे "ट्रांसफॉर्मर" नामक डिज़ाइन पर आधारित रहे हैं। ट्रांसफॉर्मर को एक विशाल, बहु-मंजिला पुस्तकालय की तरह समझें जहाँ हर एक किताब (ज्ञान का प्रत्येक टुकड़ा) एक विशिष्ट कमरे में एक विशिष्ट मंजिल पर बंद है। किसी तथ्य को खोजने के लिए, रोबोट को सीढ़ियाँ चढ़कर, हर कमरे में हर किताब की जाँच करते हुए, एक-एक करके हर कमरे में जाना पड़ता है जब तक कि उसे वह न मिल जाए जिसकी उसे आवश्यकता है। यह अच्छा काम करता है, लेकिन यह धीमा है, और रोबोट को हर बार चलने के लिए पूरा पुस्तकालय अपने साथ ढोना पड़ता है। वैज्ञानिक इन मस्तिष्कों को केवल पुस्तकालयों को बड़ा करके और अधिक किताबें जोड़कर स्मार्ट बनाने की कोशिश कर रहे हैं, लेकिन वे एक दीवार से टकरा रहे हैं: रोबोटों को चलाना बहुत महंगा होता जा रहा है, और वे कभी-कभी एक साधारण उत्तर खोजने के लिए बहुत अधिक बोलने लगते हैं। अब बड़ा सवाल यह है: क्या हम मस्तिष्क को ही फिर से डिज़ाइन कर सकते हैं ताकि उसे पूरा पुस्तकालय नहीं ढोना पड़े, लेकिन फिर भी वह उत्तर तेजी से और समझदारी से खोज सके?
यही वह सवाल है जिसे शंघाई एआई प्रयोगशाला (Shanghai AI Laboratory) की Intern-S2-Mobius टीम अपने नए शोध पत्र के साथ हल करने का प्रस्ताव दे रही है। वे Mobius नामक एक नया आर्किटेक्चर पेश करते हैं, जो इस समस्या को हल करने की कोशिश करता है: मस्तिष्क को दो अलग-अलग हिस्सों में विभाजित करना: एक विशाल, साझा "नॉलेज वेयरहाउस" (ज्ञान का गोदाम) और "रीज़निंग वर्कर्स" (तर्क करने वाले कर्मियों) की एक टीम। ज्ञान को बहु-मंजिला इमारत के कमरों के भीतर बंद करने के बजाय, Mobius सभी ज्ञान को एक विशाल, साझा डेटाबेस में रखता है जिसे प्रत्येक कार्यकर्ता तुरंत एक्सेस कर सकता है। कार्यकर्ता (जिन्हें रीज़नर कहा जाता है) केवल एक किताब पढ़ते और आगे बढ़ जाते नहीं हैं; वे वेयरहाउस से विशिष्ट तथ्यों के बारे में पूछकर, उनके बारे में सोचकर और अपने उत्तर को परिष्कृत करके, एक निरंतर लूप में आगे-पीछे आ सकते हैं, इससे पहले कि वे एक शब्द भी बोलें।
शोध पत्र सुझाव देता है कि यह "डिकपल्ड" (विभाजित) डिज़ाइन एक गेम-चेंजर है। अपने प्रयोगों में, उन्होंने पाया कि एक पारंपरिक ट्रांसफॉर्मर की तरह ही एक Mobius मॉडल केवल 62.6% प्रशिक्षण डेटा का उपयोग करके उतना ही अच्छा सीख सकता है। और भी अधिक प्रभावशाली बात यह है कि जब उन्होंने एक विशाल 35-बिलियन-पैरामीटर वाले मॉडल को Mobius डिज़ाइन का उपयोग करने के लिए अपग्रेड किया, तो वह केवल पुराने स्टाइल के बराबर ही नहीं रहा; बल्कि वह उत्तर देने में लगभग 4 गुना तेज़ हो गया। इसका असली रहस्य यह लगता है कि Mobius रोबोट को ज़ोर से बड़बड़ाने से रोकता है। विचारों को (जैसे "चरण 1, चरण 2, चरण 3...") एक लंबी, शब्दबहुल श्रृंखला के रूप में उत्पन्न करने के बजाय, Mobius मॉडल अपना भारी काम एक छिपे हुए, शांत स्थान में करता है, अपने विचारों को तब तक परिष्कृत करता है जब तक कि वह एक छोटा, सटीक उत्तर देने के लिए तैयार न हो जाए।
हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह अभी तक सब कुछ हल करने वाली कोई जादुई छड़ी नहीं है। वे सुझाव देते हैं कि जबकि यह डिज़ाइन दक्षता और गति के लिए बेहतरीन है, इसे भविष्य में पूरी तरह से चलाने के लिए नए हार्डवेयर की आवश्यकता हो सकती है, और अभी भी इसका परीक्षण किया जा रहा है कि क्या यह वास्तव में अपने आप "विकसित" हो सकता है या निरंतर भौतिक दुनिया का मॉडल बना सकता है। लेकिन फिलहाल, परिणाम एक आशाजनक मार्ग दिखाते हैं: यह जानकर कि हम क्या जानते हैं और हम कैसे सोचते हैं, उन्हें अलग करके, हम अंततः ऐसा AI बना सकते हैं जो अविश्वसनीय रूप से स्मार्ट और आश्चर्यजनक रूप से कुशल दोनों हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।