RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers
RecurrentGPT एक आवर्ती गहराई वाले ट्रांसफॉर्मर आर्किटेक्चर को पेश करता है जो गेटेड मॉड्यूलेशन के साथ एक एकल साझा कोर लेयर को पुनरावृत्त करता है, जो पैरामीटर संख्या को अनुकूलन योग्य गहराई के पुन: उपयोग के साथ प्रभावी ढंग से बदलकर मानक गहरे ट्रांसफॉर्मर की तुलना में बेहतर सटीकता और मेमोरी दक्षता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस एक ऐसे बिंदु पर पहुँच गया है जहाँ मॉडलों को अधिक स्मार्ट बनाने का अक्सर अर्थ उन्हें और अधिक भारी बनाना होता है। एक वाक्य को समझने या कहानी लिखने के लिए, ये प्रणालियाँ गणितीय कनेक्शनों के विशाल नेटवर्क पर निर्भर करती हैं, जिन्हें पैरामीटर्स कहा जाता है। मानक डिजाइनों में, सोचने की प्रक्रिया के हर चरण में इन कनेक्शनों के एक अद्वितीय सेट का उपयोग किया जाता है। यह दृष्टिकोण अच्छा काम करता है, लेकिन यह एक भारी बोझ पैदा करता है: तर्क की गहराई बढ़ाने के लिए, इंजीनियरों को अधिक मेमोरी जोड़नी पड़ती है, जो तेजी से महंगी और भौतिक हार्डवेयर पर प्रबंधित करना कठिन हो जाती है। गहरी, जटिल सोच की इच्छा और कंप्यूटर मेमोरी की भौतिक सीमाओं के बीच एक बढ़ता हुआ तनाव है।
द दशकों से, वैज्ञानिक जानते हैं कि एक ही सरल प्रक्रिया को बार-बार दोहराने से अविश्वसनीय रूप से जटिल समस्याओं को हल किया जा सकता है। एलन ट्यूरिंग के मौलिक कार्य में निहित यह विचार सुझाव देता है कि एक प्रणाली को सोचने के लिए उपकरणों के विशाल पुस्तकालय की आवश्यकता नहीं है; वह एक एकल, परिष्कृत उपकरण को बार-बार लागू करके बुद्धिमत्ता प्राप्त कर सकती है। जबकि आधुनिक भाषा मॉडल कई अलग-अलग परतों को जोड़ने के बजाय इस पुनरावृत्ति शैली से काफी हद तक दूर हो गए हैं, एक नया दृष्टिकोण पुनरावृत्ति की शक्ति को वापस लाने का प्रयास कर रहा है, न कि प्रणाली को धीमा करके, बल्कि पुनरावृत्ति को स्मार्ट बनाकर। लक्ष्य एक ऐसा मॉडल बनाना है जो अधिक अद्वितीय भागों को संग्रहीत किए बिना अधिक गहराई से "सोच" सके।
कैरो विश्वविद्यालय (जर्मन यूनिवर्सिटी इन काहिरा), म्यूनिख तकनीकी विश्वविद्यालय और सेरेब्रास सिस्टम्स के शोधकर्ताओं ने इस समस्या को हल करने के लिए 'RecurrentGPT' नामक एक नया आर्किटेक्चर विकसित किया है। एक लंबी अनूठी परतों की श्रृंखला बनाने के बजाय, उन्होंने एक छोटा, निश्चित सेट बनाया है जिसे कई बार पुन: उपयोग किया जाता है। एक फैक्ट्री असेंबली लाइन की कल्पना करें जहाँ एक अकेला, अत्यधिक कुशल कर्मचारी एक कार्य करता है, फिर उत्पाद को परिष्कृत करने के लिए उसे स्वयं को ही वापस सौंपता है, और फिर उसे फिर से वापस लेता है। इस नए सिस्टम में, "कर्मचारी" मॉडल के मस्तिष्क का एक साझा ब्लॉक है। यह इनपुट को प्रोसेस करता है, फिर अपने स्वयं के आउटपुट को लेता है और निर्धारित संख्या में बार, इसे फिर से प्रोसेस करता है। यह मॉडल को बहुत बड़े सिस्टम का काम करने की अनुमति देता है जबकि केवल एक अंश अद्वितीय भागों को ही संग्रहीत करता है।
हालाँकि, एक ही प्रक्रिया को केवल दोहराने से एक नई समस्या पैदा होती है: यदि कर्मचारी हर बार बिल्कुल एक ही काम करता है, तो उत्पाद वास्तव में बदलता नहीं है। शोधकर्ताओं ने पाया कि प्रक्रिया को बदलने वाले तंत्र के बिना, दोहराए गए चरण एक एकल, अनुपयोगी रूपांतरण में सिमट जाएंगे। इसे ठीक करने के लिए, उन्होंने एक डायनेमिक गेट (dynamic gate) पेश किया—एक सीखा हुआ निर्णय लेने वाला तंत्र जो यह नियंत्रित करता है कि कितनी नई जानकारी पुरानी जानकारी की जगह लेती है। यह गेट मॉडल की वर्तमान स्थिति, मूल इनपुट और थोड़े से रैंडम नॉइज़ (noise) को देखता है ताकि यह तय किया जा सके कि हर चरण पर वास्तव में क्या रखना है और क्या अपडेट करना है। यह सुनिश्चित करता है कि भले ही समान वेट्स (weights) का बार-बार उपयोग किया जाए, मॉडल हर मोड़ पर अलग व्यवहार करता है, जिससे यह गहराई में जाने के साथ अपनी सोच को विशिष्ट बनाने में सक्षम होता है।
इसके परिणाम आश्चर्यजनक हैं। जब सख्त बाधाओं के तहत परीक्षण किया गया जहाँ मॉडल के प्रशिक्षण और चलाने के लिए उपयोग की जाने वाली कुल कंप्यूटिंग शक्ति को मानक, बड़े मॉडलों के बराबर रखा गया था, तो नया सिस्टम उतना ही अच्छा प्रदर्शन करता है। एक विशिष्ट परीक्षण में, केवल तीन अनूठे वेट्स वाले मॉडल ने, जिसे दस बार दोहराया गया था, एक मानक बारह-परत वाले मॉडल की सटीकता के बराबर प्रदर्शन किया। इसका मतलब है कि नए डिजाइन ने 64 प्रतिशत कम अद्वितीय पैरामीटर्स का उपयोग करते हुए समान गुणवत्ता हासिल की। जब शोधकर्ताओं ने मॉडल को सोचने की प्रक्रिया के दौरान अधिक कंप्यूटिंग पावर का उपयोग करने की अनुमति दी लेकिन संग्रहीत भागों की संख्या को समान रखा, तो दोहराया गया सिस्टम मानक वाले से बेहतर प्रदर्शन कर गया, जिससे पता चला कि गहराई और पुनरावृत्ति बुद्धिमत्ता को सुधारने का एक शक्तिशाली तरीका है बिना मेमोरी लागत को बढ़ाए।
इस प्रणाली ने अपने आप में एक उपयोगी दुष्प्रभाव भी खोजा। क्योंकि मॉडल को अपने पुनरावृत्ति चक्र में किसी भी बिंदु पर रुकने के लिए प्रशिक्षित किया गया था, इसने सीखा कि यदि वह जल्दी रुक भी जाए, तो भी उच्च गुणवत्ता वाले उत्तर दे सकता है। यह सिस्टम को गति बनाम गुणवत्ता के लिए एक डायल के रूप में कार्य करने की अनुमति देता है: यह समय के एक अंश में त्वरित, कच्चा उत्तर दे सकता है, या उस उत्तर को अधिक सटीक बनाने के लिए अधिक चक्रों का उपयोग कर सकता है, और यह सब एक ही प्रशिक्षित मॉडल से संभव है। यह लचीलापन वर्तमान प्रणालियों में दुर्लभ है, जिन्हें अलग-अलग गति के लिए अलग मॉडल की आवश्यकता होती है।
व्यावहारिक संदर्भ में, इसका अर्थ यह है कि सीमित मेमोरी वाला उपकरण वर्तमान में अपनी क्षमता से कहीं अधिक सक्षम भाषा मॉडल चला सकता है। शोधकर्ताओं ने मापा कि उनके बड़े पैमाने वाले संस्करण को समान क्षमता वाले मानक मॉडल की तुलना में जनरेशन के दौरान 59 प्रतिशत कम पीक मेमोरी की आवश्यकता थी। हालांकि दोहराए गए चरणों के कारण टेक्स्ट जनरेट करने में लगने वाला समय थोड़ा बढ़ गया है, लेकिन यह ट्रेड-ऑफ महत्वपूर्ण है, विशेषकर उन वातावरणों के लिए जहाँ मेमोरी एक बाधा है। अध्ययन सुझाव देता है कि कुशल आर्टिफिशियल इंटेलिजेंस का भविष्य बड़े, भारी दिमाग बनाने में नहीं, बल्कि छोटे दिमागों को अपने विचारों पर दोबारा विचार करके अधिक गहराई से सोचना सिखाने में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।