Full-bandwidth transformer
यह शोध पत्र फुल-बैंडविड्थ ट्रांसफार्मर का परिचय देता है, जो एक नवीन आर्किटेक्चर है जो पिछले टॉप-लेयर हिडन स्टेट को लेटेंट फीडबैक के माध्यम से मॉडल में वापस फीड करके ऑटोरेग्रेसिव डिकोडिंग को बढ़ाता है, जिससे मानक दक्षता बनाए रखते हुए और पारंपरिक ट्रांसफार्मरों की तुलना में काफी कम प्रशिक्षण डेटा की आवश्यकता के साथ विभिन्न कार्यों में प्रदर्शन में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, लेकिन आपका एक बहुत सख्त नियम है: आप एक बार में अपने भविष्य के स्वयं के लिए केवल एक ही शब्द फुसफुसा सकते हैं। यदि आप अपनी योजना का एक जटिल चरण समझ लेते हैं, तो आपको उसे एक शब्द के रूप में लिखना होगा, अपने भविष्य के स्वयं के द्वारा उसे पढ़ने का इंतज़ार करना होगा, और फिर से शुरुआत करनी होगी। आज के अधिकांश आधुनिक एआई चैटबॉट्स इसी तरह काम करते हैं। वे पढ़ने और लिखने में बहुत बुद्धिमान हैं, लेकिन जब वे सोचते हैं, तो उन्हें मजबूर होकर अपने विचारों को एक बार में एक शब्द करके ज़ोर से "बोलना" पड़ता है, भले ही वे विचार कितने भी जटिल क्यों न हों। यह एक भारी बैकपैक में जानकारी ले जाने जैसा है, लेकिन आप हर कदम पर अपने भविष्य के स्वयं को केवल एक पोस्टकार्ड दे सकते हैं।
वैज्ञानिक इन एआई मॉडलों को "ट्रांसफॉर्मर" कहते हैं। ये उन स्मार्ट चैटबॉट्स के पीछे के इंजन हैं जिनका हम रोज़ाना उपयोग करते हैं। ये मॉडल दो दिशाओं में काम करते हैं: वे एक पृष्ठ पर शब्दों को (क्षैतिज रूप से) पढ़ते हैं और कई "न्यूरॉन्स" की परतों के माध्यम से सूचना को (लंबवत) प्रोसेस करते हैं जो एक के ऊपर एक रखी होती हैं। समस्या यह है कि हालांकि वे अपने द्वारा लिखे गए सभी शब्दों को देख सकते हैं, लेकिन वे अपने गहरे, जटिल आंतरिक विचारों को वापस अपने मस्तिष्क के निचले हिस्से में प्रोसेस करने के लिए आसानी से नहीं भेज सकते। एक बार जब कोई विचार शब्द में बदल जाता है, तो उस विचार के समृद्ध, छिपे हुए विवरण काफी हद तक खो जाते हैं, जिससे एआई या तो एक लंबा, शब्दबहुल स्पष्टीकरण लिखता है या सब कुछ फिर से शुरू से कैलकुलेट करता है। शोधकर्ता जानना चाहते हैं: क्या हम एआई को अपने "गुप्त नोट्स" रखने दे सकते हैं और उन्हें शब्दों के रूप में लिखे बिना अपने मस्तिष्क के प्रारंभ में वापस भेज सकते हैं? यदि हम ऐसा कर सके, तो एआई तेज़, स्मार्ट और कम शब्दों के साथ सोच पाएगा।
यह शोध पत्र एक नए प्रकार के एआई का परिचय देता है जिसे "फुल-बैंडविड्थ ट्रांसफॉर्मर" कहा जाता है। माइक्रोसॉफ्ट और शीर्ष विश्वविद्यालयों में काम करने वाले शोधकर्ताओं ने उस संकीर्ण "फुसफुसाहट" वाले चैनल को चौड़ा करने का एक तरीका खोज निकाला है। केवल एक शब्द वापस भेजने के बजाय, वे एआई को अपना पूरा "हिडन स्टेट" (छिपी हुई अवस्था)—जो अब तक उसने जो कुछ भी सोचा है उसका एक विशाल, जटिल सारांश है—वापस अपने मस्तिष्क के निचले हिस्से में भेजने देते हैं। वे इसे "लेटेंट फीडबैक" नामक एक चतुर ट्रिक का उपयोग करके करते हैं। कल्पना कीजिए कि यदि, अपने भविष्य के स्वयं को एक पोस्टकार्ड देने के बजाय, आप अपने नोट्स के पूरे बैकपैक को तुरंत अपने शुरुआती बिंदु पर टेलीपोर्ट कर सकें, लेकिन आप रिकॉर्ड के रूप में पोस्टकार्ड को अभी भी रखते हैं। एआई अपने गहरे, आंतरिक सारांश को उस नए शब्द के साथ जोड़ देता है जिसे उसने अभी-अभी उत्पन्न किया है, जिससे अगले चरण के लिए एक सुपर-चार्ज्ड इनपुट तैयार होता है।
टीम ने इन नए मॉडलों को एक विशेष शेड्यूल का उपयोग करके प्रशिक्षित किया जो उनके सीखने के चरण के दौरान इस "टेलीपोर्टिंग" क्षमता को धीरे-धीरे पेश करता है। उन्होंने 1 बिलियन पैरामीटर्स वाले मॉडलों का परीक्षण भारी मात्रा में टेक्स्ट (400 बिलियन टोकन तक) पर किया। परिणाम बताते हैं कि यह तरीका आश्चर्यजनक रूप से अच्छा काम करता है। एआई न केवल गणित और कोडिंग में बेहतर हुआ; बल्कि इसने छोटे, अधिक कुशल तरीकों से सोचना भी शुरू कर दिया। कई परीक्षणों में, फुल-बैंडविड्थ ट्रांसफॉर्मर ने उन मानक मॉडलों के बराबर प्रदर्शन किया जिन्हें दोगुने डेटा पर प्रशिक्षित किया गया था, और कभी-कभी उन मॉडलों के बराबर भी रहा जिन्हें पांच गुना अधिक डेटा पर प्रशिक्षित किया गया था। शायद सबसे रोमांचक बात यह है कि गणित की समस्याओं को हल करते समय, ये नए मॉडल अक्सर सही परिणाम प्राप्त करते हुए बहुत छोटे उत्तर देते हैं, जिससे पता चलता है कि वे इसे समझाने के लिए शब्दों को बर्बाद करने के बजाय अपने "सिर" में कठिन सोच कर रहे थे। शोधकर्ताओं ने पाया कि यह दृष्टिकोण एआई की गति में लगभग कोई अतिरिक्त लागत नहीं जोड़ता है, जो इसे अनंत मात्रा में नया डेटा दिए बिना स्मार्ट, अधिक कुशल एआई बनाने का एक आशाजनक तरीका बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।