T^2MLR: Transformer with Temporal Middle-Layer Recurrence
यह शोधपत्र T^2MLR प्रस्तुत करता है, जो एक ट्रांसफॉर्मर आर्किटेक्चर है जो पिछले टोकन के कैश किए गए मध्य-परत (middle-layer) निरूपणों को वर्तमान टोकन की प्रारंभिक परतों में संलयित (fuse) करके लेटेंट रीजनिंग (latent reasoning) को बढ़ाता है, जो एक लक्षित दृष्टिकोण है जो मानक बेसलाइन और पूर्ण-परत पुनरावृत्ति (full-layer recurrence) से बेहतर प्रदर्शन करता है और मौजूदा प्रीट्रेन्ड मॉडलों के कुशल रेट्रोफिटिंग की अनुमति देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को एक कठिन पहेली हल करना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, आज के सबसे लोकप्रिय रोबोट एक डिज़ाइन पर आधारित हैं जिसे "ट्रांसफॉर्मर" (Transformer) कहा जाता है। एक ट्रांसफॉर्मर को एक बहुत तेज़, बहुत उत्सुक पाठक के रूप में समझें जो एक कहानी को एक बार में एक शब्द के हिसाब से पढ़ता है। हर बार जब यह एक नया शब्द पढ़ता है, तो इसे पिछले शब्द से जुड़ी अपनी गहरी, जटिल सोच के बारे में लगभग सब कुछ भूलना पड़ता है और नए सिरे से शुरुआत करनी पड़ती है, उस समृद्ध सोच को एक छोटे, सरल नोट में संकुचित (compress) करके अगले शब्द की ओर बढ़ना होता है। यह एक गणित की समस्या को हल करने जैसा है जहाँ आपको हर कदम से पहले अपने रफ पेपर को मिटाना पड़ता है और अगले कदम पर जाने से पहले केवल अंतिम उत्तर लिखना होता है। यह सरल कार्यों के लिए ठीक काम करता है, लेकिन जब रोबट को अपने दिमाग में तर्क की एक लंबी श्रृंखला बनाए रखने की आवश्यकता होती है—जैसे कि किसी गुप्त कोड को ट्रैक करना या बहु-चरणीय पहेली को हल करना—तो यह अक्सर खो जाता है क्योंकि यह अपने "विचारों" को चरणों के बीच जीवित नहीं रख पाता है।
वैज्ञानिक इसे ठीक करने के लिए रोबोट को उसके विचारों का एक "छिपा हुआ नोटबुक" रखने की अनुमति देकर प्रयास कर रहे हैं, लेकिन अधिकांश प्रयासों में या तो रोबोट अविश्वसनीय रूप से धीमा हो जाता है (क्योंकि उसे अपना पूरा नोटबुक बार-बार फिर से पढ़ना पड़ता है) या उसे अपने विचारों को एक अजीब, अदृश्य भाषा में लिखने के लिए मजबूर किया जाता है जिसे प्रशिक्षित करना कठिन होता है। बड़ा सवाल यह है: क्या हम रोबोट को एक तरीका दे सकते हैं जिससे वह एक शब्द से दूसरे शब्द तक अपनी गहरी, अमूर्त सोच को जीवित रख सके, बिना धीमे हुए या इसे सिखाना असंभव बनाए? यह शोध पत्र एक चतुर नई तकनीक पेश करता है जिसे T2MLR (ट्रांसफॉर्मर्स विद टेम्पोरल मिडल-लेयर रिकरेंस) कहा जाता है, जो यह सुझाव देता है कि उत्तर हाँ है, लेकिन केवल तभी जब हम इस बात को बदल दें कि रोबोट अपने विचारों को कहाँ रखता है।
शोधकर्ता इस नए तरीके का प्रस्ताव करते हैं जिससे हमारे AI मॉडल अपने सोचने की प्रक्रिया को "याद" रख सकें। इसके बजाय कि रोबोट को अपनी गहरी सोच को अपने प्रसंस्करण (processing) के बिल्कुल शुरुआत या अंत में एक छोटे से नोट में लिखने के लिए मजबूर किया जाए, वे उसे अपने मस्तिष्क के मध्य भाग से सीधे अपने मस्तिष्क के मध्य भाग को एक "गुप्त संदेश" भेजने की अनुमति देते हैं। एक रिले रेस की कल्पना करें जहाँ, दौड़ने वालों को केवल शुरुआत या फिनिश लाइन पर बैटन पास करने के बजाय, वे ट्रैक के बीच में एक-दूसरे को एक विशेष नोट पास करते हैं। यह AI के "मिडल लेयर्स" (मध्य परतों) में होने वाले जटिल, अमलात्मक तर्क को एक शब्द से दूसरे शब्द तक विकसित होने और बने रहने की अनुमति देता है, बिना सब कुछ शून्य से फिर से गणना किए।
शोध पत्र में पाया गया कि यह "मिडल-लेयर" दृष्टिकोण आश्चर्यजनक रूप से अच्छा काम करता है। जब उन्होंने इसे अवस्थाओं (states) को ट्रैक करने वाले कार्यों (जैसे कि खेल में चालों के क्रम को याद रखना) या बहु-चरणीय गणित की समस्याओं को हल करने पर परखा, तो नया T2MLर मॉडल समान आकार के मानक मॉडलों से लगातार बेहतर रहा। दिलचस्प बात यह है कि उन्होंने पाया कि आपको पूरे रोबोट को सब कुछ याद रखने की आवश्यकता नहीं है; बस मध्य परतों के एक छोटे हिस्से (लगभग 20%) को इन नोट्स को आगे-पीछे भेजने देना ही अक्सर पूरे रोबोट को अपने विचारों पर लूप चलाने से बेहतर होता है। यहाँ तक कि वास्तविक दुनिया के लिए भी रोमांचक बात यह है कि आपको इस नए सिस्टम का उपयोग करने के लिए नया रोबोट शुरू से बनाने की आवश्यकता नहीं है। उन्होंने एक मौजूदा, प्री-ट्रेंड रोबोट (1.7 बिलियन पैरामीटर वाला मॉडल) लिया और बस इस नए मिडल-लेयर मेमोरी सिस्टम को उस पर "ग्राफ्ट" (रोपित) कर दिया। गणित की समस्याओं पर थोड़े से अतिरिक्त प्रशिक्षण के बाद, यह अपग्रेड किया गया रोबोट उन्हें हल करने में काफी बेहतर हो गया, एक परीक्षण में 35.8% सफलता दर से बढ़कर लगभग 40% और दूसरे में 12.8% से 18% हो गया।
लेखकों का सुझाव है कि यह इसलिए काम करता है क्योंकि एक ट्रांसफॉर्मर का "मध्य" वह स्थान है जहाँ सबसे अमूर्त तर्क होता है, और उन विशिष्ट विचारों को समय के साथ बने रहने देकर, मॉडल बेहतर "लेटेंट रीजनिंग" (बिना सब कुछ लिखे सोचना) कर सकता है। हालाँकि, वे सावधानी बरतते हैं कि इसके साथ एक समझौता (trade-off) भी आता है: जबकि रोबोट वास्तव में प्रश्नों का उत्तर देते समय बहुत धीमा नहीं होता है (यह प्रति शब्द लगभग 8% अतिरिक्त कार्य जोड़ता है), इसे प्रशिक्षित करने में अधिक समय लगता है क्योंकि कंप्यूटर को यह पता लगाने के लिए कुछ अतिरिक्त गणित करना पड़ता है कि ये मेमोरी नोट्स कैसे काम करेंगे। इस प्रशिक्षण लागत के बावजूद, परिणाम बताते हैं कि AI में प्रभावी तर्क के लिए मस्तिष्क की हर परत पर लूप चलाने की आवश्यकता नहीं है; इसके बजाय, एक लक्षित, मिडल-लेयर मेमोरी सिस्टम अधिक स्थायी और स्मार्ट सोच को अनलॉक करने की कुंजी हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।