BCMT: Blockwise Causal Memory Transformer
BCMT (ब्लॉकवाइज़ कॉज़ल मेमोरी ट्रांसफॉर्मर) एक नवीन आर्किटेक्चर पेश करता है जो ब्लॉक सारांशों की एक एक्सपोनेंशियल कॉज़ल मेमोरी के माध्यम से स्थानीय टोकन इंटरैक्शन को वैश्विक संदर्भ प्रसार से अलग करता है, जिससे लंबी-संदर्भ मॉडलिंग के लिए डेंस ट्रांसफॉर्मर्स के तुलनीय प्रदर्शन प्राप्त होता है और साथ ही प्रशिक्षण थ्रूपुट में उल्लेखनीय सुधार होता है तथा मेमोरी खपत कम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त को कहानी सुनाने की कोशिश कर रहे हैं, लेकिन वह कहानी दस लाख शब्दों लंबी है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, कहानियाँ लिखने वाले कंप्यूटर (जिन्हें लैंग्वेज मॉडल कहा जाता है) कथानक को समझने के लिए एक "ट्रांसफॉर्मर" नामक टूल का उपयोग करते हैं। ट्रांसफॉर्मर को एक अत्यंत व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में समझें जो वर्तमान वाक्य को समझने के लिए, पूरी किताब में आए हर एक शब्द को देखता है। यह छोटी कहानियों के लिए अद्भुत काम करता है, लेकिन जैसे-जैसे किताब लंबी होती जाती है, लाइब्रेरियन घबराने लगता है। यदि किताब में 1,000 शब्द हैं, तो लाइब्रेरियन को 1,000 कनेक्शन बनाने होंगे। यदि इसमें 10,000 शब्द हैं, तो उसे 100,000 कनेक्शन बनाने होंगे। यह एक समय में स्टेडियम में मौजूद हर व्यक्ति से हाथ मिलाने की कोशिश करने जैसा है; प्रयास इतनी तेज़ी से बढ़ता है कि कंप्यूटर की मेमोरी और समय खत्म हो जाता है, जिससे बहुत लंबी किताबें पढ़ना असंभव हो जाता है।
वैज्ञानिक वर्षों से इस "लंबी किताब वाली समस्या" को ठीक करने की कोशिश कर रहे हैं। कुछ ने कोशिश की कि लाइब्रेरियन केवल पिछले कुछ पन्नों को ही देखे (जिससे मुख्य चित्र/बड़ी तस्वीर छूट जाती है), जबकि अन्य ने एक विशेष मेमोरी बैंक बनाने की कोशिश की जहाँ लाइब्रेरियन अतीत को याद रखने के लिए नोट्स लिखता है। लेकिन ये समाधान अक्सर जटिल होते हैं या कंप्यूटर को अलग-अलग तरीकों से धीमा कर देते हैं। बड़ा सवाल यह है: क्या हम एक ऐसा कंप्यूटर बना सकते हैं जो लंबी कहानियों को "सुपर-लाइब्रेरियन" जितनी ही अच्छी तरह समझ सके, लेकिन बिना उस भारी सिरदर्द के जो हर एक शब्द की हर दूसरे शब्द के साथ जाँच करने से होता है?
यहीं पर BCMT (ब्लॉकवाइज कॉज़ल मेमोरी ट्रांसफॉर्मर) नामक एक नया विचार आता है, जिसे शोधकर्ता राशिद अरेज़की ने प्रस्तावित किया है। कहानी को छोटे, प्रबंधनीय टुकड़ों या "ब्लॉक्स" में तोड़ने के बजाय, BCMT इसे एक अलग तरीके से करता है। कल्पना कीजिए कि आप एक उपन्यास पढ़ रहे हैं, लेकिन पेज 1 से पेज 500 तक के हर शब्द को याद करने के बजाय, आप एक अध्याय पढ़ते हैं, उस अध्याय में जो हुआ उसका एक त्वरित, स्मार्ट सारांश लिखते हैं, और फिर उस सारांश को अपनी जेब में रख लेते हैं। फिर आप अगला अध्याय पढ़ते हैं, एक और सारांश लिखते हैं, और उसे अपनी जेब में डाल देते हैं।
यहाँ चालाकी भरी बात यह है: BCMT पुराने अध्यायों को केवल भूल नहीं जाता है। यह एक विशेष "एक्सपोनेंशियल मेमोरी" (घातांकीय स्मृति) प्रणाली का उपयोग करता है। इसे एक फीकी पड़ती गूँज (fading echo) के रूप में समझें। आपके द्वारा लिखा गया सबसे हालिया सारांश आपके दिमाग में तेज़ और स्पष्ट है, लेकिन पिछले अध्यायों के सारांश अभी भी वहीं हैं, बस जैसे-जैसे आप समय में पीछे जाते हैं, वे शांत होते जा रहे हैं। यह कंप्यूटर को अतीत के हर विवरण को अपनी सक्रिय मेमोरी में रखने की आवश्यकता के बिना कहानी के सामान्य प्रवाह को याद रखने की अनुमति देता है।
शोधकर्ताओं ने इस विचार का परीक्षण WikiText-103 नामक डेटासेट का उपयोग करके एक मानक भाषा कार्य पर किया। शोधकर्ताओं ने पाया कि BCMT, 1,024 टोकन तक के संदर्भ (context) के बावजूद, वाक्य में अगले शब्द की भविष्यवाणी करने में पारंपरिक "सुपर-लाइब्रेरियन" पद्धति के लगभग बराबर काम करता है। हालाँकि, असली जादू इसकी गति और दक्षता में है। क्योंकि BMT को हर शब्द की हर दूसरे शब्द के साथ जाँच नहीं करनी पड़ती, इसलिए यह बहुत तेज़ी से प्रशिक्षित होता है। एक मानक ग्राफिक्स कार्ड वाले कंप्यूटर पर, यह नया तरीका लगभग 204,200 टोकन प्रति सेकंड प्रोसेस कर सकता है, जबकि पुराने तरीके के लिए यह केवल 119,900 टोकन प्रति सेकंड था—जो एक बड़ी छलांग है। इसने काफी कम कंप्यूटर मेमोरी (लगभग 10.48 GB, 14.37 GB के बजाय) का भी उपयोग किया।
शोधकर्ताओं ने यह सुनिश्चित करने के लिए एक विशिष्ट परीक्षण भी चलाया कि गति केवल कहानी को छोटे टुकड़ों में तोड़ने के कारण नहीं थी। उन्होंने मॉडल का एक संस्करण बनाया जिसने कहानी को टुकड़ों में तो विभाजित किया लेकिन उस विशेष "मेमोरी पॉकेट" का उपयोग नहीं किया। उस संस्करण का प्रदर्शन खराब रहा। इससे पता चलता है कि "फीकी पड़ती गूँज" वाली मेमोरी प्रणाली ही असली नायक है, न कि केवल टेक्स्ट को टुकड़ों में काटने की क्रिया।
संक्षेप में, BCMT लंबी कहानियों को संभालने के लिए AI बनाने के एक नए तरीके का सुझाव देता है। यह तत्काल परिवेश (वर्तमान टेक्स्ट ब्लॉक) को समझने के कार्य को इतिहास (मेमोरी पॉकेट) को याद रखने के कार्य से अलग करता है। हालाँकि यह दूर के अतीत के हर विवरण को पूर्ण सटीकता के साथ याद नहीं रखता—क्योंकि पुराने सारांश शांत होते जाते हैं—लेकिन यह बड़े चित्र को ध्यान में रखने का एक बहुत ही कुशल तरीका प्रदान करता है। लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण AI को तेज़ और लंबे टेक्स्ट पढ़ने में अधिक सक्षम बनाने के लिए एक आशाजनक विकल्प है, हालांकि वे यह भी नोट करते हैं कि प्राचीन विवरणों की सटीक रिकॉल (स्मरण शक्ति) की आवश्यकता वाले कार्यों के लिए, पुराने "सब कुछ जाँचने वाले" तरीके की अभी भी आवश्यकता हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।