One Vector Is All You Need for O(1) Self-Attention: The Ocean State
यह शोध पत्र "ओशन स्टेट" (Ocean State) को प्रस्तुत करता है, जो एक विधि है जो मानक सेल्फ-अटेंशन को एक एकल निरंतर वेक्टर (single persistent vector) से बदल देती है ताकि O(1) गणना और मेमोरी जटिलता प्राप्त की जा सके, साथ ही यह बेहतर प्रशिक्षण स्थिरता और 10 मिलियन स्टेप्स के संदर्भ में भी विस्मृति (forgetting) के कोई लक्षण न होने का प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस अक्सर एक विशेष प्रकार के कंप्यूटर प्रोग्राम पर निर्भर करता है जिसे 'ट्रांसफॉर्मर' कहा जाता है, जो टेक्स्ट लिखने, भाषाओं का अनुवाद करने और प्रश्नों के उत्तर देने जैसे कार्यों के लिए एक मानक बन गया है। ये प्रोग्राम शब्दों के एक क्रम को देखकर यह तय करते हैं कि अगला शब्द क्या होगा। इसे सटीक रूप से करने के लिए, प्रोग्राम को उन शब्दों को याद रखना चाहिए जिन्हें उसने पहले ही देख लिया है। वर्तमान डिज़ाइन में, जैसे-जैसे प्रोग्राम एक लंबा वाक्य या पूरी किताब पढ़ता है, वह अब तक प्रोसेस किए गए हर शब्द की एक बढ़ती हुई सूची रखता है। यह सूची एक मेमोरी बैंक की तरह काम करती है जो हर नए शब्द के साथ बढ़ती जाती है। हालांकि यह छोटे टेक्स्ट के लिए अच्छी तरह काम करता है, लेकिन बहुत लंबे टेक्स्ट के लिए यह एक भारी बोझ बन जाता है। कंप्यूटर को प्रासंगिक जानकारी खोजने के लिए लगातार इस बढ़ती हुई सूची को स्कैन करना पड़ता है, जिसके लिए भारी मात्रा में प्रोसेसिंग पावर और मेमोरी की आवश्यकता होती है। जैसे-जैसे टेक्स्ट लंबा होता जाता है, इसे पढ़ने के लिए आवश्यक समय और ऊर्जा टेक्स्ट की लंबाई की तुलना में बहुत तेजी से बढ़ती है, जिससे बहुत लंबे दस्तावेज़ों को कुशलतापूर्वक प्रोसेस करना अंततः असंभव हो जाता है।
यु शुयुआन नामक एक शोधकर्ता ने इस मेमोरी समस्या को संभालने का एक अलग तरीका प्रस्तावित किया है। हर शब्द की एक बढ़ती हुई सूची रखने के बजाय, नया तरीका केवल एक एकल सारांश वेक्टर (summary vector) रखने का सुझाव देता है, जिसे लेखक "ओशन स्टेट" (ocean state) कहते हैं। इस 'स्टेट' की कल्पना एक एकल, सघन कंटेनर के रूप में करें जो उस सार को थामे हुए है जो प्रोग्राम ने अब तक पढ़ा है। जैसे ही प्रोग्राम एक नया शब्द पढ़ता है, वह इस एकल कंटेनर को अपडेट करता है ताकि इसमें नई जानकारी शामिल हो सके, और पुराने सारांश को एक नए सारांश से बदल देता है। प्रोग्राम फिर अगले शब्द की भविष्यवाणी करने में मदद के लिए इसी एकल कंटेनर का उपयोग करता है। यह दृष्टिकोण समस्या के मौलिक गणित को बदल देता है: टेक्स्ट की लंबाई के साथ प्रयास बढ़ने के बजाय, प्रयास स्थिर रहता है चाहे टेक्स्ट कितना भी लंबा क्यों न हो जाए। प्रोग्राम एक मिलियन शब्दों को भी प्रति शब्द समान कार्य के साथ पढ़ सकता है, और यह लंबाई के बावजूद मेमोरी का एक निश्चित, छोटा हिस्सा उपयोग करता है।
इस कार्य के पीछे का मूल विचार एक सरल प्रश्न है: क्या होगा यदि हम एक वाक्य के अंतिम सारांश का उपयोग अगले शब्द की भविष्यवाणी करने के बाद उसे फेंक न दें? मानक प्रोग्रामों में, यह सारांश गणना किया जाता है और फिर हटा दिया जाता है। नया तरीका इसे रखता है, इसे एक निरंतर स्मृति (persistent memory) के रूप में मानता है जो एक चरण से दूसरे चरण तक बहती रहती है। प्रोग्राम वर्तमान शब्द और इस एकल सारांश वेक्टर को पढ़ता है, उन्हें जोड़ता है, और एक नया सारांश बनाता है। यह प्रक्रिया टेक्स्ट के हर शब्द के लिए दोहराई जाती है। महत्वपूर्ण रूप से, प्रोग्राम इस एकल वेक्टर को पढ़ने और अपडेट करने का तरीका पूरी तरह से अपने आप सीख जाता है। किसी ने इसे यह नहीं बताया कि जानकारी को एक स्थान में कैसे संकुचित (compress) किया जाए; इसने प्रशिक्षण के दौरान इसे स्वयं सीखा क्योंकि डिज़ाइन ने ऐसा होने की अनुमति दी। शोधकर्ताओं ने पाया कि यह एकल वेक्टर आश्चर्यजनक रूप से सक्षम है। यह दस मिलियन स्टेप्स के अनुक्रम से जानकारी को बिना खोए रखने में सक्षम है। परीक्षणों में, प्रोग्राम दस मिलियन स्टेप्स की शुरुआत से विशिष्ट शब्दों को उतनी ही सटीकता से याद कर सका जितनी सटीकता से वह पहले कुछ स्टेप्स से कर सकता था, जिसमें भूलने का कोई संकेत नहीं मिला।
शोधकर्ताओं ने इस विचार का परीक्षण एक बड़े टेक्स्ट डेटासेट का उपयोग करके मानक पद्धति के विरुद्ध किया। उन्होंने दोनों संस्करणों को एक वाक्य में अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया। परिणाम दर्शाते हैं कि नया तरीका, जो केवल एक वेक्टर का उपयोग करता है, लगातार मानक पद्धति से बेहतर प्रदर्शन करता है जो एक बढ़ती हुई सूची रखता है। यह लाभ कोई इत्तेफाक नहीं था; यह विभिन्न सेटिंग्स में दिखाई दिया, जिसमें मॉडल के विभिन्न आकार और टेक्स्ट की विभिन्न लंबाई शामिल थी। वास्तव में, नया तरीका इतना स्थिर था कि यह बिना किसी त्रुटि वृद्धि के दस मिलियन स्टेप्स के अनुक्रम को प्रोसेस कर सका, जबकि मानक पद्धति उस लंबाई के एक अंश को भी प्रोसेस करने के लिए मेमोरी खत्म कर देती या असंभव समय लेती। शोधकर्ताओं ने एक विशिष्ट कार्य का भी परीक्षण किया जहाँ प्रोग्राम को एक लंबे अंतराल के बाद एक शब्द को दोहराना था। नया तरीका 0.0006 की हानि के साथ शब्द को पुनरुत्पादित करता है, जबकि मानक पद्धति पूरी तरह विफल रही।
ऐसे संकुचित मेमोरी के साथ एक चिंता यह है कि यह समय के साथ अपठनीय या "धुंधली" (foggy) हो सकती है, जिससे अच्छे अनुमान लगाने के लिए आवश्यक विवरण खो सकते हैं। हालाँकि, प्रयोगों ने इसके विपरीत दिखाया। एकल वेक्टर तीक्ष्ण और स्पष्ट बना रहा, जो लाखों स्टेप्स के बाद भी विशिष्ट जानकारी प्राप्त करने में सक्षम था। शोधकर्ताओं ने यह भी पता लगाया कि वास्तविक कंप्यूटरों पर इस तरीके को तेज़ कैसे बनाया जाए। क्योंकि नया तरीका शब्दों को एक सख्त क्रम में एक के बाद एक प्रोसेस करता है, इसलिए यह मानक पद्धति की तुलना में एक सिंगल मशीन पर प्रशिक्षित होने में धीमा हो सकता है, जो एक साथ कई शब्दों को प्रोसेस कर सकती है। इसे हल करने के लिए, शोधकर्ताओं ने प्रोग्राम के विभिन्न स्तरों (layers) के बीच काम को विभाजित करने का एक तरीका विकसित किया, जिससे कई चरणों को एक साथ प्रोसेस किया जा सके। इस इंजीनियरिंग परिवर्तन ने मॉडल को प्रशिक्षित करने के लिए आवश्यक समय को काफी कम कर दिया और साथ ही उच्च प्रदर्शन को बनाए रखा।
यह अध्ययन प्रदर्शित करता है कि एक निश्चित मात्रा में मेमोरी और प्रोसेसिंग पावर का उपयोग करके सूचना की एक विशाल मात्रा को याद रखने वाला सिस्टम बनाना संभव है। शोधकर्ताओं ने दिखाया कि प्रोग्राम बिना किसी विशेष निर्देश के इस जानकारी को कुशलतापूर्वक व्यवस्थित करना सीख जाता है। हालांकि वर्तमान प्रयोग एक विशिष्ट डेटासेट और अपेक्षाकृत छोटे मॉडलों के साथ किए गए थे, और वास्तविक दुनिया के आकार पर व्यवहार का परीक्षण किया जाना बाकी है, परिणाम बताते हैं कि अंतर्निहित सिद्धांत मजबूत है। यह तरीका इस बात पर काम करता है कि प्रोग्राम अपने स्वयं के आंतरिक स्टेट को कैसे संभालता है, एक विसर्जित किए जाने वाले सारांश को एक निरंतर स्मृति में बदलकर। यह परिवर्तन उस संरचनात्मक लागत को समाप्त करता है जिसने टेक्स्ट की लंबाई को सीमित कर दिया था जिसे AI सिस्टम संभाल सकते हैं। निष्कर्ष बताते हैं कि इस दृष्टिकोण के साथ, संदर्भ लंबाई (context length) की सीमाएँ अब बाधा नहीं रहेंगी, जिससे ऐसे सिस्टम बनाना संभव होगा जो किसी भी आकार के दस्तावेज़ों को निरंतर गति और सटीकता के साथ पढ़ और समझ सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।