DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
डेल्टालॉग (DeltaLog) एक रिकरेंट-स्टेट डिकोडिंग स्कीम है जो पूर्ण स्टेट मैटेरियलाइजेशन को स्थगित करने के लिए एक सीमित लॉग में संक्षिप्त अपडेट जोड़ने और उन्हें समय-समय पर मर्ज करने के पक्ष में लीनियर अटेंशन मॉडल्स को त्वरित करती है, जिससे मेमोरी ट्रैफिक काफी कम हो जाता है और एंड-टू-एंड सर्विंग स्पीड में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम जो टेक्स्ट जनरेट करते हैं, चैटबॉट्स से लेकर क्रिएटिव राइटिंग असिस्टेंट तक, एक मौलिक प्रक्रिया पर निर्भर करते हैं जिसे ऑटोरेग्रेसिव डिकोडिंग (autoregressive decoding) कहा जाता है। इस प्रक्रिया में, कंप्यूटर एक वाक्य में एक बार में एक शब्द का अनुमान लगाता है, अपने द्वारा पहले से जनरेट किए गए शब्दों का उपयोग करके अपने अगले अनुमान को सूचित करता है। वर्षों से, सबसे शक्तिशाली मॉडलों ने यह तय करने के लिए 'अटेंशन' (attention) नामक एक तंत्र का उपयोग किया है कि पिछले कौन से शब्द वर्तमान भविष्यवाणी के लिए सबसे अधिक महत्वपूर्ण हैं। हालांकि यह दृष्टिकोण अविश्वसनीय रूप से प्रभावी है, लेकिन यह एक बढ़ती हुई बाधा (bottleneck) पैदा करता है: जैसे-जैसे बातचीत लंबी होती जाती है, सिस्टम को अब तक देखे गए प्रत्येक शब्द की एक लगातार बढ़ती सूची को स्टोर और रिट्रिव करना पड़ता है, जिससे कंप्यूटर मेमोरी का बहुत अधिक उपभोग होता है और रिस्पॉन्स टाइम धीमा हो जाता है। इसे हल करने के लिए, शोधकर्ताओं ने मॉडलों का एक नया वर्ग विकसित किया है जो विस्तार होने वाली सूची के स्थान पर एक निश्चित आकार के सारांश, या 'स्टेट' (state) का उपयोग करते हैं, जो प्रत्येक नए शब्द के साथ अपडेट होता है। यह परिवर्तन हर एक पिछले टोकन को याद रखने की आवश्यकता को समाप्त कर देता है, लेकिन यह एक अलग समस्या पेश करता है: सिस्टम को अभी भी हर बार एक नया शब्द जोड़े जाने पर इस पूरे सारांश को लगातार फिर से लिखना पड़ता है, जिससे कंप्यूटर की मेमोरी में भारी ट्रैफिक जाम लग जाता है।
चाइना यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं ने इस निरंतर पुनलेखन (rewriting) को एक बड़ी अक्षमता के रूप में पहचाना है और एक समाधान निकाला है जिसे वे 'डेल्टा-लॉग' (DeltaLog) कहते हैं। कंप्यूटर को हर एक शब्द के बाद बातचीत के पूरे सारांश को फिर से लिखने के लिए मजबूर करने के बजाय, डेल्टा-लॉग सिस्टम को बातचीत के सारांश का एक स्थिर, पूर्ण संस्करण रखने और हालिया बदलाव का वर्णन करने वाला एक छोटा, संक्षिप्त नोट जोड़ने की अनुमति देता है। सिस्टम केवल इन छोटे नोट्स की एक निश्चित संख्या जमा होने के बाद ही पूरे सारांश को फिर से लिखता है। यह दृष्टिकोण एक मास्टर लेजर और स्टिकी नोट्स के ढेर को रखने जैसा है; हर बार जब कोई नया लेनदेन होता है तो पूरे लेजर को फिर से लिखने के बजाय, आप बस लेनदेन को स्टैक में जोड़ देते हैं और लेजर को तभी अपडेट करते हैं जब स्टैक बहुत ऊँचा हो जाता है। ऐसा करके, शोधकर्ताओं ने पाया कि वे डेटा की मात्रा को काफी कम कर सकते हैं जिसे कंप्यूटर को इधर-उधर ले जाने (move) की आवश्यकता होती है, जो अक्सर इस प्रक्रिया का सबसे धीमा हिस्सा होता है।
शोधकर्ताओं ने इस पद्धति का परीक्षण गेटेड डेल्टा-नेट (Gated DeltaNet), किमी डेल्टा अटेंशन (Kimi Delta Attention) और आरडब्ल्यूकेवी6 (RWKV6) सहित आधुनिक भाषा मॉडलों के कई विभिन्न प्रकारों पर किया। अपने प्रयोगों में, उन्होंने मापा कि कंप्यूटर को एक एकल शब्द जनरेट करने में कितना समय लगा और कितना मेमोरी ट्रैफिक शामिल था। उन्होंने पाया कि सारांश के पूर्ण पुनलेखन को स्थगित करके, वे हाई-एंड ग्राफिक्स कार्ड पर मॉडल की मेमोरी को अपडेट करने वाली मुख्य गणना की गति को 1.86 गुना तक बढ़ा सकते हैं। इससे भी महत्वपूर्ण बात यह है कि उन्होंने देखा कि कंप्यूटर की हाई-स्पीड मेमोरी में लिखे जाने वाले डेटा की मात्रा 7.83 गुना तक कम हो गई। यह ट्रैफिक में कमी महत्वपूर्ण है क्योंकि, इस प्रकार के मॉडलों में, गति इस बात से सीमित नहीं होती है कि कंप्यूटर कितनी तेजी से गणना कर सकता है, बल्कि इस बात से कि वह अपनी मेमोरी में डेटा को कितनी तेजी से इधर-उधर ले जा सकता है।
जब शोधकर्ताओं ने इस पद्धति को एक पूर्ण सिस्टम में एकीकृत किया जिसे एक साथ कई उपयोगकर्ताओं को सेवा देने के लिए डिज़ाइन किया गया था, तो इसके लाभ एंड-यूज़र के लिए तेज़ रिस्पॉन्स टाइम के रूप में सामने आए। दस अरबों पैरामीटर्स वाले बड़े मॉडलों के साथ परीक्षणों में, सिस्टम ने पहले की तुलना में 5% से 20% तेजी से शब्द जनरेट किए। यह सुधार तब सबसे अधिक स्पष्ट था जब सिस्टम एक साथ कई अनुरोधों को संभाल रहा था, जो वास्तविक दुनिया के अनुप्रयोगों के लिए एक सामान्य परिदृश्य है। शोधकर्ताओं ने पुष्टि की कि यह गति वृद्धि सटीकता की कीमत पर नहीं आई; संशोधित सिस्टम द्वारा जनरेट किया गया टेक्स्ट मूल के गणितीय रूप से समकक्ष रहा, जिसका अर्थ है कि आउटपुट की गुणवत्ता बनी रही जबकि उसकी डिलीवरी बहुत अधिक कुशल हो गई।
इस कार्य के पीछे का मुख्य विचार यह है कि कंप्यूटर भौतिक रूप से जानकारी को कैसे संग्रहीत और अपडेट करता है, उसे हमेशा उस तार्किक चरणों (logical steps) से मेल खाने की आवश्यकता नहीं होती है जो मॉडल लेता है। जबकि मॉडल तार्किक रूप से हर शब्द के साथ अपने स्टेट को अपडेट करता है, हार्डवेयर को उस परिवर्तन को दर्शाने के लिए तुरंत पूरे स्टेट को फिर से लिखने की आवश्यकता नहीं होती है। स्थिर इतिहास को हालिया परिवर्तनों से अलग करके और उन्हें केवल समय-समय पर मर्ज करके, डेल्टा-लॉग "स्टेट-अपडेट टैक्स" को कम करता है, जो कि लेखक द्वारा उपयोग किया गया एक शब्द है जो तत्काल अपडेट के कारण होने वाले अत्यधिक मेमोरी ट्रैफिक का वर्णन करता है। यह रणनीति अंतर्निहित मॉडल या उसके वेट्स (weights) को नहीं बदलती है; यह केवल इस बात के शेड्यूल को बदल देती है कि कंप्यूटर डेटा को कैसे हैंडल करता है। परिणाम बताते हैं कि बड़े पैमाने के भाषा मॉडलों के लिए, डेटा की भौतिक आवाजाही को अनुकूलित करना गणितीय एल्गोरिदम में सुधार करने जितना ही महत्वपूर्ण है, जो तेज़ और अधिक कुशल आर्टिफिशियल इंटेलिजेंस के लिए एक स्पष्ट मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।