🤖 machine learning

Maglev: Sliding Recurrent Memory

यह शोध पत्र Maglev को प्रस्तुत करता है, जो एक आवर्ती (recurrent) ट्रांसफॉर्मर आर्किटेक्चर है जो निश्चित आकार की मेमोरी, समानांतर योग्य (parallelizable) प्रशिक्षण और मौजूदा स्लाइडिंग-विंडो एवं लेटेंट रिकरेंट बेसलाइनों की तुलना में बेहतर प्रदर्शन प्राप्त करने के लिए एक फुल-अटेंशन प्रीफिलर को मेमोरी कंसिस्टेंसी लॉस के माध्यम से प्रशिक्षित स्लाइडिंग-विंडो डिकोडर के साथ जोड़ता है।

मूल लेखक: Bo Liu, Qiang Liu

प्रकाशित 2026-08-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo Liu, Qiang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मेमोरी की समस्या: क्यों AI को एक बेहतर नोटबुक की ज़रूरत है

कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, लेकिन हर बार एक वाक्य पूरा करने के बाद, आपको वह सब कुछ भूलना पड़ता है जो आपने पहले लिखा था। यह कई आधुनिक आर्टिफिशियल इंटेलिजेंस मॉडल्स की बुनियादी संघर्ष है। ये मॉडल्स, जिन्हें 'ट्रांसफॉर्मर' (Transformers) कहा जाता है, भाषा को समझने में अविश्वसनीय रूप से अच्छे हैं, लेकिन उनकी याद रखने की रणनीति थोड़ी पेचीदा है। उनके लिए "परफेक्ट" तरीका यह है कि उन्होंने अब तक देखे गए हर एक शब्द को अपने सामने रखें, जैसे कि एक विशाल, खुला हुआ नोटबुक। इससे वे किताब की शुरुआत से अंत तक के विचारों को जोड़ सकते हैं, लेकिन यह इतना भारी और धीमा हो जाता है कि यदि कहानी बहुत लंबी हो जाए, तो कंप्यूटर की ऊर्जा और समय समाप्त हो जाता है।

इसे ठीक करने के लिए, इंजीनियर अक्सर "स्लाइडिंग विंडो" (sliding window) दृष्टिकोण का उपयोग करते हैं। कल्पना कीजिए कि AI केवल पिछले कुछ वाक्यों को अपने नोटबुक में रखता है और बाकी सबको हटा देता है। यह कंप्यूटर को तेज़ और कुशल बनाता है, लेकिन इसका मतलब है कि AI कहानी के शुरुआती महत्वपूर्ण विवरणों को याद रखने की क्षमता खो देता है। दूसरी ओर, पुराने प्रकार के AI मॉडल्स ने अपने पूरे इतिहास को एक छोटे, एकल सारांश नोट में संकुचित (compress) करने की कोशिश की। यह तेज़ है, लेकिन सारांश अक्सर अव्यवस्थित हो जाता है और जटिल कथानकों को समझने के लिए आवश्यक समृद्ध विवरण खो देता है। कंप्यूटर विज्ञान के इस कोने में बड़ा सवाल यह है: क्या हम एक ऐसा AI बना सकते हैं जिसमें स्लाइडिंग विंडो की गति हो लेकिन पूर्ण नोटबुक की गहरी, समृद्ध स्मृति भी हो, और वह भी बिना बोझिल हुए?

मैगलेव (Maglev): वह ट्रेन जो बिना सामान के याद रखती है

यह पेपर एक नए आर्किटेक्चर को पेश करता है जिसे मैगलेव (चुंबकीय उत्तोलन/Magnetic Levitation के लिए संक्षिप्त) कहा जाता है, जो एक हाई-स्पीड ट्रेन की तरह काम करता है जो बिना किसी भारी सामान वाले डिब्बे की आवश्यकता के मेमोरी के ट्रैक पर तैरती है। टेक्सास विश्वविद्यालय, ऑस्टिन के शोधकर्ता, बो लियू और कियांग लियू, एक चतुर दो-चरणीय प्रशिक्षण प्रक्रिया का प्रस्ताव करते हैं जो AI को चीजों को पूरी तरह से याद रखना सिखाती है, भले ही वास्तविक उपयोग के दौरान वह केवल एक निश्चित मात्रा में जानकारी ही रखे।

प्रशिक्षण प्रक्रिया को एक निर्देशक और एक अभिनेता के रिहर्सल के रूप में सोचें।

निर्देशक (पिफिलर Q - Prefiller Q): सबसे पहले, एक शक्तिशाली "निर्देशक" मॉडल पूरी कहानी को शुरू से अंत तक पढ़ता है। क्योंकि उसके पास पूरे टेक्स्ट तक पहुंच है, वह हर एक वाक्य के लिए सटीक "मेमोरी नोट्स" लिख सकता है। वह जानता है कि अभिनेता को अगली पंक्ति को सार्थक बनाने के लिए क्या याद रखने की आवश्यकता है।
अभिनेता (डिकोडर P - Decoder P): इसके बाद, एक "स्लाइडिंग विंडो" अभिनेता कहानी का प्रदर्शन करने की कोशिश करता है। इस अभिनेता को केवल पिछले कुछ वाक्यों और उन मेमोरी नोट्स को देखने की अनुमति है जो निर्देशक ने उसे अभी दिए हैं। अभिनेता अगले शब्द की भविष्यवाणी करने की कोशिश करता है और, महत्वपूर्ण रूप से, अगले कदम के लिए अपने स्वयं के मेमोरी नोट्स लिखने की कोशिश करता है।

यहाँ जादू का कमाल है: शोधकर्ता अभिनेता को सिखाते हैं कि वह अपने द्वारा लिखे गए नोट्स को निर्देशक द्वारा लिखे गए परफेक्ट नोट्स के साथ मिलाए। वे एक "कंसिस्टेंसी लॉस" (consistency loss) का उपयोग करते हैं, जो मूल रूप से एक ग्रेडिंग सिस्टम है जो कहता है, "यदि आपका मेमोरी नोट, निर्देशक के परफेक्ट नोट जैसा नहीं दिखता है, तो आप अंक खो देंगे।" समय के साथ, अभिनेता इतने अच्छे नोट्स लिखना सीख जाता है कि उसे वास्तव में निर्देशक की आवश्यकता नहीं होती।

अंत में क्या होता है?
एक बार प्रशिक्षण पूरा हो जाने के बाद, निर्देशक को हटा दिया जाता है। अभिनेता मंच पर अकेला रह जाता है। अब, अभिनेता पिछले वाक्य के लिए लिखे गए मेमोरी नोट्स का उपयोग करके और पिछले कुछ वाक्यों को पढ़कर शो चलाता है। यह एक ऐसा लूप बनाता है जहाँ AI के पास तत्काल संदर्भ के लिए "स्लाइडिंग विंडो" होती है लेकिन साथ ही उससे पहले की हर चीज़ की एक समृद्ध, संकुचित स्मृति भी होती है, और यह सब करते हुए उसका मेमोरी साइज स्थिर और छोटा रहता है।

परिणाम: गति और बुद्धिमत्ता का मिलन

लेखकों ने मैगलेव सिस्टम का परीक्षण 43.52 बिलियन टोकन के एक विशाल डेटासेट पर किया (टेक्स्ट की एक बहुत बड़ी मात्रा)। उन्होंने इसकी तुलना मानक स्लाइडिंग-विंडो मॉडल्स और अन्य उन्नत मेमोरी मॉडल्स से की।

परिणाम बताते हैं कि मैगलेव एक मजबूत दावेदार है। उनके प्रयोगों में:

मैगलेव मॉडल ने FineWeb-Edu वैलिडेशन बिट्स पर बाइट (BPB) को 0.7413 (मानक स्लाइडिंग-विंडो बेसलाइन) से घटाकर 0.7251 कर दिया। AI की दुनिया में, कम BPB स्कोर का अर्थ है कि मॉडल कम गलतियाँ कर रहा है और टेक्स्ट को बेहतर समझ रहा है।
इसने विभिन्न डाउनस्ट्रीम कार्यों (जैसे प्रश्न पूछना या वाक्यों को पूरा करना) पर औसत सटीकता को 54.1% से बढ़ाकर 56.4% कर दिया।

सबसे आश्चर्यजनक निष्कर्षों में से एक यह है कि "निर्देशक" और "अभिनेता" वास्तव में अपनी अधिकांश मस्तिष्क शक्ति (पैरामीटर्स) साझा कर सकते हैं। शोधकर्ताओं ने पाया कि भले ही दोनों मॉडल्स अपने आंतरिक वेट्स (weights) का अधिकांश हिस्सा साझा करते थे, फिर भी मैगलेव सिस्टम ने अपने प्रदर्शन लाभों को बनाए रखा। इसका मतलब है कि यदि दोनों मॉडल्स पूरी तरह से अलग होते, तो यह सिस्टम चलाने के लिए बहुत अधिक महंगा और बड़ा होता।

यह क्यों महत्वपूर्ण है

पेपर सुझाव देता है कि मैगलेव AI मॉडल्स को एक "नॉन-लीनियर" (nonlinear) मेमोरी देने का एक व्यावहारिक तरीका प्रदान करता है—एक ऐसी मेमोरी जिसे हर शब्द के साथ फिर से लिखा और अपडेट किया जा सकता है, ठीक वैसे ही जैसे एक इंसान सोचता है—बिना हर बार पूरे इतिहास को देखने की भारी कम्प्यूटेशनल लागत के। अन्य तरीकों के विपरीत जो AI को बड़े हिस्सों में सोचने के लिए मजबूर करते हैं या मेमोरी को अपडेट करने के लिए कठोर गणितीय सूत्रों का उपयोग करते हैं, मैगलेव मॉडल को अपनी मेमोरी को निरंतर और रचनात्मक रूप से अपडेट करने की अनुमति देता है।

हालाँकि लेखक नोट करते हैं कि यह एक प्रारंभिक जांच है और इसे और बड़े मॉडल्स तक ले जाने के लिए अधिक काम की आवश्यकता होगी, लेकिन मूल विचार ठोस है: एक "टीचर" का उपयोग करके जो प्रशिक्षण के दौरान "स्टूडेंट" का मार्गदर्शन करता है, हम एक AI को तेज़ और गहरी याददाश्त वाला बना सकते हैं। यह एक छात्र को कक्षा में सटीक नोट्स लेने के लिए सिखाने जैसा है ताकि, बाद में जब वह लाइब्रेरी में अकेला हो, तो वह अपने स्वयं के शॉर्टहैंड को देखकर पूरे लेक्चर को याद कर सके।

तकनीकी सारांश: मैगलेव (Maglev) – स्लाइडिंग रिकरेंट मेमोरी

समस्या विवरण
वर्तमान ट्रांसफॉर्मर आर्किटेक्चर मेमोरी क्षमता और कम्प्यूटेशनल दक्षता के बीच एक मौलिक ट्रेड-ऑफ (trade-off) का सामना करते हैं। पूर्ण कॉज़ल सेल्फ-अटेंशन (Full causal self-attention) शक्तिशाली नॉनलीनियर रिट्रीवल और इन-कॉन्टेक्स्ट कंप्यूटेशन सक्षम करता है, लेकिन इसकी लागत कॉन्टेक्स्ट की लंबाई के साथ रैखिक रूप से बढ़ती है। इसके विपरीत, स्लाइडिंग-विंडो अटेंशन (Sliding-window attention) अटेंशन और KV-कैश लागत को सीमित करता है, लेकिन दूरस्थ जानकारी को हटा देता है, जिससे दीर्घकालिक मेमोरी (long-term memory) प्रदान करने में विफलता होती है। क्लासिकल रिकरेंट मॉडल (जैसे LSTM) इतिहास को संकुचित करते हैं लेकिन इतिहास को क्रमिक रूप से (sequentially) प्रसारित करते हैं, जिससे क्षमता सीमित हो जाती है। जबकि मेमोरी ट्रांसफॉर्मर और लीनियर अटेंशन मॉडल इस अंतर को पाटने का प्रयास करते हैं, वे अक्सर कृत्रिम सेगमेंट सीमाएं (segment boundaries) थोपते हैं, संरचित लीनियर अपडेट पर निर्भर करते हैं, या प्रशिक्षण के दौरान अनुक्रमिक अनरोलिंग (sequential unrolling) की आवश्यकता रखते हैं। मुख्य चुनौती ट्रांसफॉर्मर के लिए एक व्यावहारिक, टोकन-वाइज नॉनलीनियर रिकरेंट मेमोरी मैकेनिज्म विकसित करना है जो अनुक्रमिक समानांतरता (sequence parallelism) को बनाए रखते हुए समानांतर प्रीट्रेनिंग की अनुमति दे सके।

कार्यप्रणाली: मैगलेव आर्किटेक्चर
मैगलेव इसे प्रशिक्षण के दौरान मेमोरी निर्माण को अनुमान (inference) के दौरान मेमोरी प्रसार से अलग करके हल करता है। आर्किटेक्चर में दो युग्मित (coupled) मॉडल शामिल हैं:

प्रीफ़िलर (Prefiller - $Q$ ): एक कॉज़ल ट्रांसफॉर्मर जो एक बड़े रिसेप्टिव फील्ड (जैसे, इंटरलीव्ड फुल और स्लाइडिंग-विंडो अटेंशन) का उपयोग करके देखे गए अनुक्रम को समानांतर में प्रोसेस करता है। यह प्रत्येक टोकन पोजीशन के लिए टारगेट मेमोरी वेक्टर्स, $m'_t$ का एक प्रक्षेपवक्र (trajectory) उत्पन्न करता है।
डिकोडर (Decoder - $P$ ): एक स्लाइडिंग-विंडो ट्रांसफॉर्मर जो अगले टोकन की भविष्यवाणी करता है और अपने स्वयं के मेमोरी वेक्टर्स, $m_t$ उत्पन्न करता है। महत्वपूर्ण रूप से, $P$ के पास पूर्ण इतिहास तक पहुंच नहीं होती है; यह केवल हाल के टोकनों के एक सीमित विंडो और मेमोरी वेक्टर्स के एक शिफ्टेड विंडो को देखता है।

प्रशिक्षण तंत्र: लिफ्टेड पैरेलल ट्रेनिंग (Lifted Parallel Training)
अनुक्रमिक रूप से रिकरेंट स्टेट को अनरोल करने के बजाय (जो समानांतरता को रोकता है), मैगलेव एक टू-पास (two-pass) प्रशिक्षण रणनीति का उपयोग करता है:

पास 1: प्रीफ़िलर $Q$ समानांतर में पूर्ण टारगेट मेमोरी प्रक्षेपवक्र $m'_{1:T}$ उत्पन्न करता है।
पास 2: डिकोडर $P$ अगले टोकन की भविष्यवाणी करने और अपनी मेमोरी $m_{1:T}$ उत्पन्न करने के लिए इनपुट टोकन के साथ शिफ्टेड टारगेट प्रक्षेपवرى $m'_{0:T-1}$ का उपभोग करता है।
उद्देश्य: मॉडल को एक मिश्रित लॉस फंक्शन का उपयोग करके अनुकूलित किया जाता है:
- नेक्स्ट-टोकन प्रेडिक्शन लॉस ( $L_{CE}$ ): लैंग्वेज मॉडलिंग के लिए मानक क्रॉस-एन्ट्रॉपी लॉस।
- मेमोरी कंसिस्टेंसी लॉस ( $L_{cons}$ ): एक टर्म जो डिकोडर के आउटपुट मेमोरी $m_t$ को प्रीफ़िलर के टारगेट $m'_t$ के साथ संरेखित (align) करता है। यह डिकोडर को अनुक्रमिक अनरोलिंग के बिना अगले स्टेप के लिए आवश्यक मेमोरी स्टेट को पुनरुत्पादित करने के लिए प्रशिक्षित करता है।

अनुमान (Inference) तंत्र
अनुमान के समय, प्रीफ़िलर $Q$ को हटा दिया जाता है। डिकोडर $P$ रिकरेंट रूप से चलता है, जो अपने स्वयं के पहले से उत्पन्न मेमोरीज $m_{t-1}$ को सिस्टम में वापस फीड करता है।

रिकरेंट K/V इंजेक्शन: समर्पित मेमोरी टोकन के बजाय, मैगलेव सीखे गए प्रोजेक्शन और गेटिंग मैकेनिज्म के माध्यम से अटेंशन मैकेनिज्म के की (Key) और वैल्यू (Value) (K/V) फीचर्स में शिफ्टेड मेमोरी स्टेट को इंजेक्ट करता है।
बाउंडेड कॉम्प्लेक्सिटी: डिकोडर टोकनों और मेमोरीज का एक निश्चित आकार का स्लाइडिंग विंडो बनाए रखता है। रिकरेंट स्टेट को K/V कैश के माध्यम से आगे बढ़ाया जाता है, जिससे यह सुनिश्चित होता है कि अनुमान लागत (कंप्यूट और कैश साइज) बाउंडेड रहे और कुल अनुक्रम लंबाई से स्वतंत्र रहे, जो कि मानक स्लाइडिंग-विंडो अटेंशन के प्रोफाइल से मेल खाती है।

मुख्य योगदान

टोकन-वाइज नॉनलीनियर रिकरेंस: मैगलेव एक ऐसा मैकेनिज्म पेश करता है जहाँ प्रत्येक टोकन का डिकोडर स्टेट मेमोरी के रूप में कार्य करता है, जो अतिरिक्त मेमोरी टोकन या कृत्रिम सेगमेंट सीमाओं की आवश्यकता के बिना ट्रांसफॉर्मर की पूर्ण नॉनलीनियर गहराई में जाता है।
रिकरेंट मॉडल्स के लिए पैरेलल ट्रेनिंग: एक प्रीफ़िलर का उपयोग करके टारगेट को समानांतर में जेनरेट करके, मैगलेव नॉनलीनियर रिकरेंट मॉडल्स के लिए स्टैंडर्ड सीक्वेंस-पैरेलल थ्रूपुट के साथ समानांतर प्रीट्रेनिंग को सक्षम बनाता है, जो पारंपरिक RNN ट्रेनिंग के अनुक्रमिक बॉटलनेक्स (bottlenecks) से बचता है।
पैरामीटर शेयरिंग: लेखक प्रदर्शित करते हैं कि प्रीफ़िलर $Q$ और डिकोडर $P$ अपने अधिकांश पैरामीटर्स (विशेष रूप से ट्रांसफॉर्मर ब्लॉक्स) को साझा कर सकते हैं बिना प्रदर्शन में महत्वपूर्ण गिरावट के, जिससे उनके ट्रेनिंग सेटअप का पैरामीटर मेमोरी ओवरहेड कम हो जाता है।
बाउंडेड इन्फरेंस: तैनात मॉडल (deployed model) निरंतर मेमोरी क्षमताओं के साथ रिकरेंट K/V इंजेक्शन के माध्यम से स्लाइडिंग-विंडो अटेंशन की दक्षता बनाए रखता है।

प्रायोगिक परिणाम
nanochat d20 आर्किटेक्चर (435M पैरामीटर्स, 43.52B टोकन्स पर प्रशिक्षित) पर मूल्यांकित करते हुए, मैगलेव की तुलना इंटरलीव्ड फुल/स्लाइडिंग-विंडो ट्रांसफॉर्मर, शुद्ध स्लाइडिंग-विंडो मॉडल्स और लेटेंट रिकरेंट ट्रांसफॉर्मर (LRT) बेसलाइन्स से की गई।

प्रदर्शन: सर्वश्रेष्ठ मैगलेव वेरिएंट (सेपरेट पैरामीटर्स, $\lambda=1$ ) ने FineWeb-Edu वैलिडेशन बिट्स-पर-बाइट (BPB) को 0.7413 (स्लाइडिंग-विंडो बेसलाइन) से सुधार कर 0.7251 कर दिया।
डाउनस्ट्रीम टास्क: इसने 56.4% की औसत डाउनस्ट्रीम सटीकता प्राप्त की, जो मैचड स्लाइडिंग-विंडो ट्रांसफॉर्मर (54.1%) और मैचड LRT बेसलाइन दोनों से बेहतर थी।
कंसिस्टेंसी वेट: अध्ययन ने नोट किया कि इष्टतम कंसिस्टेंसी वेट ( $\lambda$ ) पैरामीटर शेयरिंग रणनीति पर निर्भर करता है: एक उच्च $\lambda$ सेपरेट-पैरामीटर मॉडल को लाभ पहुँचाता है लेकिन शेयर्ड-पैरामीटर मॉडल को बाधित कर सकता है।

महत्व और दावे
पेपर का दावा है कि मैगलेव नॉनलीनियर ट्रांसफॉर्मर्स को निरंतर, टोकन-वाइज मेमोरी के साथ सुसज्जित करने के लिए एक व्यावहारिक मार्ग प्रदान करता है जिसे हर टोकन के बाद फिर से लिखा जा सकता है। यह सफलतापूर्वक फुल अटेंशन की अभिव्यंजक शक्ति (expressive power) और बाउंडेड-कॉन्टेक्स्ट मॉडल्स की दक्षता के बीच के अंतर को पाटता है। प्रशिक्षण के दौरान मेमोरी जनरेशन को मेमोरी उपयोग से अलग करके, मैगलेव रिकरेंट आर्किटेक्चर के लिए पैरेलल प्रीट्रेनिंग प्राप्त करता है, जो कि पहले एक कठिन कार्य था। लेखक मैगलेव को इस डिज़ाइन स्पेस में एक प्रारंभिक जांच के रूप में देखते हैं, यह नोट करते हुए कि हालांकि यह परीक्षण किए गए सेटिंग में स्लाइडिंग-विंडर और लेटेंट रिकरेंट बेसलाइन्स में सुधार करता है, लेकिन इस दृष्टिकोण को स्केल करने, डिप्लॉयमेंट के लिए कर्नेल एफिशिएंसी को ऑप्टिमाइज़ करने और वैकल्पिक मेमोरी इंजेक्शन मैकेनिज्म (जैसे, रेसिडुअल-स्ट्रीम इंजेक्शन या क्रॉस-अटेंशन) का पता लगाने के लिए आगे के काम की आवश्यकता है।

मेमोरी की समस्या: क्यों AI को एक बेहतर नोटबुक की ज़रूरत है

मैगलेव (Maglev): वह ट्रेन जो बिना सामान के याद रखती है

परिणाम: गति और बुद्धिमत्ता का मिलन

यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर