💻 computer science

Parallel Recursive LSTM

यह शोध पत्र पैरेलल रिकर्सिव एलएसटीएम (PR-LSTM) का परिचय देता है, जो एक पदानुक्रमित आर्किटेक्चर है जो एक संतुलित गणना वृक्ष (balanced computation tree) पर टोकन अवस्थाओं को पुनरावर्ती रूप से विलय करके लघुगणकीय समानांतर गहराई (logarithmic parallel depth) प्राप्त करता है, जिससे यह पुनरावर्ती मॉडलों की मजबूत अवस्था-ट्रैकिंग क्षमताओं को समानांतर प्रसंस्करण की दक्षता के साथ जोड़कर बिना द्विघाती स्केलिंग (quadratic scaling) के लॉन्ग-कॉन्टेक्स्ट बेंचमार्क पर मानक RNNs, LSTMs और ट्रांसफॉर्मर्स से बेहतर प्रदर्शन करता है।

मूल लेखक: Tristan Gaudreault, Yongyi Mao

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tristan Gaudreault, Yongyi Mao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पहेली को हल करने की कोशिश कर रहे हैं, लेकिन आपको इसे एक समय में एक ही टुकड़े के साथ, एक सख्त क्रम में करना होगा। आप टुकड़ा 1 उठाते हैं, फिर टुकड़ा 2, फिर टुकड़ा 3, और इसी तरह। यह पारंपरिक LSTMs (एक प्रकार का AI जो चीजों को याद रखता है) के काम करने का तरीका है। वे अब तक की कहानी को याद रखने में बेहतरीन हैं, लेकिन वे धीमे हैं क्योंकि वे एक समय में दो कदम नहीं उठा सकते। उन्हें अगला कदम शुरू करने से पहले पिछले कदम के खत्म होने का इंतजार करना पड़ता है।

दूसरी ओर, Transformers (आधुनिक चैटबॉट्स के पीछे का AI) एक टीम की तरह हैं जिसमें 1,000 लोग एक साथ पहेली को देख रहे हैं। वे अविश्वसनीय रूप से तेज़ हैं और वे तुरंत देख सकते हैं कि टुकड़ा 1, टुकड़े 1,000 से कैसे संबंधित है। लेकिन एक पेच है: जैसे-जैसे पहेली बड़ी होती जाती है, उन्हें करने वाले काम की मात्रा विस्फोट की तरह बढ़ती जाती है। यदि आप पहेली का आकार दोगुना करते हैं, तो उन्हें चार गुना अधिक काम करना पड़ता है। यह बहुत लंबी कहानियों के लिए उन्हें बहुत महंगा और धीमा बना देता है।

इस शोध पत्र के लेखकों, ट्रिस्टन गौड्रौल्ट और योंगी माओ ने काम करने का एक नया तरीका ईजाद किया है जिसे Parallel Recursive LSTM (PR-LSTM) कहा जाता है। इसे एक चतुर मध्य मार्ग के रूप में देखें जो दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करता है।

"वृक्ष" (Tree) सादृश्य

एक सीधी रेखा में चलने (पुराने LSTM की तरह) या एक साथ सब कुछ देखने (Transformer की तरह) के बजाय, PR-LSTM काम को एक पारिवारिक वृक्ष (family tree) या टूर्नामेंट ब्रैकेट की तरह व्यवस्थित करता है।

सेटअप: कल्पना कीजिए कि आपके पास 8 लोगों (टोकन) की एक लंबी कतार है जिन्हें प्रोसेस किया जाना है।
पुराना तरीका (क्रमिक/Sequential): व्यक्ति 1, व्यक्ति 2 से बात करता है। फिर वह जोड़ा व्यक्ति 3 से बात करता है। फिर वह समूह व्यक्ति 4 से बात करता है। अंत तक पहुँचने के लिए इसमें 7 कदम लगते हैं।
नया तरीका (PR-LSTM):
- राउंड 1: व्यक्ति 1, व्यक्ति 2 से बात करता है उसी समय जब व्यक्ति 3, व्यक्ति 4 से बात कर रहा होता है, और व्यक्ति 5, व्यक्ति 6 से बात कर रहा होता है, इत्यादि। हर कोई जोड़ों में एक साथ काम करता है।
- राउंड 2: (1+2) का परिणाम (3+4) के परिणाम से बात करता है। (5+6) का परिणाम (7+8) से बात करता है। फिर से, ये चीजें एक ही समय में होती हैं।
- राउंड 3: दो बड़े समूह आपस में बात करते हैं।

इस तरह करने से, काम की "गहराई" नाटकीय रूप से कम हो जाती है। 8 आइटमों को प्रोसेस करने के लिए 7 कदम लेने के बजाय, इसमें केवल 3 कदम लगते हैं। यदि आपके पास 1,000 आइटम होते, तो पुराने तरीके में 1,000 कदम लगते, लेकिन इस नए तरीके में केवल लगभग 10 कदम लगते। इसे ही शोध पत्र में लॉगैरिद्मिक पैरेलल डेप्थ (logarithmic parallel depth) कहा गया है।

यह कैसे काम करता है (एक "स्मार्ट" विलय)

जटिल बात यह है कि वास्तविक बातचीत में, अर्थ बदल जाता है इस आधार पर कि आप चीजों को कैसे जोड़ते हैं। यह केवल सरल गणित नहीं है (जैसे $A + B = B + A$ )।

समस्या: अधिकांश तेज़, समानांतर विधियाँ केवल तभी काम करती हैं जब गणित सरल और पूर्वानुमानित हो (जैसे संख्याओं को जोड़ना)।
PR-LSTM का समाधान: लेखकों ने एक विशेष "विलय मशीन" (एक LSTM एनकोडर) बनाई है जो पेड़ के प्रत्येक नोड (node) पर स्थित होती है। जब सूचना के दो समूह मिलते हैं, तो यह मशीन "गेट्स" (स्मार्ट स्विच की तरह) का उपयोग यह तय करने के लिए करती है कि क्या रखना है, क्या भूलना है और क्या मिलाना है। यह एक जटिल, गैर-रेखीय प्रक्रिया है, लेकिन क्योंकि वृक्ष संरचना कई विलयों को एक ही समय में होने की अनुमति देती है, इसलिए यह तेज़ बनी रहती है।

उन्होंने क्या पाया

शोधकर्ताओं ने "औपचारिक भाषा" (formal language) की पहेलियों (जैसे यह जांचना कि क्या अक्षरों की एक स्ट्रिंग में 'A' की सम संख्या है, या सरल गणितीय समीकरणों को हल करना) के एक सेट पर इस नए AI का परीक्षण किया।

परिणाम: PR-LSTM इन पहेलियों को हल करने में मानक LSTMs या Transformers की तुलना में बहुत बेहतर था, विशेष रूप से जब पहेलियाँ बहुत लंबी हो गईं।
"मिसिंग डुप्लिकेट" की जीत: एक विशिष्ट परीक्षण जिसे "Missing Duplicate" (एक लंबी सूची में दोहराई गई वस्तु को खोजना) कहा जाता है, में PR-LSTM वहां सफल रहा जहां लगभग सभी अन्य मॉडल विफल रहे, सिवाय एक बहुत ही जटिल, मेमोरी-भारी मॉडल के।
गति बनाम मेमोरी:
- Transformers जल्दी ही कंप्यूटर की मेमोरी (RAM) खत्म कर देते थे क्योंकि वे हर टुकड़े के बीच हर संबंध को याद रखने की कोशिश करते थे।
- पुराने LSTMs मेमोरी खत्म नहीं करते थे, लेकिन वे एक-एक करके काम करने के कारण पूरा करने में बहुत लंबा समय लेते थे।
- PR-LSTM सबसे सटीक विकल्प था: इसने मेमोरी भी खत्म नहीं की, और पुराने LSTMs की तुलना में बहुत तेज़ी से काम पूरा किया क्योंकि इसने "वृक्ष" पद्धति का उपयोग करके समानांतर (parallel) काम किया।

सीमाएं

शोध पत्र ईमानदारी से बताता है कि यह नया मॉडल अभी क्या नहीं कर सकता:

निश्चित संरचना: "वृक्ष" की संरचना निश्चित है। यह हमेशा पड़ोसियों को एक विशिष्ट पैटर्न में मिलाता है। कभी-कभी, एक कहानी में ऐसी आवश्यकता हो सकती है जहाँ आपको बहुत अजीब तरीके से शुरुआत से अंत तक कूदने की आवश्यकता हो, और यह कठोर वृक्ष संरचना हर प्रकार की समस्या के लिए एकदम सही फिट नहीं हो सकती है।
जटिलता: इसे एक मानक LSTM की तुलना में बनाना अधिक जटिल है।
परीक्षण का दायरा: उन्होंने केवल इन विशिष्ट तार्किक पहेलियों पर इसका परीक्षण किया है। उन्होंने अभी तक इसका परीक्षण उपन्यास लिखने या सामान्य बातचीत करने जैसे कार्यों के लिए नहीं किया है, इसलिए हमें यह नहीं पता कि वे उन कार्यों में कैसा प्रदर्शन करेंगे।

निष्कर्ष

शोध पत्र का दावा है कि आप एक धीमी, चरण-दर-चरण मेमोरी प्रणाली (LSTM) को ले सकते हैं और उसे एक तेज़, समानांतर वृक्ष संरचना में पुनर्गठित कर सकते हैं बिना उसकी याद रखने या तर्क करने की क्षमता खोए। यह साबित करता है कि आपको "धीमा लेकिन स्मार्ट" और "तेज़ लेकिन मेमोरी-भूखा" के बीच चयन करने की आवश्यकता नहीं है। आप एक ऐसा सिस्टम रख सकते हैं जो कुशल और गहरे तर्क में सक्षम दोनों हो, कम से कम उन तार्किक पहेलियों के लिए जिनका उन्होंने परीक्षण किया है।

तकनीकी सारांश: पैरेलल रिकर्सिव LSTM (PR-LSTM)

समस्या विवरण

ट्रांसफॉर्मर अपने अभिव्यंजक सेल्फ-अटेंशन मैकेनिज्म के कारण अनुक्रम मॉडलिंग (sequence modeling) में प्रमुख आर्किटेक्चर बन गए हैं। हालांकि, वे अनुक्रम लंबाई के सापेक्ष द्विघातीय (quadratic) समय और मेमोरी जटिलता से ग्रस्त हैं, जो लंबे संदर्भ परिदृश्यों में उनकी दक्षता को सीमित करता है। इसके विपरीत, शास्त्रीय पुनरावर्ती मॉडल जैसे कि LSTMs, रैखिक कम्प्यूटेशनल जटिलता के साथ स्पष्ट गैररेखीय अवस्था अपडेट (nonlinear state updates) और मजबूत स्टेट-ट्रैकिंग क्षमताएं प्रदान करते हैं, लेकिन वे सख्त अनुक्रमिक गणना (sequential computation) द्वारा बाधित होते हैं, जो प्रभावी समानांतरकरण (parallelization) को रोकता है। इन ट्रेड-ऑफ्स को सुलझाने के हालिया प्रयास, जैसे कि स्ट्रक्चर्ड स्टेट स्पेस मॉडल्स (S4, Mamba) या हाइब्रिड आर्किटेक्चर, अक्सर समानांतर स्कैन को सक्षम करने के लिए ट्रांजिशन डायनेमिक्स पर रैखिक या एसोसिएटिव (associative) प्रतिबंध लागू करते हैं, जिससे पूरी तरह से गेटेड रिकरेंट नेटवर्क की समृद्ध गैररेखीय और संदर्भ-निर्भर गणनाओं का त्याग हो सकता है।

कार्यप्रणाली

लेखक पैरेलल रिकर्सिव LSTM (PR-LSTM) पेश करते हैं, जो एक पदानुक्रमित पुनरावर्ती आर्किटेक्चर (hierarchical recurrent architecture) है जिसे ट्रांजिशन डायनेमिक्स को रैखिक या एसोसिएटिव रूपों तक प्रतिबंधित किए बिना समानांतरता प्रदर्शित करने के लिए डिज़ाइन किया गया है।

आर्किटेक्चरल संरचना: PR-LSTM मानक बाएँ-से-दाएँ अनुक्रमिक श्रृंखला के स्थान पर एक संतुलित कम्प्यूटेशन ट्री (balanced computation tree) पर एक रिकर्सिव नॉनलीनियर स्टेट कंपोजिशन का उपयोग करता है।
- स्टेट एम्बेडिंग: इनपुट टोकन को पहले स्टेट एम्बेडिंग मॉड्यूल के माध्यम से स्वतंत्र रूप से लेटेंट स्टेट्स $(h, c)$ में मैप किया जाता है, जिससे अनुक्रम में पूर्ण समानांतरकरण संभव होता है।
- रिकर्सिव कंपोजिशन: एक सीखा हुआ LSTM एनकोडर पड़ोसी स्टेट पेयर्स को एक संतुलित रिडक्शन शेड्यूल (समानांतर स्कैन रिडक्शन के समान) के अनुसार रिकर्सिव रूप से मर्ज करता है। यह प्रक्रिया $T$ चरणों में होती है, जहाँ $T$ अनुक्रम की लंबाई है।
- LSTM एनकोडर: कोर कंपोजिशन ऑपरेटर एक संशोधित LSTM सेल है जो बाइनरी कंपोजिशन (दो स्टेट्स को मर्ज करना) के बाद यूनरी रिफाइनमेंट (परिणामी सिंगल स्टेट को ट्रांसफॉर्म करना) करता है। यह दो-चरणीय प्रक्रिया ट्रांसफॉर्मर एनकोडर ब्लॉक्स के संगठन के समानांतर है, लेकिन यह ग्लोबल अटेंशन के बजाय सूचना को पदानुक्रमित रूप से एकत्रित करती है।
निष्पादन शेड्यूलिंग (Execution Schedule): महत्वपूर्ण रूप से, PR-LSTM पैरेलल स्कैन रिडक्शन पैटर्न का उपयोग एक एसोसिएटिव प्रीफिक्स कंप्यूटेशन (जिसके लिए एक एसोसिएटिव ऑपरेटर की आवश्यकता होती है) के रूप में नहीं, बल्कि एक सीखा हुआ, नॉन-एसोसिएटिव, नॉनलीनियर गेटेड कंपोजिशन ऑपरेटर के लिए एक फिक्स्ड निष्पादन शेड्यूल के रूप में करता है। यह मॉडल को गैररेखीय पुनरावृत्ति की अभिव्यंजक शक्ति बनाए रखते हुए समानांतर हार्डवेयर का लाभ उठाने की अनुमति देता है।
जटिलता: यह आर्किटेक्चर पुनरावर्ती समानांतर गहराई को मानक RNNs के $O(T)$ से घटाकर $O(\log T)$ कर देता है, जबकि रैखिक कुल कार्य ( $O(T)$ ) को सुरक्षित रखता है, जिससे अटेंशन मैकेनिज्म से जुड़ी द्विघातीय एक्टिवेशन वृद्धि से बचा जा सकता है।

मुख्य योगदान

PR-LSTM आर्किटेक्चर: एक पुनरावर्ती आर्किटेक्चर जो LSTM-शैली की गणना को एक सख्त अनुक्रमिक श्रृंखला के बजाय एक संतुलित पदानुक्रम (balanced hierarchy) में पुनर्गठित करता है।
मल्टी-स्टेज एनकोडर: एक अभिनव LSTM-आधारित एनकोडर जो गैररेखीय गेटेड अपडेट के माध्यम से पड़ोसी लेटेंट स्टेट्स को मर्ज करता है, जिससे एक संतुलित पदानुक्रम पर पुनरावर्ती गणना सक्षम होती है।
नॉन-एसोसिएटिव समानांतरता: बिना किसी एसोसिएटिव पुनरावृत्ति संबंध को माने, एक फिक्स्ड बैलेंस्ड-ट्री कम्प्यूटेशन शेड्यूल के रूप में पैरेलल स्कैन रिडक्शन पैटर्न का उपयोग।
अनुभवजन्य सत्यापन: यह प्रदर्शन करना कि PR-LSTM ने समानांतर गहराई को कम करते हुए और अटेंशन की द्विघातीय स्केलिंग से बचते हुए, औपचारिक-भाषा बेंचमार्क पर मजबूत फॉर्मल-लैंग्वेज लेंथ जनरलाइजेशन हासिल किया।

परिणाम

लेखकों ने 15 कार्यों (रेगुलर (R), डिटरमिनिस्टिक कॉन्टेक्स्ट-फ्री (DCF), और कॉन्टेक्स्ट-सेंसिटिव (CS) भाषाओं को कवर करते हुए) को कवर करने वाले डेलेटैंग एट अल (2023) द्वारा प्रस्तावित फॉर्मल-लैंग्वेज बेंचमार्क पर PR-LSTM का मूल्यांकन किया।

जनरलाइजेशन प्रदर्शन: PR-LSTM ने 15 में से 6 कार्यों पर सफलतापूर्वक जनरलाइजेशन (स्कोर $\ge$ 90%) किया, जिसने स्टैंडर्ड RNNs (4/15), LSTMs (5/15) और ट्रांसफॉर्मर एनकोडर्स (2/15) को पीछे छोड़ दिया। विशेष रूप से, इसने "मिसिंग डुप्लिकेट" कार्य को हल किया, जो एक ऐसी क्षमता है जो पहले केवल मेमोरी-ऑगमेंटेड टेप-RNNs द्वारा प्राप्त की गई थी, जो यह सुझाव देती है कि पदानुक्रम लंबी दूरी की सूचना पुनर्प्राप्ति (long-range information retrieval) का समर्थन करता है।
दक्षता: ट्रेनिंग डायनेमिक्स में, PR-LSTM अधिकांश कार्यों पर LSTM और ट्रांसफॉर्मर बेसलाइन्स की तुलना में तेजी से लो ट्रेनिंग लॉस तक पहुँच गया।
स्केलिंग व्यवहार: बढ़ती अनुक्रम लंबाई के विरुद्ध इन्फरेंस टाइम और मेमोरी कंजम्पशन को मापा गया। PR-LSTM ने अनुक्रमिक LSTMs (लॉगारिदमिक गहराई के अनुरूप) की तुलना में काफी कम इन्फरेंस-टाइम ग्रोथ और रैखिक मेमोरी ग्रोथ प्रदर्शित की। इसके विपरीत, ट्रांसफॉर्मर द्विघातीय स्केलिंग के कारण छोटे अनुक्रम लंबाई पर ही मेमोरी सीमाओं तक पहुँच गए, जबकि अनुक्रमिक LSTMs इन्फरेंस-टाइम थ्रेशोल्ड द्वारा सीमित थे।
एब्लेशन स्टडीज (Ablation Studies):
- पैरामीटर काउंट: लाभ केवल बढ़े हुए पैरामीटर्स के कारण नहीं थे; एक पैरामीटर-मैच्ड वेरिएंट ने समान जनरलाइजेशन क्षमताएं बनाए रखीं।
- रिफाइनमेंट डेप्थ: रिफाइनमेंट स्टेज को हटाने (0 स्टेज) से कई कार्यों पर प्रदर्शन गिर गया, जो इंगित करता है कि बाइनरी कंपोजिशन के बाद अतिरिक्त नॉनलीनियर प्रोसेसिंग फायदेमंद है।
- गेटिंग मैकेनिज्म: LSTM एनकोडर को सरल ReLU ट्रांसफॉर्मेशन (PR-RNN) से बदलने से प्रदर्शन में काफी कमी आई, विशेष रूप से उन कार्यों के लिए जिनमें लंबी दूरी की स्टेट ट्रैकिंग की आवश्यकता थी, जो गेटेड मेमोरी डायनेमिक्स की आवश्यकता की पुष्टि करता है।

महत्व और दावे

यह पेपर दावा करता है कि PR-LSTM सख्त अनुक्रमिक पुनरावृत्ति और पूर्ण अटेंशन-आधारित मॉडलिंग के बीच एक "मध्य मार्ग" का प्रतिनिधित्व करता है। लेखक दावा करते हैं कि गैररेखीय पुनरावर्ती गणना को बेहतर तरीके से समानांतर हार्डवेयर का लाभ उठाने के लिए पदानुक्रमित रूप से पुनर्गठित किया जा सकता है, बिना ट्रांजिशन डायनेमिक्स को रैखिक या एसोसिएटिव रूपों तक सीमित किए।

इस कार्य का महत्व यह प्रदर्शित करने में है कि:

पुनरावर्ती मॉडल लॉगारिदमिक समानांतर गहराई प्राप्त कर सकते हैं और साथ ही काउंटिंग और लॉन्ग-टर्म स्टेट ट्रैकिंग जैसी प्रमुख क्षमताओं को बनाए रख सकते हैं।
पैरेलल स्कैन रिडक्शन पैटर्न को एक फिक्स्ड बैलेंस्ड-ट्री कम्प्यूटेशन शेड्यूल के रूप में व्याख्यायित किया जा सकता है यदि इसे नॉन-एसोसिएटिव, नॉनलीनियर ऑपरेटर्स पर लागू किया जाए।
पुनरावृत्ति का पदानुक्रमित पुनर्गठन अनुक्रम मॉडलिंग के लिए एक व्यवहार्य मार्ग प्रदान करता है जो अटेंशन की द्विघातीय लागतों से बचता है और गेटेड रिकरेंट नेटवर्क की अभिव्यंजकता को बनाए रखता है।

लेखक अपने निष्कर्षों के दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनका मूल्यांकन फॉर्मल-लैंग्वेज कार्यों और नियंत्रित लेंथ जनरलाइजेशन तक सीमित है। वे स्पष्ट रूप से कहते हैं कि बड़े पैमाने पर लैंग्वेज मॉडलिंग, मल्टीमॉडल लर्निंग और ओपन-एंडेड रीजनिंग बेंचमार्क पर PR-LSTM का मूल्यांकन करने के लिए आगे के काम की आवश्यकता है।