📊 statistics

RotRNN: Modelling Long Sequences with Rotations

यह शोध पत्र RotRNN प्रस्तुत करता है, जो एक लीनियर रिकरेंट न्यूरल नेटवर्क है जो रोटेशन मैट्रिसेस के गुणों का लाभ उठाकर लंबी अनुक्रम मॉडलिंग (long sequence modelling) के लिए जटिल अत्याधुनिक मॉडलों के एक सरल, कुशल और सुदृढ़ रूप से सामान्यीकृत विकल्प के रूप में कार्य करता है, जो प्रासंगिक बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

मूल लेखक: Kai Biegun, Rares Dolga, Jake Cunningham, David Barber

प्रकाशित 2026-06-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kai Biegun, Rares Dolga, Jake Cunningham, David Barber

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी कहानी याद करने की कोशिश कर रहे हैं, जैसे कि कोई उपन्यास या किसी जटिल फिल्म की कहानी। आपके मस्तिष्क (या कंप्यूटर मॉडल) को कहानी के अंत को पढ़ते समय उसकी शुरुआत को थामे रखना होगा, बिना अभिभूत हुए या विवरणों को भूले।

लंबे समय तक, कंप्यूटर इस मामले में संघर्ष करते रहे। मानक मॉडल या तो "थक" जाते थे और शुरुआत को भूल जाते थे (वैनिशिंग ग्रेडिएंट की समस्या) या फिर वे अराजकता में "बिखर" जाते थे (एक्सप्लोडिंग ग्रेडिएंट की समस्या)।

हाल ही में, एक नए प्रकार का कंप्यूटर मॉडल जिसे लिनियर रिकरेंट न्यूरल नेटवर्क (जैसे S4 या LRU) कहा जाता है, बहुत लोकप्रिय हुआ क्योंकि यह लंबी अनुक्रमों (sequences) को याद रखने में बहुत कुशल है। हालाँकि, ये मॉडल कुछ हद तक उच्च-प्रदर्शन वाली रेसिंग कारों की तरह हैं जिन्हें ट्यून करना अविश्वसनीय रूप से कठिन है। उन्हें काम करने के लिए बहुत विशिष्ट, जटिल "प्रारंभिक सेटिंग्स" (इनिशियलाइजेशन) की आवश्यकता होती है, और फिर भी, यह पूरी तरह स्पष्ट नहीं है कि वे इतने अच्छी तरह से क्यों काम करते हैं। कभी-कभी, इनके पीछे का गणित इस तरह से नहीं होता जैसे इन्हें वास्तव में कोड में बनाया गया है।

यहाँ आता है RotRNN, प्रस्तावित नया मॉडल।

मुख्य विचार: घूमता हुआ लट्टू (The Spinning Top)

इस शोध पत्र के लेखकों ने पूछा: "क्या होगा यदि हम अपनी स्मृति प्रणाली (memory system) को घूर्णन (rotation) का उपयोग करके बनाएँ?"

एक रोटेशन मैट्रिक्स को एक आदर्श घूमते हुए लट्टू के रूप में सोचें।

यदि आप एक लट्टू को घुमाते हैं, तो वह सीधा और स्थिर रहता है। वह बड़ा या छोटा नहीं होता; वह बस घूमता रहता है।
गणित में, एक रोटेशन मैट्रिक्स का एक विशेष गुण होता है: यह जिस भी चीज़ को छूता है, उसके "आकार" (या नॉर्म) को सुरक्षित रखता है। यदि आप एक संख्या को रोटेशन में डालते हैं, तो आउटपुट उसी आकार का होता है, बस एक अलग दिशा में घूम जाता है।

लेखकों ने महसूस किया कि यदि वे अपनी स्मृति प्रणाली को पूरी तरह से इन "घूमते हुए लट्टुओं" से बनाते हैं, तो सिस्टम स्वाभाविक रूप से स्थिर रहेगा। यह गलती से बहुत बड़ा (explode) या बहुत छोटा (vanish) नहीं होगा।

यह कैसे काम करता है (सरल संस्करण)

पिछले मॉडलों के साथ समस्या:
कल्पित कीजिए कि आप कागजों के एक ढेर को संतुलित रखने की कोशिश कर रहे हैं। पिछले मॉडल (जैसे LRU) जटिल गणितीय नियमों के आधार पर कागजों के वजन को लगातार समायोजित करके इस ढेर को संतुलित करने की कोशिश करते थे। कभी-कभी ढेर डगमगा जाता था, और "वजन" (हिडन स्टेट) बहुत भारी या बहुत हल्का हो जाता था, जिससे मॉडल अस्थिर हो जाता था।
RotRNN का समाधान:
वजन को संतुलित करने के बजाय, RotRNN बस जानकारी को घुमाता (spin) है।

द स्पिन (The Spin): हर बार जब मॉडल डेटा का एक नया हिस्सा पढ़ता है, तो वह स्मृति को थोड़ा घुमाता है।
स्थिरता (The Stability): शुद्ध रोटेशन होने के कारण, स्मृति का "आकार" बिल्कुल समान रहता है। यह एक जगह घूमते हुए नर्तक की तरह है; वे कितनी भी बार घूमें, वे लंबे या छोटे नहीं होते।
क्षय (The Decay): यह सुनिश्चित करने के लिए कि मॉडल सब कुछ हमेशा के लिए याद न रखे (जो कि बुरा भी है), वे एक हल्का "ब्रेक" (डिके फैक्टर) जोड़ते हैं। यह मॉडल को वर्तमान स्मृतियों को स्थिर रखते हुए पुरानी स्मृतियों को धीरे-धीरे धुंधला करने की अनुमति देता है।

यह बेहतर क्यों है?

कोई जटिल सेटअप नहीं: पुराने मॉडलों को काम करने के लिए एक विशिष्ट, गणित-प्रधान शुरुआती बिंदु की आवश्यकता थी। RotRNN एक खिलौने की तरह है जो सीधे उपयोग के लिए तैयार है। आपको जटिल सेटिंग्स के साथ छेड़छाड़ करने की आवश्यकता नहीं है; रोटेशन का गणित इसे स्वतः ही स्थिर रखता है।
यह वही करता है जो यह कहता है: कभी-कभी, कंप्यूटर मॉडल सिद्धांत में एक तरह से बनाए जाते हैं लेकिन व्यवहार में अलग तरह से काम करते हैं। RotRNN अपने सिद्धांत के प्रति "निष्ठावान" है। कोड ठीक वैसा ही करता है जैसा कि गणित कहता है।
"मल्टी-हेड" ट्रिक: विभिन्न प्रकार की स्मृतियों (कुछ छोटी, कुछ लंबी) को संभालने के लिए, मॉडल कई "हेड्स" (जैसे एक साथ काम करने वाले कई घूमते हुए लट्टू) का उपयोग करता है। प्रत्येक लट्टू अपनी गति से घूमता है, जिससे मॉडल हाल की घटनाओं और बहुत समय पहले हुई चीजों, दोनों पर ध्यान केंद्रित कर पाता है।

परिणाम

लेखकों ने लंबी फाइलों को पढ़ने, टेक्स्ट को वर्गीकृत करने और बोले गए शब्दों को पहचानने जैसे कई कठिन कार्यों पर RotRNN का परीक्षण किया।

प्रदर्शन: इसने मौजूदा सर्वोत्तम मॉडलों (स्टेट-ऑफ-द-आर्ट) के समान प्रदर्शन किया।
स्थिरता: जब उन्होंने प्रशिक्षण के दौरान मॉडल के भीतर स्मृति के "आकार" का निरीक्षण किया, तो RotRNN पूरी तरह से स्थिर रहा। इसके विपरीत, पिछले लोकप्रिय मॉडल (LRU) का स्मृति आकार बहुत अधिक उतार-चढ़ाव भरा था, जिसे स्थिर होने में बहुत समय लगा।

निचोड़ (The Bottom Line)

यह शोध पत्र RotRNN को पेश करता है, जो कंप्यूटरों के लिए लंबी अनुक्रमों को याद रखने का एक नया तरीका है। जटिल और नाजुक संतुलन बनाने के बजाय, यह घूर्णन (rotation) के सरल और स्थिर भौतिकी का उपयोग करता है। इसे बनाना आसान है, इसे चलाना अधिक स्थिर है, और यह वर्तमान में उपलब्ध सबसे उन्नत मॉडलों की तरह ही काम में सक्षम है। यह हमें याद दिलाता है कि कभी-कभी, सबसे सुंदर समाधान बस चीजों को घूमते रहने देना है।

तकनीकी सारांश: RotRNN – रोटेशन के माध्यम से लंबी अनुक्रमों का मॉडलिंग

समस्या विवरण
लंबे अनुक्रमों का मॉडलिंग (Long sequence modelling) मशीन लर्निंग में एक चुनौतीपूर्ण क्षेत्र बना हुआ है क्योंकि लंबी दूरी की निर्भरताओं (long-range dependencies) को पकड़ना कठिन होता है। जहाँ ट्रांसफॉर्मर (Transformers) में द्विघातीय कम्प्यूटेशनल स्केलिंग (quadratic computational scaling) और खराब इंडक्टिव बायस (inductive biases) की समस्या होती है, वहीं नॉन-लीनियर RNNs लुप्त और विस्फोट होते ग्रेडिएंट्स (vanishing and exploding gradients) के कारण संघर्ष करते हैं। हाल ही में, स्टेट स्पेस मॉडल्स (SSMs) और लीनियर रिकरेंट यूनिट्स (LRUs) ने अत्याधुनिक प्रदर्शन हासिल किया है। हालाँकि, इन मॉडलों में महत्वपूर्ण कमियाँ हैं:

जटिल इनिशियलाइजेशन: S4 जैसे SSMs जटिल सैद्धांतिक व्युत्पत्तियों (जैसे कि अनुकूल बहुपद प्रोजेक्शन पर आधारित HiPPO इनिशियलाइजेशन) पर निर्भर करते हैं, जिन्हें प्रशिक्षण प्रक्रिया के दौरान पूरी तरह से समझा नहीं जा सकता है।
इम्प्लीमेंटेशन-थ्योरी मिसमैच: LRU, हालांकि वैचारिक रूप से सरल है, व्यवहार में अपने सैद्धांतिक प्रेरणा को पूरी तरह से प्रतिबिंबित नहीं करता है। विशेष रूप से, यह वास्तविक मैट्रिसेस के आइजनवैल्यूज़ (eigenvalues) के लिए कंजुगेट पेयर्स (conjugate pairs) को लागू करने में विफल रहता है, इसमें वास्तविक मान वाले आउटपुट सुनिश्चित करने के लिए बाधाओं का अभाव है, और यह एक सीखे हुए नॉर्मलाइज़र (learned normaliser) पर निर्भर करता है जो पूरे प्रशिक्षण के दौरान निरंतर हिडन स्टेट मैग्नीट्यूड की गारंटी नहीं देता है।
स्थिरता (Stability): मौजूदा विधियों को अक्सर जटिल नॉर्मलाइजेशन स्कीमों या इनिशियलाइजेशन प्रक्रियाओं की आवश्यकता होती है जो विभिन्न गहराई (depth) और रैंडम सीड्स के बीच मजबूत नहीं हो सकती हैं।

कार्यप्रणाली (Methodology)
लेखक RotRNN (रोटेशनल रिकरेंट न्यूरल नेटवर्क) का प्रस्ताव करते हैं, जो एक लीनियर रिकरेंट मॉडल है जो रिकरेंट स्टेट मैट्रिक्स $A$ को एक रोटेशन मैट्रिक्स के रूप में पैरामीट्राइज करता है। कार्यप्रणाली तीन मुख्य स्तंभों पर आधारित है:

रोटेशन मैट्रिसेस के माध्यम से पैरामीट्राइजेशन:
एक बाधित मैट्रिक्स (constrained matrix) को सीधे सीखने के बजाय, RotRNN एक सामान्य वेट मैट्रिक्स $M$ सीखता है और इसे स्क्यू-सिमेट्रिक मैट्रिक्स के मैट्रिक्स एक्सपोनेंशियल ( $A = \exp(M - M^\top)$ ) का उपयोग करके स्पेशल ऑर्थोगोनल ग्रुप $SO(N) $में मैप करता है। यह सुनिश्चित करता है कि$ A$ प्रशिक्षण के दौरान एक वैध रोटेशन मैट्रिक्स बना रहे।
लीनियर रिकरेंस के कनवोल्यूशनल रूप (convolutional form) के लिए आवश्यक मैट्रिक्स पावर्स के कुशल कंप्यूटेशन को सक्षम करने के लिए, लेखक रोटेशन मैट्रिक्स $A$ को ब्लॉक-डायगोनल फॉर्म में डीकंपोज करते हैं: $A = P \Theta P^\top$ । यहाँ, $P$ एक ऑर्थोगोनल मैट्रिक्स है और $\Theta$ कोण $\theta_i$ द्वारा परिभाषित $2\times2$ रोटेशन ब्लॉक्स का समूह है। यह संरचना महंगे डेंस मैट्रिक्स ऑपरेशन्स के बिना $A^k$ के तेज़ कंप्यूटेशन की अनुमति देती है।
सिद्धांतिक नॉर्मलाइजेशन (Principled Normalisation):
रोटेशन मैट्रिसेस की ऑर्थोगोनैलिटी (जहाँ आइजनवैल्यूज़ यूनिट सर्कल पर स्थित होते हैं) का लाभ उठाते हुए, लेखक एक नॉर्मलाइजेशन प्रक्रिया प्राप्त करते हैं जो प्रशिक्षण के दौरान निरंतर अपेक्षित हिडन स्टेट नॉर्म ( $E[\|x_t\|^2] = c$ ) बनाए रखती है।
रिकरेंस को $x_t = \gamma A x_{t-1} + \xi B u_t$ के रूप में परिभाषित किया गया है, जहाँ $\gamma$ एक सीखे गए स्केलर डिके फैक्टर (decay factor) है और $\xi$ एक रीस्केलिंग कोएफिशिएंट है जिसे निरंतर नॉर्म कंडीशन को संतुष्ट करने के लिए निकाला गया है। LRU के विपरीत, जो अनंत अनुक्रम सीमाओं (infinite sequence limits) के आधार पर नॉर्मलाइज करता है, RotRNN का नॉर्मलाइजेशन सभी टाइमस्टेप्स के लिए मान्य है, जो शुरुआती इनपुट्स के घातांकीय क्षय (exponential decay) को रोकता है जो अक्सर तब देखा जाता है जब नॉर्मलाइजेशन कांस्टेंट्स को $t$ की पावर में उठाया जाता है।
मल्टी-हेड आर्किटेक्चर:
एक एकल स्केलर डिके फैक्टर $\gamma$ की सीमा को संबोधित करने के लिए (जो अलग-अलग मेमोरी होराइजन्स की आवश्यकता वाले कार्यों के लिए सामान्यीकरण नहीं कर सकता है), RotRNN $H$ स्वतंत्र लो-डायमेंशनल हेड्स का उपयोग करता है। प्रत्येक हेड अपने स्वयं के रोटेशन मैट्रिक्स $A^{(h)}$ , इनपुट मैट्रिक्स $B^{(h)}$ , और डिके फैक्टर $\gamma^{(h)}$ के साथ संचालित होता है। आउटपुट को कॉन्कैटिनेट और लीनियरली मिक्स किया जाता है, जिससे मॉडल को कई स्केल्स पर डिपेंडेंसी कैप्चर करने की अनुमति मिलती है।

प्रमुख योगदान

नया लीनियर RNN लेयर: एक ऐसे रिकरेंट लेयर का प्रस्ताव जहाँ स्टेट मैट्रिक्स को रोटेशन के रूप में पैरामीट्राइज किया गया है, जिससे यह सुनिश्चित होता है कि एल्गोरिदम प्रशिक्षण के दौरान अपने सैद्धांतिक प्रेरणा के प्रति वफादार रहे।
कुशल कंप्यूटेशन: पैरामेट्रिक रोटेशन के कुशल मैट्रिक्स पावर्स को कंप्यूट करने की एक विधि, जो ब्लॉक-डायगोनल फॉर्म में उन्हें डीकंपोज करके तेज़ लीनियर रिकरेंस को सक्षम बनाती है।
मजबूत नॉर्मलाइजेशन: एक सिद्धांत-आधारित नॉर्मलाइजेशन प्रक्रिया का व्युत्पन्न जो निरंतर अपेक्षित हिडन स्टेट मैग्नीट्यूड को बनाए रखता है, जो उन पूर्व कार्यों की तुलना में अधिक स्थिरता गारंटी प्रदान करता है जो एसिम्प्टोटिक कन्वर्जेंस (asymptotic convergence) पर निर्भर करते हैं।
सैद्धांतिक अंतर्दृष्टि: एक व्युत्पत्ति जो LRU (जहाँ आइजनवैल्यूज़ कंजुगेट पेयर्स बनाते हैं) के एक विशेष मामले और मल्टी-हेड RotRNN के बीच गणितीय समानता को दर्शाती है, जो संभावित रूप से LRU के आंतरिक मैकेनिक्स पर प्रकाश डाल सकती है।

परिणाम
लेखकों ने कई लॉन्ग सीक्वेंस मॉडलिंग बेंचमार्क पर RotRNN का मूल्यांकन किया:

लॉन्ग रेंज एरिना (LRA): RotRNN ने स्टेट-ऑफ-द-आर्ट लीनियर रिकरेंट मॉडल्स (S4, S5, LRU) के मुकाबले प्रतिस्पर्धी प्रदर्शन दिखाया। इसने डिस्क्रीट इनपुट कार्यों जैसे ListOps, Text (IMDB), और Retrieval पर बेसलाइन्स में उच्चतम स्कोर प्राप्त किया। हालाँकि, यह पिक्सेल-लेवल इमेज टास्क (Path-X, CIFAR) पर कुछ बेसलाइन्स से थोड़ा नीचे रहा।
स्पीच कमांड्स: 35-वे स्पीच कमांड्स क्लासिफिकेशन टास्क पर, RotRNN ने समान पैरामीटर काउंट के साथ रिप्रोड्यूस्ड LRU (95.2% सटीकता) के समान प्रदर्शन किया, और अधिक जटिल डीप स्टेट स्पेस मॉडल्स के साथ प्रतिस्पर्धी बना रहा।
स्थिरता विश्लेषण: ListOps डेटासेट पर हिडन स्टेट नॉर्म्स के अनुभवजन्य विश्लेषण से पता चला कि RotRNN प्रशिक्षण, लेयर डेप्थ और रैंडम सीड्स केAcross लगभग स्थिर मैग्नीट्यूड बनाए रखता है। इसके विपरीत, LRU ने हिडन स्टेट नॉर्म्स में भारी उतार-चढ़ाव दिखाया और एक स्थिर मैग्नीट्यूड तक पहुँचने में काफी अधिक समय लिया।

महत्व और दावे
पेपर का दावा है कि RotRNN मौजूदा लीनियर रिकरेंट मॉडल्स के एक वैचारिक रूप से सरल, कुशल और गणितीय रूप से सिद्धांत-आधारित विकल्प के रूप में कार्य करता है। इसका प्राथमिक महत्व इसके सैद्धांतिक प्रेरणा और व्यावहारिक कार्यान्वयन के बीच के अंतर को पाटने में निहित है। रोटेशन मैट्रिसेस का उपयोग करके, RotRNN मौजूदा SSMs की जटिल इनिशियलाइजेशन स्कीमों और LRU की कार्यान्वयन विसंगतियों से बचता है। लेखक दावा करते हैं कि उनका मॉडल एक मजबूत नॉर्मलाइजेशन प्रक्रिया प्रदान करता है जो "ब्लैक बॉक्स" इनिशियलाइजेशन पर निर्भर किए बिना स्थिरता सुनिश्चित करता है, जबकि मानक बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है। इसके अलावा, यह कार्य सुझाव देता है कि LRU को रोटेशन-आधारित ब्लॉक स्ट्रक्चर के लेंस से देखना पिछले मॉडल्स में लीनियर रिकरेंस के मैकेनिक्स को स्पष्ट करने में मदद कर सकता है।

मुख्य विचार: घूमता हुआ लट्टू (The Spinning Top)

यह कैसे काम करता है (सरल संस्करण)

यह बेहतर क्यों है?

परिणाम

निचोड़ (The Bottom Line)

इसी तरह के और पेपर