💬 NLP

Phasor Memory Networks: Stable Backpropagation Through Time for Scalable Explicit Memory

यह शोध पत्र फेज़र मेमोरी नेटवर्क (PMNet) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो यूनिटरी फेज़र डायनेमिक्स और पदानुक्रमित सीखने योग्य एंकर्स के माध्यम से स्पष्ट मेमोरी सिस्टम में लंबे समय से चली आ रही ग्रेडिएंट अस्थिरता को हल करता है, जिससे एक संक्षिप्त 119M पैरामीटर वाला मॉडल लंबी दूरी की रिट्रीवल (long-range retrieval) में लगभग पूर्णता प्राप्त करने और काफी बड़े मॉडलों के प्रदर्शन के बराबर पहुँचने में सक्षम होता है।

मूल लेखक: Sungwoo Goo, Hwi-yeol Yun, Sangkeun Jung

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sungwoo Goo, Hwi-yeol Yun, Sangkeun Jung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "शॉर्ट-टर्म मेमोरी" की बाधा

कल्पना कीजिए कि आप एक 500 पन्नों की किताब पढ़ने की कोशिश कर रहे हैं। मानक AI मॉडल (जैसे आज के ट्रांसफॉर्मर्स) उन लोगों की तरह हैं जो केवल पिछले कुछ वाक्यों को ही याद रख पाते हैं। पेज 400 पर किसी वाक्य को समझने के लिए, उन्हें हर बार पूरी किताब शुरू से फिर से पढ़नी पड़ती है, जो अविश्वसनीय रूप से धीमा और अक्षम है।

अन्य मॉडल इसे एक "लॉन्ग-टर्म मेमोरी" देकर ठीक करने की कोशिश करते हैं, लेकिन वे अक्सर एक अलग समस्या से जूझते हैं: अस्थिरता (Instability)। कल्पना कीजिए कि आप 1,000 लोगों की एक कतार में एक राज की बात फुसफुसाकर पहुँचाने की कोशिश कर रहे हैं। जब तक वह संदेश अंत तक पहुँचता है, या तो संदेश पूरी तरह से बिगड़ जाता है (सिग्नल गायब हो जाता है) या यह इतना तेज़ और विकृत हो जाता है कि सिस्टम ही टूट जाता है (सिग्नल विस्फोट हो जाता है)। ऐसा तब होता है जब AI बहुत लंबे टेक्स्ट सीक्वेंस से सीखने की कोशिश करता है; गणित गड़बड़ा जाता है, और मॉडल या तो भूल जाता है या क्रैश हो जाता है।

समाधान: PMNet (एक "पूरी तरह संतुलित" लाइब्रेरी)

लेखकों ने एक नया आर्किटेक्चर पेश किया है जिसे PMNet (Phasor Memory Network) कहा जाता है। PMNet को एक ऐसे लाइब्रेरियन के रूप में सोचें जो केवल आखिरी कुछ शब्द नहीं चिल्लाता, बल्कि उसके पास एक पूरी तरह व्यवस्थित, अनंत लाइब्रेरी है जहाँ हर किताब इस तरह रखी गई है कि वह कभी खोती या विकृत नहीं होती।

यहाँ तीन मुख्य "जादु적인 ट्रिक्स" हैं जिनका PMNet उपयोग करता है:

1. घूमता हुआ दिशा-सूचक (यूनिटरी फेज़र डायनेमिक्स)

अधिकांश AI मॉडल अपनी मेमोरी को अपडेट करने के लिए संख्याओं को आपस में जोड़ते हैं। यदि आप संख्याओं को जोड़ते रहते हैं, तो वे बहुत बड़ी (विस्फोट) या बहुत छोटी (लुप्त) हो जाती हैं।

उपमा: एक दिशा-सूचक (Compass) की सुई की कल्पना करें। जानकारी संग्रहीत करने के लिए सुई को लंबा या छोटा करने के बजाय, PMNet केवल सुई को घुमाता (Rotate) है।
यह क्यों काम करता है: आप सुई को कितनी भी बार घुमाएँ, उसकी लंबाई समान रहती है। यह कभी बहुत बड़ी या बहुत छोटी नहीं होती। यह गणितीय ट्रिक सुनिश्चित करती है कि "सिग्नल" (मेमोरी) पूरी तरह स्थिर रहे, चाहे कहानी कितनी भी लंबी क्यों न हो जाए। यह एक घेरे में चलने जैसा है: आप बिना केंद्र से दूर हुए हमेशा के लिए चल सकते हैं।

2. ज्ञान का वृक्ष (पदानुक्रमित मेमोरी/Hierarchical Memory)

मानक मॉडल सब कुछ एक बड़े ढेर में याद रखने की कोशिश करते हैं, जो अव्यवस्थित हो जाता है। PMNet अपनी मेमोरी को एक विशाल, शाखाओं वाले पेड़ की तरह व्यवस्थित करता है।

उपमा: ढेर में किताब खोजने के बजाय, आप "इतिहास" अनुभाग में जाते हैं, फिर "20वीं सदी" की शेल्फ पर, और फिर "1990 के दशक" के बिन (Bin) पर जाते हैं।
नवाचार: इस पेड़ की प्रत्येक शाखा में एक विशिष्ट "एंकर" (एक सीखा हुआ लेबल) होता है। यह मॉडल को बिना भटके अपनी मेमोरी के सही हिस्से पर सीधे जाने की अनुमति देता है। यह सूचना का एक विशाल भंडार (जैसे 85-स्लॉट वाला पेड़) स्टोर कर सकता है, लेकिन उसे जो चाहिए उसे खोजने के लिए केवल कुछ ही जगहों की जाँच करनी पड़ती है।

3. ट्रैफिक पुलिस (सेगमेंट-अवेयर नॉर्मलाइजेशन)

जब कई लोग एक ही समय में एक ही मेमोरी स्लॉट को अपडेट करने की कोशिश करते हैं, तो इससे "ट्रैफिक जाम" हो सकता है जो गणित को तोड़ देता है।

उपमा: कल्पना कीजिए कि लोगों का एक समूह एक ही व्हाइटबोर्ड पर लिखने की कोशिश कर रहा है। यदि वे सभी पूरी गति से लिखते हैं, तो बोर्ड पर गंदगी हो जाएगी। PMNet एक ट्रैफिक पुलिस की तरह काम करता है, जो सबको यह बताता है कि कितने लोग लिख रहे हैं, उसके आधार पर अपनी गति को आनुपातिक रूप से कम रखें। यह सुनिश्चित करता है कि "शोर" (Noise) का स्तर एकदम सही रहे ताकि संदेश स्पष्ट बना रहे।

उन्होंने क्या सिद्ध किया?

लेखकों ने केवल इसे बनाया ही नहीं; उन्होंने इसे कुछ चतुर प्रयोगों के साथ टेस्ट भी किया:

"कॉपी-पेस्ट" टेस्ट: उन्होंने मॉडल को एक कार्य दिया जहाँ उसे टेक्स्ट की एक रैंडम स्ट्रिंग को याद रखना था और बाद में उसे दोहराना था। मानक मॉडल विफल हो गए जैसे ही टेक्स्ट उनके "शॉर्ट-टर्म विंडो" से लंबा हुआ। हालाँकि, PMNet ने टेक्स्ट को पूरी तरह से याद रखा, भले ही वह हजारों वर्ण (Characters) लंबा था, जिससे यह साबित हुआ कि यह वास्तव में अपनी लॉन्ग-टर्म मेमोरी का उपयोग कर सकता है।
"लंबी किताब" टेस्ट: उन्होंने एक छोटे PMNet (119 मिलियन पैरामीटर्स) को बहुत सारे टेक्स्ट पर प्रशिक्षित किया। फिर, उन्होंने इसे एक ऐसी किताब पढ़ने के लिए कहा जो इसने पहले कभी नहीं देखी थी (PG-19 डेटासेट)।
- परिणाम: इस छोटे PMNet ने एक बहुत बड़े मॉडल (जो 3 गुना बड़ा है) जिसे Mamba कहा जाता है, के बराबर प्रदर्शन किया।
- तुलना: एक मानक मॉडल (SmolLM) ने उसी किताब को पढ़ने की कोशिश की लेकिन जैसे ही टेक्स्ट उसकी मेमोरी सीमा से आगे गया, वह पूरी तरह विफल हो गया, जैसे कोई व्यक्ति केवल पिछले दो शब्दों को याद रखते हुए किताब पढ़ने की कोशिश कर रहा हो। PMNet ने सहजता से पढ़ना जारी रखा।

निचोड़ (The Bottom Line)

पेपर का दावा है कि लंबे समय तक विशेषज्ञों को लगा कि "एक्सप्लिसिट मेमोरी" (AI को एक वास्तविक नोटबुक देना) को प्रशिक्षित करना असंभव है क्योंकि गणित बहुत अस्थिर था।

PMNet इस गतिरोध को तोड़ता है। चीजों को स्थिर रखने के लिए "घूमते हुए दिशा-सूचक" के गणित और सूचना को व्यवस्थित करने के लिए "वृक्ष संरचना" का उपयोग करके, उन्होंने एक ऐसा मॉडल बनाया जो:

टेक्स्ट में बहुत पीछे से चीजों को याद रख सकता है।
ऐसा करने के लिए गणित को विस्फोट या लुप्त होने से बचा सकता है।
बहुत बड़े मॉडलों के समान प्रदर्शन कर सकता है, लेकिन कम "मस्तिष्क कोशिकाओं" (पैरामीटर्स) के साथ।

लेखक स्वीकार करते हैं कि वर्तमान में, उनका कोड सबसे तेज़ वाणिज्यिक मॉडलों की तुलना में थोड़ा धीमा है क्योंकि इसे अभी तक कंप्यूटर चिप्स के लिए पूरी तरह से अनुकूलित (Optimize) नहीं किया गया है, लेकिन सिद्धांत पूरी तरह से काम करता है, जो यह साबित करता है कि AI के लिए स्थिर, दीर्घकालिक स्मृति (Long-term memory) संभव है।

तकनीकी सारांश: फेजर मेमोरी नेटवर्क (PMNet)

1. समस्या विवरण

न्यूरल ट्यूरिंग मशीन (NTM) जैसे स्पष्ट मेमोरी आर्किटेक्चर के सैद्धांतिक आकर्षण के बावजूद, भाषा मॉडलिंग के लिए वे एक दशक से अधिक समय से व्यावहारिक रूप से अव्यवहार्य रहे हैं। प्राथमिक बाधा बैकप्रोपैगेशन थ्रू टाइम (BPTT) के दौरान होने वाली विनाशकारी ग्रेडिएंट अस्थिरता (catastrophic gradient instability) है। मानक पुनरावर्ती मॉडल (Recurrent models) और स्टेट स्पेस मॉडल (SSMs) अक्सर अनियंत्रित अवस्था वृद्धि या विनाशकारी क्षय (catastrophic decay) से ग्रस्त होते हैं, जिन्हें विशेष इनिशियलाइजेशन या मजबूर घातांकीय क्षय (forced exponential decay) की आवश्यकता होती है ताकि ग्रेडिएंट विस्फोट को रोका जा सके। ये बाधाएं स्वाभाविक रूप से इन मॉडलों की विस्तारित टेम्पोरल क्षितिज (temporal horizons) पर सटीक जानकारी प्राप्त करने की क्षमता को सीमित करती हैं। इसके अलावा, मानक ट्रांसफॉर्मर सेल्फ-अटेंशन की $O(L^2)$ जटिलता के कारण कम्प्यूटेशनल बाधा का सामना करते हैं, जिससे अत्यंत लंबी संदर्भ खिड़कियां (context windows) अत्यधिक महंगी हो जाती हैं।

2. कार्यप्रणाली

लेखक फेजर मेमोरी नेटवर्क (PMNet) का प्रस्ताव करते हैं, जो एक अभिनव आर्किटेक्चर है जिसे संरचनात्मक रूप से मेमोरी अस्थिरता को हल करने और स्थिर, रैखिक-समय स्पष्ट मेमोरी को सक्षम करने के लिए डिज़ाइन किया गया है। यह आर्किटेक्चर तीन मुख्य नवाचारों का उपयोग करके स्थानीय प्रसंस्करण (local processing) को वैश्विक संदर्भ प्रबंधन (global context management) से अलग करता है:

A. यूनिटरी फेजर डायनेमिक्स (Unitary Phasor Dynamics)

स्पेक्ट्रल अस्थिरता को संबोधित करने के लिए, PMNet सूचना को परिमाण-आधारित अपडेट के बजाय एक जटिल यूनिट सर्कल पर फेज कोणों (phase angles) के रूप में एनकोड करता है।

तंत्र: पुनरावर्ती अवस्था अपडेट को फेज रोटेशन तक सीमित किया जाता है। मेमोरी अपडेट को $2\pi$ के मॉड्यूल में योगात्मक रूप से परिभाषित किया जाता है: $M_t = (M_{t-1} + \Delta M) \pmod{2\pi}$ ।
सैद्धांतिक गारंटी: यह फॉर्मूलेशन एक यूनिटरी अपडेट ( $z_t = z_{t-1} \cdot e^{i\Delta M}$ ) के समतुल्य है, जो यह सुनिश्चित करता है कि अनुक्रम की लंबाई के बावजूद ग्रेडिएंट का नॉर्म (norm) अपरिवर्तित रहता है ( $|e^{i\theta}| \equiv 1$ )। यह विशेष इनिशियलाइजेशन के बिना संरचनात्मक रूप से ग्रेडिएंट के गायब होने (vanishing) या विस्फोट (exploding) को रोकता है।

B. पदानुक्रमित शिक्षणीय एंकर (Hierarchical Learnable Anchors)

PMNet एक विशाल, ट्री-स्ट्रक्चर्ड स्पष्ट मेमोरी पदानुक्रम लागू करता है जहाँ प्रत्येक नोड एक शिक्षणीय एम्बेडिंग (learnable embedding) से जुड़ा होता है जो एक सिमेंटिक एंकर के रूप में कार्य करता है।

संरचना: मेमोरी को एक गहराई $H$ वाले स्पार्स ट्री के रूप में व्यवस्थित किया गया है। प्रत्येक टोकन एक $N_m$ -ary ट्री के माध्यम से एक एकल पथ का अनुसरण करता है, प्रत्येक स्तर पर एक विशिष्ट मेमोरी ग्रुप इंडेक्स $g_h$ का चयन करता है।
रूटिंग: रूटिंग निर्णय फेज डोमेन में कंटेंट-अवेयर अलाइनमेंट के माध्यम से लिए जाते हैं। हिडन स्टेट से एक क्वेरी फेज वेक्टर $\phi_q$ की गणना की जाती है, और समानता की गणना शिक्षणीय एम्बेडिंग्स ( $E$ ) द्वारा संवर्धित फेज-प्रोजेक्टेड मेमोरी स्टेट्स के विरुद्ध कोसाइन डिस्टेंस के माध्यम से की जाती है।
लाभ: पारंपरिक NTMs के विपरीत, जो अस्थिर कंटेंट-आधारित तंत्रों के कारण "एड्रेसिंग ड्रिफ्ट" के प्रति संवेदनशील होते हैं, ये शिक्षणीय एंकर संरचनात्मक रूप से स्थायी संदर्भ बिंदु प्रदान करते हैं, जिससे कुशल $O(1)$ रूटिंग और ऐतिहासिक ज्ञान की विश्वसनीय प्राप्ति संभव होती है।

C. सेगमेंट-अवेयर ग्रेडिएंट नॉर्मलाइजेशन (Segment-Aware Gradient Normalization)

इम्बैलेंस्ड रूटिंग कोलिजन (जहाँ कई टोकन एक ही मेमोरी स्लॉट को एक साथ अपडेट करते हैं) के कारण होने वाले ग्रेडिएंट विस्फोट को रोकने के लिए, PMNet एक सेगमेंट-अवेयर ग्रेडिएंट नॉर्मलाइजेशन पेश करता है।

तंत्र: अपडेट परिमाण को $1/\sqrt{s}$ द्वारा स्केल किया जाता है, जहाँ $s$ कोलिजन काउंट (वर्तमान अनुक्रम में एक विशिष्ट ग्रुप में लिखने वाले टोकन की संख्या) है।
कार्यान्वयन: एक स्टॉप-ग्रेडिएंट ऑपरेटर का उपयोग करने वाली एक छद्म-नॉर्मलाइजेशन तकनीक यह सुनिश्चित करती है कि जबकि फॉरवर्ड पास पूर्ण फेज जानकारी को संचित करता है, बैकवर्ड पास ग्रेडिएंट वेरिएंस को यूनिटरी बनाए रखने के लिए स्केल करता है, जिससे अनुकूलन (optimization) के दौरान विचलन (divergence) को रोका जा सके।

D. आर्किटेक्चर एकीकरण

PMNet स्थानीय अल्प-दूरी की निर्भरताओं के लिए स्लाइडिंग विंडो अटेंशन (SWA) को ग्लोबल हिरार्किकल फेजर मेमोरी के साथ एकीकृत करता है। मॉडल टोकनाइज़र बायस को समाप्त करने के लिए बाइट स्तर (byte level) पर कार्य करता है, जिससे 512k बाइट्स तक की कच्ची अनुक्रमों (raw sequences) की मॉडलिंग संभव होती है।

3. प्रमुख योगदान

मैकेनिस्टिक प्रूफ-ऑफ-कॉन्सेप्ट: PMNet स्पष्ट मेमोरी की ऐतिहासिक विफलता को हल करने के लिए एक संरचनात्मक समाधान प्रदान करता है, यह प्रदर्शित करते हुए कि BPTT अस्थिरता एक संरचनात्मक संरेखण समस्या है जिसे यूनिटरी डायनेमिक्स के माध्यम से हल किया जा सकता है।
स्थिर दीर्घ-रेंज रिट्रीवल: आर्किटेक्चर ने सिंथेटिक कार्यों में लगभग 100% सटीक रिट्रीवल प्राप्त करने के लिए एक विस्तृत 85-स्लॉट हिरार्किकल मेमोरी ट्री का सफलतापूर्वक उपयोग किया है, जो स्थानीय स्लाइडिंग विंडो अटेंशन के रिसेप्टिव फील्ड से भी अधिक है।
पैरामीटर दक्षता: एक कॉम्पैक्ट 119M पैरामीटर वाला PMNet, एक Mamba मॉडल (353M पैरामीटर) की ज़ीरो-शॉट लॉन्ग-कॉन्टेक्स्ट मजबूती की बराबरी करता है, जो तीन गुना बड़ा है, बावजूद इसके कि इसे आउट-ऑफ-डोमेन डेटा पर प्रशिक्षित किया गया था।
ग्रेडिएंट विश्लेषण: पेपर प्रशिक्षण गतिशीलता में एक "फेज ट्रांजिशन" के अनुभवजन्य प्रमाण प्रदान करता है, जहाँ ग्लोबल मेमोरी मॉड्यूल स्थानीय अटेंशन विंडो से परे निर्भरताओं को संभालने के लिए सक्रिय रूप से जागृत होता है, जो कि पूर्व में स्पष्ट मेमोरी सिस्टम में अप्राप्य व्यवहार था।

4. प्रयोगात्मक परिणाम

सिंथेटिक कॉपी-पेस्ट टास्क: 1,024 बाइट्स तक के अनुक्रमों (2,048 बाइट्स के लुकबैक) के सटीक रिट्रीवल के लिए आवश्यक कार्य पर, PMNet ने लगभग 100% सटीकता बनाए रखी। इसके विपरीत, मेमोरी के बिना एक बेसलाइन (जो केवल SWA पर निर्भर थी) ने SWA के रिसेप्टिव फील्ड (768 बाइट्स) से अधिक अनुक्रम लंबाई होने पर 0% सटीकता के साथ गिरावट दर्ज की। ग्रेडिएंट विश्लेषण ने दिखाया कि पूर्ण PMNet मेमोरी मॉड्यूल के "जागने" के दौरान महत्वपूर्ण ग्रेडिएंट स्पाइक्स प्रदर्शित करता है, जिन्हें प्रस्तावित तंत्रों द्वारा सफलतापूर्वक स्थिर किया गया था।
ज़ीरो-शॉट लॉन्ग-कॉन्टेक्स्ट इवैल्यूएशन (PG-19): 18.8B टोकन पर प्रशिक्षित 119M पैरामीटर वाले PMNet ने PG-19 टेस्ट सेट पर एक बिट्स पर बाइट (BPB) प्रदर्शन प्राप्त किया जो 353M MambaByte_Arxiv मॉडल के तुल्य है। इसने 512k बाइट्स तक स्थिर एक्सट्रपलेशन प्रदर्शित किया, जबकि मानक ट्रांसफॉर्मर बेसलाइन (जैसे SmolLM) अपनी कॉन्टेक्स्ट विंडो (~2k टोकन) के बाद विनाशकारी विफलता का शिकार हुए।
एब्लेशन स्टडीज: प्रशिक्षण या अनुमान के दौरान मेमोरी अपडेट को हटाने से प्रदर्शन में गिरावट आई, जिससे पुष्टि हुई कि स्थिरता और प्रदर्शन लाभ मेमोरी तंत्र से आते हैं, न कि केवल SWA घटक से।

5. महत्व और दावे

पेपर का दावा है कि PMNet स्केलेबल सीक्वेंस मॉडलिंग के लिए एक सैद्धांतिक रूप से ठोस आधार प्रदान करता है, जो कम्प्यूटेशनल दक्षता और स्थिर सूचना प्रतिधारण के बीच मौलिक ट्रेड-ऑफ को हल करता है।

संरचनात्मक स्थिरता: लेखक तर्क देते हैं कि BPTT को स्थिर करने के लिए ह्यूरिस्टिक ऑप्टिमाइज़ेशन पैच के बजाय सीखने के मैकेनिक्स (यूनिटरी डायनेमिक्स) में एक मौलिक बदलाव की आवश्यकता है।
स्केलेबिलिटी: बाउंडेड ग्रेडिएंट नॉर्म्स की गारंटी देकर, PMNet पिछले प्रयासोंों में व्याप्त संख्यात्मक अस्थिरता के बिना अल्ट्रा-लॉन्ग अनुक्रमों पर स्पष्ट मेमोरी सिस्टम के प्रशिक्षण को सक्षम बनाता है।
भविष्य का दृष्टिकोण: लेखक वर्तमान सीमाओं को स्वीकार करते हैं, विशेष रूप से यह कि शुद्ध PyTorch कार्यान्वयन सेगमेंटेड स्कैन्स के लिए कस्टम CUDA कर्नेल की कमी के कारण अनुकूलित Mamba या Transformer कर्नेल की तुलना में धीमा है। हालांकि, वे तर्क देते हैं कि हार्डवेयर-विशिष्ट अनुकूलन के साथ, PMNet अत्यधिक-स्केल फाउंडेशन मॉडल्स के लिए एक प्रतिस्पर्धी विकल्प बन सकता है, जो केवल स्लाइडिंग विंडो प्रोसेसिंग से आगे बढ़कर विस्तारित टेम्पोरल क्षितिज पर सक्रिय ज्ञान क्यूरेशन की ओर बढ़ सकता है।