🤖 machine learning

VORT: Adaptive Power-Law Memory for NLP Transformers

यह शोधपत्र VORT को प्रस्तुत करता है, जो एक नवीन ट्रांसफॉर्मर आर्किटेक्चर है जो मानक घातांकीय क्षय (exponential decay) के स्थान पर एक सीखने योग्य भिन्नात्मक-क्रम पावर-लॉ मेमोरी कर्नेल (fractional-order power-law memory kernel) का उपयोग करता है, जिसे लंबी दूरी की निर्भरताओं (long-range dependencies) को बेहतर ढंग से पकड़ने के लिए घातांकीय योग अपघटन (sum-of-exponentials decomposition) के माध्यम से कुशलतापूर्वक अनुमानित किया जाता है, जबकि यह सन्निकटन सटीकता और अभिसरण (approximation accuracy and convergence) पर कठोर सैद्धांतिक गारंटी भी प्रदान करता है।

मूल लेखक: Nabil Mlaiki

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nabil Mlaiki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अभी सुनी गई एक लंबी कहानी को याद करने की कोशिश कर रहे हैं। एक मानक कंप्यूटर प्रोग्राम (जैसे कि AI में उपयोग किए जाने वाले वर्तमान "Transformers") के पास भूलने का एक बहुत ही विशिष्ट तरीका है: वे जानकारी के हर हिस्से के साथ एक मोमबत्ती की लौ जैसा व्यवहार करते हैं। जैसे-जैसे समय बीतता है, लौ बहुत तेज़ी से धुंधली होती जाती है। यदि आप एक वाक्य पहले की बात बताते हैं, तो स्मृति उज्ज्वल होती है; यदि आप 100 वाक्य पीछे की बात बताते हैं, तो स्मृति लगभग समाप्त हो जाती है।

समस्या यह है कि यह शोध पत्र बताता है कि मानव भाषा इस तरह काम नहीं करती जैसे कि एक मोमबत्ती। एक कहानी में महत्वपूर्ण संबंध (जैसे कि शुरुआत में बताया गया किसी पात्र का नाम और अंत में उसका कार्य) हजारों शब्दों के बाद भी प्रासंगिक बने रहते हैं। शोध पत्र का तर्क है कि हमारे वर्तमान AI मॉडल इसलिए "बहुत तेज़ी से भूल रहे हैं" क्योंकि वे एक ऐसे गणितीय नियम पर बने हैं जो वास्तव में भाषा के काम करने के तरीके से मेल नहीं खाता।

यहाँ उनके समाधान का सरल विवरण दिया गया है, VORT:

1. समस्या: "मोमबत्ती" बनाम "गूँज" (The "Candle" vs. The "Echo")

वर्तमान AI मॉडल भाषा के लिए एक "पावर-लॉ" (power-law) संरचना का उपयोग करते हैं (जहाँ महत्व धीरे-धीरे कम होता है, जैसे कि किसी घाटी में गूँज), लेकिन उनकी स्मृति प्रणाली एक "एक्सपोनेंशियल" (exponential) संरचना का उपयोग करती है (जहाँ महत्व बहुत तेज़ी से कम होता है, जैसे कि एक मोमबत्ती)।

विसंगति: यह एक स्विमिंग पूल के लिए बने रूलर (मापक) से समुद्र को मापने की कोशिश करने जैसा है। AI लंबे टेक्स्ट में बहुत पीछे की चीजों को याद रखने में संघर्ष करता है क्योंकि उसकी स्मृति बहुत जल्दी "मर" जाती है।

2. समाधान: एक अनुकूलन योग्य "मेमोरी डायल" (A Customizable "Memory Dial")

लेखकों ने VORT (Variable-Order Retention Transformer) नामक एक नई प्रणाली बनाई है। हर शब्द के साथ एक जैसा व्यवहार करने के बजाय, VORT हर एक शब्द को अपना स्वयं का मेमोरी डायल (जिसे फ्रैक्शनल ऑर्डर, $\alpha$ कहा जाता है) देता है।

डायल: कल्पना कीजिए कि एक वाक्य के हर शब्द के लिए एक स्लाइडर है।
- लो सेटिंग (0.2): "the," "and," या "but" जैसे शब्दों के लिए। ये केवल जोड़ने वाले शब्द हैं। AI इन शब्दों के लिए डायल को कम सेट करता है ताकि ये शब्द जल्दी लुप्त हो जाएं, जिससे जगह बच सके।
- हाई सेटिंग (0.9): नामों ("Alice"), स्थानों, या मुख्य तथ्यों जैसी महत्वपूर्ण चीजों के लिए। AI इन शब्दों के लिए डायल को उच्च सेट करता है ताकि हजारों अन्य शब्द पढ़े जाने के बाद भी ये शब्द उज्ज्वल और स्पष्ट बने रहें।

3. जादुई ट्रिक: "इको चैंबर" (The "Echo Chamber" - SOE)

एक पेच है। गणितीय रूप से, ऐसी स्मृति बनाए रखना जो धीरे-धीरे कम होती है (जैसे कि पावर-लॉ), आमतौर पर कंप्यूटर के लिए गणना करना बहुत महंगा होता है। यह किसी गुफा में हर एक गूँज को रिकॉर्ड करने की कोशिश करने जैसा है; आपको अनंत स्थान की आवश्यकता होगी।

शोध पत्र Sum-of-Exponentials (SOE) नामक एक चतुर गणितीय ट्रिक पेश करता है।

उपमा: कल्पना कीजिए कि आप एक ऐसी ध्वनि बनाना चाहते हैं जो धीरे-धीरे कम होती है। ध्वनि को हमेशा के लिए रिकॉर्ड करने के बजाय, आप अलग-अलग गति और वॉल्यूम पर कुछ अलग "गूँजें" बजाते हैं। जब आप उन्हें एक साथ मिलाते हैं, तो वे एक लंबी, धीमी गिरावट की तरह सुनाई देते हैं, लेकिन कंप्यूटर को केवल कुछ सरल गूँजों को ही ट्रैक करना पड़ता है।
परिणाम: VORT एक "धीमी गिरावट" वाली स्मृति का अनुकरण करने के लिए इस ट्रिक का उपयोग करता है, जो केवल सरल और तेज़ कंप्यूटर चरणों का उपयोग करता है। इसे दोनों दुनियाओं का सर्वश्रेष्ठ लाभ मिलता है: एक धीमी-लुप्त होने वाली स्मृति की सटीकता और एक तेज़ कंप्यूटर की गति।

4. यह कैसे सीखता है: "प्लास्टिसिटी" नियम (The "Plasticity" Rule)

यह प्रणाली केवल अनुमान नहीं लगाती कि किन शब्दों को उच्च या निम्न स्मृति की आवश्यकता है। यह सीखती है।

प्रशिक्षण: जैसे-जैसे AI टेक्स्ट के बारे में सवालों के जवाब देने की कोशिश करता है, उसे फीडबैक मिलता है। यदि वह एक नाम ("Alice") भूल जाता है और गलत उत्तर देता है, तो वह अगली बार उस नाम के लिए अपने "मेमोरी डायल" को ऊपर की ओर समायोजित करता है।
परिणाम: शोध पत्र दिखाता है कि AI स्वाभाविक रूप से "एंटिटी" टोकन (नाम, विशिष्ट वस्तुएं) को उच्च मेमोरी सेटिंग्स देने और "फंक्शन" शब्दों (व्याकरण जोड़ने वाले शब्द) को कम सेटिंग्स देने के लिए सीख जाता है, ठीक वैसे ही जैसे मनुष्य सहज रूप से कहानियों को याद रखते हैं।

5. प्रमाण: "घास के ढेर में सुई" (The "Needle in a Haystack")

लेखकों ने इसे दो मुख्य प्रयोगों के साथ परखा:

जिपफ टेस्ट (The Zipf Test): उन्होंने एक कार्य बनाया जहाँ "महत्वपूर्ण" शब्द यादृच्छिक (random) दूरियों पर दिखाई देते थे (एक विशिष्ट पैटर्न का पालन करते हुए)। नया VORT मॉडल इन दूर स्थित शब्दों को खोजने में मानक मॉडलों की तुलना में बहुत बेहतर था।
यूनिफॉर्म टेस्ट (The Uniform Test): उन्होंने एक कार्य बनाया जहाँ दूरी पूरी तरह से यादृच्छिक थी (कोई पैटर्न नहीं)। यहाँ भी, VORT जीत गया। यह साबित करता है कि यह केवल एक विशिष्ट पैटर्न से मेल खाकर "किस्मत वाला" नहीं हुआ है; बल्कि यह वास्तव में लंबी अवधि की जानकारी को थामे रखने में बेहतर है।

निचोड़ (The Bottom Line)

शोध पत्र का दावा है कि प्रत्येक शब्द को अपना स्वयं का "मेमोरी डायल" देकर और धीमी गति से लुप्त होने वाली स्मृतियों का अनुकरण करने के लिए एक चतुर गणितीय ट्रिक का उपयोग करके, नया VORT मॉडल वर्तमान मॉडलों की तुलना में टेक्स्ट में लंबी-दूरी के कनेक्शनों को बहुत बेहतर तरीके से याद रख सकता है, बिना कंप्यूटर को धीमा किए।

शोध पत्र यह दावा नहीं करता है कि:

यह दावा नहीं करता कि यह तुरंत बीमारियों का इलाज करेगा या ग्लोबल वार्मिंग को हल करेगा।
यह दावा नहीं करता कि यह अभी तक हर संभव कार्य पर पूरी तरह से काम करता है (इसका परीक्षण सिंथेटिक कार्यों और पुस्तकों के एक छोटे समूह पर किया गया था)।
यह दावा नहीं करता कि इसका गणित हर प्रकार की स्मृति के लिए एकदम सटीक है, केवल यह कि यह भाषा के "लॉन्ग-रेंज डिपेंडेंसीज़" की विशिष्ट समस्या को हल करता है।

संक्षेप में: VORT AI को कहानी के "प्लॉट" को याद रखने और "व्याकरण" को भूलने की शिक्षा देता है, जो एक स्मार्ट, एडजस्टेबल मेमोरी सिस्टम का उपयोग करता है।

तकनीकी सारांश: VORT: NLP ट्रांसफॉर्मर्स के लिए एडेप्टिव पावर-लॉ मेमोरी

समस्या विवरण (Problem Statement)

मानक ट्रांसफॉर्मर आर्किटेक्चर अटेंशन मैकेनिज्म पर निर्भर करते हैं जो दूरस्थ टोकन के प्रभाव पर एक अंतर्निहित निकट-घातीय क्षय (near-exponential decay) आरोपित करते हैं। यह कम्प्यूटेशनल डिज़ाइन प्राकृतिक भाषा की सांख्यिकीय प्रकृति के साथ संघर्ष करता है, जहाँ टोकनों के बीच पारस्परिक सूचना (mutual information) एक पावर-लॉ ( $I(\ell) \sim c \ell^{-\gamma}$ जहाँ $\gamma \in (0, 1)$ ) के अनुसार घटती है। यह "सांख्यिकीय बेमेल" (statistical mismatch) यह सुझाव देता है कि वर्तमान मॉडल लंबी अवधि की निर्भरताओं (long-range dependencies/long-memory processes) को पकड़ने के लिए इष्टतम नहीं हैं, जो सांख्यिकीय रूप से पावर-लॉ वेट्स (जैसा कि ARFIMA प्रक्रियाओं में देखा गया है) द्वारा सबसे अच्छी तरह से अनुमानित होते हैं।

मौजूदा लॉन्ग-कॉन्टेक्स्ट समाधान—जैसे कि इविक्शन कैश (बाइनरी कीप/इविकट), निश्चित घातीय पुनरावृत्ति (fixed exponential recurrences) वाले स्टेट-स्पेस मॉडल, या क्वांटाइज्ड कैश—एक प्रति-टोकन, कंटेंट-एडेप्टिव पावर-लॉ डिके मैकेनिज्म प्रदान करने में विफल रहते हैं। इसके अलावा, जबकि फ्रैक्शनल कैलकुलस (विशेष रूप से ग्र्यूनवाल्ड-लेटनिकवेटेड सम) पावर-लॉ मेमोरी के लिए सही गणितीय संरचना प्रदान करता है, यह स्वाभाविक रूप से नॉन-मार्कोवियन (non-Markovian) है, जिसका अर्थ है कि इसे सन्निकटन (approximation) के बिना एक निश्चित-आयामी पुनरावृत्ति में परिवर्तित नहीं किया जा सकता है।

कार्यप्रणाली: VORT मैकेनिज्म (Methodology: The VORT Mechanism)

लेखक एक वेरिएबल-ऑर्डर रिटेंशन ट्रांसफॉर्मर (VORT) पेश करते हैं, जो एक मेमोरी आर्किटेक्चर है जिसे फ्रैक्शनल कैलकुलस की नॉन-मार्कोवियन प्रकृति को हल करने और कम्प्यूटेशनल दक्षता बनाए रखने के लिए डिज़ाइन किया गया है।

1. सम-ऑफ-एक्सपोनेंशियल (SOE) सन्निकटन

ग्र्यूनवाल्ड-लेटनिक (GL) फ्रैक्शनल सम को कम्प्यूटेशनल रूप से सुलभ बनाने के लिए, VORT एक सम-ऑफ-एक्सपोनेंशियल (SOE) डीकंपोजिशन का उपयोग करता है।

इंटीग्रल रिप्रेजेंटेशन: GL वेट्स $w^{(\alpha)}_j$ को एक डेंसिटी फंक्शन $\rho_\alpha(\lambda)$ वाले लैपलेस-टाइप इंटीग्रल के माध्यम से दर्शाया जाता है।
क्वाड्रचर (Quadrature): इंटीग्रल को लॉग-चेंज ऑफ वेरिएबल्स के बाद गॉस-लैगुएर (Gauss–Laguerre) क्वाड्रचर (विशेष रूप से गॉस-लेजेंड्रे) का उपयोग करके अनुमानित किया जाता है, जो कर्नेल को $S$ घटते हुए एक्सपोनेंशियल में विभाजित करता है:
$\hat{w}^{(\alpha)}_j \approx \sum_{s=1}^S c_s^{(\alpha)} (\lambda_s^{(\alpha)})^j$
मार्कोवियन पुनरावृत्ति (Markovian Recurrence): प्रत्येक एक्सपोनेंशियल टर्म एक सटीक एक-चरण मार्कोवियन पुनरावृत्ति को स्वीकार करता है। यह अनुमति देता है कि फ्रैक्शनल स्टेट को प्रति स्टेप $O(S d_v)$ में अपडेट किया जाए, जहाँ $S = O(\log(T/\varepsilon))$ टर्म्स एक हॉरिजन $[1, T]$ पर $\varepsilon$ -यूनिफॉर्म सटीकता के लिए पर्याप्त हैं।

2. वेरिएबल-ऑर्डर रूटिंग (Variable-Order Routing)

फिक्स्ड-ऑर्डर फ्रैक्शनल मॉडल्स के विपरीत, VORT प्रत्येक टोकन $x_i$ को एक सीखने योग्य (learnable) फ्रैक्शनल ऑर्डर $\alpha_i \in [\delta, 1]$ असाइन करता है।

रूटिंग लॉजिक: ऑर्डर टोकन के कॉन्टेक्स्टुअल एंट्रॉपी और एक एंटिटी इंडिकेटर (एक शैलो नेमड एंटिटी रिकग्निशन प्रोब से) के फलन (function) द्वारा निर्धारित होता है।
- हाई एंट्रॉपी/नॉन-एंटिटी टोकन्स: कम $\alpha_i$ प्राप्त करते हैं (आक्रामक संपीड़न/aggressive compression)।
- एंटिटी टोकन्स: उच्च $\alpha_i$ प्राप्त करते हैं (निकट-लॉसलेस रिटेंशन)।
बैंक आर्किटेक्चर: दक्षता बनाए रखने के लिए, टोकन को $K$ समानांतर बैंकों में से एक में रूट किया जाता है, जिनमें से प्रत्येक एक निश्चित फ्रैक्शनल ऑर्डर $\alpha_k$ पर संचालित होता है। सिस्टम इन बैंकों में वैल्यूज को SOE पुनरावृत्ति का उपयोग करके संचित करता है।

3. कीड लीनियर-अटेंशन रिट्रीवल (Keyed Linear-Attention Retrieval)

रिट्रीवल एक लीनियर-अटेंशन एक्यूमुलेटर के माध्यम से किया जाता है। रैंडम फीचर्स $\phi(q)^\top \phi(k)$ के साथ सॉफ्टमैक्स अटेंशन स्कोर का अनुमान लगाकर, सिस्टम स्पष्ट स्टेट मैट्रिसेस $G_t$ और वेक्टर्स $b_t$ बनाए रखता है जो उसी SOE पुनरावृत्ति के माध्यम से विकसित होते हैं। इसके परिणामस्वरूप प्रति-स्टेप एक सटीक $O(K S d_\phi d_v)$ पुनरावृत्ति प्राप्त होती है, जो मानक अटेंशन की द्विघात (quadratic) लागत से बचती है।

मुख्य योगदान और सैद्धांतिक परिणाम (Key Contributions and Theoretical Results)

यह पेपर चार प्राथमिक सैद्धांतिक परिणाम और एक कन्वर्जेंस थ्योरम स्थापित करता है:

SOE सन्निकटन प्रमेय (Theorem 3.1): SOE सन्निकटन के ज्यामितीय अभिसरण (geometric convergence) को सिद्ध करता है। एरर बाउंड लॉग-चेंज ऑफ वेरिएबल्स के बाद इंटीग्रेंड की एनालिटिसिटी पर निर्भर करता है, जो दर्शाता है कि उच्च सटीकता के लिए $S = O(\log(T/\varepsilon))$ टर्म्स पर्याप्त हैं।
क्वांटाइजेशन बाउंड (Theorem 4.1): अंतराल $[\delta, 1]$ पर फ्रैक्शनल ऑर्डर $\alpha$ को क्वांटाइज़ करने पर एरर के बाउंड को स्थापित करता है। महत्वपूर्ण रूप से, यह $\alpha = 0$ के पास एक सही विश्लेषण प्रदान करता है, जो दिखाता है कि कर्नेल शून्य की ओर सिकुड़ता है न कि अपसारी (diverge) होता है।
स्केलिंग लोअर बाउंड (Proposition 4.2): एक प्रत्यक्ष $L^2$ एनर्जी तर्क जो दिखाता है कि किसी भी फ्रैक्शनल ऑर्डर $\alpha > 1/2$ के लिए, $M$ फिक्स्ड एक्सपोनेंशियल का कोई भी मिश्रण जिसमें न्यूनतम डिके रेट $\Lambda > 0$ हो, $T \to \infty$ होने पर $L^2([1, T])$ एरर को बढ़ाता है। यह सिद्ध करता है कि फिक्स्ड एक्सपोनेंशियल मॉडल (एसएमएसएस सहित) लंबे हॉरिजन के लिए पावर-लॉ रिटेंशन का एसिम्प्टोटिक रूप से मिलान नहीं कर सकते।
ग्रेडिएंट प्लास्टिसिटी कन्वर्जेंस (Theorem 5-1): पॉलीक-लोजसिक (PL) कंडीशन के तहत $\alpha_i$ को रिफाइन करने के लिए एक ग्रेडिएंट-आधारित प्लास्टिसिटी नियम के रैखिक अभिसरण (linear convergence) को प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक तीन सिंथेटिक और अर्ध-सिंथेटिक प्रयोगों के माध्यम से आर्किटेक्चर को मान्य करते हैं:

जिफ-डिस्ट्रीब्यूटेड रिट्रीवल (Zipf-Distributed Retrieval): एक कार्य में जहाँ एंकर टोकन को जिफ-डिस्ट्रीब्यूटेड लैग्स पर प्लांट किया गया था, पावर-लॉ (PL) मॉडल ने लंबे लैग्स (>1000) पर 79.4% सटीकता बनाए रखी, जबकि एक एक्सपोनेंशियल मॉडल 52.3% पर गिर गया। एक 5-कंपोनेंट मिक्सचर (M5) में सुधार होकर 61.8% हुआ लेकिन वह गैप को भरने में विफल रहा, जो सैद्धांतिक लोअर बाउंड के अनुरूप है।
एंटिटी लेबल-कॉपी (यूनिफॉर्म लैग्स): "प्रायर-मैचिंग" (जहाँ मॉडल इसलिए सफल होता है क्योंकि लैग डिस्ट्रीब्यूशन कर्नेल से मेल खाता है) को खारिज करने के लिए, दूसरे कार्य में यूनिफॉर्मली डिस्ट्रीब्यूटेड लैग्स का उपयोग किया गया। पावर-लॉ मॉडल ने एक्सपोनेंशियल बेसलाइन (82.7% बनाम 58.4% लंबे लैग्स पर) की तुलना में फिर से बेहतर प्रदर्शन किया, जो पुष्टि करता है कि लाभ संरचनात्मक है, न कि वितरण संबंधी।
PG-19 लैंग्वेज मॉडलिंग: PG-19 कॉर्पस के एक उपसमुच्चय पर, पावर-लॉ मॉडल ने कॉन्टेक्स्ट लेंथ >4096 पर 1.56 बिट्स-पर-कैरेक्टर (BPC) प्राप्त किया, जबकि एक्सपोनेंशियल बेसलाइन के लिए यह 1.68 BPC था। यह लाभ कॉन्टेक्स्ट लेंथ के साथ बढ़ता गया।

सीखा गया व्यवहार (Learned Behavior): $\alpha_i$ डिस्ट्रीब्यूशन के विश्लेषण ने एक बाइमॉडल सेपरेशन दिखाया: एंटिटी टोकन्स $\alpha \approx 0.80$ (उच्च रिटेंशन) के आसपास क्लस्टर हुए, जबकि फंक्शन वर्ड्स और कनेक्टिव्स $\alpha \approx 0.35$ (उच्च संपीड़न) के आसपास क्लस्टर हुए, जो एडेप्टिव रूटिंग मैकेनिज्म को प्रमाणित करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि VORT पावर-लॉ मेमोरी को लागू करने के लिए एक कम्प्यूटेशनल रूप से कुशल तंत्र प्रदान करता है, जो प्राकृतिक भाषा की लॉन्ग-रेंज डिपेंडेंसी के साथ सैद्धांतिक रूप से संरेखित है।

सैद्धांतिक संरेखण: यह पावर-लॉ वेट्स की सांख्यिकीय आवश्यकता और मार्कोवियन पुनरावृत्तियों की कम्प्यूटेशनल आवश्यकता के बीच के अंतर को पाटता है।
आर्किटेक्चरल लाभ: SOE का उपयोग करके, VORT रैखिक जटिलता $O(n)$ प्राप्त करता है जबकि उन भारी-पूंछ (heavy-tailed) रिटेंशन गुणों को सुरक्षित रखता है जिन्हें एक्सपोनेंशियल मॉडल लंबे अंतराल पर खो देते हैं।
अनुकूलनशीलता (Adaptivity): वेरिएबल-ऑर्डर मैकेनिज्म मॉडल को गतिशील रूप से मेमोरी संसाधनों को आवंटित करने की अनुमति देता है, अप्रासंगिक कॉन्टेक्स्ट को कंप्रेस करता है जबकि महत्वपूर्ण एंटिटीज को बनाए रखता है।

लेखक सीमाओं को नोट करते हैं, जिसमें यह शामिल है कि प्लास्टिसिटी के लिए कन्वर्जेंस प्रूफ स्थानीय (local) है, लोअर बाउंड मुख्य रूप से $\alpha > 1/2$ के लिए टाइट है, और वर्तमान प्रयोग पायलट-स्केल हैं। वे तर्क देते हैं कि व्यापक सत्यापन के लिए RULER और 128K-कॉन्टेक्स्ट नीडल-इन-ए-हेस्टैक जैसे बेंचमार्क पर पूर्ण-स्केल मूल्यांकन की आवश्यकता है।