⚡ electrical engineering

Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding

यह शोधपत्र मोरलट पोजीशनल एनकोडिंग (MoPE) प्रस्तुत करता है, जो एक नवीन ढांचा है जो साइनुसोइडल और रोटरी पोजीशनल एनकोडिंग को एक सीखने योग्य वेवलेट-आधारित दृष्टिकोण के सीमित मामलों के रूप में एकीकृत करता है, जो स्थिति और स्थानीयता को एक साथ एनकोड करते हुए वेवलेट एडमिसिबिलिटी बाउंड्री की ओर अभिसरित होकर ट्रांसफॉर्मर मॉडल में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Athanasios Zeris

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Athanasios Zeris

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "कहाँ" बनाम "कितनी दूर"

कल्पना कीजिए कि आप एक किताब पढ़ रहे हैं। मानक AI मॉडल (ट्रांसफॉर्मर्स) के पास यह जानने का एक अंतर्निहित तरीका है कि वाक्य में कोई शब्द कहाँ है। वे "पोजीशनल एनकोडिंग" नामक एक प्रणाली का उपयोग करते हैं।

वर्तमान में, दो सबसे लोकप्रिय प्रणालियाँ (साइनुसोइडल और ROPE) एक परफेक्ट, अनंत रूलर (पैमाने) की तरह काम करती हैं। वे AI को बताती हैं, "यह शब्द 5वाँ शब्द है," और "यह शब्द 100वाँ शब्द है।" लेकिन वे हर स्थिति (position) के साथ बिल्कुल एक जैसा व्यवहार करती हैं: वे मानती हैं कि एक शब्द का प्रभाव अनंत काल तक फैलता है।

लेखक का तर्क है कि भाषा के लिए यह गलत है। एक कहानी में, "वह" (he) शब्द उस पात्र को संदर्भित कर सकता है जिसका उल्लेख दो वाक्यों पहले किया गया था, लेकिन संभावना है कि वह उस पात्र को संदर्भित नहीं करता जिसका उल्लेख दो अध्यायों पहले किया गया था। पुराने रूलर यह नहीं जानते कि एक शब्द का प्रभाव कितनी दूर तक पहुँचना चाहिए; वे बस इतना कहते हैं कि "यह यहाँ है।"

समाधान: "फ्लैशलाइट" (MOPE)

लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसे मोर्लेट पोजीशनल एनकोडिंग (MOPE) कहा जाता है।

अनंत तक जाने वाले रूलर के बजाय, MOPE एक फ्लैशलाइट (टॉर्च) की तरह काम करता है।

बीम (फेज़/Phase): पुराने सिस्टम की तरह, यह AI को शब्द का सटीक कोण या "फेज़" बताता है (जैसे, "आप नृत्य के 5वें चरण पर हैं")। यह हिस्सा लोकप्रिय ROPE सिस्टम के समान ही है।
चमक (एम्प्लीट्यूड/Amplitude): यह नया हिस्सा है। केंद्र से दूर जाने पर फ्लैशलाइट की बीम धुंधली होती जाती है। MOPE में, सीक्वेंस के शुरूआती बिंदु से दूर जाने पर स्थिति का "चमकना" कम होता जाता है।

उपमा (Analogy):

पुराना सिस्टम (ROPE/Sin-cos): एक स्टेडियम की कल्पना करें जहाँ हर सीट एक उज्ज्वल, अपरिवर्तित रोशनी से जगमगा रही है। सीट 1 का प्रशंसक उद्घोषक के लिए उतना ही "दृश्यमान" है जितना कि सीट 10,000 का।
नया सिस्टम (MOPE): एक स्पॉटलाइट की कल्पना करें। केंद्र में मौजूद व्यक्ति बहुत चमकीला है। जैसे-जैसे आप पीछे की पंक्तियों में जाते हैं, रोशनी नरम होती जाती है और अंततः फीकी पड़ जाती है। यह AI को बताता है: "पास के शब्दों पर ध्यान दें; दूर के शब्द अभी कम प्रासंगिक हैं।"

"जादुई" संबंध

पेपर यह सिद्ध करता है कि पुराने सिस्टम (Sin-cos और ROPE) वास्तव में इस नए फ्लैशलाइट सिस्टम के टूटे हुए संस्करण हैं।

यदि आप फ्लैशलाइट की बीम को अनंत रूप से चौड़ा कर देते हैं (ताकि वह कभी धुंधली न हो), तो आपको पुराना ROPE सिस्टम मिलता है।
यदि आप बीम को अनंत रूप से चौड़ा कर देते हैं और रोटेशन को हटा देते हैं, तो आपको पुराना Sin-cos सिस्टम मिलता है।

इसलिए, MOPE केवल एक नया विचार नहीं है; यह पुराने विचारों का "जनक" (parent) है। यह डेटा से सीखता है कि AI के मस्तिष्क के प्रत्येक हिस्से के लिए फ्लैशलाइट की बीम कितनी चौड़ी होनी चाहिए।

प्रयोगों में क्या हुआ?

लेखक ने इसे एक छोटे डेटासेट (शेक्सपियर के कुछ हज़ार शब्दों) पर परखा। उन्हें यह मिला:

कॉम्बो ही किंग है: जब उन्होंने इस नए "फ्लैशलाइट" (MOPE) को "एनर्जी-गेटेड अटेंशन" (जो एक बाउंसर की तरह काम करता है जो तय करता है कि कौन से शब्द महत्वपूर्ण हैं) नामक एक अलग टूल के साथ जोड़ा, तो AI अगले शब्द की भविष्यवाणी करने में काफी बेहतर हो गया। इसने अकेले किसी भी टूल का उपयोग करने की तुलना में बेहतर प्रदर्शन किया।
"स्वीट स्पॉट" की खोज: AI को यह सीखना था कि फ्लैशलाइट की बीम कितनी चौड़ी रखनी है। आश्चर्यजनक रूप से, AI के मस्तिष्क में मौजूद प्रत्येक एक 128 "फ्लैशलाइट्स" ने एक विशिष्ट गणितीय सीमा तक पहुँचने के लिए खुद को समायोजित किया। वे सभी एक ऐसी बीम चौड़ाई पर स्थिर हो गए जो न तो बहुत संकीर्ण थी और न ही बहुत चौड़ी, बल्कि "कैरेक्टर-टू-वर्ड" स्केल के लिए बिल्कुल सही थी।
- इसे 128 रेडियो ट्यून करने जैसा समझें: उन्हें अलग-अलग स्टेशनों पर ट्यून करने के बजाय, वे सभी ठीक उसी फ्रीक्वेंसी पर लॉक हो गए जहाँ सिग्नल सबसे स्पष्ट है।
"स्टार्ट" बायस (शुरुआत का झुकाव): वर्तमान संस्करण के MOPE में एक कमी है। यह मानता है कि फ्लैशलाइट का "केंद्र" हमेशा टेक्स्ट की शुरुआत (शब्द #1) पर होता है। इसका मतलब है कि शब्द #5 स्वाभाविक रूप से शब्द #200 की तुलना में अधिक "चमकीला" है, भले ही कहानी अभी शुरू होने वाली हो। लेखक इसे एक सीमा के रूप में स्वीकार करते हैं और सुझाव देते हैं कि भविष्य के संस्करणों को यह सीखने देना चाहिए कि फ्लैशलाइट का "केंद्र" कहाँ होना चाहिए।

सारांश

पेपर सुझाव देता है कि शब्दों की स्थिति को ट्रैक करने के लिए एक कठोर, अनंत रूलर के बजाय, हमें एक स्मार्ट, फीकी पड़ती स्पॉटलाइट का उपयोग करना चाहिए। यह स्पॉटलाइट सीखती है कि उसका प्रभाव कितनी दूर तक पहुँचना चाहिए।

पुराना तरीका: "मैं यहाँ हूँ, और मैं अनंत काल तक महत्वपूर्ण हूँ।"
नया तरीका (MOPE): "मैं यहाँ हूँ, और मैं थोड़ी दूरी तक महत्वपूर्ण हूँ, फिर मैं फीका पड़ जाता हूँ।"

प्रयोगों से पता चलता है कि यह "फीका पड़ने" वाला दृष्टिकोण, अन्य स्मार्ट अटेंशन टूल्स के साथ मिलकर, AI को भाषा की स्थानीय संरचना (जैसे वाक्यों और वाक्यांशों) को पुराने तरीकों की तुलना में बहुत बेहतर समझने में मदद करता है।

तकनीकी सारांश: साइनुसॉइड्स से परे: ट्रांसफॉर्मर पोजीशनल एनकोडिंग के लिए एक मोरलेट वेवलेट फ्रेमवर्क

1. समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर्स के लिए मानक पोजीशनल एनकोडिंग, विशेष रूप से साइनुसॉइडल (sin/cos) और रोटरी पोजीशन एम्बेडिंग (ROPE), प्रत्येक स्थिति को समान रूप से स्थानीय (equally local) मानते हैं। जबकि वे यह एनकोड करते हैं कि टोकन कहाँ है, वे यह एनकोड करने में विफल रहते हैं कि एक टोकन का पोजीशनल प्रभाव कितना दूर तक विस्तारित होना चाहिए।

साइनुसॉइडल PE: सभी स्थितियों में समान आयाम (uniform amplitude) के साथ निश्चित आवृत्तियों (fixed frequencies) का उपयोग करता है।
ROPE: जटिल स्थान (complex space) में रोटेशन के रूप में सापेक्ष स्थिति को एनकोड करता है लेकिन एक निरंतर आयाम लिफाफे (constant amplitude envelope) को बनाए रखता है (सभी स्थितियाँ समान रूप से उपस्थित हैं)।
सैद्धांतिक अंतराल (Theoretical Gap): इन विधियों में एक एकीकृत गणितीय ढांचे का अभाव है। इसके अलावा, वे सिग्नल स्टेशनैरिटी (अनंत स्थिति अनिश्चितता) मान लेते हैं, जो भाषा के लिए उप-इष्टतम (suboptimal) है, क्योंकि भाषा एक गैर-स्थिर (non-stationary) सिग्नल है जहाँ वर्णों और वाक्यात्मक संरचनाओं का वितरण स्थिति के साथ बदलता रहता है।

2. कार्यप्रणाली: मोरलेट पोजीशनल एनकोडिंग (MOPE)

लेखक मोरलेट पोजीशनल एनकोडिंग (MOPE) का प्रस्ताव करते हैं, जो कॉम्प्लेक्स मोरलेट वेवलेट (complex Morlet wavelet) को पोजीशनल एनकोडिंग के लिए एक स्वाभाविक आधार के रूप में उपयोग करता है। मोरलेट वेवलेट स्थिति और आवृत्ति दोनों में अनिश्चितता को एक साथ न्यूनतम करता है, जो हाइजेनबर्ग अनिश्चितता सिद्धांत का पालन करता है।

2.1 परिभाषा

स्थिति $b$ और एम्बेडिंग आयाम $i$ पर एक टोकन के लिए, MOPE को इस प्रकार परिभाषित किया गया है:
$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$
यह सूत्र प्रति आयाम दो सीखने योग्य पैरामीटर (learnable parameters) पेश करता है:

सेंटर फ्रीक्वेंसी ( $\omega_i$ ): यह दोलन दर (oscillation rate/phase) को निर्धारित करती है।
बैंडविड्थ ( $\sigma_i$ ): यह गॉसियन लोकैलिटी एनवेलप (Gaussian locality envelope/amplitude decay) को निर्धारित करती है।

2.2 ज्यामितीय व्याख्या (Geometric Interpretation)

फेज (Phase): फेज घटक $\omega_i b$ ROPE में रोटेशन एंगल के समान है। यह दोलन चक्र के भीतर सापेक्ष स्थिति को एनकोड करता है।
आयाम (Amplitude): पद $e^{-b^2/2\sigma_i^2}$ अनुक्रम मूल (sequence origin, $b=0$ ) पर केंद्रित एक गॉसियन एनवेलप के रूप में कार्य करता है। मानक एनकोडिंगों के विपरीत, जहाँ आयाम 1 पर स्थिर रहता है (अर्थात $\sigma_i \to \infty$ ), MOPE एक परिमित $\sigma_i$ सीखता है, जिससे अनुक्रम के प्रारंभ से दूरी के साथ पोजीशनल सिग्नल कम होता जाता है।
अनिश्चितता ट्रेड-ऑफ (Uncertainty Trade-off): MOPE स्थिति अनिश्चितता ( $\Delta b_i = \sigma_i$ ) और आवृत्ति अनिश्चितता ( $\Delta \omega_i = 1/\sigma_i$ ) के बीच इष्टतम संतुलन सीखता है, जो $\Delta b_i \cdot \Delta \omega_i \geq 1/2$ के बंधन को संतुष्ट करता है।

2.3 मौजूदा विधियों का एकीकरण (Unification of Existing Methods)

पेपर यह सिद्ध करता है कि मानक एनकोडिंग्स MOPE के सीमित मामले (limiting cases) हैं:

साइनुसॉइडल PE: तब उभरता है जब $\sigma_i \to \infty$ (अनंत लोकैलिटी, कोई क्षय नहीं)।
ROPE: तब उभरता है जब $\sigma_i \to \infty$ । MOPE क्रॉस-कोरिलेशन कर्नेल इस सीमा में सटीक रूप से ROPE अटेंशन स्कोर को पुनः प्राप्त करता है, जो सामान्य मामले में एक सीखे गए गॉसियन लोकैलिटी कर्नेल द्वारा मॉड्युलेट होता है।
ALiBi: शून्य-फ्रीक्वेंसी लोकैलिटी सीमा (exponential decay बिना दोलन के) के रूप में वैचारिक रूप से समान है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक एकीकरण: प्रदर्शित किया गया कि sin/cos PE और ROPE, MOPE के डिजेनरेट मामले (degenerate cases) हैं (जहाँ लोकैलिटी को बंद कर दिया गया है)।
फेज समानता: स्थापित किया गया कि MOPE फेज अंतर, ROPE रोटेशन एंगल के गणितीय रूप से समान है। प्राथमिक अंतर एक सीखे गए गॉसियन लोकैलिटी कर्नेल का जुड़ना है।
अनुभवजन्य संयोजन (Empirical Combination): लेखकों ने एनर्जी-गेटेड अटेंशन (EGA) के साथ MOPE को जोड़ा। परिणामी मॉडल (EGA-MORLET) ने TinyShakespeare डेटासेट पर मानक अटेंशन की तुलना में वैलिडेशन परपलेक्सिटी (validation perplexity) में +0.119 का सुधार किया, जो अकेले किसी भी घटक के उपयोग से बेहतर प्रदर्शन करता है।
पैरामीटर विश्लेषण: सीखे गए पैरामीटर्स का विश्लेषण किया और पाया कि सभी 128 फ्रीक्वेंसी-बैंडविड्थ जोड़े ठीक से वेवलेट एडिमिबिलिटी बाउंड्री ( $\omega_i \sigma_i = 5$ ) पर अभिसरित (converge) हुए।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग एक 6-लेयर, 8-हेड ट्रांसफार्मर आर्किटेक्चर का उपयोग करके $T=256$ के कॉन्टेक्स्ट लेंथ के साथ कैरेक्टर-लेवल TinyShakespeare डेटासेट पर किए गए।

प्रदर्शन:
- EGA-MORLET: 1.3550 वैल परपलेक्सिटी (+0.119 बेसलाइन से)।
- EGA-1 (बेसलाइन): 1.3821 (+0.092)।
- ROPE: 1.4637 (+0.011)।
- Sin/Cos: 1.5863 (-0.112)।
- MOPE अकेला: 1.5060 (-0.032)।
- नोट: MOPE अकेले सीखे गए एम्बेडिंग बेसलाइन से कम प्रदर्शन करता है, जो संभवतः छोटे मॉडल की सीमित क्षमता (लुकअप टेबल के 65,536 के मुकाबले PE के लिए 512 पैरामीटर) और मूल-केंद्रित (origin-centered) गॉसियन के संरचनात्मक पूर्वाग्रह के कारण है। हालांकि, EGA के साथ संयोजन में, तालमेल (synergy) महत्वपूर्ण था।
सीखे गए पैरामीटर्स:
- एडिमिबिलिटी बाउंड्री: सभी 128 आयाम $\omega_i \sigma_i = 5.000$ पर अभिसरित हुए। ऑप्टिमाइज़र ने लगातार पैरामीटर्स को इस सीमा की ओर धकेला, जो मजबूत लोकैलिटी और कम आवृत्तियों के प्रति प्राथमिकता का सुझाव देता है जैसा कि बाधा (constraint) द्वारा अनुमत है।
- स्केल कंसंट्रेशन: सीखे गए बैंडविड्थ ( $\sigma_i$ ) 1.49 से 4.50 टोकन के बीच थे। यह इंगित करता है कि मॉडल ने अपनी पूरी पोजीशनल क्षमता को कैरेक्टर-टू-वर्ड स्केल पर केंद्रित किया, न कि व्यापक स्केल्स (वाक्य, क्लॉज) पर, जिसकी अपेक्षा लंबे कॉन्टेक्स्ट में की जाती है।
- फ्रीक्वेंसी कंप्रेशन: सीखी गई आवृत्तियाँ ( $\omega_i \in [1.11, 3.35]$ ) एक संकीर्ण बैंड में संकुचित हो गईं, जो प्रारंभिक डायडिक रेंज से काफी ऊपर है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह ऑसिलेटरी पोजीशनल एनकोडिंग के लिए पहला एकीकृत गणितीय ढांचा प्रदान करता है, जो उन्हें समय-आवृत्ति स्थानीय वेवलेट आधार (time-frequency localized wavelet basis) के विशेष मामलों के रूप में प्रकट करता है।

सैद्धांतिक अंतर्दृष्टि: यह कार्य तर्क देता है कि भाषा गैर-स्थिर (non-stationary) है, और इसलिए पोजीशनल एनकोडिंग को अनंत लोकैलिटी ( $\sigma = \infty$ ) का अनुमान नहीं लगाना चाहिए। MOPE मॉडल को प्रत्येक आयाम के लिए उपयुक्त "टेम्पोरल रेंज ऑफ इन्फ्लुएंस" सीखने की अनुमति देता है।
पूरकता (Complementarity): परिणाम बताते हैं कि स्पेक्ट्रल सैलिएंस (EGA द्वारा संभाला गया, जो यह तय करता है कि किस पर ध्यान देना है) और टाइम-फ्रीक्वेंसी लोकैलिटी (MOPE द्वारा संभाला गया, जो यह तय करता है कि प्रभाव कहाँ तक विस्तारित होता है) पूरक तंत्र हैं। उनका संयोजन सुपर-एडिटिव लाभ प्रदान करता है।
**पुनरुत्पादकता (Reproducibility): $\omega \sigma = 5$ पर एडिमिबिलिटी बाउंड्री की अभिसरण को केवल पोजीशनल एनकोडिंग प्रयोगों और एक अलग एनर्जी गेट प्रयोग (पेपर 1) दोनों में देखा गया, जो कैरेक्टर-लेवल भाषा संकेतों के एक पुनरुत्पादक अनुभवजन्य गुण का सुझाव देता है।

6. सीमाएं और भविष्य का कार्य (Limitations and Future Work)

लेखक अपने निष्कर्षों के बारे में एक विनम्र लहजा बनाए रखते हैं:

स्केल: प्रयोग कैरेक्टर-लेवल, छोटे कॉन्टेक्स्ट ( $T=256$ ), और एक सिंगल सीड तक सीमित हैं।
ओरिजिन बायस (Origin Bias): वर्तमान फॉर्मूलेशन $b=0$ पर केंद्रित एक गॉसियन का उपयोग करता है, जो एक "एब्सोल्यूट ओरिजिन प्रायर" बनाता है जहाँ शुरुआत के पास के टोकन में अधिक पोजीशनल आयाम होता है। यह ट्रांसलेशन इनवेरिएंस (translation invariance) को तोड़ता है। लेखक एक भविष्य के सामान्यीकरण का प्रस्ताव करते हैं जिसमें एक सीखने योग्य केंद्र $b_{0,i}$ होगा।
एडिमिबिलिटी कंस्ट्रेंट: $\omega \sigma = 5$ पर अभिसरण प्रोजेक्शन-आधारित कार्यान्वयन (क्लैम्पिंग) का एक आर्टिफैक्ट हो सकता है, न कि एक वास्तविक अनकन्स्ट्रेंड ऑप्टिमम। इस बाधा को शिथिल करना भविष्य के अन्वेषण के लिए प्राथमिकता है।
अगले कदम: भविष्य के कार्य वर्ड-लेवल टोकेनाइजेशन, लंबे कॉन्टेक्स्ट को मान्य करेंगे, और मोरलेट-ROPE (ROPE रोटेशन तंत्र पर गॉसियन एनवेलप लागू करना) का पता लगाएंगे।