⚡ electrical engineering

Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention

यह शोध पत्र एनर्जी-गेटेड अटेंशन (Energy-Gated Attention) और मोर्लेट पोजीशनल एनकोडिंग (Morlet Positional Encoding) को पूरक इंडक्टिव बायस (inductive biases) के रूप में प्रस्तावित करता है, जो टोकन सैलिएंस (token salience) को गेट करने और विभिन्न पैमानों पर पोजीशनल इन्फ्लुएंस (positional influence) को एडेप्टिवली लोकलाइज करने को सीखकर, मानक ट्रांसफॉर्मर्स की तुलना में सुपर-एडिटिव (superadditive) प्रदर्शन सुधार प्रदान करते हैं, हालांकि वर्तमान निष्कर्ष छोटे पैमाने के प्रयोगों पर निर्भर हैं जिनके लिए आगे बड़े पैमाने पर सत्यापन की आवश्यकता है।

मूल लेखक: Athanasios Zeris

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Athanasios Zeris

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ट्रांसफॉर्मर (एक आधुनिक चैटबॉट के पीछे का विशाल AI मस्तिष्क) एक कहानी को समझने की कोशिश कर रहा एक विशाल, उच्च-गति वाला लाइब्रेरियन (पुस्तकालयाध्यक्ष) है। जब लाइब्रेरियन एक वाक्य पढ़ता है, तो उसे दो चीजें तय करने की आवश्यकता होती है: कौन से शब्द वास्तव में महत्वपूर्ण हैं? और संदर्भ (context) को समझने के लिए उन्हें कितनी पीछे तक देखना चाहिए?

मानक ट्रांसफॉर्मर पहले भाग में बहुत अच्छे हैं, लेकिन उनकी एक कमी है। वे हर शब्द को ऐसे देखते हैं जैसे कि वे समान रूप से महत्वपूर्ण हों, और वे शब्दों के बीच की दूरी को एक कठोर, 'एक ही आकार सबके लिए' वाले तरीके से देखते हैं।

यह शोध पत्र लाइब्रेरियन को पहनने के लिए दो नए "चश्मे" पेश करता है, जिन्हें एनर्जी-गेटेड अटेंशन (EGA) और मोर्लेट पोजीशनल एनकोडिंग (MOPE) कहा जाता है। लेखकों ने पाया कि हालांकि प्रत्येक चश्मा अकेले थोड़ा मदद करता है, लेकिन जब दोनों को एक साथ पहना जाता है, तो यह लाइब्रेरियन को सुपरह्यूमन (अतिमानवीय) बना देता है।

यहाँ रोजमर्रा के उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "सपाट" लाइब्रेरियन

मानक ट्रांसफॉर्मर यह तय करने के लिए कि किस पर ध्यान देना है, "डॉट प्रोडक्ट" का उपयोग करते हैं।

दोष: कल्पना कीजिए कि आप एक वाक्य पढ़ रहे हैं जैसे "The cat sat on the mat." (बिल्ली चटाई पर बैठी थी)। एक मानक ट्रांसफॉर्मर "The," "cat," "sat," "on," "the," और "mat" को लगभग समान वजन के रूप में देखता है। उसे यह समझ नहीं आता कि "cat" और "mat" (संज्ञा/nouns) अर्थ का भारी काम करते हैं, जबकि "the" और "on" (क्रिया विशेषण/function words) केवल भरने के लिए हैं।
दूरी का मुद्दा: यह यह भी मान लेता है कि शब्दों के बीच की दूरी हर चीज़ के लिए समान है। इसे यह नहीं पता कि "cat" शब्द "sat" से निकटता से संबंधित है (कुछ शब्द दूर), लेकिन यह किसी पैराग्राफ के पहले आए शब्द से ढीले रूप से संबंधित हो सकता है। यह सभी दूरियों के साथ एक जैसा व्यवहार करता है।

2. समाधान A: एनर्जी-गेटेड अटेंशन (EGA) – "वॉल्यूम नॉब"

यह क्या करता है: EGA शब्दों के लिए एक स्मार्ट वॉल्यूम नॉब की तरह काम करता है।
उपमा: कल्पना कीजिए कि लाइब्रेरियन के पास प्रत्येक शब्द की "ऊर्जा" या "तेजी" (loudness) को मापने वाला एक उपकरण है।

"cat," "dog," या "run" जैसे शब्द "तेज" (उच्च ऊर्जा) हैं क्योंकि वे बहुत सारी जानकारी रखते हैं।
"the," "is," या "a" जैसे शब्द "धीमे" (कम ऊर्जा) हैं क्योंकि वे केवल जोड़ने वाले शब्द हैं।
जादू: EGA लाइब्रेरियन द्वारा वाक्य को समझने की कोशिश करने से पहले ही तेज शब्दों की आवाज़ बढ़ा देता है और धीमे शब्दों को म्यूट कर देता है। यह बिना किसी डिक्शनरी की मदद के इसे स्वचालित रूप से करना सीख जाता है।
परिणाम: अपने आप में, इसने AI को बेहतर सीखने में मदद की, जिससे इसकी गलतियाँ लगभग 0.09 अंक कम हो गईं।

3. समाधान B: मोर्लेट पोजीशनल एनकोडिंग (MOPE) – "लचीला रूलर"

यह क्या करता है: MOPE यह बदल देता है कि AI दूरी को कैसे मापता है।
उपमा: मानक ट्रांसफॉर्मर एक कठोर, धातु के रूलर (पैमाने) का उपयोग करते हैं। वह कहता है, "यह शब्द उस शब्द से 5 कदम दूर है," और बस इतना ही।

दोष: कभी-कभी आपको कुछ कदम पीछे देखने की आवश्यकता होती है (जैसे क्रिया को उसके कर्ता से जोड़ने के लिए)। अन्य समय में, आपको बहुत पीछे देखने की आवश्यकता होती है (जैसे तीन वाक्यों पहले उल्लेखित संज्ञा को सर्वनाम से जोड़ने के लिए)। एक धातु का रूलर खिंच या सिकुड़ नहीं सकता।
जादू: MOPE लाइब्रेरियन को एक लचीला, खिंचने वाला रूलर (एक वेवलेट) देता है।
- मस्तिष्क के कुछ हिस्सों के लिए, रूलर छोटा और सख्त रहता है ताकि त्वरित, स्थानीय विवरणों (जैसे वर्तनी या व्याकरण) को पकड़ा जा सके।
- अन्य हिस्सों के लिए, रूलर फैलता है ताकि लंबे, बहते हुए विचारों (जैसे पैराग्राफ के विषय) को पकड़ा जा सके।
- महत्वपूर्ण रूप से, AI सीखता है कि वह कहानी पढ़ने के आधार पर प्रत्येक रूलर कितना लचीला होना चाहिए।
परिणाम: आश्चर्यजनक रूप से, केवल इस लचीले रूलर का उपयोग करने से AI वास्तव में थोड़ा खराब हो गया (0.03 अंक)। क्यों? क्योंकि लाइब्रेरियन को यह तो पता था कि कहाँ देखना है, लेकिन उसे यह नहीं पता था कि कौन से शब्द महत्वपूर्ण हैं।

4. "सुपरएडिटिव" चमत्कार: 1 + 1 = 3

यह इस शोध पत्र की सबसे बड़ी खोज है।

EGA अकेला: अच्छा (+0.09)।
MOPE अकेला: थोड़ा खराब (-0.03)।
EGA + MOPE एक साथ: अद्भुत (+0.12)।

उपमा:
कल्पना कीजिए कि आप एक भीड़ भरे कमरे में किसी विशिष्ट व्यक्ति को खोजने की कोशिश कर रहे हैं।

EGA उन चश्मों की तरह है जो उस व्यक्ति को चमकीला बनाते हैं जिसे आप ढूंढ रहे हैं, जबकि बाकी सब पृष्ठभूमि में धुंधले हो जाते हैं।
MOPE उस मानचित्र की तरह है जो आपको बताता है कि वह व्यक्ति आपसे कितनी दूर खड़ा होने की संभावना है।
समस्या: यदि आपके पास केवल चमकने वाले चश्मे (EGA) हैं, तो आप व्यक्ति को देख सकते हैं, लेकिन आपको यह नहीं पता होगा कि वह आपके ठीक बगल में है या कमरे के दूसरी ओर। यदि आपके पास केवल मानचित्र (MOMPE) है, तो आपको दूरी का पता है, लेकिन आप भीड़ में किसे पहचानें, यह नहीं पता।
समाधान: जब आप उन्हें मिलाते हैं, तो चमकने वाले चश्मे बताते हैं कि किसे देखना है, और लचीला मानचित्र बताता है कि कितनी दूर तक पहुँचना है। संयोजन दोनों के हिस्सों के योग से बेहतर काम करता है क्योंकि वे एक-दूसरे की कमजोरियों को ठीक करते हैं।

5. क्या काम नहीं आया (द "ओवर-इंजीनियर्ड" टूल्स)

लेखकों ने इन प्रणालियों को बनाने के लिए पूर्व-निर्मित, "संरचित" उपकरणों (जैसे भौतिकी में उपयोग किए जाने वाले विशिष्ट गणितीय तरंग पैटर्न) का उपयोग करके अधिक फैंसी बनने की कोशिश की।

निष्कर्ष: ये पूर्व-निर्मित उपकरण विफल रहे। AI ने बहुत बेहतर सीखा जब इसे अपने आप "समझने" (unconstrained learning) की अनुमति दी गई।
पाठ: AI खुद यह नियम बनाने में सक्षम है कि कौन सा शब्द "तेज" है या रूलर कितना "लचीला" होना चाहिए। मानव-निर्मित भौतिकी नियमों का उपयोग करने के लिए मजबूर करने से वास्तव में इसकी प्रगति रुक गई। केवल एक ही समय पर एक संरचित नियम ने मदद की, जब इसे "तेजी" वाले फिल्टर के साथ जोड़ा गया था, क्योंकि AI बिना उस मदद के "लचीलेपन" को खुद नहीं समझ पा रहा था।

सारांश

यह शोध पत्र साबित करता है कि AI को स्मार्ट बनाने के लिए, आपको दो चीजों को एक साथ काम करने की आवश्यकता है:

एक फिल्टर जो उबाऊ शब्दों को अनदेखा करे और महत्वपूर्ण शब्दों पर ध्यान केंद्रित करे (एनर्जी गेटिंग)।
दूरी की एक लचीली समझ जो संदर्भ के अनुसार बदलती रहे (वेवलेट एनकोडिंग)।

जब आप AI को दोनों देते हैं, तो वह केवल एक या दूसरे के पास होने की तुलना में भाषा को काफी बेहतर समझता है। लेखकों ने इसे एक छोटे डेटासेट (TinyShakespeare) पर परखा और स्पष्ट, दोहराने योग्य सुधार देखा, जो बताता है कि यह बेहतर AI मस्तिष्क बनाने का एक शक्तिशाली नया तरीका है।

तकनीकी सारांश: एनर्जी-गेटेड अटेंशन और वेवलेट पोजीशनल एनकोडिंग

1. समस्या विवरण

मानक ट्रांसफॉर्मर अटेंशन तंत्र डॉट-प्रोडक्ट अटेंशन के माध्यम से युग्मवार टोकन समानता (pairwise token similarity) की गणना करते हैं, लेकिन वे इंडक्टिव बायस (inductive biases) के संबंध में दो संरचनात्मक सीमाओं से ग्रस्त हैं:

स्पेक्ट्रल सैलिएंस (Spectral Salence) का अभाव: मानक अटेंशन सभी टोकन को समान रूप से महत्वपूर्ण मानता है, और उन्हें केवल क्वेरी के साथ सामग्री समानता (content similarity) के आधार पर भारित करता है। इसमें उच्च आंतरिक सूचनात्मक घनत्व (जैसे, रूपात्मक सीमाएं या सिंटैक्टिक हेड्स) वाले टोकनों को बैकग्राउंड टोकनों (जैसे, फंक्शन वर्ड्स या दोहराए गए पैटर्न) से अलग करने के लिए तंत्र का अभाव है।
अनुकूली स्थानीयता (Adaptive Locality) का अभाव: मानक पोजीशनल एनकोडिंग (जैसे, फिक्स्ड साइनुसोइडल PE) बिना स्थानिक लिफाफे (spatial envelopes) के एम्बेडिंग आयामों को निश्चित आवृत्तियों को असाइन करते हैं। इसके परिणामस्वरूप, प्रत्येक स्थिति हर पैमाने पर समान योगदान देती है, जिससे भाषाई घटनाओं या संदर्भ लंबाई के प्राकृतिक पैमाने के अनुरूप पोजीशनल प्रभाव के विस्तार को अनुकूलित करने में विफलता होती है। हालांकि रोटरी पोजीशनल एम्बेडिंग्स (RoPE) सापेक्ष स्थिति को एनकोड करती हैं, फिर भी वे गाऊसी स्थानीयता (Gaussian locality) के बिना निश्चित आवृत्तियों का उपयोग करती हैं।

यह शोध पत्र तर्क देता है कि ये दो अंतराल—किसे (what) अटेंड करना है (सैलिएंस) और प्रत्येक पैमाने पर अटेंशन कहाँ (where) संचालित होता है (लोकैलिटी)—पूरक और ऑर्थोगोनल (orthogonal) हैं।

2. कार्यप्रणाली

लेखक इन अंतरालों को दूर करने के लिए दो सरल, सीखने योग्य घटकों का प्रस्ताव करते हैं: एनर्जी-गेटेड अटेंशन (EGA) और मोरलेट पोजीशनल एनकोडिंग (MOPE)।

2.1 एनर्जी-गेटेड अटेंशन (EGA)

EGA की-टोकन एम्बेडिंग्स के सीखे गए ऊर्जा अनुमान (energy estimate) के आधार पर गेटिंग के माध्यम से वैल्यू एग्रीगेशन को नियंत्रित करके एक सैलिएंस तंत्र पेश करता है।

तंत्र: एक सिंगल लीनियर प्रोजेक्शन ( $w_{proj}^T x_j$ ) टोकन की "ऊर्जा" का अनुमान लगाता है। इस स्केलर को z-नॉर्मलाइज़ किया जाता है और एक सिग्मॉइड गेट ( $g_j$ ) के माध्यम से पास किया जाता है।
कार्य: गेट कम-ऊर्जा वाले टोकनों (बैकग्राउंड/फिलर) को दबा देता है और उच्च-ऊर्जा वाले टोकनों (सूचना-सघन) को बढ़ाता है।
दक्षता: यह न्यूनतम पैरामीटर्स ( $d+2$ प्रति हेड, <0.3% ओवरहेड) जोड़ता है और कोई कंप्यूटेशनल लागत नहीं लेता है।
सैद्धांतिक आधार: प्रोजेक्शन की व्याख्या पार्सवल के पहचान (Parseval's identity) के माध्यम से स्पेक्ट्रली-वेटेड ऊर्जा के अनुमान के रूप में की जाती है, हालांकि लेखक नोट करते हैं कि सीखा गया सिग्नल सख्त स्पेक्ट्रल ऊर्जा के बजाय सामान्य सूचनात्मक सैलिएंस (जैसे, दुर्लभता, सीमाएं) का प्रतिनिधित्व कर सकता है।

2.2 मोरलेट पोजीशनल एनकोडिंग (MOPE)

MOPE, अनुकूली समय-आवृत्ति स्थानीयकरण (time-frequency localization) प्रदान करने के लिए फिक्स्ड साइनुसोइडल पोजीशनल एनकोडिंग के स्थान पर सीखे गए गाऊसी-विंडोड वेवलेट्स (Gaussian-windowed wavelets) का उपयोग करता है।

फॉर्मूलेशन: एम्बेडिंग आयाम $i$ और स्थिति $b$ के लिए:
$MOPE(b, 2i) = \cos(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$
$MOPE(b, 2i + 1) = \sin(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$
जहाँ $\omega_i$ (सेंटर फ्रीक्वेंसी) और $\sigma_i$ (लोकैलिटी बैंडविड्थ) सीखे गए पैरामीटर्स हैं।
सामान्यीकरण: MOPE स्ट्रिक्ट रूप से मानक साइन/कोस PE का सामान्यीकरण करता (जिसे $\sigma_i \to \infty$ के रूप में प्राप्त किया जाता है) और ROPE (लिमिट में फेज स्ट्रक्चर) तथा ALiBi (जीरो-फ्रीक्वेंसी लोकैलिटी) के साथ जुड़ता है।
क्रॉस-कोरिलेशन स्ट्रक्चर: अटेंशन क्रॉस-कोरिलेशन में MOPE को प्रतिस्थापित करने से लैग स्पेस में एक मोरलेट कर्नेल, $C_i(\tau) \propto e^{-\tau^2/4\sigma_i^2} \cdot \cos(\omega_i \tau)$ प्राप्त होता है। यह आयामों को उनके सीखे गए $\sigma_i$ के आधार पर भाषाई संरचना के विभिन्न पैमानों (जैसे, कैरेक्टर-लेवल बनाम सेंटेंस-लेवल) को कैप्चर करने की अनुमति देता है।

2.3 संयुक्त मॉडल

EGA-MORLET मॉडल MOPE का उपयोग करके गणना किए गए अटेंशन वेट्स पर EGA गेटिंग लागू करता है। लेखक सुपरएडिटिविटी (superadditivity) की परिकल्पना करते हैं: चूंकि EGA यह नियंत्रित करता है कि किन टोकनों को अटेंड किया जाए और MOPE यह नियंत्रित करता है कि प्रत्येक पैमाने पर प्रभाव कहाँ तक विस्तृत होता है, इसलिए उनका संयोजन उनके व्यक्तिगत भागों के योग से अधिक प्रदर्शन दे सकता है।

3. मुख्य योगदान

क्रॉस-कोरिलेशन व्याख्या: पेपर डॉट-प्रोडक्ट अटेंशन को एक समृद्ध क्रॉस-कोरिलेशन फंक्शन के जीरो-लैग वैल्यू ( $C_{ij}(0)$ ) के रूप में पुनर्गठित करता है, यह पहचानते हुए कि मानक अटेंशन स्केल चयनात्मकता, लैग स्ट्रक्चर और स्पेक्ट्रल सैलिएंस को छोड़ देता है।
MOPE आर्किटेक्चर: एक लोकलाइज्ड वेवलेट पोजीशनल एनकोडिंग जो साइन/कोस PE का सख्ती से सामान्यीकरण करता है और ROPE एवं ALiBi के साथ एक सैद्धांतिक सेतु प्रदान करता है, जो अनुकूली आवृत्ति और स्थानीयता प्रदान करता है।
अनुभवजन्य पूरकता (Empirical Complementarity): यह प्रदर्शन करता है कि EGA और MOPE पूरक इंडक्टिव बायस हैं। उनका संयोजन सुपरएडिटिव परिणाम देता है, जबकि व्यक्तिगत घटक अकेले मिश्रित या तटस्थ प्रदर्शन दिखाते हैं।
स्ट्रक्चर्ड बनाम लर्नड प्रायर्स: एक स्ट्रक्चर्ड एब्लेशन दिखाता है कि अनकन्स्ट्रेंड लर्नड प्रोजेक्शन स्ट्रक्चर्ड स्पेक्ट्रल प्रायर्स (जैसे, डाउबचीज़ फिल्टर्स, फिक्स्ड स्केल इनिशियलाइजेशन) की तुलना में लगातार बेहतर प्रदर्शन करते हैं, सिवाय उन मामलों के जब एक स्ट्रक्चर्ड घटक (जैसे MOPE का अनुकूली स्थानीयता) वास्तव में पूरक जानकारी प्रदान करता है जिसे डॉट-प्रोडक्ट्स पर मानक ग्रेडिएंट डिसेंट द्वारा नहीं खोजा जा सकता।

4. प्रयोगात्मक परिणाम

प्रयोग TinyShakespeare (कैरेक्टर-लेवल, $L=6, H=8, d=256, \le 6M$ पैरामीटर्स) पर 5,000 स्टेप्स के दौरान किए गए।

मुख्य निष्कर्ष (सुपरएडिटिविटी):
- बेसलाइन (स्टैंडर्ड अटेंशन): वैलिडेशन लॉस = 1.4742।
- केवल EGA: +0.092 सुधार (लॉस = 1.3821)। सैलिएंस एक मजबूत इंडक्टिव बायस है।
- केवल MOPE: -0.032 गिरावट (लॉस = 1.5060)। सैलिएंस के बिना अनुकूली स्थानीयता अपर्याप्त और थोड़ा हानिकारक है।
- EGA + MOPE: +0.119 सुधार (लॉस = 1.3550)।
- विश्लेषण: संयुक्त लाभ (+0.119) व्यक्तिगत लाभों के योग (+0.092 - 0.032 = +0.060) से अधिक है (+0.059)। यह पूरकता परिकल्पना का समर्थन करता है।
एब्लेशन स्टडीज:
- कन्वोल्यूशन अटेंशन: नॉन-जीरो लैग्स तक अटेंशन का विस्तार (+0.007) पुष्टि करता है कि लैग स्ट्रक्चर सूचना ले जाता है।
- स्केल इनिशियलाइजेशन: विशिष्ट आवृत्तियों पर हेड्स को इनिशियलाइज करने से कोई लाभ नहीं हुआ (-0.007), जो सुझाव देता है कि ग्रेडिएंट डिसेंट रैंडम इनिशियलाइजेशन से इष्टतम स्केल खोज लेता है।
- स्पेक्ट्रल फ्लक्स: गेटिंग सिग्नल के रूप में ऊर्जा परिवर्तन दरों का उपयोग करने से छोटा सकारात्मक लाभ (+0.012) मिला, जो बताता है कि बाउंड्री डिटेक्शन उपयोगी है।
- फेज कोहेरेंस: फेज इंफॉर्मेशन का उपयोग करने से मामूली नकारात्मक प्रभाव (-0.007) पड़ा।
लर्नड पैरामीटर्स: MOPE पैरामीटर्स चार अलग-अलग क्षेत्रों में क्लस्टर हुए जो कैरेक्टर, वर्ड, क्लॉज और सेंटेंस स्केल के अनुरूप थे, जिससे पता चलता है कि मॉडल डेटा से भाषाई रूप से प्राकृतिक टेम्पोरल स्केल सीखता है।

5. महत्व और दावे

पेपर का दावा है कि स्पेक्ट्रल सैलिएंस और स्केल-सेलेक्टिव लोकैलिटी पूरक इंडक्टिव बायस हैं जिनकी मानक अटेंशन में कमी है।

पूरकता: इस स्तर पर न तो अकेले यह बायस पर्याप्त है; उनकी परस्पर क्रिया सुपरएडिटिव है।
लर्निंग बनाम प्रायर्स: स्ट्रक्चर्ड प्रायर्स (जैसे फिक्स्ड वेवलेट गेट्स) की निरंतर विफलता बताती है कि कैरेक्टर-लेवल एम्बेडिंग्स के लिए इष्टतम बेस नॉन-साइनुसोइडल और कॉर्पस-विशिष्ट है। अनकन्स्ट्रेंड लर्निंग को प्राथमिकता दी जाती है, जब तक कि एक स्ट्रक्चर्ड घटक (जैसे MOPE का अनुकूली स्थानीयता) ऐसी जानकारी प्रदान न करे जो ग्रेडिएंट डिसेंट द्वारा स्वाभाविक रूप से खोजी जा सकती है।
विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि सभी प्रयोग छोटे पैमाने के (सिंगल सीड, कैरेक्टर-लेवल) हैं। प्राथमिक परिणाम इस पैमाने पर विश्वसनीय माना जाता है, लेकिन माध्यमिक प्रभावों के लिए मल्टी-सीड वैलिडेशन की आवश्यकता है। पेपर यह दावा नहीं करता है कि ये तरीके लॉन्ग-कॉन्टेक्स्ट समस्याओं को हल करते हैं, बल्कि यह भविष्य के कार्य (विशेष रूप से $T \ge 4096$ के लिए) के लिए एक उच्च-प्राथमिकता दिशा के रूप में पहचानता है।

यह कार्य ट्रांसफॉर्मर अटेंशन में स्पेक्ट्रल मेथड्स पर आधारित एक श्रृंखला के हिस्से के रूप में प्रस्तुत किया गया है, और कोड को पुनरुत्पादकता (reproducibility) के लिए उपलब्ध कराया गया है।