🌀 nonlinear sciences

Kuramoto Attention: Synchronizing Self-Attention on the Torus

यह शोध पत्र कुरामोतो अटेंशन (Kuramoto Attention) का परिचय देता है, जो एक ऐसा सेल्फ-अटेंशन तंत्र है जो गेटेड कोसाइन समानता (gated cosine similarity) और सर्कुलर मीन अपडेट्स (circular mean updates) का उपयोग करके टोकन इंटरैक्शन को एक टॉरस (torus) पर फेज सिंक्रोनाइज़ेशन के रूप में मॉडल करता है, यह प्रदर्शित करते हुए कि यह ज्यामितीय रूप से बाधित आर्किटेक्चर मानक RoPE-आधारित ट्रांसफॉर्मर के तुलनीय लैंग्वेज मॉडलिंग प्रदर्शन प्राप्त करता है और साथ ही अटेंशन और फेज कपलिंग के बीच एक नया सैद्धांतिक सेतु भी प्रदान करता है।

मूल लेखक: Joshua Nunley

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joshua Nunley

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास लोगों से भरा एक कमरा है, और प्रत्येक व्यक्ति के हाथ में एक घूमता हुआ लट्टू (spinning top) है। एक मानक AI मॉडल (एक ट्रांसफॉर्मर) में, ये लोग एक-दूसरे को तथ्य चिल्लाकर बताते हैं, और समूह यह तय करने के लिए उन तथ्यों का औसत निकालता है कि आगे क्या कहना है।

यह पेपर इस बात का एक नया तरीका पेश करता है कि ये लोग कैसे परस्पर क्रिया (interact) कर सकते हैं, जिसे कुरामोतो अटेंशन (Kuramato Attention) कहा जाता है। केवल तथ्य चिल्लाने के बजाय, वे अपने घूमते हुए लट्टुओं को सिंक्रोनाइज़ (तालमेल बिठाने) करने की कोशिश करते हैं।

यहाँ बताया गया है कि यह कैसे काम करता है, रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:

1. मुख्य विचार: घूमते हुए लट्टुओं का एक कमरा

इस नए मॉडल में, जानकारी का हर टुकड़ा (हर "टोकन") केवल एक संख्या नहीं है; यह एक वृत्त (circle) पर एक कोण (angle) है, जैसे घड़ी की सुई।

लक्ष्य: मॉडल चाहता है कि ये घड़ी की सुइयाँ उन लोगों के साथ तालमेल बिठाएं जिन्हें वे सुनने का निर्णय लेते हैं।
तंत्र (Mechanism): यदि व्यक्ति A तय करता है कि वह व्यक्ति B को सुनेगा, तो व्यक्ति A की घड़ी की सुई को व्यक्ति B की सुई की ओर धीरे से खींचा जाता है। यदि वे एक-दूसरे से दूर हैं, तो खिंचाव अधिक होता है। यदि वे पहले से ही करीब हैं, तो खिंचाव कम होता है। इसे सिंक्रोनाइज़ेशन (तालमेल) कहा जाता है।

2. वे यह कैसे तय करते हैं कि किसे सुनना है (स्कोर)

सिंक होने से पहले, उन्हें यह तय करना होता है कि किसे सुनना सार्थक है।

उपमा: कल्पना कीजिए कि हर कोई एक टॉर्च लेकर खड़ा है। मॉडल इन टॉर्चों को एक-दूसरे पर चमकाता है। यदि प्रकाश की किरणें अच्छी तरह से मेल खाती हैं (उच्च समानता), तो उन्हें एक "स्कोर" मिलता है।
ट्विस्ट: पेपर कहता है कि यह स्कोरिंग सिस्टम एक कस्टम रूलर (विशेष पैमाने) की तरह है। यह मापता है कि दो लोग उनके वर्तमान "फेज" (उनकी घड़ी की सुई किस ओर इशारा कर रही है) के आधार पर कितने समान हैं।
परिणाम: मॉडल उन पड़ोसियों का एक "सॉफ्ट ग्रुप" चुनता है जिन्हें सुनना है। यह केवल एक को नहीं चुनता; यह कुछ ऐसे लोगों को चुनता है जो सबसे अच्छी तरह फिट बैठते हैं, ठीक वैसे ही जैसे एक DJ उन गानों को मिक्स करता है जो आपस में अच्छी तरह घुलमिल जाते हैं।

3. सिंक्रोनाइज़ेशन चरण (अपडेट)

एक बार जब उन्हें पता चल जाता है कि किसे सुनना है, तो वे वास्तव में अपनी घड़ी की सुइयों को घुमाते हैं।

गणितीय जादू: पेपर यह सिद्ध करता है कि जिस तरह से वे हाथों को हिलाते हैं, वह भौतिकी के एक प्रसिद्ध समीकरण के बिल्कुल समान है जिसे कुरामोतो मॉडल (Kuramoto model) कहा जाता है।
उपमा: कल्पना कीजिए कि जुगनुओं का एक समूह है। यदि आप एक जुगनू को चमकते हुए देखते हैं, तो आप अपनी चमक को भी उसके साथ मिलाने के लिए समायोजित कर सकते हैं। इस मॉडल में, "अटेंशन" (आप किसे देख रहे हैं) आपको बताता है कि किन जुगनुओं के साथ तालमेल बिठाना है, और "अपडेट" वह भौतिक क्रिया है जिसमें आपका हाथ उनके लय (rhythm) से मेल खाने के लिए हिलता है।
यह क्यों विशेष है: सामान्य AI में, "वैल्यू" (जानकारी) केवल संख्याओं का एक थैला है जिसका औसत निकाला जाता है। यहाँ, "वैल्यू" स्वयं वह लय (rhythm) है। मॉडल केवल डेटा का औसत नहीं निकालता; यह लय को संरेखित (align) करता है।

4. "पोजीशन" का तरीका (रोटरी एम्बेडिंग)

एक कहानी में, शब्दों का क्रम मायने रखता है (जैसे, "The dog bit the man" और "The man bit the dog" अलग हैं)।

उपमा: कल्पना कीजिए कि कमरे में हर कोई एक घेरे में चल रहा है। जैसे-जैसे वे चलते हैं, उनकी घड़ी की सुइयाँ स्वाभाविक रूप से तेज या धीमी हो जाती हैं, जो इस बात पर निर्भर करता है कि वे घेरे में कहाँ हैं।
पेपर का दावा: यह पेपर इन "गति परिवर्तनों" को जुगनुओं की प्राकृतिक लय के रूप में मानता है। यह यह जानने का एक अंतर्निहित तरीका है कि कौन पहले आया और कौन बाद में, इसके लिए किसी अलग निर्देश पुस्तिका की आवश्यकता नहीं है।

5. क्या यह काम करता है? (परिणाम)

लेखक ने "enwiki8" नामक कार्य पर इसका परीक्षण किया, जो मूल रूप से टेक्स्ट में अगले अक्षर की भविष्यवाणी करना है (जैसे कि एक बहुत ही उन्नत ऑटो-कंप्लीट)।

तुलना: उन्होंने इस "सिंक्रोनाइज़ेशन मॉडल" की तुलना एक मानक, शीर्ष-स्तरीय AI मॉडल से की।
फैसला:
- एक छोटे आकार (1 मिलियन पैरामीटर्स) पर, नया मॉडल मानक मॉडल के बहुत करीब था, बस थोड़ा पीछे था।
- एक मध्यम आकार (5 मिलियन पैरामीटर्स) पर, नया मॉडल मध्य श्रेणी (median) में मानक मॉडल के बराबर प्रदर्शन करता था, हालांकि मानक मॉडल औसतन थोड़ा बेहतर था।
निष्कर्ष: पेपर निष्कर्ष निकालता है कि यह "सिंक्रोनाइज़ेशन" दृष्टिकोण भाषा मॉडल बनाने का एक व्यवहार्य (viable) तरीका है। यह सिद्ध करता है कि आप केवल मानक गणित के बजाय ज्यामितीय आकृतियों (वृत्त और कोण) का उपयोग करके एक स्मार्ट AI बना सकते हैं।

6. यह अलग क्या है? ("एब्लेशन्स")

लेखक ने यह देखने के लिए कुछ प्रयोग किए कि वास्तव में कौन से हिस्से भारी काम कर रहे थे:

"ज्यामिति" वाले हिस्से: वे हिस्से जो कोणों और "खिंचाव" (सिंक्रोनाइज़ेशन) को संभालते हैं, वे सबसे महत्वपूर्ण हैं। यदि आप उन्हें हटा देते हैं, तो मॉडल विफल हो जाता है।
"मानक" वाले हिस्से: अभी भी एक हिस्सा है जो एक सामान्य AI की तरह कार्य करता है (एक "फीड-फॉरवर्ड ब्लॉक" जो जानकारी को मिलाता है)। पेपर नोट करता है कि यही एकमात्र हिस्सा है जो अभी तक "ज्यामितीय" नहीं है।
"नो-नॉर्मलाइजेशन" ट्रिक: मानक AI मॉडल को एक "वॉल्यूम नॉब" (नॉर्मलाइजेशन) की आवश्यकता होती है ताकि संख्याएँ बहुत बड़ी या बहुत छोटी न हो जाएं। इस नए मॉडल को उस नॉब की आवश्यकता नहीं है क्योंकि "घूमते हुए लट्टू" स्वाभाविक रूप से एक वृत्त पर टिके होते हैं; वे केवल घूम सकते हैं, बहुत बड़े या बहुत छोटे नहीं हो सकते।

सारांश

यह पेपर एक नए प्रकार के AI मस्तिष्क को पेश करता है जहाँ जानकारी को घूमते हुए घंटों (clocks) के रूप में माना जाता है। केवल संख्याओं का औसत निकालने के बजाय, मॉडल संबंधित शब्दों के घंटों को सिंक (तालमेल) करने की कोशिश करता है। यह कुरामोतो कपलिंग (Kuramoto coupling) का उपयोग करता है ताकि इन घंटों को संरेखित किया जा सके।

प्रयोगों से पता चलता है कि यह "सिंकिंग" दृष्टिकोण वर्तमान सर्वश्रेष्ठ AI मॉडलों के लगभग समान रूप से काम करता है, जो यह सिद्ध करता है कि भाषा को लयों के सिंक्रोनाइज़्ड नृत्य के रूप में देखना बुद्धिमान मशीनें बनाने का एक शक्तिशाली और वैध तरीका है।

तकनीकी सारांश: कुरामोटो अटेंशन (Kuramoto Attention)

समस्या और प्रेरणा

मानक सेल्फ-अटेंशन तंत्र को पारंपरिक रूप से कंटेंट-आधारित रिट्रीवल सिस्टम के रूप में वर्णित किया जाता है जहाँ क्वेरीज़ (queries) और कीज़ (keys) सॉफ्टमैक्स वेट्स जनरेट करते हैं ताकि वैल्यूज़ का औसत निकाला जा सके। प्रभावी होने के बावजूद, इस प्रक्रिया की ज्यामितीय व्याख्या अक्सर अमूर्त होती है। हाल के कार्यों ने मानक अटेंशन का विश्लेषण एक इंटरैक्टिंग पार्टिकल सिस्टम के रूपas किया है जो एसिम्प्टोटिक रूप से क्लस्टर होता है, जबकि अन्य मॉडलों (जैसे AKOrN) ने डिज़ाइन द्वारा कुरामोटो ऑसिलेटर डायनेमिक्स को अटेंशन में एकीकृत करने का प्रयास किया है।

यह शोध पत्र सेल्फ-अटेंशन और फेज सिंक्रोनाइज़ेशन के बीच के अंतर को संबोधित करने के लिए एक ऐसा लेयर प्रस्तावित करता है जहाँ हिडन स्टेट स्पष्ट रूप से फेज-वैल्यूड (phase-valued) होती है। लक्ष्य एक ऐसा सेल्फ-अटेंशन लेयर बनाना है जहाँ वैल्यू अपडेट केवल सिंक्रोनाइज़ेशन का एक सन्निकटन (approximation) नहीं है, बल्कि हर स्टेप पर गणितीय रूप से कुरामोटो कपलिंग टर्म के समान है। लेखक यह प्रदर्शित करना चाहते हैं कि एक विशिष्ट ज्यामितीय संरचना, विशेष रूप से जो एक टॉरस (torus) पर स्थित है, एक मानक ट्रांसफॉर्मर के तुलनीय व्यवहार्य लैंग्वेज मॉडल के रूप में कार्य कर सकती है।

कार्यप्रणाली: कुरामोटो अटेंशन (Kurotomo Attention)

प्रस्तावित लेयर प्रत्येक टोकन की हिडन स्टेट को $k$ यूनिट ऑसिलेटर्स के एक बैंक के रूप में फेज वेक्टर्स $\theta \in \mathbb{R}^k / (2\pi\mathbb{Z})^k$ के रूप में मॉडल करती है। यह लेयर तीन प्राथमिक चरणों के माध्यम से संचालित होती है:

1. गेटेड फेज सिमिलैरिटी (द स्कोर)

टोकन्स को लर्नड फेसेज़ (learned phases) के रूप में एम्बेड किया जाता है। एक क्वेरी टोकन $t$ और एक की टोकन $u$ के बीच सिमिलैरिटी स्कोर एक गेटेड कोसाइन कर्नेल का उपयोग करके कंप्यूट किया जाता है:
$s_{t,u} = \frac{\tau}{\sqrt{k}} \sum_{j} g^q_{t,j} g^k_{u,j} \cos(\theta_{t,j} - \theta_{u,j} + \omega_j(t-u))$

गेट्स (Gates): पॉजिटिव क्वेरी ( $g^q$ ) और की ( $g^k$ ) गेट्स को फेज फीचर्स के माध्यम से सॉफ्टप्लस एक्टिवेशन और मीन नॉर्मलाइजेशन का उपयोग करके प्राप्त किया जाता है। ये गेट्स टॉरस पर एक लर्नड, पोजीशन-डिपेंडेंट मेट्रिक के रूप la कार्य करते हैं।
रोटरी पोजीशन (Rotary Position): रोटरी एम्बेडिंग्स एक फेज ड्रिफ्ट $\omega_j(t-u)$ के रूप में प्रवेश करती हैं, जहाँ $\omega_j$ प्रति-कोऑर्डिनेट दरें हैं। यह ड्रिफ्ट कुरामोटो मॉडल में "नेचुरल फ्रीक्वेंसीज" के रूप में कार्य करता है।
अटेंशन: वेट्स $A_{t,u}$ को कॉज़ल मास्किंग के साथ स्कोर्स पर सॉफ्टमैक्स के माध्यम से प्राप्त किया जाता है।

2. सर्कुलर-मीन वैल्यू अपडेट (द कुरामोटो स्टेप)

मानक अटेंशन के विपरीत जहाँ वैल्यूज़ लर्नड प्रोजेक्शन होती हैं, यहाँ वैल्यूज़ स्वयं रॉ फेज स्टेट्स हैं। अपडेट मैकेनिज्म अटेंडेड फेसेज़ के अटेंशन-वेटेड सर्कुलर मीन को कंप्यूट करता है:
$G_{t,j} = \sum_{u \le t} A_{t,u} e^{i\theta_{u,j}}$
अपडेट इंक्रीमेंट वर्तमान फेज $\theta_{t,j}$ पर इस रिजल्टेंट वेक्टर का टेंजेंट कंपोनेंट है:
$a_{t,j} = -\sin(\theta_{t,j}) \text{Re}(G_{t,j}) + \cos(\theta_{t,j}) \text{Im}(G_{t,j})$
इस इंक्रीमेंट को एक लर्नड, साइन्ड, प्रति-कोऑर्डिनेट वैल्यू गेट $v(\theta_t)$ द्वारा स्केल किया जाता है और स्टेट को टॉरस पर बनाए रखने के लिए एक नॉर्म-मैचिंग फंक्शन द्वारा बाउंड किया जाता है।

मुख्य पहचान (Key Identity): लेखक सिद्ध करते हैं कि यह विशिष्ट अपडेट इंक्रीमेंट ठीक वही कुरामोटो कपलिंग टर्म $\sum_u A_{t,u} \sin(\theta_{u,j} - \theta_{t,j})$ है। सॉफ्टमैक्स मैट्रिक्स एक एडेप्टिव, कंटेंट-डिपेंडेंट कपलिंग कर्नेल के रूप में कार्य करता है।

3. फीड-फॉरवर्ड ब्लॉक

एक SwiGLU फीड-फॉरवर्ड ब्लॉक लेयर्स के बीच स्टेट को पुन: स्थापित करने के लिए दूसरा, बाउंडेड इंक्रीमेंट प्रदान करता है। यह एकमात्र घटक है जो सख्त अर्थों में "जियोमेट्री-नेटिव" नहीं है, क्योंकि यह $(\cos, \sin)$ लिफ्ट के बजाय रॉ एंगल्स पर काम करता है, जिससे पीरियोडिसिटी टूट जाती है। यह एम्बेडिंग वैल्यूज के लिए एडिटिव मिक्सिंग मैकेनिज्म के रूप में कार्य करता है।

4. रीडआउट (Readout)

लॉगिट्स (Logits) को हिडन स्टेट और प्रत्येक वोकैबुलरी आइटम के लिए लर्नड प्रोटोटाइप फेसेज़ के बीच फेज अलाइनमेंट को मापकर जनरेट किया जाता है।

मुख्य योगदान

यह शोध पत्र छह विशिष्ट योगदान देता है:

एक नया अटेंशन लेयर: कुरामोटो अटेंशन का परिचय, जो टॉरस पर फेज-वैल्यूड हिडन स्टेट्स वाला एक सेल्फ-अटेंशन लेयर है, जो लर्नड प्रोजेक्शंस के बजाय रॉ फेसेज़ को वैल्यू के रूप में उपयोग करता है।
कुरामोटो आइडेंटिटी: यह प्रमाण कि वैल्यू अपडेट हर स्टेप पर ठीक कुरामोटो कपलिंग टर्म है, जिसमें सॉफ्टमैक्स मैट्रिक्स कपलिंग कर्नेल के रूप में कार्य करता है।
यूनिफाइड सिलेक्शन और सिंक्रोनाइजेशन: यह प्रदर्शन कि सॉफ्टमैक्स वेट्स एक एंट्रॉपी-रेगुलराइज्ड फेज-रिट्रीवल समस्या को हल करते हैं। लेयर पहले पड़ोसियों के एक सॉफ्ट सेट को चुनती है (लर्नड मेट्रिक के माध्यम से) और फिर उनके साथ सिंक्रोनाइज़ होती है (कोहेरेंस एनर्जी के ग्रेडिएंट के माध्यम से)।
रोटरी पोजीशन एज फेज ड्रिफ्ट: रोटरी एिंग्स को पोजीशन-डिपेंडेंट फेज ड्रिफ्ट्स के रूप में व्याख्या करना जो कुरामोटो मॉडल में नेचुरल फ्रीक्वेंसीज के रूप में कार्य करते हैं।
मल्टीप्लिकेटिव वैल्यू पाथ: मानक अटेंशन से एक विचलन जहाँ वैल्यूज़ एडिटिवली मिक्स होती हैं। यहाँ, वैल्यूज़ गेट्स और बाउंड्स के माध्यम से मल्टीप्लिकेटिवली मिक्स होती हैं, जबकि एडिटिव मिक्सिंग को फीड-फॉरवर्ड ब्लॉक के लिए आरक्षित रखा गया है।
अनुभवजन्य सत्यापन (Empirical Validation): enwiki8 कैरेक्टर-लेवल टास्क पर इस प्रतिबंधित ज्यामितीय संरचना के एक भाषा मॉडल के रूप में कार्य करने का प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने दो स्केल्स पर enwiki8 कैरेक्टर-लेवल लैंग्वेज मॉडलिंग टास्क पर मॉडल का मूल्यांकन किया: 1 मिलियन और 5 मिलियन पैरामीटर्स, जिसकी तुलना मैचड RoPE+SwiGLU ट्रांसफॉर्मर बेसलाइन से की गई।

1 मिलियन पैरामीटर्स: कुरामोटो अटेंशन मॉडल ने $1.637 \pm 0.010$ का वैलिडेशन Bits-Per-Character (BPC) प्राप्त किया, जबकि ट्रांसफॉर्मर का $1.616 \pm 0.004$ था। अंतर 0.02 BPC के भीतर है।
5 मिलियन पैरामीटर्स: कुरामोटो मॉडल ने 1.448 का मीडियन वैलिडेशन BPC प्राप्त किया, जो ट्रांसफॉर्मर के मीडियन 1.452 से मेल खाता है। हालाँकि, ट्रांसफॉर्मर मीन (1.456 बनाम 1.468) पर आगे रहा, जिसका मुख्य कारण कुरामोटो रन में एक आउटलायर सीड था जो धीमा कन्वर्ज हुआ।
एब्लेशन (Ablations):
- सर्कुलर-मीन अपडेट को लर्नड वैल्यू प्रोजेक्शन से बदलने पर (कुरामोटो आइडेंटिटी को तोड़ने पर) BPC में +0.25 की वृद्धि हुई।
- फीड-फॉरवर्ड ब्लॉक (एडिटिव मिक्सिंग कंपोनेंट) को हटाने पर BPC में +0.27 की वृद्धि हुई।
- मेट्रिक गेट्स को हटाने पर BPC में +0.09 की वृद्धि हुई।
- ये परिणाम "लोड-बेयरिंग" घटकों को अलग करते हैं: ऑन-मैनिफोल्ड मीन और मेट्रिक गेट्स महत्वपूर्ण हैं, और एडिटिव फीड-फॉरवर्ड ब्लॉक भी आवश्यक है।

डायनेमिक्स अवलोकन:

लोकल बनाम ग्लोबल कोहेरेंस: लोकल ऑर्डर पैरामीटर (अटेंडेड नेबर्स के साथ कोहेरेंस) 1 के करीब रहता है, जो चुने गए टोकन्स के साथ टाइट सिंक्रोनाइज़ेशन को दर्शाता है। ग्लोबल ऑर्डर पैरामीटर (सभी टोकन्स के बीच कोहेरेंस) गहराई के साथ कम होता जाता है, जो दिखाता है कि मॉडल ग्लोबल रूप से कोलैप्स हुए बिना लोकल रूप से सिंक्रोनाइज़ होता है।
फ्रीक्वेंसी ट्रेंड्स: लर्नड नेचुरल फ्रीक्वेंसीज ( $\omega_j$ ) एक डेप्थ-टू-टाइमस्केल ट्रेंड प्रदर्शित करती हैं: शुरुआती लेयर्स में उच्च फ्रीक्वेंसी (शॉर्ट-रेंज कपलिंग) होती है, जबकि बाद की लेयर्स में कम फ्रीक्वेंसी (लॉन्ग-रेंज कपलिंग) होती है।

महत्व और दावे

शोध पत्र का दावा है कि संरचना स्वयं और इसका सिंक्रोनाइजेशन रीडिंग प्राथमिक योगदान हैं। लेखक तर्क देते हैं कि:

प्रतिबंधित ज्यामितीय संरचना एक व्यवहार्य लैंग्वेज मॉडल है, जो एक गैर-तुच्छ स्केल (5M पैरामीटर्स तक) पर मानक ट्रांसफॉर्मर के साथ प्रतिस्पर्धी प्रदर्शन करती है।
सेल्फ-अटेंशन और फेज सिंक्रोनाइज़ेशन के बीच एक कॉम्पैक्ट ब्रिज है। लेयर को अतिरिक्त ऑसिलेटर मशीनरी की आवश्यकता नहीं है; सिंक्रोनाइज़ेशन वैल्यू अपडेट में अंतर्निहित है।
यह तंत्र सिलेक्शन और सिंक्रोनाइजेशन को एक एकल कोहेरेंस में एकीकृत करता है: मेट्रिक पड़ोसियों को चुनता है, और अपडेट उनके साथ सिंक्रोनाइज़ होता है।
यह दृष्टिकोण किसी भी कॉम्पैक्ट ग्रुप (जैसे $SO(3)$ या यूनिटरी ग्रुप जैसे नॉन-अबेलियन ग्रुप) के लिए वैचारिक रूप से सामान्यीकृत हो सकता है, जहाँ टॉरस वह अबेलियन केस है जहाँ क्लोज्ड-फॉर्म समाधान मौजूद हैं।

लेखक अपनी सीमाओं के संबंध में विनम्र बने रहते हैं, यह नोट करते हुए कि यह आइडेंटिटी इस विशिष्ट फेज-स्टेट लेयर के लिए सटीक है (मानक अटेंशन के विपरीत जो केवल एसिम्प्टोटिक रूप से सिंक्रोनाइज्ड है), कि मॉडल वर्तमान में छोटे स्केल पर ट्रांसफॉर्मर से थोड़ा पीछे है, और यह कोई गति लाभ (speed advantage) नहीं देता है। यह कार्य इस दृष्टिकोण की व्यवहार्यता को स्थापित करता है, जो नॉन-अबेलियन मामलों के इंस्टेंशिएशन और फीड-फॉरवर्ड ब्लॉक को पूरी तरह से जियोमेट्री-नेटिव बनाने को भविष्य की दिशा के रूप में छोड़ता है।