🤖 machine learning

Beyond Similarity: Temporal Operator Attention for Time Series Analysis

यह शोध पत्र टेम्पोरल ऑपरेटर अटेंशन (TOA) प्रस्तुत करता है, जो स्पष्ट, सीखने योग्य अनुक्रम-स्थान (सीक्वेंस-स्पेस) ऑपरेटरों को शामिल करके टाइम-सीरीज फोरकास्टिंग में मानक सॉफ्टमैक्स अटेंशन की सीमाओं को दूर करने वाला एक ढांचा है ताकि हस्ताक्षरित (साइंड) और दोलनकारी रूपांतरणों को सक्षम बनाया जा सके, जिससे विभिन्न बेंचमार्क पर बेहतर प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Jevon Twitty, Vinh Pham, Nitiwith Rotchanarak, Viresh Pati, Yubin Kim, Shihao Yang, Jiecheng Lu

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jevon Twitty, Vinh Pham, Nitiwith Rotchanarak, Viresh Pati, Yubin Kim, Shihao Yang, Jiecheng Lu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "अच्छे पड़ोसी" का जाल

कल्पना कीजिए कि आप मौसम या ट्रैफिक के पैटर्न की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास एक शक्तिशाली AI टूल है जिसे ट्रांसफॉर्मर (Transformer) (AI का वर्तमान सुपरस्टार) कहा जाता है। आमतौर पर, यह टूल डेटा के विभिन्न हिस्सों को देखने और यह पूछने का काम करता है कि, "यह क्षण उस क्षण के कितना समान है?"

यह पेपर तर्क देता है कि टाइम सीरीज़ (वह डेटा जो समय के साथ बदलता है, जैसे शेयर की कीमतें या दिल की धड़कन) के मामले में मानक ट्रांसफॉर्मर में एक मौलिक दोष है। वे अत्यधिक विनम्र पड़ोसियों की तरह व्यवहार करते हैं।

वे कैसे काम करते हैं: जब AI अलग-अलग समय के चरणों (time steps) से जानकारी को मिलाने की कोशिश करता है, तो वह "सॉफ्टमैक्स (Softmax)" नामक एक गणितीय नियम का उपयोग करता है। यह नियम AI को हर जानकारी को एक सकारात्मक योगदान (positive contribution) के रूप में मानने के लिए मजबूर करता है। यह कुछ ऐसा कहने जैसा है, "अंतिम भविष्यवाणी करने के लिए, मैं कल के डेटा का 20%, आज के 30%, और कल के 50% लूँगा।"
दोष: वास्तविक दुनिया में, टाइम सीरीज़ के लिए अक्सर घटाव (subtraction) और निरस्तीकरण (cancellation) की आवश्यकता होती है। एक लहर (wave) को समझने के लिए, आपको कभी-कभी यह कहना पड़ सकता है, "इस हिस्से को लें, और शोर (noise) को हटाने के लिए उस हिस्से को घटा दें।"
उपमा (Analogy): कल्पना कीजिए कि आप पेंट मिलाने की कोशिश कर रहे हैं। मानक अटेंशन केवल रंगों को आपस में जोड़ने (लाल + नीला = बैंगनी) की अनुमति देता है। यह पेंट को निकालने (लाल - नीला) की सख्त मनाही करता है। लेकिन टाइम सीरीज़ में, आपको संगीत सुनने के लिए बैकग्राउंड के शोर को "घटाने" की, या किसी दोहराव वाले पैटर्न को "कैंसिल करने" की आवश्यकता होती है। क्योंकि मानक AI इस "घटाव न करने वाले क्षेत्र" में फंसा हुआ है, इसलिए यह अक्सर इन जटिल लय (rhythms) को पकड़ने में विफल रहता है, भले ही वह एक बहुत ही स्मार्ट मॉडल हो।

समाधान: टेम्पोरल ऑपरेटर अटेंशन (TOA)

लेखक एक नया टूल प्रस्तावित करते हैं जिसे टेम्पोरल ऑपरेटर अटेंशन (Temporal Operator Attention - TOA) कहा जाता है।

अपग्रेड: केवल यह पूछने के बजाय कि "ये बिंदु कितने समान हैं?", TOA AI को एक मास्टर कंट्रोल पैनल देता है जिसमें साइन किए हुए स्विच (धनात्मक और ऋणात्मक) होते हैं।
यह कैसे काम करता है: यह AI को यह कहने की अनुमति देता है, "इस सिग्नल को लें, इसे 2 से गुणा करें, और उस दूसरे सिग्नल को घटा दें।" अब यह फिल्टरिंग (शोर को रोकना), रेसिडुअलाइजेशन (औसत को हटाने के बाद जो बचता है उसे ढूंढना), और हारमोनिक डीमिक्सिंग (ओवरलैपिंग तरंगों को अलग करना) कर सकता है।
उपमा: यदि पुराना AI एक ब्लेंडर था जो केवल सामग्रियों को आपस में मिला सकता था, तो TOA एक पूर्ण किचन वाला शेफ है। शेफ मिश्रण भी कर सकता है, लेकिन वह स्वाद को छान सकता है, फिल्टर कर सकता है, घटा सकता है और रद्द कर सकता है ताकि एकदम सही व्यंजन तैयार हो सके।

चुनौती: "अति-आत्मविश्वासी छात्र"

एक पेच है। क्योंकि TOA AI को इतनी स्वतंत्रता देता है (जटिल तरीके से घटाने और मिलाने की क्षमता), यह ओवरफिटिंग (overfitting) के प्रति बहुत संवेदनशील है।

समस्या: कल्पना कीजिए कि एक छात्र को 100 प्रश्नों वाले गणित के टेस्ट के लिए दिया गया है। यदि आप उन्हें एक सुपर-पावरफुल कैलकुलेटर देते हैं जो किसी भी समीकरण को हल कर सकता है, तो वे वास्तविक गणित सीखने के बजाय उन विशिष्ट 100 प्रश्नों के उत्तरों को रटने लगेंगे। वे नए प्रश्नों के साथ अगले टेस्ट में विफल हो जाएंगे।
पेपर का समाधान: लेखक एक तकनीक पेश करते हैं जिसे स्टोकेस्टिक ऑपरेटर रेगुलराइजेशन (Stochastic Operator Regularization - SOR) कहा जाता है।
उपमा: SOR एक रैंडमाइज्ड क्विज़ (randomized quiz) की तरह है। ट्रेनिंग के दौरान, यह सिस्टम AI के शक्तिशाली कैलकुलेटर के कुछ हिस्सों को बेतरतीब ढंग से "बंद" कर देता है। कभी-कभी यह AI को बुनियादी "जोड़" (मानक तरीका) पर निर्भर रहने के लिए मजबूर करता है, और कभी-कभी इसे "घटाव" का उपयोग करने देता है।
परिणाम: यह AI को ट्रेनिंग डेटा को रटने से रोकता है। यह AI को समय के वास्तविक नियमों (जैसे कि लहरें एक-दूसरे को कैसे कैंसिल करती हैं) को सीखने के लिए मजबूर करता है ताकि वह नए, अनदेखे डेटा को प्रभावी ढंग से संभाल सके।

उन्होंने क्या पाया

लेखकों ने तीन प्रकार के कार्यों पर अपने नए "शेफ के किचन" (TOA) का पुराने "ब्लेंडर" (मानक अटेंशन) के विरुद्ध परीक्षण किया:

पूर्वानुमान (Forecasting): भविष्य की भविष्यवाणी करना (जैसे मौसम या ट्रैफिक)।
विसंगति का पता लगाना (Anomaly Detection): अजीब गड़बड़ियों को पहचानना (जैसे मशीन का खराब होना या हार्ट अटैक)।
वर्गीकरण (Classification): डेटा को श्रेणियों में छाँटना।

परिणाम:

लगभग हर मामले में, TOA वाला AI मानक AI की तुलना में बेहतर प्रदर्शन करता है।
यह विशेष रूप से उन कार्यों में अच्छा था जिनमें पुनर्निर्माण (reconstruction) की आवश्यकता थी (शोर को हटाकर यह पता लगाना कि सिग्नल वास्तव में कैसा दिखना चाहिए)।
यह पेपर दिखाता है कि AI को ऋणात्मक संख्याओं (घटाव) और स्पष्ट ऑपरेटरों (गणितीय फिल्टर) का उपयोग करने की क्षमता देकर, यह अंततः टाइम सीरीज़ डेटा की जटिल, दोलन वाली प्रकृति को समझ सकता है।

एक वाक्य में सारांश

यह पेपर तर्क देता है कि मानक AI मॉडल समय को समझने के लिए बहुत "विनम्र" (वे केवल चीजों को जोड़ते हैं) हैं, इसलिए लेखकों ने एक नया मॉडल बनाया जो "घटाव और निरस्तीकरण" (एक वास्तविक सिग्नल प्रोसेसर की तरह) की अनुमति देता है और इसे धोखाधड़ी करने से रोकने के लिए एक रैंडम ट्रेनिंग ट्रिक जोड़ी है, जिसके परिणामस्वरूप बहुत बेहतर भविष्यवाणियां होती हैं।

तकनीकी सारांश: समानता से परे: समय श्रृंखला विश्लेषण के लिए टेम्पोरल ऑपरेटर अटेंशन (Temporal Operator Attention)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र समय-श्रृंखला पूर्वानुमान (time-series forecasting) में एक निरंतर रहने वाले विरोधाभास की पहचान करता है: संरचनात्मक रूप से सरल मॉडल, जैसे कि MLPs और लीनियर मॉडल (जैसे DLinear, TSMixer), अक्सर उच्च-क्षमता वाले ट्रांसफॉर्मर-आधारित आर्किटेक्चर के बराबर या उनसे बेहतर प्रदर्शन करते हैं। लेखक तर्क देते हैं कि यह प्रदर्शन अंतराल मानक ट्रांसफॉर्मर द्वारा उपयोग किए जाने वाले अनुक्रम-मॉडलिंग प्रिमिटिव (sequence-modeling primitive) में एक मौलिक बेमेल के कारण होता है।

मानक सेल्फ-अटेंशन तंत्र प्रत्येक आउटपुट को इनपुट टोकन के एक सामान्यीकृत उत्तल संयोजन (normalized convex combination) के रूप में निर्मित करता है। इसका तात्पर्य यह है कि मिक्सिंग वेट्स (mixing weights) संभाव्यता सिम्प्लेक्स (probability simplex) द्वारा सीमित होते हैं (गैर-ऋणात्मक और योग एक के बराबर)। जबकि यह समानता के आधार पर लचीला, इनपुट-निर्भर रूटिंग सक्षम बनाता है, यह संरचनात्मक रूप से हस्ताक्षरित और दोलनकारी रूपांतरणों (signed and oscillatory transformations) के प्रत्यक्ष प्रतिनिधित्व को रोकता है।

कई महत्वपूर्ण समय-श्रृंखला गतिकी (dynamics)—जैसे कि फ़िल्टरिंग, हार्मोनिक निरंतरता (harmonic continuation), रेसिडुअलाइजेशन (residualization), और लेटेंट डीमिक्सिंग (latent demixing)—ऐसे वैश्विक टेम्पोरल ऑपरेटर्स पर निर्भर करती हैं जिनमें हस्ताक्षरित इंटरैक्शन (signed interactions) (धनात्मक और ऋणात्मक वेट्स) और शून्य-योग (zero-sum) गुणों की आवश्यकता होती है। लेखक इस सीमा को एक सिम्प्लेक्स-प्रतिबंधित मिक्सिंग बॉटलनेक (simplex-constrained mixing bottleneck) के रूप में औपचारिक रूप देते हैं, और तर्क देते हैं कि सॉफ्टमैक्स अटेंशन एक अंतर्निहित लो-पास फ़िल्टर के रूप में कार्य करता है जो सिग्नल प्रोसेसिंग के लिए आवश्यक जटिल टेम्पोरल शिफ्ट, फेज ड्रिफ्ट और हाई-फ्रीक्वेंसी ट्रांजिएंट्स के साथ संघर्ष करता है।

2. कार्यप्रणाली: टेम्पोरल ऑपरेटर अटेंशन (TOA)

इस संरचनात्मक सीमा को हल करने के लिए, लेखक टेम्पोरल ऑपरेटर अटेंशन (TOA) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो इनपुट-डिपेंडेंट रूटिंग को स्पष्ट, सीखने योग्य अनुक्रम-स्पेस ऑपरेटर्स के साथ जोड़कर मानक अटेंशन को संवर्धित करता है।

मुख्य तंत्र (Core Mechanism)

TOA सॉफ्टमैक्स की सख्त रो-नॉर्मलाइजेशन (row-normalization) को एक हाइब्रिड आर्किटेक्चर से बदल देता है जो इनपुट-डिपेंडेंट रूटिंग को अनियंत्रित, सघन, हस्ताक्षरित मिक्सिंग (unconstrained, dense, signed mixing) के साथ जोड़ता है। एक एकल हेड के लिए मुख्य रूपांतरण को इस प्रकार परिभाषित किया गया है:
$O^{(h)} = \sigma(A^{(h)} S_1^{(h)}) S_2^{(h)} H W_V^{(h)\top}$
जहाँ:

$A^{(h)} = H W_Q^{(h)\top} W_K^{(h)} H^\top$ मानक स्कोर मैट्रिक्स है।
$S_1^{(h)}$ और $S_2^{(h)}$ अवशिष्ट ऑपरेटर्स (residual operators) के रूप में परिभाषित सीखने योग्य डेंस $N \times N$ मैट्रिसेस हैं: $S = I + M$ , जहाँ $M$ छोटे पैमाने के सीखे गए ऑफसेट्स हैं।
$\sigma$ एक नॉन-सैचुरेटिंग, नॉन-नॉर्मलाइजिंग एक्टिवेशन फंक्शन है।

$S_1$ और $S_2$ को पेश करके, मॉडल सिम्प्लेक्स बाधा को तोड़ देता है। $S_1$ एक्टिवेशन से पहले समानता प्रोफाइल को पुनर्वितरित करता है, और $S_2$ एक्टिवेशन के बाद एक हस्ताक्षरित, फुल-रैंक लीनियर मैप लागू करता है, जिससे मॉडल सटीक बैंड-पास फ़िल्टरिंग और मजबूत हार्मोनिक डीमिक्सिंग करने में सक्षम होता है।

संरचनात्मक वेरिएंट्स (Structural Variants)

लेखक अनकन्स्ट्रेंड ऑपरेटर्स के लाभों को अलग करने के लिए तीन वेरिएंट्स का उपयोग करते हैं:

TOA-Softmax: सॉफ्टमैक्स एक्टिवेशन को बनाए रखता है लेकिन इसे $S_1$ और $S_2$ के बीच सैंडविच करता है। यह यह परीक्षण करने के लिए एक एब्लेशन है कि क्या केवल डिग्री ऑफ फ्रीडम जोड़ना पर्याप्त है।
TOA-ReLU: सॉफ्टमैक्स को ReLU से बदल देता है। यह रो-नॉर्मलाइजेशन बाधा को पूरी तरह से हटा देता है, जिससे $S_2$ समानताओं को पूरी तरह से अनकन्स्ट्रेंड, हस्ताक्षरित स्पेस में प्रोजेक्ट कर सकता है।
TOA-Gated: डायनेमिक रिजीम सिलेक्शन (dynamic regime selection) पेश करता है। यह दो शाखाएं बनाने के लिए QK हेड काउंट को दोगुना करता है: एक बायां भाग जो गैर-ऋणात्मक समानता प्रोफाइल के लिए ReLU का उपयोग करता है, और एक दायां भाग जो सख्ती से धनात्मक, सैंपल-डिपेंडेंट गेट के लिए Softplus का उपयोग करता है। इन शाखाओं का एलिमेंट-वाइज प्रोडक्ट एक डायनेमिकली गेटेड मिक्सिंग कर्नेल बनाता है, जो मॉडल को इनपुट मैक्रोस्कोपिक गुणों (जैसे फेज ड्रिफ्ट) के आधार पर विशिष्ट, साइन-चेंजिंग सब-ऑपरेटर्स चुनने में सक्षम बनाता है।

स्टोकेस्टिक ऑपरेटर रेगुलराइजेशन (SOR)

सघन $N \times N$ ऑपरेटर्स को सीखने की एक प्राथमिक चुनौती ओवरफिटिंग है। लेखक प्रशिक्षण को स्थिर करने के लिए स्टोकेस्टिक ऑपरेटर रेगुलराइजेशन (SOR) पेश करते हैं।

तंत्र: मानक ड्रॉपआउट के बजाय, SOR सीधे सीखे गए ऑफसेट मैट्रिसेस $M$ पर एक हाई-वैरिएंस ड्रॉपआउट मैकेनिज्म लागू करता है।
प्रक्रिया: प्रत्येक फॉरवर्ड पास में, एक ड्रॉप रेट $p$ को सैंपल किया जाता है, और $M$ पर एक बर्नौली मास्क लगाया जाता है। एक्सपेक्टेशन को बनाए रखने के लिए ऑफसेट को $1/(1-p)$ द्वारा रीस्केल किया जाता है।
प्रभाव: यह $p \to 1$ होने पर अनबाउंडेड वेरिएंस पेश करता है, जो एक अंतर्निहित रेगुलराइज़र के रूप में कार्य करता है जो सीखे गए ऑफसेट्स पर अत्यधिक निर्भरता को हतोत्साहित करता है। महत्वपूर्ण रूप से, क्योंकि रेसिडुअल आइडेंटिटी $I$ को ड्रॉपआउट के बाहर जोड़ा गया है, जब ऑफसेट को ड्रॉप किया जाता है तो ऑपरेटर आइडेंटिटी मैट्रिक्स में बदल जाता है, जो पूरे प्रशिक्षण के दौरान स्थिर सिग्नल ट्रांसपोर्ट सुनिश्चित करता है।

3. सैद्धांतिक विश्लेषण (Theoretical Analysis)

शोध पत्र औपचारिक प्रमाण प्रदान करता है कि क्यों सॉफ्टमैक्स अटेंशन विशिष्ट टाइम-सीरीज रेजीम को साकार नहीं कर सकता:

सिम्प्लेक्स-प्रतिबंधित सीमा (Simplex-Constrained Limitation): यह सिद्ध किया गया है कि किसी भी सिंगल-हेड सॉफ्टमैक्स अटेंशन के लिए, आउटपुट मिक्सिंग वेट्स सिम्प्लेक्स में होने चाहिए। फलस्वरूप, यह उन ऑपरेटर्स का प्रतिनिधित्व नहीं कर सकता जिनमें जीरो-सम रोज़ (जैसे हार्मोनिक निरंतरता) या नकारात्मक ऑफ-डायगोनल एंट्रीज़ (जैसे हाई-पास फ़िल्टरिंग) की आवश्यकता होती है।
रेजीम रियलाइजेशन (Regime Realization): लेखक प्रदर्शित करते हैं कि TOA, विशेष रूप से पोस्ट-मिक्सर $S_2$ के माध्यम से, इन इष्टतम ऑपरेटर्स (जैसे $T^* = S_2$ ) को सटीक रूप से साकार कर सकता है क्योंकि एफाइन मैप $M \mapsto I + M$ पूरे $N \times N$ मैट्रिसेस के स्पेस को कवर करता है।
टोकनाइजेशन एग्नोस्टिसिज्म (Tokenization Agnosticism): यह दिखाया गया है कि टोकनाइजेशन स्कीम्स के संबंध में सैद्धांतिक सीमाएं और TOA के समाधान, पॉइंट टोकनाइजेशन, पैच टोकनाइजेशन (PatchTST), और इन्वर्टेड टोकनाइजेशन (iTransformer) सहित विभिन्न स्कीम्स पर लागू होते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार मुख्य कार्यों में TOA का मूल्यांकन किया: लॉन्ग-टर्म/शॉर्ट-टर्म फोरकास्टिंग, एनोमली डिटेक्शन, और क्लासिफिकेशन, जिसे उन्होंने स्टेट-ऑफ-द-आर्ट बैकबोन (PatchTST, iTransformer, DUET) में एकीकृत किया।

फोरकास्टिंग (लॉन्ग एवं शॉर्ट टर्म): TOA ने नौ लॉन्ग-टर्म डेटासेट्स (Weather, ETT, Electricity, Solar, आदि) और चार शॉर्ट-टर्म ट्रैफिक डेटासेट्स (PEMS) में लगातार सुधार किया।
- TOA-Gated और TOA-ReLU ने सॉफ्टमैक्स बेसलाइन्स की तुलना में कम MSE और MAE प्राप्त किया।
- विशेष रूप रूप से, TOA ने उन कार्यों में महत्वपूर्ण लाभ दिखाया जिनमें तीव्र, हाई-फ्रीक्वेंसी ट्रांजिएंट्स को पकड़ने की आवश्यकता होती है, जिन्हें मानक अटेंशन अक्सर ओवर-स्मूथ कर देता है।
एनोमली डिटेक्शन (Anomaly Detection): पांच बेंचमार्क (PSM, MSЛ, SMAP, SMD, SWAT) पर, TOA-इंटीग्रेटेड बैकबोन ने निरंतर F1-स्कोर में सुधार किया। विधि ने स्पार्स एनोमलीज़ के लिए अधिक शार्प रिकंस्ट्रक्शन एरर उत्पन्न किए, जो मानक अटेंशन में निहित स्पेक्ट्रल डैम्पिंग को समाप्त करता है।
क्लासिफिकेशन (Classification): 28 UEA मल्टीवेरिएट डेटासेट्स पर, TOA-Gated और TOA-ReLU ने सॉफ्टमैक्स बेसलाइन की तुलना में सटीकता में काफी बेहतर प्रदर्शन किया। TOA-Softmax एब्लेशन विफल रहा, जो यह प्रमाणित करता है कि इष्टतम टेम्पोरल रूटिंग के लिए सिम्प्लेक्स बाधा को तोड़ना आवश्यक है।
सिंथेटिक मूल्यांकन: भारी शोर और फेज ड्रिफ्ट वाले सिंथेटिक हार्मोनिक डीमिक्सिंग कार्य में, TOA-Gated ने सॉफ्टमैक्स अटेंशन को निर्णायक रूप से पीछे छोड़ दिया (MSE 0.0028 बनाम 0.0972)। विज़ुअलाइज़ेशन ने पुष्टि की कि सॉफ्टमैक्स अटेंशन लो-पास फिल्टर में सिमट गया, जबकि TOA ने बैकग्राउंड इंटरफेरेंस को घटाने के लिए मिश्रित-साइन वेट्स को सफलतापूर्वक सिंथेसाइज़ किया।

SOR पर एब्लेशन: प्रयोगों ने पुष्टि की कि बिना 'स्टोकेस्टिक ऑपरेटर रेगुलराइजेशन' के, डेंस ऑपरेटर्स शोर वाले डेटा पर ओवरफिट होने के प्रति संवेदनशील हो जाते हैं, जिससे प्रदर्शन में गिरावट आती है। यह दिखाया गया कि सामान्यीकरण (generalization) के लिए SOR महत्वपूर्ण है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि स्पष्ट ऑपरेटर लर्निंग (explicit operator learning) प्रभावी टाइम-सीरीज मॉडलिंग के लिए एक प्रमुख घटक है। सॉफ्टमैक्स अटेंशन में सिम्प्लेक्स-प्रतिबंधित बॉटलनेक की पहचान करके और उसे संबोधित करके, TOA एक आवश्यक इंडक्टिव बायस प्रदान करता है जो केवल पेयरवाइज टोकन समानता के बजाय वैश्विक टेम्पोरल ऑपरेटर्स द्वारा संचालित कार्यों के लिए उपयुक्त है।

लेखक TOA को सभी अटेंशन मैकेनिज्म के प्रतिस्थापन के रूप में नहीं, बल्कि एक संरचनात्मक संवर्धन के रूप में देखते हैं जो "इनहिबिटरी डिग्री ऑफ फ्रीडम" (नकारात्मक वेट्स) को बहाल करता है, जो सटीक सिग्नल कैंसिलेशन और दोलनकारी गतिकी के लिए आवश्यक है। उनका कार्य यह सुझाव देता है कि टाइम सीरीज में सरल लीनियर/MLP मॉडल्स की सफलता का एक कारण उनकी अनकन्स्ट्रेंड मिक्सिंग करने की क्षमता है, और TOA इस क्षमता को एडेप्टिव, अटेंशन-आधारित फ्रेमवर्क में लाकर इस अंतर को पाटता है।

सीमाएं: लेखक स्वीकार करते हैं कि डेंस ऑपरेटर्स के कारण TOA में $O(N^2)$ मेमोरी और कंप्यूट फुटप्रिंट आता है, जो टोकन कम्प्रेशन के बिना बहुत लंबी अनुक्रमों के प्रत्यक्ष अनुप्रयोग को सीमित करता है। वे यह भी नोट करते कि उनके औपचारिक असंभवता परिणाम (impossibility results) विशेष रूप से सिंगल-लेयर, सिंगल-हेड प्रिमिटिव पर लागू होते हैं, जिससे गहरे, मल्टी-हेड स्टैक्स की एप्रोक्सिमेशन एफिशिएंसी एक खुला प्रश्न बना रहता है।