🤖 machine learning

Local Attention Mechanism: Boosting the Transformer Architecture for Long-Sequence Time Series Forecasting

यह शोध पत्र लोकल अटेंशन मैकेनिज्म (LAM) को प्रस्तुत करता है, जो कि टाइम सीरीज़ निरंतरता के लिए विशेष रूप से तैयार किया गया एक कुशल O(n log n) अटेंशन एल्गोरिदम है, जो ट्रांसफॉर्मर्स में एकीकृत होने पर लॉन्ग-होरिज़न फोरकास्टिंग में अत्याधुनिक मॉडलों से बेहतर प्रदर्शन करता है और साथ ही मूल्यांकन अंतराल को दूर करने के लिए एक नवीन डेटासेट सूट का प्रस्ताव भी देता है।

मूल लेखक: Ignacio Aguilera-Martos, Andrés Herrera-Poyatos, Julián Luengo, Francisco Herrera

प्रकाशित 2026-07-29

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ignacio Aguilera-Martos, Andrés Herrera-Poyatos, Julián Luengo, Francisco Herrera

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी, घुमावदार सड़क को देखकर भविष्य की भविष्यवाणी करने की कोशिश कर रहे हैं। शायद यह शेयर बाजार का रास्ता हो, किसी शहर में बिजली का प्रवाह हो, या ट्रैफिक के बीच एक टैक्सी की आवाजाही। यह टाइम सीरीज़ फोरकास्टिंग (समय श्रृंखला पूर्वानुमान) की दुनिया है: भविष्य का अनुमान लगाने के लिए पिछले डेटा बिंदुओं का उपयोग करना। लंबे समय तक, कंप्यूटर संघर्ष करते रहे क्योंकि जब सड़क बहुत लंबी हो जाती थी, तो वे "बड़ी तस्वीर" देखने में असमर्थ रहते थे। वे पिछले कुछ कदमों को याद रखने में तो माहिर थे, लेकिन जब उन्हें हफ्तों या महीनों आगे देखने के लिए कहा जाता था, तो वे भ्रमित हो जाते थे या उनकी मेमोरी खत्म हो जाती थी।

यहाँ ट्रांसफॉर्मर (Transformer) आता है, एक प्रकार का आर्टिफिशियल इंटेलिजेंस जो मानव भाषा को पढ़ने और लिखने के लिए प्रसिद्ध हुआ। ट्रांसफॉर्मर को एक सुपर-स्मार्ट जासूस के रूप में सोचें जो कहानी के हर सुराग को एक साथ देख सकता है, बजाय इसके कि वह शब्द-दर-शब्द पढ़े। यह "एक साथ सब कुछ देखने" की सुपरपावर, जिसे अटेंशन (attention) कहा जाता है, दूर के बिंदुओं को जोड़ने की अनुमति देती है। हालाँकि, जब इसे लंबी टाइम सीरीज़ पर लागू किया जाता है, तो इस जासूस के सामने एक समस्या आती है: हर एक सुराग को दूसरे हर सुराग से जोड़ने के लिए, उन्हें भारी मात्रा में गणित करना पड़ता है। यह एक पार्टी में मौजूद हर व्यक्ति को दूसरे हर व्यक्ति से मिलवाने जैसा है; हैंडशेक (हाथ मिलाने) की संख्या इतनी तेजी से बढ़ती है कि पार्टी थम जाती है। यह शोध पत्र इसी विशिष्ट ट्रैफिक जाम को हल करने की कोशिश करता है, और पूछता है: हम जासूस की सुपरपावर को बरकरार रखते हुए भी काम का बोझ कैसे कम कर सकते हैं?

लेखक इस नए उपकरण के रूप में एक चतुर नए टूल का परिचय देते हैं जिसे लोकल अटेंशन मैकेनिज्म (Local Attention Mechanism - LAM) कहा जाता है। उनका मुख्य निष्कर्ष यह है कि टाइम सीरीज़ डेटा के लिए, आपको भविष्य की भविष्यवाणी करने के लिए वास्तव में अतीत के हर क्षण को देखने की आवश्यकता नहीं है; आपको मुख्य रूप से उसके आसपास के क्षणों को देखने की आवश्यकता होती है। केवल इन "स्थानीय" पड़ोसों पर ध्यान केंद्रित करके, उन्होंने एक ऐसी विधि बनाई है जो गणितीय रूप से पारंपरिक दृष्टिकोण की तुलना में बहुत तेज़ और मेमोरी के मामले में हल्की है। अपने परीक्षणों में, इस नई विधि ने न केवल समय बचाया; बल्कि इसने वर्तमान शीर्ष मॉडलों से बेहतर भविष्यवाणी भी की, यहाँ तक कि लंबी अवधि (long horizons) को देखते समय भी।

समस्या: जासूस का ओवरलोड

यह समझने के लिए कि इस नए उपकरण की आवश्यकता क्यों है, आइए देखें कि मानक ट्रांसफॉर्मर कैसे काम करता है। कल्पना कीजिए कि एक जासूस एक डायरी के आधार पर रहस्य सुलझाने की कोशिश कर रहा है। मानक विधि, जिसे फुल अटेंशन (Full Attention) कहा जाता है, के लिए आवश्यक है कि जासूस डायरी के हर एक पन्ने को पढ़े और कनेक्शन खोजने के लिए उसे दूसरे हर पन्ने से तुलना करे। यदि डायरी में 1,000 पन्ने हैं, तो जासूस को लगभग 1,000,000 तुलनाएँ करनी होंगी। यदि डायरी में 10,000 पन्ने हैं, तो यह बढ़कर 100,000,000 हो जाएगा। वैज्ञानिक इसे क्वाड्रेटिक कॉम्प्लेक्सिटी (quadratic complexity - $\Theta(n^2)$ ) कहते हैं। जैसे-जैसे डायरी लंबी होती जाती है, काम विस्फोट की तरह बढ़ता है, और कंप्यूटर की मेमोरी खत्म हो जाती है या उसे पूरा होने में बहुत समय लगता है।

इसके अलावा, लेखक बताते हैं कि जबकि यह "सब कुछ देखने" वाला दृष्टिकोण भाषा (जहाँ वाक्य की शुरुआत का एक शब्द अंत के शब्द से संबंधित हो सकता है) के लिए अच्छा काम करता है, यह अक्सर टाइम सीरीज़ के लिए ज़रूरत से ज़्यादा है। टाइम सीरीज़ में—जैसे तापमान या बिजली का उपयोग—जो अभी हो रहा है, वह आमतौर पर इस बात से प्रभावित होता है कि अभी कुछ क्षण पहले क्या हुआ था। तीन दिन पहले जो हुआ था, उससे संबंध अक्सर बहुत कमजोर होता है। फिर भी, मानक ट्रांसफॉर्मर उन कमजोर कनेक्शनों की गणना करने में ऊर्जा बर्बाद करता है जैसे कि वे मजबूत हों।

समाधान: पड़ोस की निगरानी (The Neighborhood Watch)

लेखक लोकल अटेंशन मैकेनिज्म (LAM) का प्रस्ताव करते हैं। जासूस को पूरी डायरी पढ़ने के बजाय, LAM उसे कहता है: "केवल पिछले कुछ पन्नों को देखो, और शायद एक विशिष्ट पैटर्न के कुछ पन्नों को देखो, लेकिन बाकी को अनदेखा कर दो।"

उन्होंने इस तंत्र को समय की "निरंतरता" (continuity) का लाभ उठाने के लिए डिज़ाइन किया है। वास्तविक दुनिया में, चीजें तुरंत नहीं बदलतीं; वे प्रवाहित होती हैं। यदि आप दोपहर 2:00 बजे का तापमान अनुमानित कर रहे हैं, तो 1:59 PM का तापमान एक बड़ा सुराग है, लेकिन पिछले मंगलवार का तापमान कम प्रासंगिक है। LAM अप्रासंगिक और दूर के अतीत को ब्लॉक करने के लिए एक गणितीय "मास्क" (फिल्टर) का उपयोग करता है।

LAM का जादू केवल यह नहीं है कि वह चीजों को अनदेखा करता है; बल्कि यह है कि वह उन्हें कैसे अनदेखा करता है। लेखकों ने टेंसर अलजेब्रा (tensor algebra) (डेटा को ब्लॉक्स में व्यवस्थित करने का एक शानदार तरीका) का उपयोग करके एक विशिष्ट एल्गोरिदम विकसित किया है जो कंप्यूटर को बेकार की गणनाओं को पूरी तरह से छोड़ने की अनुमति देता है। $n^2$ काम करने के बजाय, LAM $n \log n$ के अनुपात में काम करता है। इसे समझने के लिए: यदि एक मानक विधि को लंबे डेटासेट को प्रोसेस करने में 100 घंटे लगते हैं, तो LAM में केवल कुछ घंटे लग सकते हैं। यह एक शहर के हर घर की जाँच करने के बजाय केवल अपने स्वयं के स्ट्रीट और उसके बगल वाली कुछ गलियों के घरों की जाँच करने जैसा है।

परिणाम: तेज़ और स्मार्ट

टीम ने केवल टूल बनाया ही नहीं; उन्होंने इसे परखने के लिए टेस्ट भी किया। उन्होंने अपने LAM-एन्हांस्ड ट्रांसफॉर्मर की तुलना इन्फॉर्मर (Informer) जैसे लोकप्रिय मॉडल और कई पुराने सांख्यिकीय तरीकों सहित वर्तमान अत्याधुनिक (state-of-the-art) मॉडलों से की।

बेहतर भविष्यवाणियाँ: बिजली के उपयोग, मौसम के पैटर्न और टैक्सी यात्राओं जैसे वास्तविक दुनिया के डेटा का उपयोग करके किए गए प्रयोगों में, LAM मॉडल ने लगातार प्रतिस्पर्धा से कम गलतियाँ कीं। यह लंबी अवधि (long horizons) की भविष्यवाणी करने में विशेष रूप से अच्छा था, जहाँ अन्य मॉडल भ्रमित होने लगते थे।
दक्षता (Efficiency): LAM मॉडल काफी छोटा और हल्का था। जबकि इन्फॉर्मर मॉडल में 12 मिलियन से अधिक पैरामीटर (AI के "मस्तिष्क कोशिकाएं") थे, LAM मॉडल ने केवल लगभग 6 मिलियन के साथ बेहतर परिणाम प्राप्त किए।
"फेयर" टेस्ट: लेखकों ने यह सुनिश्चित करने के लिए सावधानी बरती कि तुलना निष्पक्ष हो। उन्होंने इन्फॉर्मर के अपने विशेष अटेंशन मेथड (जिसे ProbAttention कहा जाता है) के खिलाफ LAM का परीक्षण किया, लेकिन बाकी कंप्यूटर आर्किटेक्चर को बिल्कुल समान रखा। इस आमने-सामने की टक्कर में भी, LAM जीत गया, जिससे यह साबित हुआ कि सुधार नए अटेंशन मैकेनिज्म से आया है, न कि केवल एक बेहतर कंप्यूटर डिज़ाइन से।

बेहतर डेटा के लिए आह्वान

शोध पत्र इन मॉडलों के परीक्षण के लिए उपयोग किए जाने वाले उपकरणों के बारे में एक महत्वपूर्ण अवलोकन भी करता है। लेखक तर्क देते हैं कि इस क्षेत्र में उपयोग किए जाने वाले मानक डेटासेट बहुत छोटे और बहुत सरल हैं। वे एक छात्र को केवल खाली पार्किंग लॉट का उपयोग करके गाड़ी चलाना सिखाने जैसा है। वास्तविक दुनिया की समस्याओं में, जैसे पूरे शहर के ट्रैफिक या एक विशाल ग्रिड की बिजली की भविष्यवाणी करना, लाखों डेटा पॉइंट और जटिल पैटर्न शामिल होते हैं।

इसे ठीक करने के लिए, लेखकों ने परीक्षण के लिए एक नया डेटासेट सेट पेश किया है। इसमें शामिल हैं:

IHEP: घरेलू बिजली उपयोग के 2 मिलियन से अधिक रिकॉर्ड।
NYTaxi: न्यूयॉर्क शहर में टैक्सी यात्राओं के 2 मिलियन से अधिक रिकॉर्ड।
RPB: बैटरी और सौर ऊर्जा उपयोग पर डेटा।
TiNA: एक औद्योगिक खनन मशीन से 38 मिलियन से अधिक रिकॉर्ड वाला एक विशाल डेटासेट।

जब उन्होंने अपने मॉडलों का इन विशाल, वास्तविक दुनिया के डेटासेट पर परीक्षण किया, तो LAM का लाभ और भी स्पष्ट हो गया। पुराने मॉडल अक्सर क्रैश हो जाते थे या मेमोरी की कमी के कारण रुक जाते थे क्योंकि डेटा बहुत बड़ा था, जबकि LAM सुचारू रूप से और सटीकता से चलता रहा।

इसका क्या अर्थ है

शोध पत्र निष्कर्ष निकालता है कि लंबी-अनुक्रम (long-sequence) टाइम सीरीज़ फोरकास्टिंग के लिए, "सब कुछ देखने" वाला दृष्टिकोण न केवल धीमा है; बल्कि यह अक्सर अनावश्यक भी है। समय के स्थानीय पड़ोस पर ध्यान केंद्रित करके, हम ऐसा AI बना सकते हैं जो तेज़, चलाने में सस्ता और आश्चर्यजनक रूप से अधिक सटीक हो।

लेखक सुझाव देते हैं कि जबकि उनकी विधि एक मजबूत कदम है, इस क्षेत्र को अभी भी बेहतर बेंचमार्क और अधिक कठोर परीक्षण की आवश्यकता है। उन्होंने यह दावा नहीं किया कि उन्होंने पूर्वानुमान (forecasting) की हर समस्या को हल कर दिया है, लेकिन उन्होंने भविष्य को देखने के लिए एक नया शक्तिशाली लेंस प्रदान किया है—जो तेज, कुशल और वास्तव में महत्वपूर्ण चीजों पर केंद्रित है।

तकनीकी सारांश: दीर्घ-अनुक्रम समय श्रृंखला पूर्वानुमान के लिए स्थानीय ध्यान तंत्र (Local Attention Mechanism)

समस्या विवरण

दीर्घ-अनुक्रम समय श्रृंखला पूर्वानुमान (Long-Sequence Time Series Forecasting - LSTF) एक जटिल चुनौती है जिसमें विस्तृत ऐतिहासिक रिकॉर्डों के आधार पर भविष्य के समय के क्षणों की भविष्यवाणी करना शामिल है। जबकि ट्रांसफॉर्मर (Transformers) नेचुरल लैंग्वेज प्रोसेसिंग (NLP) के लिए अग्रणी आर्किटेक्चर बन गए हैं और उन्हें समय श्रृंखला (time series) के लिए अनुकूलित किया गया है, वे इस क्षेत्र में दो महत्वपूर्ण सीमाओं का सामना करते हैं:

गणना संबंधी जटिलता (Computational Complexity): मानक अटेंशन मैकेनिज्म अनुक्रम की लंबाई $n$ के सापेक्ष द्विघाती (quadratic) समय और मेमोरी जटिलता ( $\Theta(n^2)$ ) प्रदर्शित करता है। यह लंबी अनुक्रमों पर प्रशिक्षण के लिए एक बाधा उत्पन्न करता है, जिससे कई विशेषज्ञ बड़े डेटासेट पर पूर्ण अटेंशन मैकेनिज्म का उपयोग करने से वंचित रह जाते हैं।
स्थितिजन्य सूचना की हानि (Loss of Positional Information): मानक अटेंशन मैकेनिज्म क्रमबद्ध अनुक्रम के बजाय अनुक्रम तत्वों को एक सेट (set) के रूप में मानता है, जिससे टेम्पोरल लोकैलिटी (temporal locality) का नुकसान होता है। हालांकि पोजीशनल एनकोडिंग (positional encodings) इसे कम करने का प्रयास करती है, लेकिन अनुभवजन्य साक्ष्य बताते हैं कि मूल (vanilla) ट्रांसफॉर्मर अक्सर मूल और क्रम परिवर्तित (permuted) टाइम सीरीज़ इनपुट के बीच अंतर करने में विफल रहते हैं, जो पूर्वानुमान कार्यों के लिए एक महत्वपूर्ण विफलता है जहाँ कालानुक्रमिक क्रम सर्वोपरि है।

मौजूदा कुशल विकल्प, जैसे इन्फॉर्मर (Informer) मॉडल में उपयोग किया जाने वाला प्रोबबिलिस्टिक अटेंशन (Probabilistic Attention - ProbAttn), स्पारसिफिकेशन (sparsification) के माध्यम से जटिलता को $\Theta(n \log n)$ तक कम कर देता है। हालाँकि, ये विधियाँ अक्सर अनसेलेक्टेड क्वेरीज को शून्य सेट करके महत्वपूर्ण सूचना हानि का कारण बनती हैं, जिससे मानों का औसत निकल आता है और स्थानीय निर्भरताओं (local dependencies) को त्याग दिया जाता है। इसके अलावा, वर्तमान LSTF बेंचमार्क अक्सर सीमित इंस्टेंस काउंट और फीचर्स वाले डेटासेट पर निर्भर करते हैं, जो जटिल डीप लर्निंग मॉडलों को प्रभावी ढंग से प्रशिक्षित करने के लिए अपर्याप्त हो सकते हैं।

कार्यप्रणाली: स्थानीय ध्यान तंत्र (Local Attention Mechanism - LAM)

यह शोध पत्र लोकल अटेंशन मैकेनिज्म (LAM) पेश करता है, जो विशेष रूप से समय श्रृंखला डेटा में निहित निरंतरता और स्थानीयता (locality) गुणों का लाभ उठाने के लिए तैयार किया गया है।

सैद्धांतिक आधार

LAM का मुख्य परिकल्पना यह है कि निरंतर समय श्रृंखला (continuous time series) के लिए, किसी दिए गए समय चरण $t$ के लिए अटेंशन स्कोर पास के समय चरणों (स्थानीयता) पर केंद्रित होते हैं, न कि NLP में देखे जाने वाले वैश्विक वितरण की तरह। इसके आधार पर, LAM अटेंशन स्कोर की गणना को आकार $L$ के एक स्थानीय पड़ोस विंडो (local neighborhood window) तक सीमित करता है।

गणितीय रूप से, LAM को इस प्रकार परिभाषित किया गया है:
$LAM(Q, K, V) = \text{softmax}\left(\frac{QK^T + M}{\sqrt{d_q}}\right)V$
जहाँ $M$ एक एडिटिव मास्क मैट्रिक्स (additive mask matrix) है। $M_{i,j} = 0$ यदि की (key) $j$ , क्वेरी $i$ के स्थानीय पड़ोस के भीतर है (विशेष रूप से $i - L + 1 \leq j \leq i$ ), और $M_{i,j} = -\infty$ अन्यथा। यह सॉफ्टमैक्स (softmax) को गैर-स्थानीय इंटरैक्शन को शून्य संभाव्यता असाइन करने के लिए मजबूर करता है।

कुशल टेंसर बीजगणित कार्यान्वयन (Efficient Tensor Algebra Implementation)

इस मास्किंग का एक साधारण (naive) कार्यान्वयन अभी भी पूर्ण $QK^T$ मैट्रिक्स की गणना करने की आवश्यकता रखेगा, जिससे $\Theta(n^2)$ जटिलता बनी रहेगी। लेखक एक नवीन एल्गोरिदम का प्रस्ताव करते हैं जो टेंसर बीजगणित का उपयोग करके LAM को पुनर्गठित करता है ताकि $\Theta(n \log n)$ समय और मेमोरी जटिलता प्राप्त की जा सके (यह मानते हुए कि $L = \Theta(\log n)$ )।

एल्गोरिदम इस प्रकार आगे बढ़ता है:

विभाजन (Splitting): इनपुट मैट्रिसेस $Q$ , $K$ , और $V$ को आकार $L$ के ब्लॉक्स में विभाजित किया जाता है।
टेंसर निर्माण (Tensor Construction): नए टेंसर ( $T_Q, T_K, T_V$ ) बनाए जाते हैं जो इन ब्लॉक्स का प्रतिनिधित्व करते हैं। महत्वपूर्ण रूप से, $T_K$ को $2L-1$ तत्वों के ओवरलैप के साथ बनाया गया है ताकि यह सुनिश्चित हो सके कि स्थानीय विंडो के लिए सभी आवश्यक डॉट प्रोडक्ट्स बिना किसी बाउंड्री इश्यू के कैप्चर किए जा सकें।
स्थानीय गणना (Local Computation): ग्लोबल मैट्रिक्स मल्टीप्लिकेशन के बजाय, एल्गोरिदम ब्लॉक-वाइज मल्टीप्लिकेशन ( $T_Q \cdot T_K^T$ ) के बाद एक स्थानीय मास्क ( $T_M$ ) और सॉफ्टमैक्स का उपयोग करता है।
एकत्रीकरण (Aggregation): अंतिम आउटपुट बनाने के लिए परिणामों को संयोजित (concatenate) किया जाता है।

यह दृष्टिकोण अनुमति देता है कि इस तंत्र को कस्टम CUDA कोड के बिना मानक डीप लर्निंग फ्रेमवर्क (PyTorch/TensorFlow) का उपयोग करके लागू किया जाए, जो स्पारस मैट्रिक्स कार्यान्वयन के उपयोग वाली पिछली स्पारस अटेंशन विधियों की तुलना में मेमोरी ओवरहेड को काफी कम करता है।

मुख्य योगदान

लोकल अटेंशन मैकेनिज्म (LAM): एक नवीन अटेंशन मैकेनिज्म जो $\Theta(n \log n)$ तक गणना और मेमोरी जटिलता को कम करने के लिए टाइम सीरीज़ लोकैलिटी का लाभ उठाता है और स्थानीय टेम्पोरल डिपेंडेंसी को सुरक्षित रखता है।
टेंसर बीजगणित सूत्रीकरण (Tensor Algebra Formulation): LAM का एक व्युत्पन्न जो मानक टेंसर ऑपरेशन्स के माध्यम से कुशल कार्यान्वयन को सक्षम बनाता है, जिससे पिछले स्पारस अटेंशन तरीकों में उपयोग किए जाने वाले मेमोरी बॉटलनैक से बचा जा सकता है।
नए बेंचमार्क डेटासेट: लेखक पहचानते हैं कि मौजूदा LSTF बेंचमार्क (जैसे ETT, ECL) में सीमित इंस्टेंस काउंट और फीचर्स हैं। वे चार बड़े, अंतर्विषयक डेटासेट (IHEP, NYTaxi, RPB, TiNA) के एक नए सेट का प्रस्ताव करते हैं जिनमें काफी अधिक इंस्टेंस (38 मिलियन तक) और फीचर्स हैं, ताकि जटिल डीप लर्निंग मॉडलों को बेहतर ढंग से मूल्यांकित किया जा सके।
व्यापक मूल्यांकन: मानक और प्रस्तावित दोनों डेटासेट्स का उपयोग करते हुए, वैनिला ट्रांसफॉर्मर और स्टेट-ऑफ-द-आर्ट मॉडल्स (Informer, LogTrans, Reformer, Autoformer) के विरुद्ध LAM का एक कठोर तुलनात्मक अध्ययन।

प्रयोगात्मक परिणाम

लेखकों ने तीन परिदृश्यों में प्रयोग किए:

स्टेट-ऑफ-द-आर्ट के साथ तुलना: मानक डेटासेट्स (ETT, Weather, ECL) का उपयोग करते हुए, LAM के साथ संवर्धित वैनिला ट्रांसफॉर्मर ने Informer, LogTrans और Autoformer सहित सभी अन्य मॉडलों को पछाड़ दिया। LAM ने 50 में से 43 मेट्रिक संयोजनों में सर्वश्रेष्ठ परिणाम प्राप्त किए। बेयसियन परीक्षणों ने इन सुधारों की सांख्यिकीय सार्थकता की पुष्टि की।
आर्किटेक्चर आइसोलेशन (LAM बनाम ProbAttn): अटेंशन मैकेनिज्म के प्रभाव को अलग करने के लिए, लेखकों ने ठीक उसी वैनिला ट्रांसफॉर्मर आर्किटेक्चर के भीतर (Informer के जटिल आर्किटेक्चरल एडिशन्स को हटाकर) LAM और Informer के ProbAttn की तुलना की। LAM ने लगातार ProbAttn को पछाड़ा, लंबे क्षितिज (horizons) के लिए संचयी त्रुटि (cumulative error) को लगभग 25% कम कर दिया। यह सुझाव देता है कि प्रदर्शन में सुधार स्वयं अटेंशन मैकेनिज्म के कारण है, न कि आर्किटेक्चरल जटिलता के कारण।
नए बड़े पैमाने के डेटासेट्स पर मूल्यांकन: प्रस्तावित बड़े डेटासेट्स (IHEP, NYTaxi, RPB, TiNA) पर, LAM ने उत्कृष्ट स्केलेबिलिटी प्रदर्शित की। जबकि वैनिफ़ॉर्म फुल अटेंशन (FullAttention) के साथ वैनिला ट्रांसफॉर्मर और Informer अक्सर लंबे अनुक्रमों पर मेमोरी बाधाओं (OOM एरर) के कारण विफल रहे, LAM ने सभी परिदृश्यों को सफलतापूर्वक प्रोसेस किया। सटीकता के मामले में, LAM ने इन चुनौतीपूर्ण डेटासेट्स पर 40 मेट्रिक इंस्टेंस में से 32 में सबसे कम त्रुटि प्राप्त की।

महत्व और दावे

शोध पत्र का दावा है कि LAM कंप्यूटेशनल दक्षता और टाइम सीरीज़ फोरकास्टिंग में टेम्पोरल लोकैलिटी के संरक्षण के बीच के मौलिक ट्रेड-ऑफ को संबोधित करता है। प्रोबबिलिस्टिक सैंपलिंग से जुड़ी सूचना हानि के बिना जटिलता को $\Theta(n \log n)$ तक कम करके, LAM ट्रांसफॉर्मर मॉडलों को पहले की तुलना में बहुत लंबे अनुक्रमों और बड़े डेटासेट्स पर प्रशिक्षित करने में सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि उनके परिणाम निम्नलिखित की आवश्यकता को रेखांकित करते हैं:

लोकैलिटी (Locality): समय श्रृंखला डेटा की निरंतर प्रकृति का लाभ उठाना, NLP-प्रेरित मॉडलों द्वारा उपयोग की जाने वाली स्पर्सिटी धारणाओं की तुलना में अधिक प्रभावी है।
बेहतर बेंचमार्क: वर्तमान डेटासेट्स जटिल मॉडलों को प्रशिक्षित करने के लिए अपर्याप्त हैं; प्रस्तावित नए डेटासेट्स LSTF के लिए एक अधिक कठोर परीक्षण आधार प्रदान करते हैं।
सरलता: LAM के साथ संवर्धित एक सरल वैनिला आर्किटेक्चर, Informer जैसे जटिल, अत्यधिक इंजीनियर किए गए मॉडलों से बेहतर प्रदर्शन करता है, जो यह सुझाव देता है कि अटेंशन मैकेनिज्म ही प्रदर्शन का प्राथमिक चालक है, न कि आर्किटेक्चरल गहराई या कन्वोल्यूशन।

कार्य निष्कर्ष निकालता है कि LAM दीर्घ-अनुक्रम समय श्रृंखला पूर्वानुमान के लिए ट्रांसफॉर्मर्स को एक व्यावहारिक स्टेट-ऑफ-द-आर्ट समाधान बनाने की दिशा में एक महत्वपूर्ण कदम है, साथ ही समर्पित आर्किटेक्चर विकसित करने और कठोर एब्लेशन अध्ययन करने के लिए भविष्य के कार्य की भी वकालत करता है।