🤖 machine learning

Multi-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series

यह शोध पत्र MSC-OT का प्रस्ताव करता है, जो एक बहुचर समय श्रृंखला पूर्वानुमान (multivariate time series forecasting) के लिए एक नवीन आर्किटेक्चर है, जो बहु-स्तरीय संरचनात्मक पैटर्न को प्रभावी ढंग से पकड़ने और शोर को दबाने के लिए एक इनवर्टेड एम्बेडिंग फ्रेमवर्क के भीतर मल्टी-स्केल कन्वोल्यूशन और सिंकहॉर्न ऑप्टिमल ट्रांसपोर्ट रेगुलराइजेशन को एकीकृत करता है, जिससे अल्पकालिक और दीर्घकालिक दोनों पूर्वानुमान कार्यों में उत्कृष्ट प्रदर्शन प्राप्त होता है।

मूल लेखक: HaoChong Fu, Jian Xu

प्रकाशित 2026-07-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: HaoChong Fu, Jian Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक हलचल भरे शहर के भविष्य की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास सैकड़ों अलग-अलग सेंसरों से डेटा है: ट्रैफिक लाइट, मौसम केंद्र, पावर ग्रिड और शेयर बाजार। इसे वैज्ञानिक मल्टीवेरिएट टाइम सीरीज़ (Multivariate Time Series) कहते हैं। लक्ष्य यह है कि इन सभी चलते-फिरते हिस्सों को देखा जाए और यह अनुमान लगाया जाए कि आगे क्या होने वाला है।

कुछ समय के लिए, यह करने का सबसे स्मार्ट तरीका एक "ट्रांसफॉर्मर" (Transformer) मॉडल का उपयोग करना था—एक प्रकार का AI जो एक अत्यंत ध्यान केंद्रित करने वाले लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह काम करता है। लेकिन एक समस्या थी। पारंपरिक लाइब्रेरियन एक समय में एक ही क्षण (जैसे "सुबह 9:00 बजे") को पकड़ते थे और एक साथ सभी सेंसरों को देखते थे। वे यह देखने में बहुत अच्छे थे कि 9:00 से 9:01 के बीच ट्रैफिक लाइट कैसे बदली, लेकिन वे यह समझने में बहुत खराब थे कि एक ट्रैफिक लाइट के पूरे इतिहास (पिछले एक घंटे) ने पावर ग्रिड को कैसे प्रभावित किया।

फिर, iTransformer नामक एक नया विचार आया। इसने खेल ही पलट दिया! एक समय में सभी सेंसरों को देखने के बजाय, इसने एक ही सेंसर के पूरे इतिहास को एक एकल "टोकन" (सूचना की एक इकाई) के रूप में देखा। यह विभिन्न सेंसरों के बीच संवाद को समझने के लिए एक बड़ी जीत थी। हालाँकि, इस शोध पत्र के लेखक, हाओचोंग फू (HaoChong Fu) और जियान ज़ु (Jian Xu) ने एक समस्या देखी: एक पूरे घंटे के डेटा को एक छोटे से टोकन में दबाने से, मॉडल सूक्ष्म, स्थानीय विवरण खो देता था। यह एक उपन्यास का सारांश पढ़ने जैसा था जहाँ आप तीसरे अध्याय के विशिष्ट, मजेदार संवाद को मिस कर देते हैं।

बड़ा विचार: MSC-OT
इस समस्या को ठीक करने के लिए, लेखकों ने एक नई प्रणाली बनाई जिसे MSC-OT (मल्टी-स्केल कन्वल्यूशन विद ऑप्टिमल ट्रांसपोर्ट) कहा गया। इसे मॉडल को "सुपर-ग्लासेस" (अति-शक्तिशाली चश्मे) और एक बहुत सख्त नियम पुस्तिका देने के रूप में सोचें।

1. सुपर-ग्लासेस (मल्टी-स्केल कन्वल्यूशन)
"मल्टी-स्केल कन्वल्यूशन" वाला हिस्सा मॉडल को डेटा को देखने के लिए अलग-अलग लेंस देने जैसा है।

कल्पना कीजिए कि आप एक भीड़ को देख रहे हैं। एक लेंस तीन लोगों के एक समूह (एक छोटा पैटर्न) पर ज़ूम करता है। दूसरा लेंस लोगों की एक पूरी पंक्ति (एक बड़ा पैटर्न) देखने के लिए ज़ूम आउट करता है।
यह शोध पत्र दो विशिष्ट लेंसों का उपयोग करता है: एक जो डेटा के 3x3 ब्लॉक्स को देखता है और दूसरा जो 5x5 ब्लॉक्स को देखता है।
यह मॉडल को "स्थानीय संरचनात्मक पैटर्न" (local structural patterns) को पकड़ने की अनुमति देता है—वे छोटी लहरें और अल्पकालिक उतार-चढ़ाव जिन्हें पिछले "दबे हुए" टोकन पद्धति ने मिस कर दिया था। यह ऐसा है जैसे यह महसूस करना कि जबकि पूरा शहर व्यस्त है, एक विशिष्ट सड़क का कोना एक अनूठी लय रखता है जो भविष्यवाणी के लिए महत्वपूर्ण है।

2. सख्त नियम पुस्तिका (सिंकोर्न ऑप्टिमल ट्रांसपोर्ट)
दूसरा भाग, सिंकोर्न ऑप्टिमल ट्रांसपोर्ट (Sinkhorn Optimal Transport), मॉडल का चीजों को पागलपन की स्थिति में भी शांत रखने का तरीका है।

असल जिंदगी में, डेटा अव्यवस्थित होता है। कभी-कभी एक सेंसर गड़बड़ी करता है और संख्याओं का एक विशाल, नकली उछाल (आउटलायर) भेजता है। एक सामान्य AI घबरा सकता है और कह सकता है, "ओह नहीं, यह विशाल उछाल सबसे महत्वपूर्ण चीज़ होनी चाहिए!" और बाकी सब कुछ अनदेखा कर सकता है।
लेखक ऑप्टिमल ट्रांसपोर्ट (जिसे सिंकोर्न एल्गोरिदम के माध्यम से हल किया जाता है) नामक एक गणितीय विधि का उपयोग करते हैं जो एक "बैलेंस बीम" (संतुलन दंड) के रूप में कार्य करती है।
इसे पूरी कक्षा को निष्पक्ष रूप से ग्रेड देने वाले एक निष्पक्ष शिक्षक के रूप में सोचें। यदि एक छात्र सबसे ज़ोर से चिल्लाकर उत्तर देता है (आउटलायर), तो शिक्षक केवल उसे ही सारे अंक नहीं देता। इसके बजाय, शिक्षक यह सुनिश्चित करता है कि अंक पूरी कक्षा में निष्पक्ष रूप से वितरित हों।
शोध पत्र एक विशिष्ट "बैलेंस नॉब" (जिसे $\lambda$ कहा जाता है) को 5.0 पर सेट करता है। यह संख्या शोर को पर्याप्त रूप से सुचारू बनाने के लिए ट्यून की गई है ताकि वास्तविक संकेत को खोए बिना शोर को अनदेखा किया जा सके। यह मॉडल को एक अजीब डेटा बिंदु से विचलित होने के बजाय पूरी तस्वीर देखने के लिए मजबूर करता है।

जादुई मिश्रण (एडेप्टिव फ्यूजन)
ये तीनों चीजें मिलकर कैसे काम करती हैं? बेस अटेंशन (मूल लाइब्रेरियन), कन्वल्यूशन (सुपर-ग्लासेस), और ऑप्टिमल ट्रांसपोर्ट (नियम पुस्तिका)।

मॉडल केवल एक को नहीं चुनता; यह उन सभी को मिलाता है।
यह एक "लर्नेबल" (सीखने योग्य) मिक्सर का उपयोग करता है। कल्पना कीजिए कि एक डीजे के पास तीन फेडर (नियंत्रक) हैं। शुरुआत में, डीजे बेस अटेंशन को 0.7 (70%), कन्वल्यूशन को 0.2 (20%), और नियम पुस्तिका को 0.1 (10%) पर सेट करता है।
जैसे-जैसे मॉडल प्रशिक्षित होता है, वह इन फेडर्स को समायोजित करना सीखता है। उदाहरण के लिए, ECL (बिजली) डेटासेट पर, मॉडल ने "सुपर-ग्लासेस" (कन्वल्यूशन) पर अधिक निर्भर होना सीखा, जिससे उस वजन को बढ़ाकर 40% से अधिक कर दिया गया, क्योंकि उस डेटासेट को अधिक स्थानीय विवरण की आवश्यकता थी। Traffic डेटासेट पर, इसने बेस अटेंशन को लगभग 63% पर ऊँचा रखा।
यह साबित करता है कि सबसे अच्छा मिश्रण हर शहर के लिए एक जैसा नहीं होता है; मॉडल प्रत्येक विशिष्ट कार्य के लिए सही रेसिपी सीख लेता है।

क्या यह काम आया?
लेखकों ने पांच वास्तविक दुनिया के डेटासेट्स पर इसका परीक्षण किया: ECL (बिजली), ETT (ऊर्जा), Exchange (मुद्रा), Traffic, और Weather। उन्होंने इसकी तुलना पिछले कुछ वर्षों के सर्वश्रेष्ठ मॉडलों जैसे iTransformer, PatchTST, और TimesNet से की।

परिणाम उत्साहजनक थे। शोध पत्र रिपोर्ट करता है कि MSC-OT ने पांच में से तीन डेटासेट्स (ECL, Traffic, और Weather) पर सबसे अच्छी सटीकता (सबसे कम त्रुटि) प्राप्त की और Exchange डेटासेट पर दूसरे स्थान पर रहा।

Crossformer की तुलना में, इसने प्रदर्शन में 27% का सुधार किया।
TimesNet की तुलना में, इसमें 35% का सुधार हुआ।
Fedformer की तुलना में, इसमें 19% का सुधार हुआ।

लेखकों ने "एब्लेशन प्रयोग" (ablation experiments) भी चलाए, जो एक फैंसी तरीका है यह कहने का कि, "आइए हम हिस्सों को हटाकर देखते हैं कि क्या होता है।" जब उन्होंने "सुपर-ग्लासेस" या "नियम पुस्तिका" को हटाया, तो मॉडल खराब हो गया। यह पुष्टि करता है कि दोनों भाग आवश्यक हैं और अकेले काम करने के बजाय एक साथ बेहतर काम करते हैं।

यह पेपर क्या दावा नहीं करता है
यह ध्यान रखना महत्वपूर्ण है कि यह शोध पत्र क्या दावा नहीं करता है। लेखक स्पष्ट रूप से इस विचार के विरुद्ध तर्क देते हैं कि डेटा को एम्बेड करने का पुराना तरीका (एक ही क्षण में सभी सेंसरों को देखना) सबसे अच्छा है। वे यह भी सुझाव देते हैं कि यदि आप इनवर्टेड एम्बेडिंग पद्धति का उपयोग नहीं कर रहे हैं, तो केवल लीनियर लेयर्स (बहुत सरल गणित) का उपयोग करना जटिल ट्रांसफॉर्मर की तुलना में बेहतर हो सकता है, लेकिन वे तर्क देते हैं कि सही संवर्द्धन (जैसे उनका मॉडल) के साथ, ट्रांसफॉर्मर दृष्टिकोण अभी भी जटिल, मल्टी-वेरिएबल कार्यों के लिए श्रेष्ठ है।

निष्कर्ष
शोध पत्र सुझाव देता है कि बारीक विवरण देखने के तरीके (मल्टी-स्केल कन्वल्यूशन) को शोर को अनदेखा करने और संतुलित रहने के तरीके (ऑप्टिमल ट्रांसपोर्ट) के साथ जोड़कर, हम जटिल प्रणालियों के भविष्य की भविष्यवाणी करने के लिए एक बहुत बेहतर क्रिस्टल बॉल बना सकते हैं। लेखक अपने परिणामों के प्रति आश्वस्त हैं, जो विभिन्न समय लंबाई (भविष्य में 96 स्टेप्स से लेकर 720 स्टेप्स तक) में निरंतर सुधार दिखाते हैं, लेकिन वे इसे ब्रह्मांड की हर समस्या को हल करने वाले जादू के बजाय एक व्यावहारिक, प्रभावी समाधान के रूप में प्रस्तुत करते हैं। उन्होंने अपना कोड GitHub पर भी साझा किया है ताकि अन्य लोग इसे आज़मा सकें!

तकनीकी सारांश: मल्टीवेरिएट टाइम सीरीज़ के लिए ऑप्टिमल ट्रांसपोर्ट अटेंशन के साथ मल्टी-स्केल कन्वोल्यूशन

समस्या विवरण
मल्टीवेरिएट टाइम सीरीज़ (MTS) पूर्वानुमान में मल्टी-ग्रैनुलैरिटी स्ट्रक्चरल पैटर्न को कैप्चर करने और शोर (noise) को प्रभावी ढंग से दबाने में महत्वपूर्ण चुनौतियाँ आती हैं। हालाँकि ट्रांसफॉर्मर-आधारित मॉडल सीक्वेंस मॉडलिंग में प्रभावी हो गए हैं, लेकिन टाइम सीरीज़ के लिए उनका अनुप्रयोग अक्सर एक ही टाइमस्टैम्प पर कई वेरिएट्स को चैनल्स के रूप में एम्बेड करने पर निर्भर करता है, जो मुख्य रूप से टेम्पोरल डिपेंडेंसीज़ पर ध्यान केंद्रित करता है। हालिया प्रगति, जैसे कि iTransformer ने एक "इनवर्टेड एम्बेडिंग" प्रतिमान पेश किया जहाँ प्रत्येक वैरिएट की पूरी टाइम सीरीज़ को एक सिंगल टोकन के रूप में माना जाता है ताकि क्रॉस-वैरिएट डिपेंडेंसीज़ को बेहतर ढंग से कैप्चर किया जा सके। हालाँकि, लेखक इस दृष्टिकोण में एक महत्वपूर्ण सीमा की पहचान करते हैं: एक वैरिएट की टेम्पोरल जानकारी को एक निश्चित-आयामी टोकन में कंप्रेस करके, सूक्ष्म (fine-grained) स्थानीय टेम्पोरल पैटर्न (जैसे, अल्पकालिक उतार-चढ़ाव, आवधिकता) खो जाते हैं। इसके अलावा, मानक अटेंशन मैकेनिज्म आउटलेयर्स और शोर के प्रति संवेदनशील होते हैं, जिससे स्क्यूड अटेंशन डिस्ट्रीब्यूशन और सबऑप्टिमल भविष्यवाणियाँ हो सकती हैं।

कार्यप्रणाली: MSC-OT
इन सीमाओं को दूर करने के लिए, यह शोध पत्र MSC-OT (मल्टी-स्केल कन्वोल्यूशन विद ऑप्टिमल ट्रांसपोर्ट अटेंशन) प्रस्तावित करता है, जो एक अभिनव आर्किटेक्चर है जिसे इनवर्टेड एम्बेडिंग फ्रेमवर्क को बढ़ाने के लिए डिज़ाइन किया गया है। यह विधि तीन मुख्य घटकों से मिलकर बनी है:

मल्टी-स्केल कन्वोल्यूशन एन्हांसमेंट:
- उद्देश्य: अटेंशन स्कोर मैट्रिक्स के भीतर उन स्थानीय संरचनात्मक पैटर्न को पुनः प्राप्त करना और मॉडल करना जो इनवर्टेड एम्बेडिंग प्रक्रिया के दौरान खो जाते हैं।
- तंत्र: मॉडल सीधे अटेंशन स्कोर मैट्रिक्स ( $S \in \mathbb{R}^{B \times H \times N \times N}$ ) पर $3 \times 3$ और $5 \times 5$ कर्नेल साइज के समानांतर 2D कन्वोल्यूशन लागू करता है।
- कार्य: ये कन्वोल्यूशन वैरिएट-इंटरेक्शन स्पेस के भीतर विभिन्न ग्रैनुलैरिटी पर स्थानीय संरचनात्मक पैटर्न को कैप्चर करते हैं। परिणामी मल्टी-स्केल फीचर्स को संख्यात्मक स्थिरता सुनिश्चित करने और पूरक जानकारी को संरक्षित करने के लिए सरल औसत के माध्यम से एकत्रित किया जाता है।
सिंकहॉर्न ऑप्टिमल ट्रांसपोर्ट (OT) रेगुलराइजेशन:
- उद्देश्य: संतुलित सूचना प्रवाह सुनिश्चित करने और शोर के प्रति मजबूती के लिए अटेंशन कंप्यूटेशन को एक ऑप्टिमल ट्रांसपोर्ट समस्या के रूप में तैयार करना।
- तंत्र: अटेंशन स्कोर मैट्रिक्स को एक एंट्रॉपी-रेगुलराइज्ड ऑप्टिमल ट्रांसपोर्ट समस्या के लिए एक कॉस्ट मैट्रिक्स के रूप में माना जाता है। एक डबली-स्टोकेस्टिक अटेंशन डिस्ट्रीब्यूशन उत्पन्न करने के लिए सिंकहॉर्न एल्गोरिदम का उपयोग पंक्तियों और कॉलम को पुनरावृत्ति (iteratively) से नॉर्मलाइज़ करने के लिए किया जाता है।
- कार्य: एंट्रॉपी रेगुलराइजेशन टर्म ( $\lambda H(P)$ ) स्वाभाविक रूप से अटेंशन वेट्स को स्मूथ करता है, जिससे किसी भी एकल वैरिएट (भले ही उसका स्कोर असामान्य रूप से उच्च हो) को अटेंशन डिस्ट्रीब्यूशन पर हावी होने से रोका जा सके। यह वास्तविक दुनिया के MTS डेटा में सामान्य आउटलेयर्स और मेजरमेंट नॉइज़ के प्रभाव को प्रभावी ढंग से दबा देता है।
एडेप्टिव फ्यूजन स्ट्रैटेजी:
- उद्देश्य: बेस अटेंशन स्कोर्स, कन्वोल्यूशन-एन्हांस्ड स्कोर्स और OT-रेगुलराइज्ड स्कोर्स को गतिशील रूप से संयोजित करना।
- तंत्र: अंतिम अटेंशन स्कोर एक भारित योग (weighted sum) के रूप में कंप्यूट किया जाता है: $S_{final} = \alpha \cdot S + \beta \cdot S_{conv} + \gamma \cdot P$ ।
- कार्य: वेट्स ( $\alpha, \beta, \gamma$ ) सीखने योग्य पैरामीटर हैं जिन्हें क्रमशः 0.7, 0.2 और 0.1 के रूप में इनिशियलाइज़ किया गया है। उन्हें स्थिर प्रशिक्षण सुनिश्चित करने के लिए सॉफ्टमैक्स के माध्यम से नॉर्मलाइज़ किया जाता है। यह मॉडल को डेटासेट की विशिष्ट विशेषताओं के आधार पर प्रत्येक घटक के इष्टतम योगदान को अनुकूल रूप से निर्धारित करने की अनुमति देता है।

प्रमुख योगदान

एन्हांस्ड इनवर्टेड एम्बेडिंग: यह पेपर iTransformer के क्रॉस-वैरिएट मॉडलिंग के लाभों को बनाए रखते हुए अटेंशन स्कोर्स पर मल्टी-स्केल कन्वोल्यूशन के माध्यम से सूक्ष्म टेम्पोरल डिपेंडेंसीज़ के नुकसान की भरपाई करने के लिए एक विधि प्रस्तावित करता है।
नॉइज़-रोबस्ट अटेंशन: Sinkhorn Optimal Transport को एकीकृत करके, मॉडल एक ऐसा तंत्र पेश करता है जो स्वाभाविक रूप से शोर को दबाता है और आउटलेयर डोमिनेंस को रोकता है, जो MTS के लिए मानक सॉफ्टमैक्स-आधारित अटेंशन की एक प्रमुख कमजोरी को संबोधित करता है।
सिनर्जिस्टिक आर्किटेक्चर: यह कार्य प्रदर्शित करता है कि मल्टी-स्केल कन्वोल्यूशन (लोकल पैटर्न कैप्चर) और OT रेगुलराइजेशन (ग्लोबल बैलेंस और नॉइज़ सप्रेशन) एक-दूसरे के पूरक हैं। एडेप्टिव फ्यूजन स्ट्रैटेजी इन घटकों को स्वतंत्र रूप से काम करने के बजाय तालमेल (synergistically) के साथ काम करने की अनुमति देती है।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: लेखक व्यापक अनुभवजन्य सत्यापन प्रदान करते हैं जो दिखाता है कि MSC-OT कई बेंचमार्क डेटासेट्स पर हालिया स्टेट-ऑफ-द-आर्ट मॉडल्स (iTransformer, PatchTST, Crossformer और TimesNet सहित) से बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम
लेखकों ने पांच व्यापक रूप से उपयोग किए जाने वाले बेंचमार्क डेटासेट्स पर MSC-OT का मूल्यांकन किया: ECL (Electricity), ETT (Electricity Transformer Temperature), Exchange-Rate, Traffic, और Weather।

परफॉरमेंस: MSC-OT ने ECL, Traffic, और Weather पर सर्वश्रेष्ठ मीन स्क्वेर्ड एरर (MSE) परिणाम प्राप्त किए, और पांच में से चार डेटासेट्स पर सर्वश्रेष्ठ मीन एब्सोल्यूट एरर (MAE) प्राप्त किया।
तुलनात्मक लाभ: पेपर विशिष्ट संदर्भों में विशिष्ट बेसलाइन्स पर महत्वपूर्ण सुधार का दावा करता है, जिसमें Crossformer पर 27%, TimesNet पर 35%, और Fedformer पर 19% का सुधार शामिल है।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि मल्टी-स्केल कन्वोल्यूशन या OT रेगुलराइजेशन में से किसी एक को हटाने से प्रदर्शन में गिरावट आती है। अध्ययनों ने यह भी दिखाया कि एडेप्टिव फ्यूजन वेट्स घटकों को प्रभावी ढंग से संतुलित करने के लिए सीखते हैं (उदाहरण के लिए, ECL में, कन्वोल्यूशन और OT घटकों ने मिलकर लगभग 60% का भार लिया, जो उनकी महत्वपूर्ण भूमिका को दर्शाता है)।
हाइपरपैरामीटर्स: इष्टतम एंट्रॉपी रेगुलराइजेशन कोएफिशिएंट $\lambda=5.0$ पाया गया, और अत्यधिक कम्प्यूटेशनल लागत के बिना अभिसरण (convergence) के लिए दो सिंकहॉर्न इटरेशन पर्याप्त माने गए।

महत्व और दावे
यह पेपर MSC-OT को वास्तविक दुनिया के मल्टीवेरिएट टाइम सीरीज़ पूर्वानुमान के लिए एक व्यावहारिक और प्रभावी समाधान के रूप में प्रस्तुत करता है। लेखक दावा करते हैं कि यह विधि शोर की उपस्थिति में स्थानीय टेम्पोरल स्ट्रक्चर को कैप्चर करने और मजबूत क्रॉस-वैरिएट मॉडलिंग बनाए रखने के बीच विशिष्ट ट्रेड-ऑफ को संबोधित करके अटेंशन मैकेनिज्म को सफलतापूर्वक अनुकूलित करती है। ऑप्टिमल ट्रांसपोर्ट का लाभ उठाकर, यह दृष्टिकोण अटेंशन ऑप्टिमाइज़ेशन के लिए एक नया पद्धतिगत मार्ग स्थापित करता है जो आउटलेयर्स के प्रति कम संवेदनशील है और वास्तविक दुनिया के टाइम सीरीज़ डेटा की जटिल, मल्टी-स्केल प्रकृति के लिए बेहतर अनुकूल है। आगे के अनुसंधान और अनुप्रयोग को सुगम बनाने के लिए कोड उपलब्ध कराया गया है।

इसी तरह के और पेपर