💻 computer science

CPiRi: Channel Permutation-Invariant Relational Interaction for Multivariate Time Series Forecasting

CPiRi एक नवीन फ्रेमवर्क है जो मल्टीवेरिएट टाइम सीरीज़ फोरकास्टिंग के लिए स्पैटियो-टेम्पोरल डिकपलिंग आर्किटेक्चर को परमुटेशन-इनवेरिएंट रेगुलराइजेशन के साथ जोड़ता है ताकि मौजूदा चैनल-डिपेंडेंट और इंडिपेंडेंट मॉडल्स की सीमाओं को दूर किया जा सके, जिससे स्टेट-ऑफ-द-आर्ट प्रदर्शन, चैनल रीऑर्डरिंग के प्रति मजबूती, और अनदेखे चैनलों के लिए मजबूत इंडक्टिव जनरलाइजेशन प्राप्त होता है।

मूल लेखक: Jiyuan Xu, Wenyu Zhang, Xin Jing, Shuai Chen, Shuai Zhang, Jiahao Nie

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiyuan Xu, Wenyu Zhang, Xin Jing, Shuai Chen, Shuai Zhang, Jiahao Nie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल शहर में भविष्य के ट्रैफिक फ्लो (यातायात प्रवाह) की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास विभिन्न चौराहों पर लगे हजारों सेंसरों (चैनलों) से डेटा है। कुछ सेंसर हाईवे पर हैं, कुछ साइड सड़कों पर हैं, और कुछ स्कूलों के पास हैं।

एक अच्छा अनुमान लगाने के लिए, आपके कंप्यूटर मॉडल को दो चीजें करने की आवश्यकता है:

प्रत्येक सड़क की लय (रदम) को समझना (जैसे, "मेन स्ट्रीट हमेशा शाम 5 बजे व्यस्त रहती है")।
यह समझना कि सड़कें आपस में कैसे बात करती हैं (जैसे, "यदि हाईवे जाम है, तो ट्रैफिक मेन स्ट्रीट की ओर निकल आएगा")।

लंबे समय से, कंप्यूटर वैज्ञानिक एक दुविधा में फंसे हुए हैं। यहाँ समस्या है, समाधान है, और यह नया पेपर (CPiRi) इसे कैसे ठीक करता है, इसे सरल उपमाओं (analogies) के साथ समझाया गया है।

समस्या: "कठोर" बनाम "अनजान"

वर्तमान मॉडल दो समूहों में आते हैं, और दोनों में एक घातक दोष है:

1. "कठोर रटने वाले" (Channel-Dependent Models)
एक ऐसे छात्र की कल्पना करें जो उत्तर समझने के बजाय प्रश्नों के क्रम को रट लेता है।

ये कैसे काम करते हैं: वे सीखते हैं कि "सेंसर A हमेशा पहला होता है, सेंसर B हमेशा दूसरा होता है।" वे एक जटिल मानचित्र बनाते हैं कि सेंसर A कैसे सेंसर B को प्रभावित करता है।
दोष: यदि आप प्रश्नों का क्रम बदल देते हैं (या यदि एक नया सेंसर जोड़ा जाता है और क्रम बदल जाता है), तो छात्र घबरा जाता है। वह पूरी तरह से विफल हो जाता है क्योंकि उसने अर्थ को नहीं, बल्कि स्थान (position) को रटा था। वास्तविक दुनिया में, सेंसर खराब हो जाते हैं, नए सेंसर जोड़े जाते हैं, या डेटा को इधर-उधर किया जाता है। ये मॉडल क्रैश हो जाते हैं।

2. "अनजान एकाकी" (Channel-Independent Models)
कल्पना करें कि एक छात्र जो किसी और से बात करने से इनकार करता है। वह केवल अपने स्वयं के प्रश्न को देखता है।

ये कैसे काम करते हैं: वे सेंसर A का अलग से अध्ययन करते हैं, फिर सेंसर B का अलग से। वे बहुत मजबूत होते हैं; यदि आप क्रम को बदलते हैं, तो उन्हें फर्क नहीं पड़ता क्योंकि उन्होंने कभी पड़ोसियों को देखा ही नहीं।
दोष: वे बड़ी तस्वीर को मिस कर देते हैं। उन्हें नहीं पता कि हाईवे पर जाम लगने से मेन स्ट्रीट पर जाम लग सकता है। क्योंकि वे इस बात को अनदेखा करते हैं कि सड़कें आपस में कैसे इंटरैक्ट करती हैं, उनके अनुमान अक्सर गलत होते हैं।

समाधान: CPiRi (एक "स्मार्ट अनुवादक")

इस पेपर के लेखक CPiRi प्रस्तावित करते हैं, जो एक नया फ्रेमवर्क है जो दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को जोड़ता है। इसे एक तीन-चरणीय असेंबली लाइन के रूप में सोचें जो "लय" को "संबंधों" से अलग करती है।

चरण 1: "जमी हुई विशेषज्ञ" (Temporal Encoder)

उपमा: कल्पना करें कि आपने एक विश्व स्तरीय संगीत शिक्षक को काम पर रखा है जिसने पहले ही लाखों गाने पढ़े हैं। आप उनसे कहते हैं, "बस प्रत्येक वाद्य यंत्र (instrument) को व्यक्तिगत रूप से सुनें और उसकी लय बताएं।"
यह क्या करता है: CPiRi एक पूर्व-प्रशिक्षित "फाउंडेशन मॉडल" (जिसे Sundial कहा जाता है) का उपयोग करता है जो फ्रीज (frozen) है (उसका दिमाग लॉक है)। यह प्रत्येक सेंसर चैनल को एक-एक करके देखता है और उसकी "लय" (टेम्पोरल फीचर्स) निकालता है। इसे क्रम की परवाह नहीं है; यह बस प्रत्येक सड़क के पैटर्न को सीखता है।
यह क्यों महान है: यह बिना शून्य से फिर से प्रशिक्षित हुए विशाल ज्ञान लाता है।

चरण 2: "स्मार्ट अनुवादक" (Spatial Module)

उपमा: अब, संगीत शिक्षक के नोट्स लें और उन्हें एक अनुवादक को दें। इस अनुवादक का काम यह पता लगाना है कि वाद्य यंत्र एक साथ कैसे बजते हैं।
ट्विस्ट: यह सुनिश्चित करने के लिए कि अनुवादक स्थान को रटकर धोखाधड़ी न करे, पेपर में चैनल शफलिंग (Channel Shuffling) नामक एक ट्रिक का उपयोग किया गया है।
- कल्पना करें कि आप अनुवादक को वाद्य यंत्रों की एक सूची देते हैं: ड्रम्स, गिटार, पियानो।
- अगली बार, आप सूची को बिखेर देते हैं: पियानो, ड्रम्स, गिटार।
- आप हर बार प्रशिक्षण के दौरान इसे बिखेरते रहते हैं।
परिणाम: अनुवादक यह नहीं सीख सकता कि "पहला आइटम ड्रम्स है।" उन्हें मजबूरन सीखना पड़ता है: "वह आइटम जिसका लयबद्ध पैटर्न एक ड्रम का है, वह गिटार को प्रभावित करता है।" वे कंटेंट (सामग्री) को सीखते हैं, न कि क्रम को। यह उन्हें "परम्यूटेशन इनवेरिएंट" (CPI) बनाता है—वे काम करते हैं चाहे आप सूची को कैसे भी बिखेर दें।

चरण 3: "स्वतंत्र गायक" (Frozen Decoder)

उपमा: अंत में, अनुवादक अपडेट किए गए नोट्स वापस संगीत शिक्षक को सौंप देता है (जो अभी भी फ्रीज है) ताकि वह प्रत्येक वाद्य यंत्र के लिए अंतिम भविष्यवाणी गा सके।
यह क्यों महान है: क्योंकि शिक्षक फ्रीज है और स्वतंत्र रूप से काम करता है, सिस्टम स्थिर और कुशल रहता है।

यह वास्तविक दुनिया में क्यों मायने रखता है

यह पेपर साबित करता है कि CPiRi तीन कारणों से गेम-चेंजर है:

यह अटूट है: यदि आप सेंसरों को बिखेर देते हैं, एक नया जोड़ते हैं, या एक पुराना हटा देते हैं, तो CPiRi को कोई फर्क नहीं पड़ता। यह अभी भी सटीक भविष्यवाणी करता है क्योंकि इसने संबंधों को सीखा है, पतों को नहीं।
यह डेटा बचाने वाला है: आप मॉडल को केवल आधे सेंसरों (जैसे, केवल हाईवे) का उपयोग करके प्रशिक्षित कर सकते हैं, और फिर भी जब आप इसे पूरे शहर (साइड सड़कों सहित) में तैनात करेंगे, तो यह शानदार काम करेगा। यह एक इंसान की तरह सामान्यीकृत (generalize) होता है जो ट्रैफिक लॉजिक समझता है, न कि केवल एक रोबोट जो नक्शा रटता है।
यह कुशल है: इसे एक विशाल, धीमे राक्षस की आवश्यकता नहीं है। "लय" सीखने को "संबंध" सीखने से अलग करके, यह हजारों सेंसरों वाले विशाल डेटासेट पर भी तेजी से चलता है।

निचोड़

पिछले मॉडल उन छात्रों की तरह थे जो या तो सीटिंग चार्ट को रट लेते थे (और सीटें बदलने पर विफल हो जाते थे) या जो अपने पड़ोसियों से बात करने से इनकार कर देते थे (और मुख्य बिंदु को मिस कर देते थे)।

CPiRi वह छात्र है जो विषय वस्तु को इतनी गहराई से सीखता है कि इससे कोई फर्क नहीं पड़ता कि कौन कहाँ बैठा है या कमरे में कौन है। यह डेटा के कंटेंट को समझता है, जो इसे ट्रैफिक, वित्त या मौसम जैसे जटिल, बदलते सिस्टम की भविष्यवाणी करने के लिए सबसे मजबूत और सटीक समाधान बनाता है।

यहाँ शोध पत्र CPiRi: Channel Permutation-Invariant Relational Interaction for Multivariate Time Series Forecasting का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

मल्टीवेरिएट टाइम सीरीज़ फोरकास्टिंग (MTSF) चैनल-इंडिपेंडेंट (CI) और चैनल-डिपेंडेंट (CD) मॉडलों के बीच एक मौलिक ट्रेड-ऑफ का सामना करती है:

चैनल-डिपेंडेंट (CD) मॉडल: (जैसे, GNNs, Informer और Crossformer जैसे Transformers) स्पष्ट रूप से क्रॉस-चैनल इंटरैक्शन को मॉडल करते हैं। हालाँकि, वे अक्सर प्रशिक्षण के दौरान चैनलों के स्थिर पोजीशनल ऑर्डरिंग (static positional ordering) पर ओवरफिट हो जाते हैं। जब इन्फरेंस के दौरान चैनल का क्रम बदल दिया जाता है या नए चैनल जोड़े जाते हैं (जैसे सेंसर नेटवर्क जैसे गतिशील प्रणालियों में एक सामान्य परिदृश्य), तो ये मॉडल अपने पोजीशनल एनकोडिंग पर निर्भरता के कारण प्रदर्शन में भारी गिरावट (catastrophic degradation) का शिकार होते हैं।
चैनल-इंडिपेंडेंट (CI) मॉडल: (जैसे, DLinear, PatchTST) प्रत्येक चैनल को अलग-थलग रखते हैं। हालांकि वे चैनल पुनर्व्यवस्था (reordering) और शोर (noise) के प्रति मजबूत हैं, लेकिन वे आवश्यक इंटर-चैनल निर्भरताओं को पकड़ने में विफल रहते हैं, जिससे उनकी पूर्वानुमान सटीकता सीमित हो जाती है।

मूल समस्या एक ऐसे मॉडल की कमी है जो बिना पुनः प्रशिक्षण (retraining) के सामान्यीकरण योग्य क्रॉस-चैनल संबंधों (कंटेंट-ड्रिवन) को सीखने के साथ-साथ चैनल परम्यूटेशन के प्रति मजबूती (स्ट्रक्चरल इनवेरिएंस) बनाए रख सके।

2. कार्यप्रणाली: CPiRi फ्रेमवर्क

लेखक CPiRi (Channel Permutation-Invariant Relational Interaction) का प्रस्ताव करते हैं, जो एक स्पेशो-टेम्पोरल डिकपल्ड आर्किटेक्चर और एक परम्यूटेशन-इनवेरिएंट रेगुलराइजेशन रणनीति के माध्यम से CI और CD प्रतिमानों की शक्तियों का समन्वय करता है।

A. स्पेशो-टेम्पोरल डिकपल्ड आर्किटेक्चर

CPiRi, टेम्पोरल फीचर एक्सट्रैक्शन को तीन विशिष्ट चरणों में स्पेशियल रिलेशनल रीजनिंग से अलग करता है:

चरण 1: यूनिवर्सल टेम्पोरल फीचर एक्सट्रैक्शन (फ्रोजन CI):
- एक फ्रोजन, प्री-ट्रेन्ड यूनिवैरिएट फाउंडेशन मॉडल (विशेष रूप से Sundial) को एनकोडर के रूप में उपयोग करता है।
- उच्च गुणवत्ता वाले टेम्पोरल फीचर वेक्टर्स ( $h_1, ..., h_C$ ) निकालने के लिए प्रत्येक चैनल को स्वतंत्र रूप से प्रोसेस करता है।
- लाभ: यह बड़े डेटासेट्स से सीखे गए मजबूत टेम्पोरल प्रायर्स (priors) का लाभ उठाता है, जिससे टेम्पोरल बैकबोन को पुनः प्रशिक्षित किए बिना शोर के प्रति प्रतिरोधक क्षमता और डेटा की कमी को संभालने की क्षमता सुनिश्चित होती है।
चरण 2: परम्यूटेशन-इक्विवैरिएंट स्पेशियल इंटरैक्शन (ट्रेनेबल CD):
- एक हल्का, ट्रेनेबल स्पेशियल मॉड्यूल (एक मानक ट्रांसफॉर्मर एनकोडर ब्लॉक) फीचर वेक्टर्स के सेट को एक अनऑर्डर्ड सेट के रूप में प्राप्त करता है।
- यह इंडेक्स के बजाय विशुद्ध रूप से फीचर वेक्टर्स की सामग्री (content) के आधार पर इंटर-चैनल डायनेमिक्स को मॉडल करने के लिए मल्टी-हेड सेल्फ-अटेंशन का उपयोग करता है।
- लाभ: आर्किटेक्चर स्ट्रक्चरली परम्यूटेशन-इक्विवैरिएंट है, जिसका अर्थ है कि आउटपुट का क्रम केवल तभी बदलता है जब इनपुट का क्रम बदलता है, जिससे चैनल इंडेक्सिंग के बावजूद सिमेंटिक संबंध सुरक्षित रहता है।
चरण 3: इंडिपेंडेंट प्रेडिक्शन जनरेशन (फ्रोजन CI):
- समृद्ध स्पेशियल रिप्रजेंटेशन को पूर्वानुमान उत्पन्न करने के लिए फाउंडेशन मॉडल के फ्रोजन डिकोडर को पास किया जाता है।
- लाभ: यह जनरेशन स्टेज पर स्ट्रक्चरल एंटैंगलमेंट को रोकता है, जिससे CI दृष्टिकोण की मजबूती बनी रहती है।

B. परम्यूटेशन-इनवेरिएंट रेगुलराइजेशन रणनीति

यह सुनिश्चित करने के लिए कि स्पेशियल मॉड्यूल पोजीशनल शॉर्टकट्स को याद करने के बजाय कंटेंट-ड्रिवन संबंधों को सीखे, CPiRi प्रशिक्षण के दौरान एक चैनल शफलिंग (Channel Shuffling) रणनीति का उपयोग करता है:

तंत्र: प्रत्येक ट्रेनिंग स्टेप में, इनपुट बैच ( $X$ ) और टारगेट बैच ( $Y$ ) दोनों के चैनल ऑर्डर पर एक रैंडम परम्यूटेशन $\pi$ लागू किया जाता है।
उद्देश्य: मॉडल सभी संभावित परम्यूटेशन के वितरण पर अपेक्षित लॉस (expected loss) को कम करता है।
प्रभाव: यह स्पेशियल मॉड्यूल को पोजीशनल संकेतों (जैसे, "चैनल 3 हमेशा शोर वाला होता है") को अनदेखा करने और इसके बजाय टाइम सीरीज़ की अंतर्निहित सिमेंटिक सामग्री के आधार पर रिलेशनल रीजनिंग के लिए एक मेटा-स्किल सीखने के लिए मजबूर करता है। यह एक शक्तिशाली रेगुलराइज़र के रूप में कार्य करता है, जो विशिष्ट चैनल कॉन्फ़िगरेशन पर ओवरफिटिंग को रोकता है।

C. सैद्धांतिक आधार

CPiRi, परम्यूटेशन इक्विवैरिएंस (Permutation Equivariance) के सिद्धांत पर आधारित है। यह तर्क देता है कि चैनल शफलिंग के प्रति मजबूत होने के लिए, स्पेशियल इंटरैक्शन फंक्शन का परम्यूटेशन-इक्विवैरिएंट होना आवश्यक है। एक इनवेरिएंट एनकोडर/डिकोडर को एक इक्वीवैरिएंट स्पेशियल मॉड्यूल के साथ जोड़कर, पूरा पाइपलाइन इक्वीवैरिएंट बन जाता है। चैनल शफलिंग रणनीति गणितीय रूप से इस इक्वीवैरिएंट समाधान की ओर अनुकूलन (optimization) को संचालित करती है, जिससे यह सुनिश्चित होता है कि मॉडल फिक्स्ड मैपिंग के बजाय सिमेट्रिक एग्रीगेशन फंक्शन्स (जैसे सेल्फ-अटेंशन) सीखता है।

3. मुख्य योगदान

CPiRi फ्रेमवर्क: एक नया आर्किटेक्चर जो टेम्पोरल लर्निंग (फ्रोजन फाउंडेशन मॉडल्स के माध्यम से) को रिलेशनल रीजनिंग (एक हल्के स्पेशियल मॉड्यूल के माध्यम से) से अलग करके CI-CD ट्रेड-ऑफ को हल करता है।
परम्यूटेशन-इनवेरिएंट रेगुलराइजेशन: कंटेंट-ड्रिवन रिलेशनल रीजनिंग को लागू करने के लिए डायनेमिक चैनल शफलिंग का उपयोग करने वाली एक प्रशिक्षण रणनीति, जो फिक्स्ड चैनल ऑर्डरिंग पर निर्भरता को समाप्त करती है।
सैद्धांतिक विश्लेषण: प्रशिक्षण रणनीति को परम्यूटेशन इक्विवैरिएंस के गणितीय गुण से जोड़ने वाला एक औपचारिक प्रमाण, जो गारंटी देता है कि मॉडल सामान्यीकरण योग्य संबंध सीखता है।
व्यावहारिक दक्षता: एक डिज़ाइन जो मोनोलिथिक आर्किटेक्चर या विशाल प्री-ट्रेनिंग के कम्प्यूटेशनल खर्च से बचता है, जिससे यह बड़े डेटासेट्स के लिए स्केलेबल बनता है।

4. प्रयोगात्मक परिणाम

CPiRi का मूल्यांकन पांच मानक बेंचमार्क (METR-LA, PEMS-BAY, PEMS-04, PEMS-08, SD) और बड़े पैमाने के डेटासेट्स (8,600 चैनलों तक) पर किया गया।

पूर्वानुमान सटीकता (Forecasting Accuracy): CPiRi ने पांच में से चार बेंचमार्क पर स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त किए, जो CI मॉडल्स (PatchTST, DLinear) और CD मॉडल्स (Informer, Crossformer, iTransformer) दोनों से काफी बेहतर रहे। इसने Timer-XL जैसे बड़े फाउंडेशन मॉडल्स को भी बड़े अंतर से पछाड़ा (जैसे, SD डेटासेट पर >12% WAPE सुधार)।
चैनल परम्यूटेशन मजबूती (Channel Permutation Robustness):
- टेस्ट-टाइम शफलिंग: जब शफल्ड चैनलों के साथ टेस्ट किया गया, तो मानक CD मॉडल्स (जैसे, Informer, STID) ने विनाशकारी प्रदर्शन गिरावट दिखाई (त्रुटि में >400% की वृद्धि)। इसके विपरीत, CPiRi ने नगण्य गिरावट ( $\Delta$ WAPE < 0.25%) के साथ स्थिर प्रदर्शन बनाए रखा।
- पार्शियल शफलिंग: CPiRi केवल कुछ चैनलों को शफल करने पर भी मजबूत रहा, जबकि अन्य मॉडल्स का प्रदर्शन धीरे-धीरे गिरता गया।
इंडक्टिव जनरलाइजेशन: CPiRi ने अनदेखे चैनलों के प्रति मजबूत जनरलाइजेशन दिखाया। जब इसे केवल उपलब्ध चैनलों के 50% पर प्रशिक्षित किया गया, तो इसने बिना पुनः प्रशिक्षण के पूरे सेट पर प्रतिस्पर्धी प्रदर्शन बनाए रखा, जबकि अन्य मॉडल्स विफल रहे।
स्केलेबिलिटी और दक्षता: बड़े पैमाने के डेटासेट्स (जैसे, CA जिसमें 8,600 चैनल हैं) पर, CPiRi ने CI मॉडल्स के समान इन्फरेंस समय प्राप्त किया और Timer-XL जैसे मोनोलिथिक CD मॉडल्स की तुलना में काफी कम GPU मेमोरी का उपयोग किया। इसकी जटिलता $O(T^2 + C^2)$ है, जो iTransformer जैसे मॉडल्स के $O((T \times C)^2)$ की तुलना में बहुत अधिक कुशल है।

5. महत्व

CPiRi, वास्तविक दुनिया के डिप्लॉयमेंट (जैसे, सेंसर विफलता, नेटवर्क विस्तार, या बदलते वित्तीय मेट्रिक्स) में पाए जाने वाले महत्वपूर्ण स्ट्रक्चरल को-ड्रिफ्ट (structural co-drift) की समस्या को संबोधित करके MTSF में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

वास्तविक दुनिया की प्रयोज्यता: यह गतिशील वातावरण में मल्टीवेरेट फोरकास्टिंग मॉडल्स की तैनाती को सक्षम बनाता है जहाँ चैनल कॉन्फ़िगरेशन स्थिर नहीं होते हैं, जिससे बार-बार पुनः प्रशिक्षण की आवश्यकता समाप्त हो जाती है।
डेटा दक्षता: फ्रोजन फाउंडेशन मॉडल्स और रेगुलराइजेशन का लाभ उठाकर, यह सीमित डेटा या आंशिक चैनल सबसेट्स पर प्रशिक्षित होने पर भी उच्च सटीकता प्राप्त करता है।
मजबूती: यह चैनल परम्यूटेशन इनवेरिएंस (CPI) को मजबूत MTSF के लिए एक आवश्यक डायग्नोस्टिक के रूप में स्थापित करता है, जो पोजीशनल मेमोराइजेशन पर निर्भर वर्तमान SOTA मॉडल्स की नाजुकता को उजागर करता है।

संक्षेप में, CPiRi स्वतंत्र मॉडलिंग की मजबूती और रिलेशनल मॉडलिंग की सटीकता के बीच के अंतर को सफलतापूर्वक पाटता है, जो जटिल मल्टीवेरिएट टाइम सीरीज़ फोरकास्टिंग के लिए एक स्केलेबल, कुशल और सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करता है।