🤖 machine learning

One Step Closer to Ground Truth: A Multi-Scale Residual-Aware Representation Learning Pipeline for Predicting Time Series Data

यह शोध पत्र एक दो-चरणीय, मॉडल-अज्ञेय (model-agnostic) ढांचे का प्रस्ताव करता है जो व्यवस्थित पूर्वाग्रहों को गतिशील रूप से सुधारने और टाइम-सीरीज बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए प्रारंभिक ट्रांसफार्मर-आधारित पूर्वानुमान को समर्पित अवशिष्ट शिक्षण (residual learning) से अलग करता है।

मूल लेखक: Amrijit Biswas, Mustafa Kamal, Robin Krambroeckers, M. M. Lutfe Elahi, Sifat Momen, Nabeel Mohammed, Shafin Rahman

प्रकाशित 2026-06-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amrijit Biswas, Mustafa Kamal, Robin Krambroeckers, M. M. Lutfe Elahi, Sifat Momen, Nabeel Mohammed, Shafin Rahman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अगले सप्ताह के मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास एक बहुत ही बुद्धिमान मौसम विज्ञानी है (मान लीजिए कि उसका नाम बेस बॉब है) जो बड़े परिदृश्य को देखने में माहिर है। वह सामान्य रुझानों को जानता है: "यह गर्मी का मौसम है, इसलिए यह गर्म रहेगा," या "यह सर्दियों का मौसम है, इसलिए यह ठंडा रहेगा।"

हालाँकि, बेस बॉब भी पूर्ण नहीं है। कभी-कभी वह छोटी, पेचीदा बारीकियों को चूक जाता है। शायद वह धूप वाले दिन की भविष्यवाणी करता है, लेकिन अचानक, एक संक्षिप्त गरज के साथ बौछारें आ जाती हैं। या वह एक मंद हवा की भविष्यवाणी करता है, लेकिन हवा के एक झोंके से किसी राहगीर की टोपी उड़ जाती है। डेटा साइंस की दुनिया में, इन छूटी हुई बारीकियों को रेसिडुअल्स (residuals) कहा जाता है।

पारंपरिक रूप से, जब बेस बॉब जैसा कोई मॉडल गलती करता है, तो वैज्ञानिक अक्सर कहते हैं, "खैर, यह बस रैंडम नॉइज़ (random noise) है। हम इसे ठीक नहीं कर सकते।" वे त्रुटि के साथ ऐसा व्यवहार करते हैं जैसे कि वह टीवी स्क्रीन पर दिखने वाली स्टेटिक (static) हो—बस एक रैंडम धुंध जिसे साफ नहीं किया जा सकता।

यह शोध पत्र एक अलग विचार प्रस्तावित करता है। लेखक, जो रोबोटबल्स लैब्स (RobotBulls Labs) और नॉर्थ साउथ यूनिवर्सिटी की एक टीम है, उनका तर्क है कि ये "गलतियाँ" रैंडम स्टेटिक नहीं हैं। वे वास्तव में पैटर्न (patterns) हैं जिन्हें बेस बॉब ने अभी तक सीखा नहीं है। वे एक दूसरे प्रकार के मौसम की तरह हैं जो पहले मौसम विज्ञानी के लिए बहुत सूक्ष्म है, लेकिन दूसरे विशेषज्ञ के समझने के लिए बहुत जटिल नहीं है।

यहाँ उनका नया सिस्टम कैसे काम करता है, इसे सरल चरणों में समझाया गया है:

1. दो-चरणीय पाइपलाइन: "ड्राफ्ट और एडिटर"

लेखकों ने एक दो-चरणीय प्रक्रिया बनाई है, जिसे वे मल्टी-स्केल रेसिडुअल-अवेयर रिप्रेजेंटेशन लर्निंग पाइपलाइन कहते हैं। इसे एक पुस्तक लिखने की तरह समझें:

चरण 1: पहला ड्राफ्ट (बेस मॉडल)
पहला मॉडल, बेस बॉब (जो एक ट्रांसफॉर्मर नामक AI प्रकार है), सभी ऐतिहासिक डेटा को पढ़ता है और भविष्यवाणी का "पहला ड्राफ्ट" लिखता है। वह मुख्य कहानी को सही पकड़ लेता है—बड़े रुझान और दीर्घकालिक पैटर्न। लेकिन, किसी भी पहले ड्राफ्ट की तरह, इसमें कुछ अजीब वाक्य रचना और छोटी त्रुटियां हो सकती हैं।
चरण 2: एडिटर (मेटा-करैक्टर)
गलतियों को फेंकने के बजाय, सिस्टम उन्हें सहेज लेता है। यह गणना करता है कि बेस बॉब ने वास्तव में क्या गलत किया (उसकी भविष्यवाणी और वास्तविक सत्य के बीच का अंतर)।

फिर, दूसरा मॉडल, मेटा-करैक्टर (मान लीजिए कि उसका नाम एडिटर ईव है), केवल इन गलतियों को देखता है। ईव का काम है इन गलतियों में पैटर्न खोजना। वह नोटिस करती है, "ओह, हर बार जब बेस बॉब धूप वाले दिन की भविष्यवाणी करता है, तो वह दोपहर की गरज के साथ होने वाली बौछार को भूल जाता है," या "वह हमेशा मंगलवार को हवा की गति को कम आंकता है।"

ईव इन विशिष्ट त्रुटि पैटर्न को सीखती है। वह शून्य से मौसम की भविष्यवाणी करने की कोशिश नहीं करती; वह केवल यह भविष्यवाणी करती है कि बेस बॉब के ड्राफ्ट को कैसे सुधारा जाए।
अंतिम उत्पाद
सिस्टम बेस बॉब की भविष्यवाणी लेता है और उसमें से एडिटर ईव का सुधार घटा देता है (या गणित के आधार पर जोड़ देता है)। परिणाम एक "अंतिम भविष्यवाणी" होती है जो दोनों मॉडलों में से किसी एक के अकेले किए गए प्रयास से कहीं अधिक वास्तविक सत्य के करीब होती है।

2. यह एक बड़ी बात क्यों है

शोध पत्र का दावा है कि पिछले AI मॉडल त्रुटियों को "अपरिहार्य शोर" (irreducible noise) मानते थे—जैसे कि गंदी खिड़की को केवल उसे घूरकर साफ करने की कोशिश करना। उन्होंने माना था कि एक बार जब कोई मॉडल सुधरना बंद कर देता है, तो उसने अपनी सीमा प्राप्त कर ली है।

यह पेपर कहता है: "नहीं, गंदगी वास्तव में एक पैटर्न है!"

त्रुटियों को एक सीखने योग्य सिग्नल के रूप में मानकर, उन्होंने "हाइपोथीसिस स्पेस" (hypothesis space) का विस्तार किया। सरल शब्दों में, इसका अर्थ है कि उन्होंने AI को एक बड़ा टूलबॉक्स दिया। सब कुछ ठीक करने के लिए एक विशाल हथौड़े के बजाय, अब उनके पास बड़े कीलों के लिए एक हथौड़ा और छोटे स्क्रू के लिए एक पेचकश है।

3. "सेफ्टी नेट" (स्केलिंग फैक्टर)

इस दृष्टिकोण में एक जोखिम है। क्या होगा यदि एडिटर ईव बहुत अधिक आत्मविश्वासी हो जाती है और ऐसी भविष्यवाणी को "सुधारने" की कोशिश करती है जो वास्तव में सही थी? वह अत्यधिक सुधार कर सकती है और अंतिम उत्तर को बदतर बना सकती है।

इसे रोकने के लिए, लेखक एक स्केलिंग फैक्टर का उपयोग करते हैं (जिसे ग्रीक अक्षर अल्फा, $\alpha$ द्वारा दर्शाया गया है)। इसे एक वॉल्यूम नॉब की तरह समझें। यदि एडिटर ईव कहती है, "तापमान को 10 डिग्री बदलें!" तो सिस्टम वॉल्यूम को कम करके 0.05 (5%) कर सकता है और केवल 0.5 डिग्री बदलेगा। यह सुनिश्चित करता है कि सुधार कोमल और सुरक्षित है, जिससे सिस्टम को एक संभावित गलत अनुमान के आधार पर बड़े उतार-चढ़ाव करने से रोका जा सके।

4. परिणाम: "ग्राउंड ट्रुथ के एक कदम करीब"

लेखकों ने अपने "ड्राफ्ट और एडिटर" सिस्टम का परीक्षण आठ अलग-अलग वास्तविक दुनिया के डेटासेट्स पर किया, जिनमें शामिल हैं:

बिजली का उपयोग (बिजली की खपत की भविष्यवाणी करना)।
ट्रैफिक प्रवाह (कारों की भीड़ की भविष्यवाणी करना)।
मौसम (तापमान और बारिश की भविष्यवाणी करना)।
विनिमय दरें (मुद्रा के मूल्यों की भविष्यवाणी करना)।

उन्होंने अपने सिस्टम की तुलना मौजूदा सर्वश्रेष्ठ AI मॉडलों (स्टेट-ऑफ-द-आर्ट) से की। परिणाम प्रभावशाली थे:

उनकी विधि ने लगातार प्रतिस्पर्धा को पछाड़ दिया।
कुछ मामलों में, उन्होंने पिछले सर्वश्रेष्ठ मॉडलों की तुलना में सटीकता में 90% से अधिक का सुधार किया।
उन्होंने ये परिणाम बिना किसी अतिरिक्त कंप्यूटिंग पावर की भारी आवश्यकता के प्राप्त किए; सिस्टम लगभग एक एकल मॉडल की तरह ही तेज़ चलता है।

5. "सीक्रेट सॉस" (हूबर लॉस)

एक तकनीकी विवरण जिस पर पेपर हाइलाइट करता है, वह है एडिटर को प्रशिक्षित करने के लिए उपयोग किया जाने वाला गणित का प्रकार। उन्होंने हूबर लॉस (Huber Loss) नामक एक विशेष लॉस फंक्शन का उपयोग किया।

कल्पना कीजिए कि आप एक छात्र को पढ़ा रहे हैं। यदि वे एक छोटा सा उत्तर गलत देते हैं, तो आप उन्हें धीरे से सुधारते हैं। लेकिन यदि वे बहुत बड़ी गलती करते हैं (जैसे कि केवल हल्की हवा के समय बवंडर की भविष्यवाणी करना), तो आप उन पर चिल्लाना नहीं चाहेंगे (जैसा कि मानक गणित में होता है), क्योंकि इससे वे भ्रमित हो सकते हैं। हूबर लॉस एक स्मार्ट शिक्षक की तरह है: यह छोटी त्रुटियों को कोमलता से लेता है लेकिन बड़ी, अनियंत्रित त्रुटियों को एक स्थिर, रैखिक (linear) दृष्टिकोण के साथ संभालता है। यह एडिटर को त्रुटि के "चिह्न" (यह जानने के लिए कि ऊपर जाना है या नीचे) को ठीक करने में मदद करता है, बिना आउटलेयर्स (outliers) से घबराए।

सारांश

संक्षेप में, यह पेपर तर्क देता है कि गलतियाँ अंत नहीं हैं; वे अगला कदम हैं।

काम को "मुख्य रुझान की भविष्यवाणी करने" और "गलतियों के पैटर्न को सीखने" में विभाजित करके, लेखकों ने एक ऐसा सिस्टम बनाया है जो "ग्राउंड ट्रूथ" (वास्तविक वास्तविकता) के काफी करीब पहुँच जाता है। यह एक शानदार लेखक और एक तेज एडिटर के मिलकर काम करने जैसा है: लेखक कहानी बताता है, और एडिटर विवरणों को निखारता है, जिसके परिणामस्वरूप एक ऐसी उत्कृष्ट कृति तैयार होती है जिसे वे अकेले कभी नहीं बना सकते थे।

तकनीकी सारांश: ग्राउंड ट्रुथ के एक कदम करीब

समस्या विवरण

लॉन्ग-सीक्वेंस टाइम-सीरीज फोरकास्टिंग (LSTF) में ट्रांसफॉर्मर-आधारित आर्किटेक्चर के प्रभुत्व के बावजूद, सिंगल-स्टेज फोरकास्टिंग मॉडल निरंतर व्यवस्थित अवशिष्ट पूर्वाग्रह (systematic residual biases) प्रदर्शित करते हैं। ये पूर्वाग्रह संरचनात्मक विसंगतियों, अनमॉडल किए गए स्टोकेस्टिक घटकों और अपर्याप्त मल्टी-स्केल टेम्पोरल रिप्रजेंटेशन से उत्पन्न होते हैं। मौजूदा सिंगल-स्टेज फ्रेमवर्क में, एक बार जब मॉडल अभिसरण (converge) हो जाता है, तो शेष अवशेषों (residuals) को आमतौर पर एक अपरिहार्य शोर फ्लोर (irreducible noise floor) या असंरचित अनुभवजन्य शोर माना जाता है। यह उपचार मॉडल को संरचित त्रुटि पैटर्न सीखकर भविष्यवाणियों को और अधिक परिष्कृत करने से रोकता है। इसके अलावा, सिंगल-स्टेज आर्किटेक्चर अक्सर स्पेक्ट्रल बायस (spectral bias) से ग्रस्त होते हैं, जो लो-फ्रीक्वेंसी घटकों को प्राथमिकता देते हैं जबकि हाई-फ्रीक्वेंसी उतार-चढ़ाव को पकड़ने में संघर्ष करते हैं, जिससे व्यवस्थित भविष्यवाणी त्रुटियां बिना किसी रोक-टोक के प्रसारित होती हैं।

कार्यप्रणाली

लेखक एक दो-चरणीय, मॉडल-अग्नोस्टिक, मल्टी-स्केल रेसिड्यूल-अवेयर रिप्रजेंटेशन लर्निंग पाइपलाइन का प्रस्ताव करते हैं जो स्पष्ट रूप से फोरकास्टिंग और रेसिड्यूल करेक्शन को अलग करता है।

1. बेस मॉडल चरण ( $f_\theta$ )

एक बेस ट्रांसफॉर्मर मॉडल (प्राथमिक प्रयोगों में विशेष रूप से $iTransformer $) को मूल मल्टीवेरिएट टाइम सीरीज़ इनपुट$ X $पर प्रशिक्षित किया जाता है। यह प्रमुख टेम्पोरल डायनेमिक्स को सीखता है और प्रारंभिक भविष्यवाणियाँ$ \hat{Y}$ उत्पन्न करता है। मॉडल को मीन स्क्वेयर्ड एरर (MSE) लॉस का उपयोग करके प्रशिक्षित किया जाता है।

2. रेसिड्यूल सीरीज़ निर्माण

रेसिड्यूल सीरीज़ $R$ की गणना बेस मॉडल के एकत्रित भविष्यवाणियों $P$ और ग्राउंड ट्रुथ $Y_{train}$ के बीच के अंतर के रूप में की जाती है:
$R = P - Y_{train}$
महत्वपूर्ण रूप से, पेपर तर्क देता है कि ये रेसिड्यूल्स व्हाइट नॉइज़ नहीं हैं बल्कि इनमें व्यवस्थित, सीखने योग्य पैटर्न (संरचित त्रुटियाँ) शामिल हैं जो बेस मॉडल की अनुमान सीमाओं के परिणामस्वरूप होती हैं।

3. मेटा-करेक्टर चरण ( $f_\phi$ )

एक माध्यमिक "मेटा-करेक्टर" मॉडल, जो स्वयं भी एक ट्रांसफॉर्मर-आधारित आर्किटेक्चर है, विशेष रूप से रेसिड्यूल सीरीज़ $R$ पर प्रशिक्षित किया जाता है।

उद्देश्य: रेसिड्यूल स्पेस के भीतर संरचित त्रुटि पैटर्न और क्रॉस-वेरिएबल डिपेंडेंसी को सीखना।
लॉस फंक्शन: बेस मॉडल के विपरीत, मेटा-करेक्टर को हूबर लॉस (Huber Loss) का उपयोग करके प्रशिक्षित किया जाता है। यह विकल्प रेसिड्यूल्स में साइन (sign) और मैग्नीट्यूड (magnitude) त्रुटियों को मजबूती से संभालने की आवश्यकता से प्रेरित है, विशेष रूप से उन डेटासेट्स में जहाँ बार-बार उतार-चढ़ाव होते हैं जहाँ गलत साइन की भविष्यवाणी करना अंतिम पूर्वानुमान को खराब कर सकता है।
प्रशिक्षण प्रोटोकॉल: डेटा लीकेज और ओवरफिटिंग को रोकने के लिए, पहले चरण के बाद बेस मॉडल के वेट्स (weights) को फ्रीज कर दिया जाता है। मेटा-करेक्टर को एक पूरी तरह से अलग रेसिड्यूल डेटासेट पर प्रशिक्षित किया जाता है जिसका बेस मॉडल के साथ कोई साझा पैरामीटर या सांख्यिकीय गुण नहीं है।

4. अंतिम भविष्यवाणी और स्केलिंग

अनुमान (inference) के दौरान, अंतिम पूर्वानुमान को बेस प्रेडिक्शन से स्केल्ड रेसिड्यूल प्रेडिक्शन को घटाकर तैयार किया जाता है:
$\hat{Y}_{final} = f_\theta(X) - \alpha \cdot f_\phi(R)$
यहाँ, $\alpha \in (0, 1)$ एक स्केलिंग फैक्टर है (प्रयोगों में 0.05 पर अनुकूलित) जो ओवर-करेक्शन को रोकता है। यदि मेटा-करेक्टर गलत साइन या मैग्नीट्यूड के साथ रेसिड्यूल की भविष्यवाणी करता है, तो स्केलिंग फैक्टर सुधार को कम कर देता है, जिससे स्थिरता सुनिश्चित होती है।

मुख्य योगदान

दो-चरणीय रेसिड्यूल-अवेयर फ्रेमवर्क: पेपर एक ऐसी पाइपलाइन पेश करता है जो फोरकास्टिंग और रेसिड्यूल करेक्शन को अलग-अलग चरणों में विभाजित करती है जो अलग-अलग डेटा स्केल (मूल सीरीज़ बनाम रेसिड्यूल्स) पर काम करती है। यह मौजूदा सिंगल-स्टेज ट्रांसफॉर्मर आर्किटेक्चर को संरचनात्मक बदलाव के बिना व्यवस्थित पूर्वाग्रहों को कम करने की अनुमति देता है।
रेसिड्यूल्स का पुनर्कल्पना (Reconceptualization): फ्रेमवर्क मॉडल-जेनरेटेड रेसिड्यूल्स को अपरिहार्य शोर के बजाय संरचित, सीखने योग्य संकेतों के रूप में मानता है। इसे एक हाइपोथीसिस स्पेस एक्सपेंशन के रूप में औपचारिक रूप दिया गया है, जहाँ बेस प्रेडिक्टर और मेटा-करेक्टर का संयोजन उन फंक्शन्स को दर्शा सकता है जिन्हें सिंगल-स्टेज मॉडल नहीं दर्शा सकते।
मजबूत प्रशिक्षण तंत्र: लेखक रेसिड्यूल लर्निंग की चुनौतियों को संबोधित करने के लिए विशिष्ट रणनीतियाँ लागू करते हैं, जिसमें साइन त्रुटियों को संभालने के लिए हूबर लॉस का उपयोग और ओवर-करेक्शन जोखिमों को कम करने के लिए एक स्केलिंग फैक्टर $\alpha$ शामिल है।
मॉडल अगनोस्टिक: पाइपलाइन को मॉडल-अग्नोस्टिक बनाने के लिए डिज़ाइन किया गया है, जिसे विभिन्न फाउंडेशनल मॉडल्स (जैसे $iTransformer$, $GPHT$, $TimeBridge$, $TimeBase$) पर लागू करके सिद्ध किया गया है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन आठ लोकप्रिय LSTF बेंचमार्क डेटासेट्स पर किया गया: ETT (इलेक्ट्रिसिटी ट्रांसफॉर्मर टेम्परेचर) के चार सबसेट्स, इलेक्ट्रिसिटी (ECL), ट्रैफिक, वेदर और एक्सचेंज रेट।

प्रदर्शन: प्रस्तावित पाइपलाइन ने सभी आठ डेटासेट्स पर स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन हासिल किया, जिसने $DUET$, $TimeBridge$, $GPHT $, और$ TimeBase$ जैसे अग्रणी मॉडल्स को पीछे छोड़ दिया।
मेट्रिक्स: मानक मेट्रिक्स (MSE और MAE) में महत्वपूर्ण सुधार देखे गए। उदाहरण के लिए, $DUET$ की तुलना में, पाइपलाइन ने 17.83% (ETTh1) से 92.85% (Electricity) तक का सुधार दिखाया।
दक्षता: प्रशिक्षण समय लगभग 2x बढ़ जाता है (दो मॉडल्स के क्रमिक प्रशिक्षण के कारण), लेकिन इन्फरेंस ओवरहेड नगण्य (1.00x–1.006x) है क्योंकि प्रारंभिक रेसिड्यूल इनपुट के निर्माण के बाद दोनों मॉडल्स समानांतर में काम कर सकते हैं। कुल पैरामीटर काउंट (10.9M) $GPHT$ (37.98M) जैसे जटिल बेसलाइन्स की तुलना में काफी कम है।
एब्लेशन स्टडीज (Ablation Studies):
- स्ट्रक्चर्ड रेसिड्यूल्स: लि unjust-Box Q-टेस्ट ने पुष्टि की कि रेसिड्यूल्स व्हाइट नॉइज़ नहीं हैं ( $p < 10^{-6}$ )।
- संरचना की आवश्यकता: काउंटरफैक्चुअल प्रयोगों ने दिखाया कि रेसिड्यूल्स की टेम्पोरल स्ट्रक्चर को नष्ट करने (टाइम-शफलिंग या गेसियन नॉइज़ से बदलने के माध्यम से) से पाइपलाइन के प्रदर्शन में गिरावट आई, जिससे पुष्टि हुई कि लाभ रैंडम चांस से नहीं बल्कि संरचित पैटर्न को सीखने से आता है।
- लॉस फंक्शन: रेसिड्यूल प्रेडिक्शन के लिए हूबर लॉस ने MSE की तुलना में लगातार बेहतर प्रदर्शन किया, विशेष रूप से उच्च-मैग्निट्यूड उतार-चढ़ाव वाले डेटासेट्स पर।

महत्व और दावे

पेपर का दावा है कि यह कार्य सिंगल-स्टेज आर्किटेक्चर की मौलिक सीमा को संबोधित करके लॉन्ग-टर्म फोरकास्टिंग की सटीकता की ओर एक महत्वपूर्ण प्रगति है: उनकी संरचित व्यवस्थित त्रुटियों को मॉडल करने में असमर्थता। हाइपोथीसिस स्पेस एक्सपेंशन के रूप में रेसिड्यूल लर्निंग को औपचारिक रूप देकर, फ्रेमवर्क जटिल त्रुटि डायनेमिक्स के एंड-टू-एंड लर्निंग को सक्षम बनाता है, जो प्रतिबंधात्मक धारणाओं पर निर्भर नहीं है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण व्यवस्थित पूर्वाग्रहों को कम करता है और जटिल टेम्पोरल डायनेमिक्स के प्रति मजबूती बढ़ाता है, जिससे ट्रांसफॉर्मर-आधारित फोरकास्टिंग मॉडल्स की व्यावहारिक प्रयोज्यता बढ़ती है। परिणाम बताते हैं कि स्पष्ट रेसिड्यूल मॉडलिंग एक व्यवहार्य और प्रभावी रणनीति है जो फोरकास्टिंग सटीकता को ग्राउंड ट्रुथ के करीब ले जाने में मदद करती है, विशेष रूप से उन परिदृश्यों में जहाँ सिंगल-स्टेज मॉडल एक अनुभवजन्य अभिसरण बिंदु (empirical convergence point) पर पहुँच जाते हैं।